📁AA_0195——51CTO-崔皓-LLM 推理优化与部署实战70 个文件
📄1-1 课程内容介绍.mp47.2MB
📄1-2 LLM推理基础-预填充与解码阶段.mp439.9MB
📄1-3 LLM推理基础-推理阶段与KVCache的关系_.mp419.1MB
📄1-4 LLM推理基础-生成KVCache过程推演.mp433.1MB
📄1-5 LLM推理基础-为何需要对KVCache优化.mp416.7MB
📄1-6 LLM推理基础-如何估算模型占用内存.mp429.8MB
📄1-7 LLM推理基础-GPU内部运算原理与推理机制的关系.mp448.5MB
📄1-8 LLM推理基础-列举LLM存储介质以及如何搬运参数.tle17.9MB
📄1-9 LLM推理基础-优化思路-参数量化-运行时加速-IO优化.mp411.7MB
📄1-10 LLM推理基础-章节总结.mp423.8MB
📄1-11 LLM性能指标-内容介绍.mp46.9MB
📄1-12 LLM性能指标-推理评估指标全景图.mp412.9MB
📄1-13 LLM性能指标-首词生成时间.mp410.9MB
📄1-14 LLM性能指标-每词生成时间.mp45.5MB
📄1-15 LLM性能指标-端到端的请求时间.mp48.6MB
📄1-16 LLM性能指标-系统吞吐量TPS.mp414.5MB
📄1-17 LLM性能指标-业务指标LO.mp423.7MB
📄1-18 LLM性能指标-评测过程与评测工具.mp431.6MB
📄1-19 LLM性能指标-章节总结.mp415.5MB
📄1-20 模型压缩-内容介绍.mp414.3MB
📄1-21 模型压缩-压缩策略-量化-剪枝-蒸馏.mp421.5MB
📄1-22 模型压缩-模型量化-参数存储空间的组成.mp417.3MB
📄1-23 模型压缩-模型量化前后使用的方法AWQ与GPTQ.mp421.4MB
📄1-24 模型压缩-AWQ针对PPL的实验结果.mp421.4MB
📄1-25 模型压缩-AWQ量化过程与实现-.mp447.2MB
📄1-26 模型压缩-GPTQ量化过程以及优化IO策略.mp443.6MB
📄1-27 模型压缩-GPTQ量化工具与实践.mp48.1MB
📄1-28 模型压缩-剪枝分类和过程详解.mp430.1MB
📄1-29 模型压缩-模型蒸馏分类和应用场景.mp428.4MB
📄1-30 模型压缩-章节总结.mp429.3MB
📄1-31 运行时加速方案-内容介绍.mp411.9MB
📄1-32 运行时加速方案-多头注意力机制原理与弊端.mp423.6MB
📄1-33 运行时加速方案-多头注意力计算过程与分析.mp414.8MB
📄1-34 运行时加速方案-MQA与GQA机制以及性能比较.mp420.9MB
📄1-35 运行时加速方案-GPU运算与数据传输分析.mp426.3MB
📄1-36 运行时加速方案-FlashAttention切块和算子.mp423.9MB
📄1-37 运行时加速方案-PagedAttention原理解析.mp444.9MB
📄1-38 运行时加速方案-持续批处理原理解析.mp438.6MB
📄1-39 运行时加速方案-核心推理框架选型.mp421.1MB
📄1-40 运行时加速方案-章节总结.mp423.1MB
📄1-41 推理部署实战指导与总结.mp422.6MB
📄01-vLLM推理实战.docx2.7MB
📄2-1 vLLM产品介绍.mp428.3MB
📄2-2 vLLM分布式推理.mp435.8MB
📄2-3 显卡驱动安装与配置.mp439.5MB
📄2-4 Docker进行vLLM模型安装与部署.mp428.1MB
📄2-5 测试vLLM部署的大模型.mp433.9MB
📄2-6 vLLM分布式部署思路.mp439.7MB
📄2-7 系统构建网络配置和框架安装.mp448.5MB
📄2-8 Head和Worker节点配置创建推理集群.mp437.1MB
📄2-9 测试vLLM分布式部署.mp443.5MB
📄02-量化实战-高级.docx4.4MB
📄3-1 量化实战-量化目的与结果介绍.mp446.2MB
📄3-2 量化实战-思路与实战步骤讲解.mp425.1MB
📄3-3 量化实战-了解硬件架构量化工具.mp419.3MB
📄3-4 量化实战-安装WSL与Conda.mp432.4MB
📄3-5 TensorRT模型优化器安装与配置.mp461.4MB
📄3-6 NVFP4量化格式.mp435.2MB
📄3-7 模型量化脚本解析与校准数据集.mp449.0MB
📄3-8 模型量化以及结果查看.mp424.9MB
📄3-9 测试量化之后模型查看返回结果.mp434.3MB
📄3-10 介绍EvalScope与Perf命令组成.mp449.8MB
📄3-11 使用EvalScope评测量化模型.mp452.3MB
📄3-12 介绍LLMCompressor量化工具.mp436.5MB
📄3-13 安装LLMCompressor.mp416.5MB
📄3-14 使用LLMCompressor对GPTQ-AWQ-NV.tle51.4MB
📄3-15 针对两种量化工具比较四种量化结果.mp443.1MB
📄3-16 量化实战-课程总结.tle16.8MB
📄部分tle格式是加密的.txt2B
📄《LLM推理优化与部署实战》课件.pptx13.2MB
