课程简介

本课程对Llama架构的核心模块进行了深入解析，涵盖算法原理和技术实现。你将学习如何对Llama模型进行自定义微调、本地化模型推理与部署，包括基于MLC-LLM框架在Android手机端部署大模型。

本课程的特色在于逐一拆解Llama的每个核心模块，并通过具体案例深化对每个复杂知识点的理解，不仅教你如何一步一步实践，更让你明白模块背后的原理，从而深刻掌握大模型的运行机制。

【最近更新：24-12-12 具体更新内容请查看视频简介】

大模型Llama架构？

Llama是开源大语言模型的先驱，自其发布以来，国内外基于Llama实现的各种大模型数层出不穷，学习Llama已成为理解和掌握大模型技术的关键起点。通过学习Llama（本质上是Transformer架构），你不仅可以全面掌握其核心模块和算法原理，还能为后续学习其它大模型打下扎实的理论与实践基础。

本课程包含Llama-2和Llama-3两个模型版本，虽然目前Meta已开源了Llama 1/2/3三个模型版本，但三者的模型架构基本一致，主要区别在于数据质量和规模的大幅提升，以及模型参数量的变化。Llama-2作为一个成熟且具有代表性的版本，具备良好的学习资源和实践环境，非常适合作为大语言模型学习的起点。课程内容将随着技术的迭代进行适时更新，帮助你快速掌握前沿大模型技术并应用于多样化场景。

Llama核心算法和原理

全方位解析大语言模型（LLM）的核心算法与实现细节。从理论到代码实战，深入讨论包括RMSNorm在内的归一化算法原理，帮助你理解这一关键技术在LLM中的应用价值，并通过Python实现加深理解。此外，还将剖析SwiGLU和GLU激活函数的内部机制，与传统激活函数进行对比，并结合代码实战与可视化结果。课程还系统性地解析了Transformer的位置编码原理，包括标准位置编码和ROPE（旋转位置编码），通过Python和PyTorch实现，结合广播机制优化代码。最后，将重点讲解复数和向量操作等深度学习中的基础数学概念，为后续深入理解位置编码与相关技术提供坚实理论支撑。

Transformer架构详解

以Attention机制为核心，深入剖析Query、Key、Value的计算原理及其对序列关系建模的关键作用，并介绍KV Cache优化策略以提升生成式任务的推理效率。通过系统讲解Mask机制在自回归生成中的关键地位以及FFN结构的内部运作，你将全面理解Transformer各模块间的协作与依存关系。在此基础上，本课程还将对Transformer Block的模块化设计和整体源码进行详细解析，配合PyTorch实战，让你从原理到实现清晰把握Transformer的核心架构，为后续深入探索与应用更复杂的大语言模型打下坚实基础。

Llama模型应用与优化

Llama模型的实际应用与性能提升：针对文本与对话生成任务，介绍基于PyTorch的主流采样策略（贪心、Beam Search、Top-k）、类结构与多GPU并行加载方法，帮助提升推理效率；通过Prompt技术实现特定样式文本生成与多轮对话，并利用环境配置与推理优化策略满足更高性能需求；借助vLLM实现本地部署与API服务，结合LangChain工具链完整展示从模型接入到智能机器人构建的全流程；引入LoRA微调技术与Llama-Factory工具，快速降低显存与计算成本，构建微调-部署-测试闭环并多维度评估模型性能。为你掌握Llama模型在实际项目中的应用提供了全面的理论与实践指导。

Llama模型案例实践

你将深入体验Llama 3.2与MLC-LLM这两大实践环节。首先，课程将以Llama 3.2模型为例，引导你从基础的环境搭建和模型下载入手，利用Llama-Recipes工具探索高效的推理执行方法，并借助vLLM框架与Docker技术快速完成本地化部署与性能调优，为实际生产环境中的高效部署打下坚实基础。另外，课程将聚焦MLC-LLM引擎的跨平台特性与高性能特征，带领你学习模型文件格式转换与Apache TVM的优化策略，并通过实践示例指导你在Android设备上实现大语言模型的本地化部署。你将掌握从桌面环境到移动终端的多平台部署技巧，全面提升对大语言模型落地应用的理解与实战能力。

本课程专为AI技术领域的专业人才设计，适合计算机科学、人工智能、数据科学等相关专业的学生，以及从事这些领域的职场专业人士，特别是那些对大语言模型（LLM）感兴趣，希望深入探索和应用前沿技术的学习者和从业者。

课程内容会随着技术的发展进行适时更新，让你始终紧随前沿技术。你的购买价格既包含了当前所有课程内容，又免费享受后续课程的全部更新内容。你无需任何操作，课程更新后会在你的学习账号下自动显示。

IOS用户可使用Teachable APP下载课程到本地，实现离线学习（点此查看如何登陆网站以及下载使用APP）

1. 深入解读模型背景与预训练的关键细节，为大模型学习打下坚实基础。

2. 全面解析Llama核心模块，包括RMSNorm、SwiGLU等关键算法的理论与Python实现，结合Transformer中位置编码算法（如ROPE）的深入探讨。

3. Transformer架构详解：系统讲解Attention机制、KV Cache优化以及前馈神经网络（FFN）等核心组件，辅以源码分析，帮助你全面理解模型的技术细节。

4. Llama模型的实际应用：通过文本生成、对话生成等案例演示模型的应用场景，覆盖Prompt设计、模型优化以及LangChain构建智能Chatbot的全过程。

5. 模型微调与优化：通过LoRA微调技术和Llama-Factory工具的部署与评估，你将掌握从模型微调到性能优化的完整方法。

6. Llama 3.2项目实战：深入解析Llama3.2模型的应用与部署，覆盖从环境配置、模型下载到基于vLLM和Docker的本地化部署实战，结合案例实践，帮助你快速掌握多场景推理技术。

7. Android手机端部署：全面讲解MLC-LLM模型的推理与优化，重点展示在Android手机端部署大模型的完整流程，赋能你开发移动端AI应用的能力。