前言

Llama 3.1 推出了：8B 70B 405B型 三种型号的模型，其中：

Llama 3.1 405B 是第一个公开可用的模型，在通用知识、可操纵性、数学、工具使用和多语言翻译方面的最新能力方面可以与顶级 AI 模型相媲美。

8B 和 70B 模型的升级版本是多语言的，具有明显更长的 128K 上下文长度、最先进的工具使用和整体更强的推理能力。这使得 Meta 的最新模型能够支持高级用例，例如长格式文本摘要、多语言对话代理和编码助手。

Meta 还对其许可证进行了更改，允许开发人员使用 Llama 模型（包括 405B 模型）的输出来改进其他模型。

模型架构

Llama 3.1 405B 在超过 15 万亿个token，16000 个 GPU上进行训练。

这次训练侧重于保持模型开发过程的可扩展性和简单性。

• 选择了标准的纯解码器转换器模型架构，并进行了少量调整，而不是专家混合模型，以最大限度地提高训练稳定性。
• 采用了迭代的训练后程序，其中每一轮都使用监督微调和直接偏好优化。这使我们能够为每一轮创建最高质量的合成数据，并提高每项能力的性能。

与以前版本的 Llama 相比，我们改进了用于训练前和训练后的数据的数量和质量。这些改进包括为训练前数据开发更仔细的预处理和管理管道，开发更严格的质量保证，以及为训练后数据开发过滤方法。

为了支持 405B 规模模型的大规模生产推理，我们将模型从 16 位 （BF16） 量化到 8 位 （FP8） 数值，有效降低了所需的计算要求，并允许模型在单个服务器节点内运行。

微调过程

通过在预训练模型之上进行几轮对齐来生成最终的聊天模型。每一轮都涉及监督微调 （SFT）、拒绝采样 （RS） 和直接偏好优化 （DPO）。使用合成数据生成来生成绝大多数 SFT 示例，并多次迭代以在所有功能中生成越来越高质量的合成数据。此外，使用多种数据处理技术，以将这些合成数据过滤到最高质量。使得能够跨功能扩展微调数据量。

仔细平衡数据后，以生成具有所有功能的高质量模型。例如，即使在扩展到 128K 上下文时，也能在短上下文基准上保持模型的质量。