前言

最近对之前精读的论文进行梳理，发现一些笔记还是非常有价值的，稍微改改发布出来给大家看看。

LLama3是几个月前的论文了，但是每次精读还是有所收获，本文将一些重点的内容加一些自己的思考和实践进去，对每个技术点进行讨论。

总体概述

如上图所示，Llama3 纯文本模态的整个训练过程分为以下几个主要阶段：

• Pre-Training：主要包括：预训练，长文本预训练，退火预训练三个阶段。
• Post-Training：主要包括：SFT，DPO两个阶段。

对于多模态部分，主要包括以下几个阶段，这部分不是很成熟，所以暂且略过：

• Multi-modal encoder pre-training：训练 image encoder 与 speech encoder。
• Vision adapter training：采用一个 adapter 将 image encoder 与pretrained language model 结合起来。
• Speech adapter training：

模型架构

与llama1 和 llama2没有大差异，效果的提升主要还是来自于：数据质量（data quality），数据多样性（diversity）和 training scale。

• GQA：8 key-value heads来提升推理速度和减少kv-cache缓存
• 采用 attention mask 来防止不同文档之间的 self-attention。实验发现在正常 pt （4k，8k）中没有明显影响，但是对于长文本的CPT非常重要。
• 词表：128k。其中100k来自 tiktoken，额外的28k来支持non-english。28k的新增token不影响英文的分词，并且能提高压缩率和下游表现。实测对中文压缩率相对于llama2 有较大提升，但是跟qwen还是差较远。
• 位置编码：ROPE ，基本频率超参设置到500000，这使得模型能够更好的支持上下文。

Pretrain

Pre-Training Data

PT数据量级为15.6T，涵盖的知识截止到2023年。

Web Data

• PII and safety filtering：设计了多个过滤器来过滤掉涉及 unsafe 内容和 PII 内容的数据。
• Text Extraction and cleaning：从HTML中提取文本。 论文发现，markdown 数据对模型的性能有害，因此去掉了所有的markdown格式。
• De-Duplication：
• url-leval de-duplication：在整个数据集上进行URL去重。
• document-leval de-duplication：采用 global minHash 去除掉重复的文档。
• Line-leval de-duplication：采用ccNet 进行去重。在美3000w的桶中，去除掉出现次数超过 6次 的行。
• Heuristic filtering：设计了一堆规则来过滤低质量文本，重复性文本：
• 采用n-gram  coverage radio 来去掉重复内容，如：logging，error。这些行可能非常长且无法通过line-level 去重去掉。
• 采用 dirty word counting 来过滤掉一些成人网站
• 采用token-distrubution kullback-Leibler 分布来过滤掉包含过多outlier tokens 的数据。
• Model-based quality filtering：训练一个质量分类器，采用Distill Robeta 来对每个文档进行质量评分来判断文档是否属于高质量数据。
• Code and resoning data：
• 构建提取代码和数学网页的 domain-specific pipeline。
• 采用DistilledRobeta 训练了一个代码分类器和一个math 分类器。
• Multilingual data：
• 采用fasttext 分类器来区分 176种语言
• 在每个语言类别内进行document-leval 和 line-level 去重
• 采用规则和模型来去掉低质量documents
• 训练了一个质量排序模型来保证多语言数据的高质量。

Determining the data mix

预训练数据中的数据配比是一个非常核心的话题。

• Knowledge classification：对数据进行分类来确定各个类别的配比。比如实际配比中减少对艺术和娱乐的采样配比。
• scaling laws for data mix：从小模型上来验证 data mix，并将其迁移到大模型来获得更好的性能。
• Data mix summary：50% general knowledge，25% mathematical and reasoning tokens，17% code tokens， 18% multilingual tokens。

退火数据：Annealing Data

论文发现，退火阶段加入高质量的代码和数学数据能够提高在 key benchmarks 上的效果。

退火训练在 llama3 8B 上训练后，在 GSM8K和MATH上分别提升了24%和6.4%，但是在 405B 模型上的提升微乎其微，这表明 405B 模型本身具备强大的上下文能力和推理能力，不需要再特定领域的退火来提升效果。

论文后面通过退火训练来评估数据质量。

Scale Laws

值得单独拉专题出来讨论。后面单独写文章讨论下。

Pre-Training Recipe

3.1 Initial Pre-Training：405B

• 学习率：cosine learning reate schedule，学习率=8 * 10-5，linear warm up=8000 steps，1200000 training steps 后衰减到 8*10-7。
• batch size：通过阶梯式的batch size 来增强训练稳定性，减轻 loss spikes。
• 前期采用低batch size来增强训练稳定性，4M tokens，文本长度 4096。
• 在预训练超过 252M 后，batch size 提高到 8M，文本长度8192。
• 2.87T后，batch size 提高到16M。
• data mix：
• 增加 non-english 的比重来增强 multilingual 的表现
• 上采样数学来提高模型的数学表现
• 增加更多近期的数据
• 下采样低质量数据

3.2 Long Context Pre-Training

支持长度：128K，训练 token 数：800B。

用6个阶段从 8K 循序渐进的来扩大文本长度到 128K。在每个阶段训练中，通过评估模型的表现来判断在该长度上是否成功适应。评估的方向包括两个方面：

• short-context evaluations：在短文本上的评估是否正常
• needle in a haystack：大海捞针上的评估是否合理

3.3 退火：Annealing

在最后的 40M tokens中，慢慢将学习率衰减到0，训练长度128k。在退火阶段增大高质量数据的配比。

对 Pretrain 的看法

当前的 Pretrain 在各大厂之间已经不存在明显差距了，并且基座的竞争已经基本结束了，国内Qwen的开源已经吊打很多大厂的闭源团队了，阿里的开源质量还是非常有保障的啊。可预见的是未来的竞争重心已经不在基座上了，现在是谁有卡，谁有数据，谁就是爸爸，看好阿里和字节。

Post-Training

整个 Post-Training 阶段如上图所示，主要是SFT 阶段与DPO 阶段进行迭代优化的过程。

Perference Data：偏好数据

• 对于每一个 prompt，用不同的模型来生成两个答案。不同的模型可以采用不同的数据组合和对齐方式训练得到，从而增加数据的多样性。
• 标注人员对 chosen response 和 rejected response 来分成四级：significatly better，better，slightly better， marginally better。
• 标注人员对 chosen response 进行编辑获得更好的答案。edited > chosen > rejected。
• 对Perference data 进行大致分类，如上表所示。
• 对于每轮训练的改进过程中，相应的增加prompt 复杂性来针对模型的弱点。 在每轮的后训练中，使用所有偏好数据进行 Reward Model 训练，但是仅用最新批次的数据进行DPO。
• 注意：在Reward Model 训练中，使用标记为：significatly better，better的样本来进行训练，其他两个类别的数据丢掉。

SFT 数据

数据来源于三个方面：

• 来自用户的 prompt 和 rejection-sampled 生成的答案
• 特定领域的合成数据
• 少量人工整理标注的的数据

最终使用的SFT 的数据统计如下：

2.1 Rejection sampling

• 对于一个 prompt，用最好的模型采样k（10-30）个response
• 采用 reward model 对这些 prompt-response 进行排序，选择最好的答案

2.2 SFT数据质量处理与过滤

由于数据大多数都是模型生成的，因此需要过滤与质量控制。

数据清洗：

• 数据中存在一些过渡使用标点符号和表情符号的数据
• 答案中存在过度道歉的答案，比如：I’m sorry，I apologize

Data Pruning：采用一些模型来过滤掉低质量的数据

• Topic Classification：通过 LLama3 来进行分类，包括一级分类：mathematical reasoning，二级分类：geometry and trigonometry
• Quality Scoring：
• RM Model：通过 RM model 进行打分，认为前四分之一的数据是高质量数据
• Llama-based score：参考 Deita， 从不同维度数据进行质量打分。针对代码，从Bug Identification 和 User Intention 打分。针对英文数据，从 Accuracy ，Instruction Following，Tone/Presentation 进行打分。
• Difficulty scoring：
• InsTag：采用 Llama3 70B 来进行打 tag，tag 越多则认为越复杂。
• Llama3：参考 Deita，直接采用 Llama3 来进行复杂度打分。
• Semantic deduplication：采用RoBERTa 进行聚类，然后在每个类别中采用quality socre * difficulty score进行排序。

Capabilities

针对特定领域的数据进行优化，主要包括：Code，math 和 reasoning，Long context，tool use，factuality，steerability。

3.1 Code

生成了2.7M的合成数据。

• Synthetic data generation：exection feedback。直接采用 llama3 405B 生成的合成数据加入训练对训练结果没有帮助，甚至会有负面影响。因此采用 exection feedback 的方式来合成数据：
• Problem description generation：收集/生成大量的变成问题描述，并按照主题进行分类保证多样性。
• Solution generation：通过编写prompt用llama3 来生成答案。注意：要求模型来解释其思考过程能够提升答案质量；
• Correctness analysis：模型生成的答案不一定正确，因此需要用额外的方法来保证生成质量：
• Static analysis：直接通过编译器来运行代码，来检查答案中语法错误。比如：代码风格，打字错误，变量遗漏等。
• Unit test generation and execution：通过编写一些单元测试来检查运行错误等。
• Error feedback and iterative self-correction：如果答案运行失败，我们设计prompt来通过错误信息修改答案。比如stderr 错误和单元测试失败等。最终，通过所有测试的数据才能作为sft 数据。
• Fine-tuning and iterative improvement：通过上述过程进行迭代微调，持续多轮微调逐步提升模型效果。
• Synthetic data generation：programming language translation。实验发现模型在主流语言上表现较好如python/c++，但是在小众语言上表现不佳如Typescript/php。主要是因为训练数据中包含很少的小众语言数据。采用Llama3 来将主流语言的答案转为小众语言，如下图所示：

• Synthetic data generation：反向翻译。

3.2 Multilinguality

• 2.4% human annotations
• Data from other NLP tasks：将开源的NLP任务转为dialog数据。
• Rejection sampled data：先用模型生成一些答案，然后用reward model 来选择答案。
• Translated data：

3.3 Math and Reasoning

当前的挑战：

• Lack of prompts：复杂度高的数学prompt 或问题相对较少
• Lack of ground truth chain of thought：缺乏真实的COT 标注数据。
• Incorrect intermediate steps：采用模型生成的COT数据时，中间过程可能会出现问题。
• Teaching models to use external tools：
• Discrepancy betwteen training and inference：

3.4 Long Context

从8k 扩展到128k。

如果使用短sft 数据来微调模型会使得模型的长文本能力出现显著衰退。

采用LLama3 在以下领域合成数据：

• Question Answering：从预训练数据中精选一些长document将其分为8k的chunk，然后通过 Llama3 随机选择document来生成问题-答案pair对。训练时将document 放入上下文中。
• Summarization：采用Llama3 来对 8k 的document 进行总结生成数据。
• Long Context code reasoning：

然后将上述方法用于 16k，32k，64k，128k的数据生成。

配比：0.1% 的长上下文数据与短文本数据结合能够均衡整个结果。

DPO 中仅仅使用短文本不会对sft后的长文本性能产生负面影响。

对 Post-Pretrain 的一些看法

当前基座的竞争结束后接下来就是应用的竞争，而应用层面的竞争会更加关注：增量预训练，SFT，合成数据，RLHF 几个方面。

最后

我认为自 ChatGPT 掀起的这波浪潮已经到了中期，接下来的竞争会更加惨烈，最终大多数的应用落地还得是大厂和一些垂域独角兽说了算。