全文共4072字，预计阅读时间10分钟。

二、MiLe Loss：预训练损失函数优化方案

三、Scaffold-BPE：词表学习方法改进

对齐之后，为了加速推理，「快意」大模型团队提出了词汇单元并行解码策略，在一次推理过程中，同时预测多个token，并自适应地选择其中置信度较低的部分，重新生成。经过实验，该方法可以在对解码效果无损的前提下，大幅提升解码速度约30%，有效扩大了模型服务的吞吐量。 

在对齐阶段的强化学习中，Reward Model的质量对强化学习的效果有至关重要的影响。为了解决Reward Model在通用场景下判别能力不高、泛化能力较差的问题，「快意」大模型团队在Reward Model上引入了MoE（Mixture-of-Expert）结构，并通过实验验证了该方法能够显著提升Reward Model的判别、泛化和抗遗忘能力。在「快意」大模型中，Reward Model不仅仅用在RLHF（Reinforcement Learning from Human Feedback）中，也应用在了SFT阶段的数据质量筛选等环节，有效优化了对齐阶段的全流程。

七、迭代式RLHF+RLAIF：提升策略探索和学习效率

在强化学习阶段，除了收集来自人类的反馈，「快意」大模型也收集了来自于「快意」175B、GPT-4等大模型的反馈，整合了RLHF和RLAIF，并且采用了RLHF+RLAIF->Reward Model->Policy Learning 的迭代式Pipeline来更新模型。在每一轮迭代中，人工反馈和大模型的反馈数据整合后，用于迭代Reward Model（防止reward hacking），进而用于指导PPO（Proximal Policy Optimization）和DPO（Direct Preference Optimization）的学习过程，提升强化学习策略探索和学习的效率。强化学习对「快意」大模型的安全性等方面带来了显著提升。

「快意」大模型近期也在升级MoE结构，在研发过程中，「快意」大模型团队发现路由错误，会引发单expert内部的知识产生冲突，加大学习难度，导致最终MoE优化效果不理想。为了提升路由模块预测的准确性和解决上述路由错误导致的expert优化不理想问题，「快意」大模型团队提出了基于训练过程中token梯度分布的自适应错误检测策略，并基于检测的结果，提出了新的路由loss优化方案，最终在多个benchmark的实验上，验证了该方法的有效性。