Yuan 2.0-M32，其基础架构与Yuan-2.0 2B相似，采用了一个包含32位专家的专家混合架构，其中2位专家处于活跃状态。提出并采用了一种新的路由网络——注意力路由器，以更高效地选择专家，相比采用经典路由网络的模型，其准确率提升了3.8%。Yuan 2.0-M32从零开始训练，使用了2000B的token，其训练计算消耗仅为同等参数规模密集模型的9.25%。

Yuan 2.0-M32在编码、数学及多个专业领域展现了竞争力的能力，仅使用了400亿总参数中的37亿活跃参数，以及每token7.4 GFlops的前向计算，这两项指标均仅为Llama3-70B的1/19。Yuan 2.0-M32在MATH和ARC-Challenge基准测试中超越了Llama3-70B，准确率分别达到55.89%和95.8%。Yuan 2.0-M32的模型及源代码已在GitHub：https://github.com/IEIT-Yuan/Yuan2.0-M32。    

在每个token固定计算量的情况下，采用专家混合（MoE）结构的模型可以通过增加专家数量轻松构建得比密集模型更大规模，从而实现更高的准确性表现。实际上，通常在有限的计算资源下训练模型，MoE被视为减少与模型、数据集规模和有限计算能力相关的巨大成本的良好候选方案。

MoE的概念可追溯至1991年。总损失是每个专家加权损失的组合，这些专家具有独立判断的能力。稀疏门控MoE的概念最初由Shazeer等人（2017年）在翻译模型中提出。采用这种路由策略，推理时只有极少数专家被激活，而非所有专家同时被调用。这种稀疏性使得模型能够在计算效率损失极小的情况下，在堆叠的LSTM层之间扩展至1000倍。噪声可调的Top-K门控路由网络向softmax函数引入可调噪声并保持前K值，以平衡专家利用率。近年来，随着模型规模的不断扩大，路由策略在高效分配计算资源方面的作用受到了更多关注。

专家路由网络是MoE结构的核心。该结构通过计算token分配给每个专家的概率来选择参与计算的候选专家。目前，在大多数流行的MoE结构中，普遍采用经典路由算法，该算法执行token与每个专家特征向量之间的点积，并选择点积值最大的专家。在这种变换中，专家的特征向量是独立的，忽略了专家之间的相关性。然而，MoE结构通常每次选择不止一个专家，并且多个专家经常协同参与计算，这意味着专家之间应存在固有相关性。如果在选择专家的过程中考虑专家间的关系，无疑会提高模型的准确性。

图1展示了论文模型中应用的MoE层的架构。以四个FFN为例（实际上有32个专家），每个MoE层由一组独立的FFN作为专家组成。位于专家之前的路由网络将输入token分派给相关的专家。经典的路由网络本质上为每个专家建立了一个特征向量，并计算输入token与每个专家特征向量之间的点积，以获得token与专家之间的具体似然度。具有最强似然度的专家被选中激活，并参与后续的计算。                
               
图1：Yuan 2.0-M32的说明。左侧图展示了Yuan 2.0架构中MoE层的扩展情况。MoE层替代了Yuan 2.0中的前馈层。右侧图展示了MoE层的结构。在论文的模型中，每个输入token将被分配给总共32个专家中的2个，而在图中论文以4个专家为例进行展示。MoE的输出是所选专家的加权和。N表示层的数量                
               
图2展示了注意力路由器结构的概览    

Yuan 2.0-M32通过数据并行和流水线并行的组合进行训练，但不使用张量并行或优化器并行。图3展示了损失曲线，最终训练损失为1.22。                
               
图3：Yuan2.0-M32在2000Btoken上的预训练损失

44个子数据集，涵盖了网络爬取数据、维基百科、学术论文、书籍、代码、数学和公式以及特定领域的专业知识。其中一些是开源数据集，其余由Yuan 2.0创建。

部分常见的网络爬虫数据、中文书籍、对话及中文新闻数据继承自 Yuan 1.0（吴等人，2021年）。Yuan 2.0 中的大部分预训练数据也得到了重新利用。

带有英文注释的Python代码收集自Magicoder-Evol-Instruct-110K和CodeFeedback-Filtered-Instruction。从数据集中提取带有语言标签（如“python”）的指令数据。

其他如C/C++/Go/Java/SQL/Shell等语言的代码，带有英文注释，源自开源数据集，处理方式与Python代码类似。清洗策略与Yuan 2.0中的方法相似。设计了一个沙箱以提取生成的代码中可编译和可执行的行，并保留至少通过一个单元测试的行。