定义和组件

从本质上讲，MoE（特别是在 Transformer 模型的背景下）由两个主要元素组成：稀疏 MoE 层和门网络（或路由器）。

稀疏 MoE 层和专家的作用

与 Transformer 模型中通常使用的密集前馈网络 (FFN) 层不同，MoE 采用稀疏 MoE 层。每层都包含多个专家，每个专家都是一个神经网络，通常以 FFN 的形式存在。这些专家的复杂程度各不相同，有趣的是，它们甚至可以包含 MoE 本身，从而创建分层的 MoE 结构。

门网络功能

门网络在确定将 token 路由到适当的专家方面起着至关重要的作用。例如，在给定场景中，token “更多”可能被定向到一位专家，而“参数”则被定向到另一位专家。这种路由不仅对于 MoE 的运行至关重要，而且还带来了有关 token 路由的决策的复杂性，其中路由器本身是一个在网络预训练过程中不断发展的学习实体。

训练和推理挑战

虽然 MoE 在预训练和更快的推理方面效率更高，但它们也存在挑战。

训练挑战

一个重大障碍是在微调期间推广 MoE，因为它可能倾向于过拟合。

推理挑战

尽管它们的参数很大，但只有这些参数的子集在推理期间处于活动状态，从而可以加快处理速度。然而，这也意味着大量的内存需求，因为无论所有参数在推理期间处于活动状态如何，都必须将其加载到 RAM 中。

解决方案和策略

为了应对这些挑战，采用了各种策略。这些策略包括负载平衡以防止过度使用某些专家，以及加入辅助损失以确保所有专家的公平训练。

MoE 的概念可以追溯到 1991 年的论文《Adaptive Mixture of Local Experts》（《局部专家的自适应混合》）。

https://www.cs.toronto.edu/~hinton/absps/jjnh91.pdf

这项早期工作为 MoE 奠定了基础，它提出了一个系统，其中单独的网络（专家）在门控网络的指导下处理不同的训练案例子集。

2010 年至 2015 年期间，MoE 的发展取得了重大进展。其中包括探索将 MoE 作为更深层网络的组件，以及 Yoshua Bengio 引入条件计算，它可以根据输入数据动态激活网络组件。

稀疏性的概念

稀疏性，正如 Shazeer 在翻译的 MoE 探索中所介绍的那样，是基于条件计算的原理。这允许在不按比例增加计算的情况下缩放模型大小，从而导致在每个 MoE 层中使用数千名专家。

门控机制

人们已经探索了各种门控机制，例如噪声 Top-K 门控。这种方法在路由过程中添加了噪声，然后选择前“k”值，从而在专家利用的效率和多样性之间取得平衡。

GShard 在 transformer 中实现的 MoE 是大规模应用是最显著的一个例子。它引入了随机路由和专家容量等新概念，确保了大规模负载和效率的平衡。

Switch Transformers 代表了 MoE 领域的重大进步。它们简化了路由过程并降低了通信成本，同时保持了模型的质量。专家容量的概念在这里得到了进一步完善，在 token 分配和计算效率之间取得了平衡。

微调 MoE 带来了独特的挑战，尤其是在过拟合方面。已经采用了诸如专家内部更高正则化和调整辅助损失等策略来缓解这些问题。此外，在微调过程中选择性冻结 MoE 层参数已显示出在保持性能的同时简化流程的前景。

在小任务（左）中，我们可以看到明显的过拟合，因为稀疏模型在验证集中的表现要差得多。在较大的任务（右）中，MoE 表现良好。此图来自 ST-MoE 论文。

MoE 已在各个领域得到应用，尤其是在语言翻译和大模型中。MoE 在人工智能领域的潜力巨大，正在进行的研究正在探索新的领域和应用。

进一步的实验是将稀疏的 MoE 提炼回具有更少参数但参数数量相似的密集模型。

另一个领域将是 MoE 的量化。QMoE（2023 年 10 月）是朝着这个方向迈出的一大步，它将 MoE 量化为每个参数不到 1 位，从而将使用 3.2TB 加速器的 1.6T Switch Transformer 压缩到仅 160GB。