1、Transformer模型的魅力

2、缩放法则的局限

华为的研究人员在论文中提出了一个理论框架，旨在解释Transformer模型的性能动态，特别是模型规模和训练数据量对性能的影响。以下是他们提出的几个关键理论点：

1. 记忆过程：他们认为Transformer模型的性能与其记忆训练样本的能力有关。当模型能够更好地记忆训练数据时，它的泛化能力也会提高。

2. Hopfield网络模型：研究人员使用Hopfield网络来模拟Transformer的行为。Hopfield网络是一种能够存储和回忆模式的关联记忆模型，这与Transformer模型处理输入序列的方式相似。

3. 注意力机制的解释：他们设计了一个能量函数，类似于现代连续Hopfield网络中的能量函数，来提供对Transformer中注意力机制的洞见。

4. 全局能量函数：通过majorization-minimization技术，他们构建了一个全局能量函数，该函数能够捕捉Transformer模型的层次结构。

5. 交叉熵损失的下界：在特定条件下，他们展示了模型的交叉熵损失被一个大约等于1的常数下界所限制。

6. 数据集大小与模型参数的关系：他们指出，为了达到最佳的跨熵损失，模型的参数数量N需要与数据集大小D的平方成正比，即N = O(D^2)。

7. 实验与理论的一致性：通过在不同规模的数据集上进行实验，他们发现实验结果与理论预测一致，即模型的跨熵损失趋于稳定在一个特定的值，而不是随着模型规模的增大而无限降低。

图1 展示了不同能量景观的对比。其中包括：

• (a) 负LogSumExp函数，作为Demircigil等人（2017）工作的扩展。
• (b) MCHN（现代连续Hopfield网络）能量中的正则化项。
• (c) MCHN能量函数E1_MCHN(x)。
• (d) 提出的能量函数E(x)，使用平方欧几里得范数。

4、实验验证

4.1 GPT-2 模型的不同数据集实验

半径r的实证分析

4.2 普通Transformer模型的训练

交叉熵损失的深入分析

图4 展示了在2M Question-Formation数据集上训练的普通Transformer模型的训练损失。这些模型分别有6层和10层，训练损失稳定在大约1的值，与论文中的命题4相符。