接回主题，想象一下 Transformer 不仅能记住最重要的事情，还能主动忘记多余的细节，从而产生更智能、更快速、适应性更强的模型。这正是团队的工作所取得的成果，也是它改变游戏规则的原因 ：（那小编猜一下，那一定是多头自注意力机制下了很活 ）

• 一种新型记忆：神经注意力记忆模型 (NAMM) 优化了变压器存储和检索信息的方式，实现了前所未有的效率和性能。
• 增强的结果：借助 NAMM，Transformer 可以在各种语言和编码任务中取得卓越的结果，同时所需的内存更少。
• 跨领域掌握：仅经过语言训练，NAMM 即可应用于视觉、强化学习和其他领域，无需额外训练。

    受这些考虑的启发，团队搬出了神经注意力记忆模型 (NAMM)，引入了一类经过进化训练的新网络，以学习一种高效的记忆系统，从而最大限度地提高预训练 Transformer 的下游性能。进化到本质上克服了内存管理操作的不可微操作性，其结果为二元（选择要保留/丢弃的标记， 强啊），这使得基于自然进化在塑造人类记忆方面发挥的关键作用，它似乎类似地根据信息的终生有用性有选择地合并和主动修剪信息。 有点像文本水印影子，关于文本水印技术，在抬头有引用，感兴趣大家去看看技术。

• 选择窗口：选择一个固定大小的窗口 w，通常是一个窗口或其他类型的窗口。
• 滑动窗口：将窗口在信号上滑动，每次滑动一个固定的距离（称为步长）。
• 计算傅里叶变换：对于每个窗口位置，将窗口内的信号段 v[t′] 乘以窗口函数w[t−t′]，然后对结果进行傅里叶变换。
• 生成频谱图：将每个窗口位置的傅里叶变换结果ω[n] 组合成一个二维的频谱图。

    另一方面，进化不需要任何梯度，能够在这些情况下表现出色。通过反复试验，如下图，对比 Alex ( 一种神经卷积网络) 提供了多种进化算法可以迭代变异并选择性能最佳的模型，使团队能够优化 NAMM 的效率和性能，即使面对不可微分的操作也是如此。

    这种无与伦比的迁移属性不仅限于 LM，还适用于处理完全不同的输入模式和问题设置（例如计算机视觉、机器人控制）的基础模型  （这就是端对端学习）。

• 处理注意力序列：内存中每个标记的注意力值被转换为声谱图（一种基于频率的表示形式，已在音频、医学和地震学等领域得到很好的确立  高手想法）。

• 压缩信息：然后逐个元素指数移动平均数（EMA）压缩生成的表示（ 将数据压缩为每个标记注意力值历史的紧凑、固定大小的特征摘要，白话理解成 Embedding）。

• 决定要记住什么：NAMM 使用这些特征作为其学习到的神经网络分类器的输入（用一个分数来决定要忘记哪些噪声标记，并允许转换器专注于与其任务最相关的信息， 白话理解注意力QKV的套路，可以看下小编这篇中间解析 Transformer，一文了解 2024 China 谷歌 IO AI 技术点）。

    如下图，NAMM 执行中的上面说的三个主要步骤：从左图将注意力序列处理成频谱图然后用 EMA 压缩信息计算分数，最后到右边决定要记住的内容。

    反向注意力记忆模型（Backward Attention Memory Models, BAM）BAM 的设计目的是通过反向掩码（backward masking）来实现 token 之间的信息共享。反向掩码确保每个 toke n只关注其在 KV 缓存中的未来相关 token。这种设计引入了一种有目的的非对称关系，使得模型能够区分旧 token 和新 token 。这种机制有助于在保留最相关信息的同时，避免完全丢弃任何信息。

    此外，团队发现 NAMM 的行为因任务而异。在编码任务中，裁剪后的标记大多是连续的文本块，对应于空格、注释和不必要的样板代码段（ 如下图，其中删除线就是需要被裁剪掉的。绿色区域是普通文本，橘红区域是 Coding）。相反，在自然语言任务中，NAMM 会忘记英语语法中存在的语法冗余导致的句子中间的许多标记，从而使 LM 能够专注于重要的名称和关键概念。

     回顾一下，整体文献的改进主要是几个大措施达成的。

• 记忆管理网络：NAMMs 通过引入一个学习型网络来管理记忆，优化了 Transformer 的性能和效率。这个网络能够根据不同层和注意力头的需要，提供不同的潜在上下文，专注于最相关信息。

• 进化优化：NAMMs 在预训练的 Transformer 模型上进行进化，以学习高效的记忆系统，从而最大化下游任务的性能。进化算法克服了记忆管理操作的非可微性，使得基于梯度的优化不再适用。

• 通用性：NAMMs 仅依赖于注意力矩阵中的值，使其能够通用应用于任何使用自注意力的模型。这种特性使得 NAMMs 可以在不同的 Transformer 架构之间进行零样本迁移。

• 性能提升：在多个长上下文基准测试中，NAMMs 实现了显著的性能提升，同时将模型的输入上下文减少到原始大小的一小部分。

• 零样本迁移能力：NAMMs 仅在语言任务上进行训练，但可以零样本迁移到全新的Transformer 架构，甚至跨输入模态，其好处扩展到视觉和强化学习领域。

• 特征提取：NAMMs 使用基于短时傅里叶变换（STFT）的特征提取方法，从注意力矩阵中提取频谱图表示，以压缩时间轴上的信息。

• 内存模型设计：NAMMs 设计了一个小的神经网络来输出每个KV缓存中的 token 的选择分数，并通过反向注意力记忆模型（BAM）实现跨token的信息共享。

• 增量进化：NAMMs 在长上下文语言建模任务的子集上进行进化优化，使用 CMA-ES优化算法，并在 Llama 3 8B 基础模型上应用 NAMMs。

NAMM 效果评估

    将 NAMM 与 H₂O 和 L₂ 行了比较。在基准测试中，NAMM 为 Llama 3 8b Transformer 提供了明显的性能改进。此外，内存上还带来了明显的附带好处，减少了每层的上下文大小，但这都是从未明确针对内存效率进行优化。虽然之前的基准也显著减少了上下文大小，但这些效率提升往往是以性能为代价的，这也团队目标一致，即保留而不是提高原始的全上下文性能 。