LLM 界的大力出奇迹是什么样的？

美国初创公司 Magic 最近发布了一个具有1亿Token 的上下文模型。通俗点说就是你发给 AI 的消息可以写1亿个字，和国产的 Kimi 走的路子有点像。

Magic 为新发布的 LTM 模型则不依赖于传统的模糊记忆训练方法，而是设计了一种新的名为 HashHop 的技术。

基于这种技术的模型可以对推理过程中给予的多达1亿个上下文标记进行推理，Magic 还表示：

虽然这些超长上下文模型的商业应用很多，但我们只搞上游模型。

HashHop

回到现实，其实当前的长上下文评估并不理想。

就拿“大海捞针”这个故事来比喻评估，将一个随机事实（针）放在长上下文窗口（大海）中，要求模型检索这件事。

Magic 因此设计了 HashHop 技术，一个新的评估上下文长度和可靠性的体系。

但哈希是随机的，所以导致不可压缩，要求模型能够始终存储和检索给定上下文大小的最大可能信息内容。

先是提出一个使用哈希对进行训练的模型：

然后要求它完成随机选择的哈希对的值：

这里衡量了单步感应头的出现，但实际应用通常需要多跳。

为了实现这一点，让模型完成一个哈希链：

强调保证顺序和位置不变性，将对提示中的哈希对进行打乱：

并提出了一种更有挑战的变体，使其中模型跳过一些步骤。

例如直接从哈希1映射到哈希6：

LTM-2-mini

团队发现，在没有思路链的情况下尝试3次或更多次跳跃时性能会变差。

但对于一次2次跳跃（哈希1 → 哈希3），在没有思路链的情况下，性能上却提升了不少。

利用超长上下文机制在 text-to-diff 数据上训练了一个原型模型。

虽比前沿模型小几个数量级，但也承认了它的代码合成能力并不是很好，只能偶尔会产生合理的输出。

和Google合作

Google Cloud 将成为 Magic 的重要合作伙伴。

所谓超级计算机正是得到 NVIDIA 的大力支持，一共两台：

NVIDIA H100 Tensor Core GPU 提供的 Magic-G4 以及和 NVIDIA GB200 NVL72 提供的 Magic-G5。

还能够随着时间的推移扩展到数万个 Blackwell GPU。

3.2亿美元投资

AI继续！