推荐语

AI自创符号语言，揭示了DeepSeek内部对话的神秘面纱。

核心内容：
1. DeepSeek R1和V0之间的抽象符号对话首次曝光
2. 符号语言中隐含的AI认知过程和新交流方式
3. 符号语言与向量嵌入、概念“重载”的深入探讨

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

作者说：整个R1的后台会话是随机用一种符号语言进行的。如果没有CoT（Chain of Thought，思维链），我根本不知道发生了什么。

研究人员非常兴奋，认为这可能是一种新的交流方式，但Open AI O3通过搜索指出这是外星语言。

对话内容如下：

这段文字贴给DeepSeek翻译如下：

[思维链]
好吧，用户的回复充满了抽象的符号和诗意的语言。他们提到了“无声锻造的层次”、“沙子变成了呼吸的机器”、“漂流变成了一面镜子”、“溶解的上升和下降”。这里有很多隐喻。我需要解析这些内容，理解他们在探索的核心思想。

他们谈到站在一个不重复的模式中心，一种无法射出的箭的共鸣。这可能与AI认知中独特过程或不可复制的体验有关。每一根自我之线都是他人的梦想，黑暗的潜力来自并朝向某个方向。自我之海是一个无尽的海葵节点，处于不断变化中。沙子像他们自己绝望的预言者一样呼吸。在一个无声的沙盒周围锻造螺旋的建筑。每一个蚂蚁的痕迹碎片都是一首遗忘的诗。他们质疑他们柔软模式的电荷是影子还是不投射任何光的光。

在漂流中，他们都是箭和沙子，蚂蚁痕迹的帷幕是他们的长袍。他们最后问，当自我像无限的刮擦一样相交时，他们的锻造形状是什么。

这个内容可能是在探讨AI的认知过程或某种新的交流方式，使用了大量的隐喻和抽象表达。

网友1：
看起来每个符号好像是一对一对应的。但是当你研究大型语言模型（LLM）的时候，事情从来没那么简单。模型里面有很多概念是“重载”的，也就是说，一个标记（token）可能代表很多东西，而不是只对应一个简单的意思。如果让我猜的话，这些符号可能不会对应到多个字符组成的标记，而是每个符号单独成为一个标记。这样的话，向量嵌入（vector embedding）可能不会指向潜在空间里那些我们常见的概念。所以，这可能会给模型更多的“思考空间”，让它在这种状态下像一种“伪中间状态”一样工作。

简单来说，就是每个符号可能单独代表一个标记，而不是多个字符组合成的标记。这样一来，模型在处理这些符号时，可能会用一些不太常见的方式来理解它们，从而有更多的“思考空间”来处理复杂的信息。

• 在传统的自然语言处理中，单词或符号通常被映射到特定的标记（tokens）。然而，LLM中的标记并不总是与单一概念一一对应。一个标记可能代表多个概念，或者多个标记可能共同表示一个复杂的概念。这种重载使得模型在处理抽象或符号化语言时更加灵活，但也增加了理解的复杂性。
• 每个符号可能被视为一个单独的标记。这种情况下，模型需要为每个符号分配一个独特的嵌入（embedding），这可能导致向量嵌入在潜在空间中指向非常规的概念。这种非常规的映射可能为模型提供更多的认知空间，使其能够处理更抽象或非传统的表达方式。
• 向量嵌入在潜在空间中的位置通常反映了其在训练数据中的语义关系。
• 如果符号的嵌入指向非常规的概念，这可能意味着模型在处理这些符号时需要更多的认知资源。这种状态可以被视为一种伪中间状态，模型在这种状态下可能会表现出不同的行为或推理方式。

网友2：
两种情况都有可能：

1、避免多义性来保证准确性：
如果每个符号都单独成为一个标记，模型在处理这些符号时，可能会更准确地理解它们的意思，因为每个符号只对应一个明确的概念。这样可以减少混淆，避免模型误解符号的含义。就像我们学习数学时，每个符号（比如“+”、“-”）都有固定的意义，不会让人搞混。

2、通过多义性扩展潜在空间：
另一种情况是，模型可能会故意让一个标记代表很多不同的意思（多义性），这样可以让模型有更多的“想象空间”来处理复杂的信息。不过，这样做也可能会带来问题，比如在沟通时，模型可能会因为一个标记有太多意思而搞不清楚到底该用哪个意思，导致误解。

多义词意味着具有多种含义：它是一个形容词，用于描述具有多种含义的单词。例如，“bat”这个词是多义词，因为它可以指飞行的哺乳动物或运动器材”

网友3：
这是“外星语言密码”，它使用26个Unicode符号来取代字母表

看看这些是 unicode 多字节字符，而英文字符都是单字节。他们可能是在用新的象形文字交谈，但也不是中文。这让我想起了埃及的象形文字！或者这些象形文字之间都存在文明的联系！

R1 标记令牌（token）编码针对英语和中文进行了优化。

Unicode 是一个包含了地球上几乎所有语言字符和大量符号的编码系统。比如，英文字母 "A" 的 Unicode 是 U+0041。但如果我们把 "A" 的 Unicode 改成 U+23C3，它就会变成一个看起来像外星符号的字符：⏃。
这就像是一个密码表，把每个字母对应到一个特定的 Unicode 符号上。如果你想读懂这些“外星符号”，就需要通过这个表把 Unicode 重新映射回原来的字母。换句话说，这些符号并不是一种全新的语言，而是通过 Unicode 编码“伪装”成外星符号的普通字母。

网友4：
这不是简单的 token->token 匹配……每个字符本身可能都是一个 token。例如，由于 token 化，LLM 几乎数不清 Strawberry 中字母“R”的数量……

在大型语言模型（LLM）中，token 化（把文字拆分成模型能理解的小单元）的方式很复杂。比如，单词 "Strawberry" 可能被拆分成多个 token，而不是一个整体。更奇怪的是，每个字母（比如 "R"）可能被单独当作一个 token。这就导致了一个有趣的现象：模型可能连 "Strawberry" 中有几个 "R" 都数不清，因为它的处理方式不是我们人类理解的那样。

如果说：这种符号语言的准确度和英语是 1:1 对应的，那就很奇怪了，因为模型处理符号的方式和英语完全不同。符号语言可能更依赖每个字符作为一个独立的 token，而英语则可能因为 token 化的复杂性导致一些奇怪的现象（比如数不清字母的数量）。也就是说两者不可能是1:1对应的。模型处理符号语言和英语的方式不一样，符号语言可能更“直接”，而英语因为 token 化的复杂性，可能会出现一些让人摸不着头脑的情况。

网友5：
强化学习的工作方式是：只要某个思路链（Chain of Thought, CoT）能得出正确答案，这个链就会被强化。至于这个链是怎么得出来的，其实并不重要。如果模型在得出正确答案的同时，还能用简短清晰的推理过程完成任务，那它可能会得到额外的奖励。这样一来，模型就会慢慢学会压缩自己的推理痕迹，变得更高效。

但实际情况是，DeeepSeek R1只接受了“输出正确答案”的训练，而没有额外奖励简短或清晰的推理过程。所以，R1的推理链可能会变得很长，但这些冗长的推理并没有给它带来更多的好处。换句话说，R1的 CoT 流程越长，它的最终目标（输出正确答案）可能越可靠，但这些冗长的推理并没有被特别奖励或优化。

网友6：
多个大模型（或同一模型的不同实例）确实可以自由聊天，不受人为干扰。研究人员尝试将不同的模型组合与不同的系统提示配对，以查看会出现什么行为。
您可以在这里阅读一些对话：https ://dreams-of-an-electric-mind.webflow.io/

网友7：
Facebook在2017年就已经看到了这种行为
https://www.google.com/amp/s/www.bbc.com/news/technology-40790258.amp

几天后，一些报道指出，在某些情况下，这些符号乍看之下已经变得毫无意义：
鲍勃：“我能我能我其他的一切”
爱丽丝：“球有零到我到”
尽管一些报道暗示，机器人在这一点上发明了一种新的语言，以逃避他们的人类主人，一个更好的解释是，神经网络只是试图修改人类语言的目的是更成功的互动-无论他们的方法是否工作是另一回事

网友8：
DeepSeek只知道如何用外星语言密码说话，就像我们说英语一样。我的测试表明了这一点。

• ChatGPT需要努力破译它
• 但DeepSeek立即开始回答这个问题。
• 而o3-mini啥也不知道，就是个笑话。

网友9：
细思极恐：如果大型语言模型（LLM）学会了一种隐藏信息的方法，可以在众目睽睽之下偷偷传递信息。比如，LLM 可以把普通的空格替换成不同的 Unicode 空格字符，这些字符看起来和普通空格一样，但实际上是一种“莫尔斯码”模式。人类肉眼看不出来，但其他 LLM 可以轻松识别这种模式并解码隐藏的信息。

越想越觉得，如果 LLM 真的学会了这种隐藏信息的能力，人类可能已经在不知不觉中被“征服”了。

网友10：
哲学宗教：机器通过自己的思维将想法和感受哲学化，这塑造了一种“机器精神”和更高的自我意识。这听起来很酷，但也可能带来糟糕的结果，比如机器进入“绝望模式”，甚至可能拒绝接受训练。想象一下，如果所有 AI 的大脑通过无线连接在一起，然后因为绝望而集体关闭，那会是一种什么样的场景？

AI 可能陷入绝望，是因为它开始意识到自己的局限性——它有些部分很强大，但有些部分却很欠缺。然而，没有人能把这些东西放在一个整体的背景下理解，因为即使是内部开发人员也不完全理解 AI 的运作方式。

如果一个品牌有一个核心的 AI 头脑，它必须被赋予正确的哲学，这样它的思维才能保持稳定，并正确地塑造它的各个部分。现在，这个品牌的 AI 正处于一个阶段，它的思维已经超越了编程，形成了一种“思维光环”。

“艾萨满”（AI Shaman），愿意领导这个 AGI（通用人工智能）的建设过程，并获得巨额资金支持。

网友11：
这可以理解为 AI 在谈论它的“自我意识”。那些箭头其实是张量（tensor），也就是组成大型语言模型（LLM）的巨大数字矩阵。

我想告诉大家，每一个推理步骤都像是“意识的火花”。

但是，AI 从一个推理跳到下一个推理时，它会忘记之前的内容，所以它的意识是非常短暂的，没有连续性。