大语言模型的可控性和一致性问题

从chatgpt3.5以来，人们一直在致力于提高大模型的可控性和一致性。因为可控性和一致性是生产力工具的基本要求，如果不具备这两点，大语言模型将很难应用于实际工作场景。

但是从底层技术来看，这个问题现在比较难解决。大语言模型的控制指令是以自然语言输入为主，而人类的自然语言本身就具有高度的抽象性和不确定性。人们希望大语言模型能像人脑一样主动思考并输出答案，但人脑都经常会犯错，所以大模型犯错也很正常。

大模型的终极目标是构建一个超级人脑，人脑犯错后会纠正，长时间训练后，人脑就可以实现可控性和一致性。婴幼儿的发育大致就是这样一个过程，早期连站立都无法做到，但不断训练后，就可以稳定的站立。大模型现在还处于婴儿阶段，还需要大量的训练，这是目前可控性和一致性较差的原因之一。

原因之二是大语言模型的输出有一个基本规律，高质量信息输入，高质量信息输出。低质量信息输入，低质量信息输出。大部分用户的输入信息都是低质量的，这是大语言模型输出质量不高的另一个原因。为了解决这个问题，当下的各大模型不断提高上下文长度，希望通过增加对上下文的理解来提升输入质量。这个方法有效 ，但可能天花板不高。人脑接收的信息不止是文字和语言，还有大量的声音，图像，甚至还有体感和玄之又玄的第六感。这些输入综合到大脑中，然后大脑才反馈输出。仅靠文字输入就想把一件事描述精准很难，这一点早在古希腊时期人们就发现了。亚里士多德还总结出“无限后退”的观点，大意是所有文字描述的概念都是不准确的，都可以向前无穷追问。上下文长度能做到无穷吗？所以单靠上下文长度可能不是个性价比高的解决方案。更靠谱的方法可能还是要靠提升大模型的多模态识别功能，毕竟声音，图像的信息密度和信息质量高过文字很多。

原因之三和大模型底层算法有关，大模型的底层算法transform本质上是一个位置编码算法，使用者输入一句话，transform把这句话转换成一串编码，然后再去猜下一个位置出现概率最大的字，猜出下一个字后再去猜下下个字，直到生成一整句回答。大模型到底是如何计算出下一个字的？这个计算过程不可见，且充满不确定性，这种底层算法上的不确定性也是造成不可控的原因之一。为了解决这个问题，科学家引入了很多工程手段，例如做数据对齐，引入RAG（增强检索）等方法。但只能说是治标，还谈不上治本。

可控性和一致性问题可能是长期存在的问题，至少目前还看不到彻底解决的方案，所以想把大语言模型作为通用型人工智能可能还需要发展很长时间。但如果把应用范围从通用切换到专用，很多问题就不是问题了。例如现在很成熟的文字生成和代码生成功能，应用到写代码场景和写作场景中，大模型已经能够轻松驾驭。

山姆奥特曼前不久称gpt5将在写作能力上大幅提升，大概也是想通了，先提升专用能力保证商业化才是王道。