微信扫码
添加专属顾问
我要投稿
Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
问题:罗杰有5个网球。他又买了2罐网球,每罐有3个网球。现在他总共有多少个网球?
这是一道小学水平的数学推理题目,对于现在的我们来说,肯定是毫无压力。甚至对于现在大多数LLM模型来说,也能够回答正确。但要知道,一个语言模型为什么能够回答正确这种带有推理的数学计算,这是值得玩味和深思的问题。
遵循人类的思考逻辑来说,为了解决上面这道题目,首先需要分析:当前有5个网球。其次2罐网球,每罐3个,可知共6个。最后,相加得到“11”这个答案。这样的思维过程是一个步步紧扣的链式思维,也被称之为思维链(Chain-of-Thought)。
思维链技术同样可以应用于LLM模型上,它能够模拟人类大脑处理信息的逻辑链条,面对复杂问题时,会自然地将其拆解为若干个可管理的小问题,逐一攻克,最终汇聚成完整的解决方案。语言模型通过思维链提示,能够模仿这一过程,逐步推理出正确答案。思维链技术最早出现在一篇2022年发布的题为《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》的论文中,研究人员探索了生成思维链——一系列中间推理步骤——如何显著提升大型语言模型执行复杂推理的能力。
论文探讨了一种名为思维链提示(Chain-of-Thought Prompting)的技术,旨在提升语言模型解决复杂问题的能力。通过模仿人类解决问题时的逐步思考过程,该技术使模型能够通过一系列逻辑推理步骤来得出答案。论文展示了在提供少量示例的情况下,大型语言模型能够生成思维链,从而在算术、常识和符号推理任务上取得显著的性能提升。这种提示方法不仅提高了模型的推理能力,还为理解模型的决策过程提供了透明度。此外,这种方法的普适性意味着它可以应用于任何可以通过语言表达的人类任务,为模型的使用场景增加新的可能性。
思维链提示作为一种促进语言模型推理的方法具有几个吸引人的特性:
首先,从原则上讲,思维链允许模型将多步骤问题分解为中间步骤,这意味着可以为需要更多推理步骤的问题分配额外的计算。
其次,思维链提供了一个可解释的窗口,了解模型的行为,表明它可能如何得出特定答案,并提供机会来调试推理路径在哪里出了问题(尽管完全描述支持答案的模型计算仍然是一个开放性问题)。
第三,思维链推理可以用于数学文字问题、常识推理和符号操作等任务,并且原则上可能适用于任何人类可以通过语言解决的任务。
最后,通过在少量提示的示例中包含思维链序列的例子,可以轻松地在足够大的现成语言模型中引发思维链推理。
研究还进行了消融实验,测试了其他类型的提示对性能的影响:
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-04
NVIDIA终于为CUDA添加了原生Python支持
2025-04-04
企业级大模型落地部署技术步骤 2025
2025-04-04
面向六个月后的 AI Code,也许影响的不只是前端
2025-04-04
2025风口指南:万字长文带你吃透大模型Agent,涵盖应用、场景与发展
2025-04-03
大模型不再是黑盒子:Anthropic解剖了Claude大脑
2025-04-03
OpenAI 发布新型音频模型,听起来比以往任何时候都更像人类
2025-04-03
工作流(Workflow)VS 智能体(Agent)
2025-04-03
中国AI应用们,正在苦等一个国产Claude
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-02
2025-04-02
2025-04-01
2025-04-01
2025-04-01
2025-03-30
2025-03-30
2025-03-28