提示工程中的思维结构：让大语言模型更聪明地思考

推荐语

解锁大语言模型的智能潜力，提示工程思维结构是关键。

核心内容：
1. 思维链技术：引导模型逐步推理，提升逻辑性能
2. 自一致性提示：生成多个解决方案，选择最一致的答案
3. 验证与编辑技术：利用真实世界数据对回答进行验证和优化

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

点击“蓝字” 关注我们

要真正挖掘 LLMs 的全部潜力，关键在于引导它们如何思考。提示工程中的思维结构正是实现这一目标的核心所在，它通过精心设计的提示技术，显著提升了模型推理能力、回答可靠性和透明度。今天我们一起了解一下提示工程中的思维结构。

一、思维结构的核心技术

（一）思维链（Chain of Thought, CoT）

思维链是一种引导 LLMs 逐步推理得出最终答案的方法。在解决问题时，它模仿人类的解题过程，不再局限于简单的表面回答。例如，在回答 “如果有 3 个苹果，送出去 1 个，还剩几个？” 这个问题时，思维链的回答方式是：“一开始有 3 个苹果，送出去 1 个，所以剩下的苹果数量是 3 - 1 = 2 个”。这种推理方式使模型的行为更易于解释，在数学、推理以及多步骤问题的处理上，极大地提升了逻辑性能。它就像是在模型内部构建了一条清晰的推理路径，让每一步思考都有迹可循，从而提高了回答的准确性和可信度。

（二）自一致性提示（Self-Consistency Prompting）

自一致性提示技术让模型不再依赖单一的推理路径，而是生成多个解决方案，然后选择出现频率最高的答案。这一方法有效避免了模型陷入局部最优解或者重复错误的情况。以一个复杂的逻辑推理问题为例，模型可能会从不同的角度进行思考，产生多种推理过程和结果。通过综合考虑这些多样化的视角，模型能够选择最合理、最具一致性的答案，从而显著提高回答的准确性。这就如同人类在思考问题时，会权衡不同的思路，最终选择最优的解决方案，使模型的决策更加稳健和可靠。

（三）验证与编辑（Verify and Edit）

在模型初步生成内容之后，验证与编辑技术会利用真实世界的数据对回答进行验证和优化。在医疗、法律等高风险领域，事实的准确性至关重要，一个错误的信息可能会导致严重的后果。通过验证与编辑，模型可以检查回答是否符合实际情况，对不准确或不完整的内容进行修改。然而，该技术的有效应用依赖于可靠的外部数据源，如果数据源存在问题，可能会引入无关或错误的编辑，因此选择高质量的数据源是确保这一技术成功实施的关键。

（四）思维树（Tree of Thoughts）

思维树将问题分解为多个具有多种可能分支的思考步骤，在选择最佳路径之前，会对多个路径进行评估。这种方法为模型提供了更多的思考灵活性，尤其适用于需要创造性解决问题的场景。比如在设计一个新产品的创意阶段，模型可以通过思维树的方式，从不同的角度提出各种设计思路，然后对每个思路进行深入分析和评估，最终找到那些非显而易见但却极具创新性的解决方案，大大拓展了模型的思维边界。

（五）思维图（Graph of Thoughts）

思维图将知识和推理表示为一个相互连接的思维网络，模仿了人类大脑中的神经连接方式。在协作任务和头脑风暴中，这种结构能够充分发挥其优势。多个参与者可以在这个思维网络中共同添加和完善想法，不同的思维路径相互交织，形成一个丰富的知识和推理体系。通过捕捉多方向的推理过程，思维图能够更全面地反映问题的本质，促进创新思维的碰撞和融合，为解决复杂问题提供更广阔的视角。

（六）ReAct 提示（ReAct Prompting）

ReAct 提示将推理和行动相结合，模型在思考的同时能够与外部工具或环境进行交互。在规划旅行时，模型可以根据用户的需求，利用在线地图、旅游数据库等外部工具获取相关信息，然后进行推理和规划，生成详细的旅行方案。这种方式不仅增加了决策的透明度，还提高了模型的实用性和灵活性，使模型能够更好地适应现实世界中的各种任务需求。

（七）思维算法（Algorithm of Thoughts, AoT）

思维算法是一种用于上下文问题解决的框架，在推理过程中，它使用算法将复杂问题分解。对于需要形式逻辑推进的结构化任务，如数学证明、编程算法设计等，思维算法具有强大的优势。尽管该方法计算量较大，但它能够为模型提供严谨的推理步骤，确保在处理复杂逻辑问题时的准确性和可靠性，是解决高难度问题的有力工具。

（八）思维框架（Skeleton of Thoughts, SoT）

思维框架技术让模型先生成一个大纲，然后并行填充细节。在需要多个答案或处理多任务的场景中，这种方式能够大大提高效率。以撰写一篇综合性的研究报告为例，模型可以先构建出报告的大纲结构，包括各个章节的主题和要点，然后同时对各个部分进行详细内容的生成，使整个创作过程更加高效、有序，充分发挥了模型的并行处理能力。

（九）重新表述并回答（Rephrase and Respond, RaR）

重新表述并回答技术在回答问题之前，会对问题的表述进行调整。对于模糊不清的查询，这种方法能够显著提高回答的清晰度。如果用户提出一个语义模糊的问题，模型可以先尝试重新组织问题，使其含义更加明确，然后再进行回答。当与思维链技术结合使用时，RaR 不仅能够提高回答的准确性，还能深入挖掘问题的本质，提供更具深度和广度的答案。

（十）自我优化提示（Self-Refine Prompting）

自我优化提示技术使模型能够对自己的输出进行评估，并通过迭代不断优化。在自主系统和自我改进的智能体中，这一技术尤为重要。模型可以在没有人类干预的情况下，根据一定的评估标准，检查自己的回答是否存在错误或不足，然后进行修正和完善。这不仅减少了模型产生幻觉和错误的可能性，还使模型能够随着时间的推移不断提升自己的性能，实现自我进化。

（十一）自然语言推理链（Chain of Natural Language Inference, NLI）

自然语言推理链通过一个层次结构来检测和减轻模型的幻觉现象。在法律和医疗等对信息准确性要求极高的领域，模型产生的幻觉可能会带来严重的后果。NLI 技术首先对模型输出中的潜在幻觉进行检测，然后通过一系列推理步骤进行纠正，确保模型提供的信息真实可靠，为关键领域的应用提供了重要的保障。

（十二）验证链（Chain of Verification）

验证链采用一种自我检查机制，模型通过生成验证问题来完善自己的答案。这一过程鼓励模型进行批判性思考，在回答问题之后，模型会进一步思考如何验证答案的正确性，并通过提出相关的验证问题来进行自我检验。这种自我反思和验证的过程有助于提高答案的可靠性，使模型的回答更加严谨、准确。

（十三）密度链（Chain of Density）

密度链是一种用于文本总结的框架，它通过逐步添加细节来生成高质量的总结。从基本的摘要开始，经过不断的细化和抽象，最终生成信息密度高且意义损失最小的丰富、分层式总结。在处理大量文本时，密度链能够有效地提取关键信息，同时保留文本的核心内容，为用户提供简洁而全面的信息概述。

（十四）词典链（Chain of Dictionary）

词典链在翻译过程中，通过逐步参考多语言词典来实现语言转换。对于资源较少的语言翻译，这种方法尤为重要。它通过建立不同语言之间的词汇对应关系，为模型提供了准确的翻译依据，帮助模型克服语言障碍，实现更精准的翻译，促进了跨语言交流和信息传播。

（十五）符号链（Chain of Symbol）

符号链将长文本替换为符号，以简化推理和规划过程。在编程、逻辑推理等任务中，符号具有高度的抽象性和简洁性，能够有效降低认知负荷。模型可以通过对符号的操作和推理，更高效地完成任务，提高处理复杂问题的速度和准确性。

（十六）解释链（Chain of Explanation）

解释链用于识别有害或操纵性文本中的触发词和目标，在人工智能安全和内容审核方面发挥着关键作用。在网络对话中，及时发现并理解有害意图对于维护良好的网络环境至关重要。解释链技术能够帮助模型分析文本的语义和语境，识别潜在的有害信息，从而采取相应的措施，保障用户的安全和权益。

（十七）知识链（Chain of Knowledge）

知识链在多源信息检索中，通过收集初步答案、评估各种知识块并对其相关性进行排序，提高了知识的准确性和完整性。在面对海量的信息时，模型能够利用知识链技术筛选出最相关、最可靠的信息，为用户提供高质量的知识服务，使信息检索更加智能和高效。

（十八）情感链（Chain of Emotion）

情感链通过分析语言来检测和模拟情感反应，对于需要情感理解的应用，如虚拟治疗助手和社交聊天机器人至关重要。在与用户的交互中，这些应用能够通过情感链技术感知用户的情绪状态，并给予相应的情感回应，增强用户体验，使交互更加自然和人性化。

二、思维结构在大语言模型中的重要意义

（一）提升推理能力

思维结构使模型能够运用结构化逻辑解决问题，而不是仅仅依赖表面模式。在面对复杂的逻辑推理、数学计算等问题时，模型可以借助思维链、思维算法等技术，按照清晰的推理步骤进行思考，深入分析问题的本质，从而找到准确的解决方案。这种基于逻辑的推理方式大大提高了模型解决问题的能力，使其能够应对各种具有挑战性的任务。

（二）减少幻觉现象

幻觉是大语言模型在生成内容时常见的问题之一，可能会导致生成的信息与事实不符。思维结构中的验证与编辑、自然语言推理链等技术，通过将模型的输出与已知事实或逻辑一致性进行对比验证，能够有效地减少幻觉的出现。模型在生成内容后，可以利用外部数据或推理规则对答案进行检查和修正，确保输出的信息真实可靠，提高了模型的可信度。

（三）任务专业化

不同的领域和任务对模型的要求各不相同，思维结构能够使模型在无需大量精细调整的情况下，快速适应复杂的特定领域任务。在医疗领域，模型可以利用验证与编辑技术，结合专业的医学知识数据库，准确回答各种医学问题；在法律领域，自然语言推理链技术能够帮助模型对法律条文进行准确解读和应用。通过运用不同的思维结构，模型能够在各个领域发挥出色的表现，实现任务的专业化处理。

（四）模拟人类认知

人类的思考过程是复杂而多样的，包括逐步推理、分支思考、不断细化和情感理解等。思维结构中的各种技术，如思维链、思维树、情感链等，模仿了人类的这些思考方式。模型可以像人类一样，一步一步地分析问题，从不同的角度探索解决方案，并且能够理解和回应情感信息，使模型的行为更加贴近人类的认知模式，提升了交互的自然度和用户体验。

提示工程中的思维结构为大语言模型的发展开辟了新的道路。通过这些精心设计的提示技术，大语言模型能够更加智能地思考、决策和交流，为各个领域带来了创新和变革的机遇。尽管面临一些挑战，但随着技术的不断进步和研究的深入，相信思维结构将在未来的人工智能发展中发挥更加重要的作用，推动大语言模型向更加智能、可靠的方向发展。