提示工程技术大概可以分成四类：

• 基于样本提示技术

• 思维链技术

• 自动增强技术

• 交互与推理技术

在上两篇篇文章中（第一篇，第二篇），我们已经介绍了（下图中标有和的部分）：

• 零样本提示（Zero-shot）

• 少样本提示（Few-shot）

• 思维链（Chain-of-Thought / CoT）

• 自动思维链（Automatic CoT）

• 自洽（Self-consistency）

• 自动提示工程师（Automatic Prompt Engineer）

• 生产知识提示（Generated Knowledge Prompting）

• 思维树（Tree of Thought / ToT)

• 思维图（Graph of Thoughts / GoT)

• 自动增强检索（Retrieval Augmented Generation / RAG)

这篇文章将介绍剩下的的方法论和框架。包括：

• 元认知提示（Metacognitive prompting）

• 逻辑思维链（Logic CoT）

• ReAct提示 （ReAct Prompting）

• 多模态CoT （Multimodal CoT）

• 自动推理和工具使用（Automatic Reasoning and Tool-use / ART)

• 思维算法（Algrithom of Thought）

请看下方标有✅的部分。

以下是它们各自的发布时间线：

ReAct提示法是一种将Reasoning（推理）与Action（执行）相结合于语言模型中的新框架。通过这种方法，大型语言模型（LLM）能够交替产出推理过程和针对特定任务的执行步骤，使系统能够在制定、维护和调整行动计划的同时，与外界环境互动，引入更多信息进行深入推理。

通过ReAct，模型能够与外部工具互动，获取更多信息，以形成更加可靠和基于事实的答案。比如，在问答任务中，模型将依次展开解决方案的路径（思考与执行）。其中，“思考”阶段助力模型理解问题并确定下一步行动；“执行”则是模型可以采取的具体操作，从允许的操作集中选取。“观察”则指模型与之互动的外部环境反馈，例如搜索引擎的结果。简言之，ReAct 能够在推理过程中辅以信息检索，同时利用推理定位下一步的检索目标。

以ReAct方法提出的示例问题：

• 问题：科罗拉多造山带东部扩展区的海拔范围是多少？

• 思考 1：我需要先搜索科罗拉多造山带，确定东部扩展区的位置，再查询该地区的海拔范围。

• 行动 1：搜索[科罗拉多造山带]

ReAct还应用于LangChain的CSV Agent和BabyAGI的执行Agent等工具。LangChain的CSV Agent利用ReAct框架与CSV格式数据互动，主要用于解答问题。

BabyAGI 的执行Agent则展示了另一种使用 ReAct 框架的Agent，它是一套能够独立处理问题，通过多次迭代实现目标的自治 AI Agent系统。

综上所述，ReAct提示法是结合了推理和执行功能的语言模型中的一项强大工具，它使模型能够与外界工具和环境互动，进而产生更加可靠和基于事实的答案。它已被应用于多种场景，如LangChain的CSV Agent和BabyAGI的执行Agent，帮助解决问题任务。

多模态思维链（CoT）是对传统思维链方法的一次重要扩展，它通过将文本与视觉信息结合在一个双阶段框架中，目标是让 大型语言模型（LLM）能够跨文本和图像等多种模式解析信息，从而提升它们的推理水平。

核心要素及其功能包括：

• 生成推理依据：在首个阶段，模型融合文本与图像等多模态信息，生成推理的依据，即从视觉及文本资料中解释并理解问题的上下文。

• 答案推导：利用第一阶段形成的推理依据，在第二阶段导出答案，通过这个依据指导模型逻辑推理，以寻找准确的答案。

• 实践案例：例如，在“根据这两个磁铁的图片，判断它们是相互吸引还是排斥？”的情形下，模型将同时考察图像（比如，注意到一个磁铁的北极与另一个的南极相近）和问题文本，来构建推理依据并得出结论。

自动推理与工具使用（ART）框架 利用大型语言模型（LLM）自发生成推理的中间步骤，是推理加上行动（ReAct）理念发展的产物。这个理念通过结合推理与行动，极大地扩展了LLM在处理语言推理和决策任务方面的能力。

ART的核心特点和功能包括：

• 任务拆解：当接收到一个新任务时，ART 会从一个任务库中挑选出多步骤推理和工具使用的示例。

• 整合外部工具：在生成过程中，一旦需要调用外部工具，就会暂停，并在继续之前融合这些工具的输出，让模型能够从示例中学习，分解新任务，并在不需要任何预设的情况下恰当使用工具。

• 扩展性：ART允许人工纠正特定任务程序的错误或加入新工具，这大幅提升了在特定任务上的表现，且仅需极少的人工干预。

在LangChain中的应用：

• LangChain是一个开源框架和工具集，旨在应用LLM，通过ART可以构建出既能推理又能记忆的AI Agent。

• 举个例子，一个AI代理可以被分配到理解其任务和角色，合理化地提出问题，使用互联网搜索等工具，暂停来获取人类的反馈，并记录其进展，而不会忘记先前的知识，这一过程会重复进行，直到达到结束的条件。

• 在诸如担任初级招聘者的代理的实际应用场景中，ART在LangChain中证明了它的实用性。

LangChain库为实现LLM和ReAct提示提供了实用的方法，通过示例展现了如何在LangChain库的帮助下实际进行ReAct提示，并展示了如何在解答问题的思维过程中，通过搜索、评估结果、决策下一步行动，并持续这一过程直到问题得到解决。

思维算法（AoT）既是一种架构，也是一种引导技术，代表了一种通过减少计算量和缩短时间来优化思维树（ToT）的先进方法。它通过把问题细分成更小的子问题，并有效运用深度优先和广度优先搜索等算法，达到了其效率。AoT结合人脑思维方式和算法逻辑，引导模型沿着算法推理的路径前进，使其在更少的查询中探索更多的可能性。这一特点使得AoT成为处理需要复杂逻辑推断任务的有力工具，也是训练人工智能的一个前景光明的新方法。

例如，在解决“所有狗都有四条腿”这样的问题时，AoT会评估如下初步步骤：

• 所有狗都是哺乳动物。

• 所有哺乳动物都有四条腿

AoT对这些步骤进行评估，通过证据来支持或反对第一步，然后对第二步进行验证。

AoT不仅效率高、节省资源，通过利用AI的自我学习能力，减少了对数据和计算力的需求，有望成为一种改变游戏规则的AI训练技术，使AI变得更加智能和类人化。

更进一步，AoT通过提升想法的探索性、加强推理能力，并优化LLM的效率和类人推理能力，有可能彻底改变人工智能的面貌。它开辟了让AI更具创造性、适应性和准确性的新路径。

挑选最适合的提示方式需依据任务的特殊要求，对于那些需要复杂解决方案和逻辑推理的任务，像AoT提示或ToT提示这类方法可能更适宜；若任务需融合多种信息类型，那么多模态CoT提示可能更加有利；而对于那些需与外部工具或环境互动的应用来说，ART 提示或 ReAct 提示或许更加有效；最终的选择应紧密结合任务本身的特定需求和约束条件。

最后，这篇是关于提示工程方法论与框架的最后一篇文章，感谢您的阅读。