近年来，自然语言处理（NLP）与大型语言模型（LLM）领域不断发展。研究人员不断探索新技术以增强这些模型的能力。但是，幻觉（Hallucination）依然存在，影响着语言模型输出的事实正确性。在小瑞之前的文章“RAG性能优化终极指南”中，曾经聊到过一些解决幻觉的方法，有兴趣的小伙伴可以看看。今天我们来看看另外一种方法——RAT。
近年来，自然语言处理（NLP）与大型语言模型（LLM）领域不断发展。研究人员不断探索新技术以增强这些模型的能力。但是，幻觉（Hallucination）依然存在，影响着语言模型输出的事实正确性。在小瑞之前的文章“RAG性能优化终极指南”中，曾经聊到过一些解决幻觉的方法，有兴趣的小伙伴可以看看。今天我们来看看另外一种方法——RAT。
01.
为什么会有RAT
在生成式AI应用中，实现效率与生成响应的准确性之间存在着一定的负关联。应用开发者通常需要在效率和准确性之间做 tradeoff，在保障准确性的同时，势必会以牺牲部分效率为代价。那么，如何在准确性和效率之间找到这个平衡点呢？RAT提供一种解决方法。
在生成式AI应用中，实现效率与生成响应的准确性之间存在着一定的负关联。应用开发者通常需要在效率和准确性之间做 tradeoff，在保障准确性的同时，势必会以牺牲部分效率为代价。那么，如何在准确性和效率之间找到这个平衡点呢？RAT提供一种解决方法。
02.
什么是RAT
RAT是检索增强型思考（Retrieval-Augmented Thoughts）的简称，是一种简单而有效的提示策略。RAT并不是一项新的技术，而是通过结合思维链（Chain-of-Thoughts, CoT）提示和检索增强生成（Retrieval-Augmented Generation, RAG），来解决Long-Horizon（长视野）推理和生成任务的一种方法。
关于RAG，小瑞之前写过很多相关的文章了，此处就不再赘述，有兴趣的小伙伴可以通过点击文末的【RAG】合集进行了解。
CoT提示是一种通过鼓励模型分解复杂问题，按照一系列逐步的“思考（Thought）”或中间步骤来处理问题，从而模拟人类解决问题时的逐步推理过程。通过CoT提示，模型被引导明确地表达其推理过程，有助于减少生成似是而非但缺乏连贯逻辑基础的答案的倾向，使得模型的推理过程更加透明，从而提高结果的可靠性和可解释性。
RAT作为RAG和CoT的有机结合，其将思考作为查询（Thoughts as Queries），并通过逐步修正思考和生成响应的方式进行操作。RAT是一种Zero-Shot提示方法，拥有明显的优势，尤其在传统的CoT提示、RAG以及其他基线方法所面临的挑战中表现突出。这种方法在挑战性代码生成、数学推理、任务规划以及创意写作等方面都取得了显著的成果。
RAT过程可以大致划分为两步：
第一步
由大型语言模型（LLM）生成的初始Zero-Shot思维链（CoT）提示连同原始任务提示一起被用作查询进行信息检索。对于由LLM生成的每个中间思考或推理步骤，把问题或任务提示和特定推理步骤作为查询从外部源检索相关信息。基于检索到的与提示相关的上下文和当前推理步骤，相应地修改或细化CoT步骤。这一步允许LLM将检索到的信息纳入其推理过程，从而帮助修订存在缺陷的CoT。
第二步
使用修改后的CoT步骤和检索到的上下文生成最终响应或解决方案。这一最终输出旨在通过利用LLM的推理能力和从相关来源检索的外部知识来提供全面且事实上准确的答案。
如前所述，RAT是一种渐进的方法，信息检索、CoT修正以及生成响应不是一次性就会完成的。LLM会根据CoT（包含一系列子任务）逐步（Step-by-Step）产生响应。只有当前的思考（Thought）步骤会根据检索到的信息（基于任务提示）以及当前或过去的CoT。而这种策略非常类似于人类的推理过程。
RAT是检索增强型思考（Retrieval-Augmented Thoughts）的简称，是一种简单而有效的提示策略。RAT并不是一项新的技术，而是通过结合思维链（Chain-of-Thoughts, CoT）提示和检索增强生成（Retrieval-Augmented Generation, RAG），来解决Long-Horizon（长视野）推理和生成任务的一种方法。
关于RAG，小瑞之前写过很多相关的文章了，此处就不再赘述，有兴趣的小伙伴可以通过点击文末的【RAG】合集进行了解。
CoT提示是一种通过鼓励模型分解复杂问题，按照一系列逐步的“思考（Thought）”或中间步骤来处理问题，从而模拟人类解决问题时的逐步推理过程。通过CoT提示，模型被引导明确地表达其推理过程，有助于减少生成似是而非但缺乏连贯逻辑基础的答案的倾向，使得模型的推理过程更加透明，从而提高结果的可靠性和可解释性。
RAT作为RAG和CoT的有机结合，其将思考作为查询（Thoughts as Queries），并通过逐步修正思考和生成响应的方式进行操作。RAT是一种Zero-Shot提示方法，拥有明显的优势，尤其在传统的CoT提示、RAG以及其他基线方法所面临的挑战中表现突出。这种方法在挑战性代码生成、数学推理、任务规划以及创意写作等方面都取得了显著的成果。
RAT过程可以大致划分为两步：
第一步
由大型语言模型（LLM）生成的初始Zero-Shot思维链（CoT）提示连同原始任务提示一起被用作查询进行信息检索。对于由LLM生成的每个中间思考或推理步骤，把问题或任务提示和特定推理步骤作为查询从外部源检索相关信息。基于检索到的与提示相关的上下文和当前推理步骤，相应地修改或细化CoT步骤。这一步允许LLM将检索到的信息纳入其推理过程，从而帮助修订存在缺陷的CoT。
第二步
使用修改后的CoT步骤和检索到的上下文生成最终响应或解决方案。这一最终输出旨在通过利用LLM的推理能力和从相关来源检索的外部知识来提供全面且事实上准确的答案。
如前所述，RAT是一种渐进的方法，信息检索、CoT修正以及生成响应不是一次性就会完成的。LLM会根据CoT（包含一系列子任务）逐步（Step-by-Step）产生响应。只有当前的思考（Thought）步骤会根据检索到的信息（基于任务提示）以及当前或过去的CoT。而这种策略非常类似于人类的推理过程。
03.
RAT在Long-Horizon推理和生成中的使用
Long-Horizon推理，通常涉及复杂的预测建模和规划算法，能够模拟和预测不同行动方案在未来较长时期内的后果，需要处理不确定性、适应不断变化的条件，并随着时间的推移纳入反馈。
先来看一个RAT在Long-Horizon推理场景中的示意图。
图源：https://arxiv.org/pdf/2403.05313.pdf
如上图所示，在给定一个任务提示（在图中显示为I）时，RAT从由LLM在Zero-Shot情况下产生的初始逐步思考（?₁, ?₂, ..., ?ₙ）开始。
一些思考步骤（如图中的?₁）可能因为幻觉而存在缺陷 (flawed)。而这些缺陷，可以使用来自外部知识库的RAG对每个思考步骤进行迭代修正。
下图为一个具体的RAT示例：
这个图片展示了不同的LLM推理方法被用于创造性生成任务时的效果。图中红色文字为LLM产生的幻觉，绿色文字为正确生成的内容。通过对比可知：
没有RAG的方法（DIRECT & CoT）经常生成带有幻觉的错误信息
只有RAG的方法，回答准确性与检索到的内容高度相关，但是结构松散
而RAT生成的文本在准确性和完整性方面表现最好
不难看出，在复杂的体化规划、数学推理、代码生成和创造性生成任务上，不同LLM推理方法的定量性能比较，RAT在所有任务上都超过了所有基线。
Long-Horizon推理，通常涉及复杂的预测建模和规划算法，能够模拟和预测不同行动方案在未来较长时期内的后果，需要处理不确定性、适应不断变化的条件，并随着时间的推移纳入反馈。
先来看一个RAT在Long-Horizon推理场景中的示意图。
图源：https://arxiv.org/pdf/2403.05313.pdf
如上图所示，在给定一个任务提示（在图中显示为I）时，RAT从由LLM在Zero-Shot情况下产生的初始逐步思考（?₁, ?₂, ..., ?ₙ）开始。
一些思考步骤（如图中的?₁）可能因为幻觉而存在缺陷 (flawed)。而这些缺陷，可以使用来自外部知识库的RAG对每个思考步骤进行迭代修正。
下图为一个具体的RAT示例：
这个图片展示了不同的LLM推理方法被用于创造性生成任务时的效果。图中红色文字为LLM产生的幻觉，绿色文字为正确生成的内容。通过对比可知：
没有RAG的方法（DIRECT & CoT）经常生成带有幻觉的错误信息
只有RAG的方法，回答准确性与检索到的内容高度相关，但是结构松散
而RAT生成的文本在准确性和完整性方面表现最好
不难看出，在复杂的体化规划、数学推理、代码生成和创造性生成任务上，不同LLM推理方法的定量性能比较，RAT在所有任务上都超过了所有基线。
小结
虽然在当前看来，RAT的实现还存在着一些挑战，比如检索机制和外部知识源的选择上。但是，作为一种强大的技术组合，RAT能够显著减轻幻觉现象并提高语言模型输出的正确性，是一个值得探索的方向。随着研究的深入和技术的成熟，RAT有望成为推动生成式AI更进一步的重要力量，特别是在追求高准确性和高效率的应用场景中。
END
虽然在当前看来，RAT的实现还存在着一些挑战，比如检索机制和外部知识源的选择上。但是，作为一种强大的技术组合，RAT能够显著减轻幻觉现象并提高语言模型输出的正确性，是一个值得探索的方向。随着研究的深入和技术的成熟，RAT有望成为推动生成式AI更进一步的重要力量，特别是在追求高准确性和高效率的应用场景中。
END
粤ICP备14082021号
