论文摘要

论文主要探讨了如何将大语言模型的能力与推理和行动相结合，以提高其在理解和交互决策任务中的表现。该方法名为ReAct，通过交替生成推理轨迹和特定任务的动作，使两者之间产生更大的协同作用。实验结果表明，在问答和事实验证等任务中，ReAct能够克服传统链式思维推理中存在的幻觉和错误传播问题，并且生成的任务解决路径比基线更加可解释。此外，在两个互动决策基准测试中，ReAct的表现优于模仿学习和强化学习方法，分别提高了成功率34％和10％。

论文方法

方法描述

本文提出的 ReAct（Reasoning Action Trajectory） 提供了一种基于少样本学习的多模态推理框架，用于回答自然语言问题。ReAct 通过在给定的任务上下文中自动搜索相关信息并根据搜索结果生成合理的答案。该方法使用了手动构建的 ReAct 格式的内容作为小样本提示Prompt并输入给LLM，以帮助模型更好地理解任务和上下文信息。

论文实验

论文总结

文章优点

1. 简单直观：设计ReAct提示是直接的，人类注释者只需将其思考以语言的形式添加到其采取的动作之上。
2. 通用灵活：由于灵活的Thought → Action → Observation 模式，ReAct适用于各种任务，包括问答、事实验证、文本游戏和网页导航等。
3. 性能表现良好：ReAct仅需学习一到六个上下文示例即可泛化到新任务实例，始终优于只使用推理或行动的基线方法。
4. 可解释性和可控性：ReAct提供了可解释的决策过程，使人类能够轻松检查推理和事实正确性。此外，人类还可以通过编辑思路来控制或纠正代理行为。

1. 引入了新的行动空间：将行动空间扩展为L，即语言空间，允许模型生成自由形式的语言思维，而不是仅仅执行操作。
2. 使用无监督的少样本学习：ReAct只需要几个上下文示例就可以泛化到新任务实例，这使得它成为一种有效的无监督学习方法。
3. 实现了与外部环境的交互：ReAct允许模型与外部环境（如Wikipedia）进行交互，从而支持更复杂的推理和决策过程。

1. 探索更多任务类型：虽然该论文主要关注知识密集型推理任务，但ReAct也可以应用于其他类型的自然语言处理任务，例如对话系统和机器翻译。
2. 提高行动空间的质量：当前的行动空间限制较大，无法满足复杂任务的需求。因此，未来的研究可以探索如何提高行动空间的质量，以便更好地支持推理和决策。
3. 结合强化学习：ReAct目前是一种无监督的学习方法，但它仍然缺乏对于长期奖励的关注。因此，未来的研究可以考虑结合强化学习，以实现更好的长期规划和决策能力。

各模式Prompt举例

Original:

Act：

CoT:

ReAct:

可以感受一下ReAct 的Thought → Action → Observation模式。如需论文原文可以公众号留言，下一篇我们即将结合LangChain深度了解ReAct的实现，敬请期待~