我要投稿

TRAD：通过步骤级示范检索和决策对齐来增强大型语言模型Agent的性能

发布日期：2024-04-12 21:47:05 浏览次数： 1864 来源：PaperAgent

许多大型语言模型（LLM）Agent已经被构建出来，用于执行不同的任务，如网页导航和在线购物，这得益于LLM广泛的知识和文本理解能力。在这些工作中，许多都利用上下文示例来实现泛化，而无需进行微调，但很少有研究考虑了如何选择和有效利用这些示例的问题。最近，基于轨迹级检索和使用轨迹作为上下文示例的方法被提出，以改善Agent在一些顺序决策任务中的总体性能。然而，这些方法可能会因为检索到的示例缺乏特定于任务的状态转换动态，以及长输入中包含大量不相关的上下文而出现问题。

为解决上述问题，提出了一个新颖的框架TRAD（Thought Retrieval and Aligned Decision），它首先进行思考检索（Thought Retrieval），通过思考匹配实现步骤级的示范选择，从而获得更有帮助的示范和更少的不相关输入噪声。然后，TRAD引入了对齐决策（Aligned Decision），通过补充检索到的示范步骤的前一步或后一步，使得对不完美的思考具有容忍性，并在更多上下文和更少噪声之间提供了平衡的选择。这种方法特别适用于需要顺序决策的任务，如网页导航和在线购物。

图1：TRAD Agent（在ALFWorld环境中）的整体示意图。TRAD首先对专家轨迹进行预处理，为每个步骤标记高质量的思考。在推理时，TRAD首先进行思考检索，该检索使用轨迹级别的检索示范作为查询和键值，以实现更精确的步骤级示范检索。给定检索到的步骤，TRAD使用对齐决策模块来补充它们的时间邻近步骤和相应的位置信息（见图2）。最后，根据增强的示范生成下一个动作。

图2：对齐决策方法的一个示例，其中? = ? = 1，且第?个检索到的步骤在其轨迹中位于时间??。对齐决策方法包括对检索到的步骤示范和提示的三个子过程：1）时间扩展：为每个检索到的步骤收集最多?个之前的步骤和?个后续步骤，并将每个步骤转换为从??−?到??+?的长度为?+?+1的序列；2）相对顺序标记：对于一个示范步骤序列中的每个步骤，我们标记其相对于该序列中检索到的步骤的相对位置，即前一个步骤（??−1）标记为[Step -1]，下一个步骤（??+1）标记为[Step 1]；3）历史对齐：对于当前情节，我们用?+?个之前的步骤（可选还包括思考）来补充当前观察，以丰富信息并与示范对齐。

在ALFWorld和Mind2Web基准测试上的广泛实验表明，TRAD不仅超越了最先进的模型，而且还有效地帮助减少了噪声并促进了泛化。此外，TRAD已经在一家全球商业保险公司的实际场景中部署，并提高了机器人流程自动化的成功率。

ALFWorld与Mind2Web评测结果

比较Synapse基于任务元数据的轨迹级检索与TRAD基于思考的步骤级检索。 (a) Synapse的轨迹级检索仅考虑任务指令中的“搜索”，检索到的轨迹完全无关。然而，通过使用这些无关的轨迹生成思考，思考检索找到了与婴儿（幼儿）和导航相关的更相关的步骤级示范。(b) Synapse的轨迹级检索检索到的看似合理的例子并没有使用任务元数据在文本框中输入。尽管思考是不完美的，思考检索找到了更相关的示范，并且TRAD学会了输入“纽约”。

TRAD: Enhancing LLM Agents with Step-Wise Thought Retrieval and Aligned Decision https://arxiv.org/pdf/2403.06221.pdfhttps://github.com/skyriver-2000/TRAD-Official

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

更改ollama模型存储路径

2024-04-25

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

大家都在问

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

本地部署大模型？看这篇就够了，Ollama 部署和实战

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示