我要投稿

通过微调和多分支推理增强低参数（7B/13B）大模型的通用Agent能力

发布日期：2024-04-30 08:04:15 浏览次数： 1707

开源预训练的大型语言模型（LLMs）展现出强大的语言理解和生成能力，使它们在多种任务中取得巨大成功。然而，在现实世界中处理复杂问题时，开源预训练的大型语言模型（如GPT-3和GPT-4）表现出强大的语言理解和生成能力，但与商业模型（如ChatGPT和GPT-4）相比，它们的性能仍有较大差距。作为智能体，LLMs需要具备任务规划、长期记忆和利用外部工具的能力。为了提升LLMs的智能体能力，提出了多种方法，包括构建特定于智能体的数据和对模型进行微调，以及设计有效的提示来激活LLMs的推理能力。

开源LLMs和商业LLMs的智能体性能，总体得分是几个agent任务的平均准确度

针对7B和13B模型进行了探索，提出了一种使用GPT-4构建特定于智能体数据的全面方法，通过使用构建的数据进行监督微调，对于这些参数数量相对较少的模型，监督微调可以显著减少智能体任务中的幻觉输出和格式错误。此外，多路径推理和任务分解等技术可以有效降低问题的复杂性，并增强LLMs作为智能体的性能。

通过监督微调（Supervised Fine-Tuning, SFT）来提高智能体能力。这种方法通过在多样化的数据集上训练LLMs，使其能够反映智能体与环境之间的互动行为，从而根本性地提升LLMs的能力。

构建agent数据的过程，对于任务规划和外部工具使用能力，分别采用两种策略

受“思维链”（Chain of Thought）启发，提出了一种结合任务分解和回溯的多路径推理方法，以有效降低问题复杂性并增强LLMs作为智能体的性能。任务分解利用LLMs的任务规划能力，将复杂任务分解为更小的子任务。而多路径推理则允许模型在每个推理步骤中生成多个可行的动作，并使用一个判断模型来选择最佳动作。这种方法可以有效地降低问题复杂性，并提高LLMs作为智能体的性能。

任务分解的过程，规划模型将整个任务分解成几个小的子任务。

不同推理方法的比较，从左到右分别是输入输出（IO）、思维树（ToT）和提出的方法

在AgentBench基准上选择了五个agent任务进行评估，包括ALFWorld、WebShop、Mind2Web、操作系统和数据库操作。实验结果表明，通过使用GPT-4构建的特定于智能体的数据进行监督微调，可以显著提高LLMs在agent任务上的性能，尤其是在减少幻觉输出和格式错误方面。

在AgentBench任务上使用不同指令调整数据集对大型语言模型（LLMs）进行微调的实验结果。使用llama2-7b-chat作为基础模型

此外，通过引入多路径推理和任务分解技术，可以有效地简化复杂任务，帮助LLMs找到最优解。

在三个agent基准测试上不同推理方法的实验结果

ReAct方法和提出的方法在agent任务推理中的比较示例，展示了在网络商店和家务任务中的行动和观察。

Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoninghttps://arxiv.org/pdf/2403.19962.pdf

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

2024-09-23

为什么需要Agent?

2024-09-22

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

2024-09-22

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

传统到AI 大数据分析的演变，颠覆智慧水电的未来？

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的&#39;阉割&#39;?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?