我要投稿

Agent-FLAN：一种大模型Agent高效微调的数据与方法设计

发布日期：2024-04-17 08:24:22 浏览次数： 2153 来源：PaperAgent

大型语言模型（LLMs）在自然语言处理（NLP）任务中取得了巨大成功，但在作为代理（agent）时，它们的表现远远落后于基于API的模型。如何将代理能力集成到通用LLMs中，成为一个关键且紧迫的问题。现有的研究主要集中在提示工程或特定任务的框架调度上，但这些方法存在成本高、安全性问题等限制。

目前开源大型语言模型（LLMs）在一般代理任务中典型的两种幻觉的插图：(a) 格式幻觉和 (b) 行为幻觉。

为了解决上述问题，提出了Agent-FLAN方法，该方法基于三个关键观察结果：代理训练数据与预训练数据分布的差异、LLMs在代理任务所需能力上的不同学习速度、以及现有方法在提升代理能力时引入的幻觉问题。

Agent-FLAN通过以下步骤进行：

将代理训练语料库中的格式遵循和通用推理分离，使微调过程与语言模型的预训练领域（自然对话）保持一致。
明确分解训练数据，根据LLMs的基本能力（如推理、检索、理解、指令遵循）进行数据平衡。
构建Agent-H基准测试，从多个角度评估LLMs的幻觉问题，并精心策划多样化的“负面”训练样本以有效缓解这一问题。

通过将原始的代理语料库与自然对话对齐，能够明确地将代理任务分解为不同的能力，从而实现更细致的数据平衡。

Agent-FLAN在开源的Llama2系列模型上的应用，使其在多个代理评估基准测试中的表现比先前的工作提高了3.5%。此外，Agent-FLAN在扩大模型规模的同时，持续提升了LLMs的代理能力，并对LLMs的一般能力有轻微提升。实验结果表明，Agent-FLAN在减少幻觉问题的同时，能够有效提升模型在代理任务上的性能。

Agent-FLAN在内部保留（Held-In）和外部验证（Held-Out）任务上的比较。为了更好的可视化，性能结果已经与GPT-4的结果进行了标准化。* 表示为了公平比较而重新实现了该方法

在Toolbench和Agent-H数据集上，使用Llama2-7B模型进行的AgentTuning和Agent-FLAN之间的比较研究。(a) ToolBench：得益于能力分解和对“理解”能力的更多关注调整，Agent-FLAN能够跟上给定的长工具信息内容的具体API信息，而AgentTuning因为幻觉而失败。(b) Agent-H：AgentTuning模型展示了无意义的工具使用，而Agent-FLAN直接给出了首选的响应。

Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Modelshttps://arxiv.org/pdf/2403.12881.pdfhttps://github.com/InternLM/Agent-FLAN

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

一文带你了解大模型——智能体（Agent）

2024-05-28

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

更改ollama模型存储路径

2024-04-25

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

太强了！10大开源大模型！

2024-05-06

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

大家都在问

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

2025-01-14

复盘2024，大模型的商业化主线是什么？

2025-01-13

哈啰：构建智能出行RAG，ES还是向量数据库？

2025-01-13

Google Chrome AI转型大揭秘：你的上网体验将惊艳升级吗？

2025-01-13

大模型之嵌入与向量化的区别是什么？

2025-01-13

2025，AI Agents和AI玩具谁先会爆发呢？

2025-01-12

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

2025-01-12

最近总被提及的 Agentic AI 到底是什么？

2025-01-12

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

一文带你了解大模型——智能体（Agent）

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

更改ollama模型存储路径

Ollama 本地运行大模型(LLM)完全指南

太强了！10大开源大模型！

最强 GPT 免费使用！GPT4O 开启多模态新时代！

大家都在问

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

复盘2024，大模型的商业化主线是什么？

哈啰：构建智能出行RAG，ES还是向量数据库？

Google Chrome AI转型大揭秘：你的上网体验将惊艳升级吗？

大模型之嵌入与向量化的区别是什么？

2025，AI Agents和AI玩具谁先会爆发呢？

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

最近总被提及的 Agentic AI 到底是什么？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

本地部署大模型？看这篇就够了，Ollama 部署和实战

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

一文带你了解大模型——智能体（Agent）

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

更改ollama模型存储路径

Ollama 本地运行大模型(LLM)完全指南

太强了！10​大开源大模型！

最强 GPT 免费使用！GPT4O 开启多模态新时代！

大家都在问

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

复盘2024，大模型的商业化主线是什么？

哈啰：构建智能出行RAG，ES还是向量数据库？

Google Chrome AI转型大揭秘：你的上网体验将惊艳升级吗？

大模型之嵌入与向量化的区别是什么？

2025，AI Agents和AI玩具谁先会爆发呢？

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

最近总被提及的 Agentic AI 到底是什么？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

太强了！10大开源大模型！