我要投稿

RAFT：一种适应特定领域RAG的大模型训练新方法！

发布日期：2024-04-11 22:38:26 浏览次数： 1995 来源：PaperAgent

对大量文本数据的语料库进行大型语言模型（LLMs）的预训练已经成为一种标准范式。当将这些LLMs用于许多下游应用时，通常还会通过基于RAG的提示或微调，将新知识（例如，时效性新闻或私有领域知识）额外融入预训练模型中。然而，模型获取这些新知识的最优方法论仍然是一个开放的问题。在此背景下，提出了检索增强微调（RAFT），这是一种训练方法，可以提高模型在“开卷”的特定领域环境中回答问题的能力。

如何最好地为考试做准备？(a) 基于微调的方法通过直接“记忆”输入文档或在不引用文档的情况下回答练习QA来实现“学习”。(b) 另一方面，上下文检索方法未能利用固定领域所提供的学习机会，等同于在没有学习的情况下参加开卷考试。虽然这些方法利用了领域内的学习，但它们未能为开卷考试做好准备。相比之下，(c) RAFT在模拟的不完美检索环境中引用文档，同时利用问题-答案对进行微调——从而有效地为开卷考试设置做好了准备。

RAFT通过结合检索增强生成（RAG）和监督式微调（SFT），训练模型忽略那些对回答问题没有帮助的文档（称为干扰文档），并引用相关文档中正确的序列来回答问题。这种方法还包括链式思维（Chain-of-Thought）风格的响应，以增强模型的推理能力。

RAFT的核心思想是在训练数据中包含问题（Q）、一组文档（Dk）和从其中一个文档（D*）生成的答案（A*），其中区分了Golden文档（包含答案的文档）和干扰文档。在训练过程中，模型被训练以在存在干扰文档的情况下，从提供的文档和问题中生成答案。RAFT的训练方法不仅使模型能够通过微调学习特定领域的知识，还确保了对不准确检索的鲁棒性。

RAFT方法概述，左上角的图表展示了提出的方法，即让大型语言模型（LLMs）适应从一组正面和负面文档中阅读解决方案，这与标准的RAG设置形成对比，在标准的RAG设置中，模型是基于检索器的输出进行训练的，这种输出是记忆和阅读的混合体。在测试时，所有方法都遵循标准的RAG设置，提供上下文中检索到的前k个文档。

实验结果表明，RAFT在PubMed、HotpotQA和Gorilla数据集上的性能一致优于监督式微调模型，无论是使用RAG还是没有使用RAG。

不同数据集上评测结果

RAFT与DSF的比较示例：在HotpotQA数据集上对RAFT和DSF微调模型进行了提示，可以看到DSF模型从上下文中提取了错误的信息。对于“谁是编剧”的问题，它回答了一个电影的名字。而RAFT成功地正确得出了结果。

RAFT: Adapting Language Model to Domain Specific RAGhttps://arxiv.org/pdf/2403.10131.pdfhttps://github.com/ShishirPatil/gorilla/tree/main/raft

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

一文带你了解大模型——智能体（Agent）

2024-05-28

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

更改ollama模型存储路径

2024-04-25

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

太强了！10大开源大模型！

2024-05-06

大家都在问

影响RAG检索效果的原因有那些？

2024-12-27

独家｜上万元的AI学习机到底是谁在买？是教育平权还是加剧内卷？

2024-12-26

微软 OmniParser：如何让机器 “看懂” 手机电脑界面？

2024-12-26

字节和BAT，谁能缚住AI苍龙？

2024-12-26

在推荐、RAG等业务中，如何完成亿级向量的快速检索？

2024-12-26

AI模型训练到底在训练什么？

2024-12-26

微软变脸OpenAI，模型价值之争压不住了？

2024-12-25

大模型+安全实践之春天何时到来？

2024-12-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

一文带你了解大模型——智能体（Agent）

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

本地部署大模型？看这篇就够了，Ollama 部署和实战

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

太强了！10大开源大模型！

大家都在问

影响RAG检索效果的原因有那些？

独家｜上万元的AI学习机到底是谁在买？是教育平权还是加剧内卷？

微软 OmniParser：如何让机器 “看懂” 手机电脑界面？

字节和BAT，谁能缚住AI苍龙？

在推荐、RAG等业务中，如何完成亿级向量的快速检索？

AI模型训练到底在训练什么？

微软变脸OpenAI，模型价值之争压不住了？

大模型+安全实践之春天何时到来？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

一文带你了解大模型——智能体（Agent）

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

更改ollama模型存储路径

最强 GPT 免费使用！GPT4O 开启多模态新时代！

本地部署大模型？看这篇就够了，Ollama 部署和实战

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

太强了！10​大开源大模型！

大家都在问

影响RAG检索效果的原因有那些？

独家｜上万元的AI学习机到底是谁在买？是教育平权还是加剧内卷？

微软 OmniParser：如何让机器 “看懂” 手机电脑界面？

字节和BAT，谁能缚住AI苍龙？

在推荐、RAG等业务中，如何完成亿级向量的快速检索？

AI模型训练到底在训练什么？

微软变脸OpenAI，模型价值之争压不住了？

大模型+安全实践之春天何时到来？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

太强了！10大开源大模型！