我要投稿

RAG生成任务：Base LLM竟然比Instruct LLM高出20%

发布日期：2024-07-07 08:09:33 浏览次数： 2341 来源：PaperAgent

检索增强生成（RAG）将检索阶段与生成阶段结合起来，后者通常由大型语言模型（LLMs）驱动，RAG中的当前常见实践是使用“指导”的LLMs，这真的是最优选择吗？

对RAG系统中的“instruct”模型及其模板与基础版本（base）进行了原则性评估。这些“instruct”模型通常经过监督训练来提高遵循指令的能力，并使用最先进技术与人类偏好对齐。使用了两个任务指令来评估模型，任务指令I要求模型从未提供的文档中提取答案，任务指令II要求模型提供证据来支持其答案。

在TriviaQA上的任务指令I下，基础版与指导+模板版之间的比较。该图展示了两个版本的Llama 2 7B模型生成的回答之间的比较：基础版和指导+模板版。每个版本都被赋予了基于提供文档回答同一问题的任务。基础模型正确地识别出答案为“Burgess Meredith”，而指导+模板版错误地将答案归因于“Danny DeVito”。斜体文本表示模板

在TriviaQA上的任务指令II下，基础版与指导+模板版之间的比较。这种比较展示了Llama 2 7B的基础版和指导+模板版生成的回答之间的一个例子，其中基础模型正确地识别了答案，而指导+模板版错误地将答案归因于不同的演员。尽管如此，在两种情况下，答案都与证据“一致”，因为每项证据都包含了生成的答案。斜体文本表示模板。

实验结果显示，在RAG任务中，基础模型在没有额外的指令特定微调的情况下，平均性能比“instruct”模型高出20%。这一发现挑战了关于“instruct”LLMs在RAG应用中优越性的普遍假设。进一步的调查揭示了更复杂的情况，提出了对RAG和评估程序的更广泛讨论的需求。

在NQ和TriviaQA上任务指令I的准确度。缩写C和I分别表示指导模型的聊天版和指导版。后缀T表示使用模板来构建其回答的指导模型。准确度是在不同检索文档级别的报告。除了部分例外的Mistral，所有基础模型在性能上都大幅度超过了它们的指导版本。

在NQ和TriviaQA上，需要提供证明的任务指令II的准确度。缩写C和I分别表示指导模型的聊天版和指导版。后缀T表示使用模板来构建其回答的指导模型。准确度是在不同检索文档级别的报告。在所有考虑的情况下，基础模型在性能上都大幅度超过了它们的指导版本。

尽管“instruct”模型在遵循任务指令方面更为有效，但它们在准确拒绝回答（即当检索文档中不包含答案时回答NO-RES）方面的表现不如基础模型（备注：这地方的结论貌似与实验数据不匹配，有需要小伙伴自行评测哈）。此外，当不要求模型在答案不出现在检索文档中时回答NO-RES时，基础模型仍然表现更好，这表明监督微调和对齐过程可能对模型在RAG任务中的能力产生了负面影响。

从参数化记忆中回忆 - Llama 2 7B - TriviaQA。报告的是参数化记忆回忆率，定义为模型在检索文档不包含正确答案的情况下仍能正确回答的实例数，除以答案不在上下文中出现的次数。（左）如图1所示的任务指令I；（右）无拒绝设置，即不指定在检索文档中不包含答案时回答NO-RES（如图6所示的示例）。在这种情况下，两个模型版本的参数化记忆回忆率都有所提高。

图6：在NQ上，任务指令I下的基础版与指导版，不允许拒绝回答。这张图展示了在不允许拒绝回答的设置下的回答情况，即模型不需要在检索文档中不包含答案时回答NO-RES。它比较了Falcon 7B的基础版和指导版。基础模型准确地识别出“Rocky”（洛奇）是1976年奥斯卡最佳影片奖的获奖者，而指导版错误地引用了“Network”（电视台）。

在整个RAG流程中，除了Generation，还涉及Embedding、Indexing等等，PaperAgent团队RAG专栏进行过详细的归纳总结：高级RAG之36技（术），可私信留言试看：RAG专栏。

A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systemshttps://arxiv.org/pdf/2406.14972https://github.com/florin-git/Base-vs-Instruct-LLMs-in-RAG-Systems

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

大家都在问

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？