我要投稿

RAG生成任务：Base LLM竟然比Instruct LLM高出20%

发布日期：2024-07-07 08:09:33 浏览次数： 2446 来源：PaperAgent

检索增强生成（RAG）将检索阶段与生成阶段结合起来，后者通常由大型语言模型（LLMs）驱动，RAG中的当前常见实践是使用“指导”的LLMs，这真的是最优选择吗？

对RAG系统中的“instruct”模型及其模板与基础版本（base）进行了原则性评估。这些“instruct”模型通常经过监督训练来提高遵循指令的能力，并使用最先进技术与人类偏好对齐。使用了两个任务指令来评估模型，任务指令I要求模型从未提供的文档中提取答案，任务指令II要求模型提供证据来支持其答案。

在TriviaQA上的任务指令I下，基础版与指导+模板版之间的比较。该图展示了两个版本的Llama 2 7B模型生成的回答之间的比较：基础版和指导+模板版。每个版本都被赋予了基于提供文档回答同一问题的任务。基础模型正确地识别出答案为“Burgess Meredith”，而指导+模板版错误地将答案归因于“Danny DeVito”。斜体文本表示模板

在TriviaQA上的任务指令II下，基础版与指导+模板版之间的比较。这种比较展示了Llama 2 7B的基础版和指导+模板版生成的回答之间的一个例子，其中基础模型正确地识别了答案，而指导+模板版错误地将答案归因于不同的演员。尽管如此，在两种情况下，答案都与证据“一致”，因为每项证据都包含了生成的答案。斜体文本表示模板。

实验结果显示，在RAG任务中，基础模型在没有额外的指令特定微调的情况下，平均性能比“instruct”模型高出20%。这一发现挑战了关于“instruct”LLMs在RAG应用中优越性的普遍假设。进一步的调查揭示了更复杂的情况，提出了对RAG和评估程序的更广泛讨论的需求。

在NQ和TriviaQA上任务指令I的准确度。缩写C和I分别表示指导模型的聊天版和指导版。后缀T表示使用模板来构建其回答的指导模型。准确度是在不同检索文档级别的报告。除了部分例外的Mistral，所有基础模型在性能上都大幅度超过了它们的指导版本。

在NQ和TriviaQA上，需要提供证明的任务指令II的准确度。缩写C和I分别表示指导模型的聊天版和指导版。后缀T表示使用模板来构建其回答的指导模型。准确度是在不同检索文档级别的报告。在所有考虑的情况下，基础模型在性能上都大幅度超过了它们的指导版本。

尽管“instruct”模型在遵循任务指令方面更为有效，但它们在准确拒绝回答（即当检索文档中不包含答案时回答NO-RES）方面的表现不如基础模型（备注：这地方的结论貌似与实验数据不匹配，有需要小伙伴自行评测哈）。此外，当不要求模型在答案不出现在检索文档中时回答NO-RES时，基础模型仍然表现更好，这表明监督微调和对齐过程可能对模型在RAG任务中的能力产生了负面影响。

从参数化记忆中回忆 - Llama 2 7B - TriviaQA。报告的是参数化记忆回忆率，定义为模型在检索文档不包含正确答案的情况下仍能正确回答的实例数，除以答案不在上下文中出现的次数。（左）如图1所示的任务指令I；（右）无拒绝设置，即不指定在检索文档中不包含答案时回答NO-RES（如图6所示的示例）。在这种情况下，两个模型版本的参数化记忆回忆率都有所提高。

图6：在NQ上，任务指令I下的基础版与指导版，不允许拒绝回答。这张图展示了在不允许拒绝回答的设置下的回答情况，即模型不需要在检索文档中不包含答案时回答NO-RES。它比较了Falcon 7B的基础版和指导版。基础模型准确地识别出“Rocky”（洛奇）是1976年奥斯卡最佳影片奖的获奖者，而指导版错误地引用了“Network”（电视台）。

在整个RAG流程中，除了Generation，还涉及Embedding、Indexing等等，PaperAgent团队RAG专栏进行过详细的归纳总结：高级RAG之36技（术），可私信留言试看：RAG专栏。

A Tale of Trust and Accuracy: Base vs. Instruct LLMs in RAG Systemshttps://arxiv.org/pdf/2406.14972https://github.com/florin-git/Base-vs-Instruct-LLMs-in-RAG-Systems

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

传统 RAG 和 Agentic RAG有什么不同？

2025-01-20

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

2025-01-18

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

2025-01-18

RAG一周出Demo，半年上不了线，怎么破？

2025-01-18

哈啰：构建智能出行RAG，ES还是向量数据库？

2025-01-13

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

2025-01-09

搭建RAG架构，如何选择向量数据库产品？

2025-01-09

搭建RAG应用，Embedding模型如何选？

2025-01-09

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文彻底搞懂大模型 - RAG（检索、增强、生成）

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

RAG框架，都在这了!

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

RAG 高效应用指南：Embedding 模型的选择和微调

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

大家都在问

传统 RAG 和 Agentic RAG有什么不同？

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

RAG一周出Demo，半年上不了线，怎么破？

哈啰：构建智能出行RAG，ES还是向量数据库？

RAG的技术困境：为何单纯依赖向量嵌入不可靠？

搭建RAG架构，如何选择向量数据库产品？

搭建RAG应用，Embedding模型如何选？

热门标签