我要投稿

LongRAG：通过长上下文大型语言模型增强检索增强生成

发布日期：2024-07-12 10:10:44 浏览次数： 1980 来源：Halo咯咯

01。

概述

LongRAG旨在解决传统检索增强生成（RAG）系统的限制，这些系统通常使用较短的检索单元。在传统配置中，这些短单元导致检索器负担沉重，而阅读器的任务相对较轻，常常导致性能不佳。LongRAG提议使用长达4K个token的更长检索单元，减少所需的总单元数量，并显著减轻检索器的任务。这种方法显著提高了检索得分，与以前的方法相比，召回率大幅提高。此外，LongRAG利用长上下文大型语言模型进行零样本答案提取，实现了无需训练即可获得的竞争性结果，这为将RAG系统与长上下文大型语言模型的整合提供了一个有希望的发展方向。

02。

传统RAG的局限

传统检索增强生成（RAG）框架面临若干限制，LongRAG旨在有效解决这些问题：

1. 检索单元过短：传统RAG系统通常使用较短的检索单元，如100字的段落或片段，这可能导致上下文缺失和信息碎片化。这一限制常常使得系统无法处理需要更广泛理解或跨不同信息片段连接的复杂查询。

2. 高计算开销：由于检索单元较短，传统RAG框架需要管理和搜索一个显著更大的离散文本块集合，这可能在计算上非常昂贵且效率低下。

3. 语义不完整：传统RAG系统中检索单元的简短常常导致关键上下文信息的丢失，这可能妨碍模型生成连贯且上下文准确的响应。

4. 依赖大量训练：传统RAG框架通常严重依赖于使用特定数据集进行微调以实现最佳性能，这可能资源密集且限制了模型在不同领域的灵活性。

5. 检索器与阅读器间的平衡问题：在许多传统RAG设置中，存在一个平衡问题，即检索器承担着从大量语料库中找到相关信息的重任，而阅读器的任务相对较轻，仅处理检索到的片段。

通过解决这些限制，LongRAG显著提升了检索增强生成框架的性能和适用性，使它们在处理各种领域的复杂问答任务时更加有效。

03。

LongRAG

LongRAG显著扩展了检索单元的规模，将每个单元的容量提升至高达4,000个token。这种扩展意味着可以在单一单元中检索到整篇文章或文本的大量段落。

检索单元数量减少：通过增加每个检索单元的规模，LongRAG大幅减少了需要处理和存储的单元总数。这种减少导致检索器需要处理的搜索空间更小，更易于管理。它简化了索引和搜索过程，提高了检索效率和速度。
信息密度提升：更大的检索单元能够捕捉到更全面和详细的信息，确保查询周围的上下文得到良好呈现。这种信息密度有助于系统理解和响应需要深入知识或跨不同信息片段连接的查询。
上下文理解增强：拥有更广泛的文本块，系统对内容的上下文把握更为精准，减少了遗漏对回答复杂问题至关重要的微妙细节或相关信息的可能性。这种理解在多跳问答等场景中尤其有益，其中答案依赖于从多个相互连接的信息片段中提取的洞察。
计算开销降低：尽管单个单元的规模更大，但由于系统总体上处理的单元数量减少，整体计算负载得到降低。在时间和资源限制显著的大型应用中，这种效率至关重要。
阅读器效果提升：阅读器组件从更大的单元中受益，因为它接收到的输入更为丰富和详细。这种丰富性使阅读器能够执行更精确和上下文意识更强的答案生成，充分利用长上下文大型语言模型（LLMs）的全面能力，有效解释和利用所提供的信息。

04。

性能表现

表格展现了HotpotQA开发集上的问答（QA）结果。结果与三组基线模型进行了比较：闭卷模式，此模式下直接向最前沿的大型语言模型（LLMs）提供16个上下文示例进行提示；全监督RAG，在此模式下，使用RAG框架，并对模型进行全监督训练，确保模型在训练数据上得到充分训练；以及无微调RAG，该模式下虽然采用RAG框架，但未对模型进行任何微调。

参考：

1.https://github.com/TIGER-AI-Lab/LongRAG/

2.https://arxiv.org/abs/2406.15319

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

打造RAG智能助手：实时数据检索的终极指南！惊呆你的需求，如何一步到位？

2025-02-05

RAG知识库中文档包含表格数据如何处理？

2025-02-05

破解大模型困境：RAG技术如何成为AI的终极武器？

2025-01-24

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

2025-01-24

传统 RAG 和 Agentic RAG有什么不同？

2025-01-20

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

2025-01-18

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

2025-01-18

RAG一周出Demo，半年上不了线，怎么破？

2025-01-18

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

场景解决方案

【智能问答】解决方案

【应用智改】解决方案

【智能工单】解决方案

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

一文彻底搞懂大模型 - RAG（检索、增强、生成）

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

RAG框架，都在这了!

微软开源的GraphRAG解读

深入解析 Graph RAG：提升语言模型问答能力的创新策略

RAG 高效应用指南：Embedding 模型的选择和微调

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

大家都在问

打造RAG智能助手：实时数据检索的终极指南！惊呆你的需求，如何一步到位？

RAG知识库中文档包含表格数据如何处理？

破解大模型困境：RAG技术如何成为AI的终极武器？

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

传统 RAG 和 Agentic RAG有什么不同？

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

3种RAG方法深度对比！知识图谱为何让微软GraphRAG脱颖而出？

RAG一周出Demo，半年上不了线，怎么破？

热门标签