我要投稿

LongRAG：通过长上下文大型语言模型增强检索增强生成

发布日期：2024-07-12 10:10:44 浏览次数： 1716

01。

概述

LongRAG旨在解决传统检索增强生成（RAG）系统的限制，这些系统通常使用较短的检索单元。在传统配置中，这些短单元导致检索器负担沉重，而阅读器的任务相对较轻，常常导致性能不佳。LongRAG提议使用长达4K个token的更长检索单元，减少所需的总单元数量，并显著减轻检索器的任务。这种方法显著提高了检索得分，与以前的方法相比，召回率大幅提高。此外，LongRAG利用长上下文大型语言模型进行零样本答案提取，实现了无需训练即可获得的竞争性结果，这为将RAG系统与长上下文大型语言模型的整合提供了一个有希望的发展方向。

02。

传统RAG的局限

传统检索增强生成（RAG）框架面临若干限制，LongRAG旨在有效解决这些问题：

1. 检索单元过短：传统RAG系统通常使用较短的检索单元，如100字的段落或片段，这可能导致上下文缺失和信息碎片化。这一限制常常使得系统无法处理需要更广泛理解或跨不同信息片段连接的复杂查询。

2. 高计算开销：由于检索单元较短，传统RAG框架需要管理和搜索一个显著更大的离散文本块集合，这可能在计算上非常昂贵且效率低下。

3. 语义不完整：传统RAG系统中检索单元的简短常常导致关键上下文信息的丢失，这可能妨碍模型生成连贯且上下文准确的响应。

4. 依赖大量训练：传统RAG框架通常严重依赖于使用特定数据集进行微调以实现最佳性能，这可能资源密集且限制了模型在不同领域的灵活性。

5. 检索器与阅读器间的平衡问题：在许多传统RAG设置中，存在一个平衡问题，即检索器承担着从大量语料库中找到相关信息的重任，而阅读器的任务相对较轻，仅处理检索到的片段。

通过解决这些限制，LongRAG显著提升了检索增强生成框架的性能和适用性，使它们在处理各种领域的复杂问答任务时更加有效。

03。

LongRAG

LongRAG显著扩展了检索单元的规模，将每个单元的容量提升至高达4,000个token。这种扩展意味着可以在单一单元中检索到整篇文章或文本的大量段落。

检索单元数量减少：通过增加每个检索单元的规模，LongRAG大幅减少了需要处理和存储的单元总数。这种减少导致检索器需要处理的搜索空间更小，更易于管理。它简化了索引和搜索过程，提高了检索效率和速度。
信息密度提升：更大的检索单元能够捕捉到更全面和详细的信息，确保查询周围的上下文得到良好呈现。这种信息密度有助于系统理解和响应需要深入知识或跨不同信息片段连接的查询。
上下文理解增强：拥有更广泛的文本块，系统对内容的上下文把握更为精准，减少了遗漏对回答复杂问题至关重要的微妙细节或相关信息的可能性。这种理解在多跳问答等场景中尤其有益，其中答案依赖于从多个相互连接的信息片段中提取的洞察。
计算开销降低：尽管单个单元的规模更大，但由于系统总体上处理的单元数量减少，整体计算负载得到降低。在时间和资源限制显著的大型应用中，这种效率至关重要。
阅读器效果提升：阅读器组件从更大的单元中受益，因为它接收到的输入更为丰富和详细。这种丰富性使阅读器能够执行更精确和上下文意识更强的答案生成，充分利用长上下文大型语言模型（LLMs）的全面能力，有效解释和利用所提供的信息。

04。

性能表现

表格展现了HotpotQA开发集上的问答（QA）结果。结果与三组基线模型进行了比较：闭卷模式，此模式下直接向最前沿的大型语言模型（LLMs）提供16个上下文示例进行提示；全监督RAG，在此模式下，使用RAG框架，并对模型进行全监督训练，确保模型在训练数据上得到充分训练；以及无微调RAG，该模式下虽然采用RAG框架，但未对模型进行任何微调。

参考：

1.https://github.com/TIGER-AI-Lab/LongRAG/

2.https://arxiv.org/abs/2406.15319

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

微软开源的GraphRAG解读

2024-07-09

RAG框架，都在这了!

2024-06-20

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

2024-07-09

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

源码解读 - 微软GraphRAG框架

2024-07-14

大家都在问

大模型应用框架解析：RAG、Agent、微调、提示词工程究竟是什么?

2024-09-16

使用千帆完全免费的大模型，去构建Graph RAG，效果如何？

2024-09-12

RAG领域出现技术创新，或将引领AI搜索重大变革？

2024-09-11

大模型分不清 9.9 与 9.11 谁大，那 Embedding 模型呢？

2024-09-10

一文看懂GraphRAG与传统RAG的7大区别及融合方案，你会怎么选择？

2024-09-09

最近爆火的GraphRAG是什么，真的能用于商业应用吗？

2024-09-07

你的工作流程被 AI 颠覆了吗？

2024-09-04

AI应用中基于语音驱动的RAG如何做？

2024-08-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯