微信扫码
与创始人交个朋友
我要投稿
近期,香港大学黄超团队提出了一种新的大模型 RAG 范式——LightRAG。这是一种简单快速的检索增强生成(RAG)系统,显著降低了与大语言模型(LLMs)相关的成本。LightRAG 通过图结构有效捕捉和表示实体间的复杂关系,采用双层检索范式,实现低层与高层信息的高效整合。此外,LightRAG 还具备快速适应动态数据变化的能力,能够及时整合新信息。
模型架构
2.1 图增强的实体与关系提取
LightRAG 通过将文档拆分为更小的可管理片段,从而显著提升了检索系统的效率。这种方法使得相关信息的快速识别和获取变得更加便捷,无需逐篇分析整个文档。
接下来,我们利用大语言模型(LLMs)来识别和提取各种实体(如人名、日期、地名和事件)及其之间的关系。提取后的信息将用于构建一个综合性的知识图谱,旨在揭示文档集合中的联系与深层见解。以下是我们在图结构文本索引中使用的关键功能:
LightRAG 的图结构文本索引模式提供了两个显著的优势。首先,增强的信息理解:构建的图形结构能够从多跳子图中提取整体信息,显著提高了模型在处理跨多个文档的复杂查询时的能力。其次,优化的检索性能:图生成的键值数据结构经过改进,能够迅速且准确地获取所需信息,优于传统方法中的嵌入匹配和低效的片段检索技术。
高效整合新数据:增量更新模块采用统一的方法来处理新信息,使模型能够在保持现有图结构的完整性的同时,顺利引入新的外部数据库。这一策略确保了历史数据的可用性,同时丰富了知识图谱,避免了信息的冲突或冗余。
为了同时获取特定文档片段及其复杂的相互关系,LightRAG 提出了生成详细(Low-Level)和抽象(High-Level)两种层次的查询键。
为了应对多样化的查询需求,模型在双层检索模式中采用了两种不同的检索策略。这确保无论是细化还是概念查询,都能有效地得到响应,满足用户的期望。
2.4 基于检索增强的答案生成
定义许多 RAG 查询(尤其是涉及复杂高层语义的查询)的真实值是一项巨大的挑战。为了解决这一问题,我们基于现有研究,采用了大语言模型(LLM)对回答的答案多维度评估比较的方法。在本次实验中,我们使用了 GPT-4o-mini 模型,对每个对比方法与 LightRAG 进行排名。总体而言,我们设定了四个评估维度:
图增强RAG系统在大规模语料库中的优势
在处理大量 token 和复杂查询时,基于图结构的 RAG 系统(如 LightRAG 和 GraphRAG)展现出明显优于传统片段检索方法(如 NaiveRAG、HyDE 和 RQRAG)的性能。
与现有 RAG 方法相比,LightRAG 在“多样性”这一指标上展现出显著优势,尤其在较大的 Legal 数据集中。这一持续的领先表现表明,LightRAG 在生成多样化回答方面具有强大的能力,特别适用于内容丰富的场景。
尽管 LightRAG 和 GraphRAG 均采用图结构的检索机制,LightRAG 在较大数据集和复杂语言背景下仍表现出持久的优势。在包含数百万 token 的 Agriculture、CS 和 Legal 数据集中,LightRAG 明显超越了 GraphRAG,彰显了其在不同环境中全面理解信息的能力。
通过结合对特定实体的低层检索与对更广泛主题的高层检索,LightRAG 显著增强了回答的多样性。这种双层机制有效应对了详细与抽象查询,确保对信息的全面掌握。
3.2 消融实验
我们首先分析了 Low-Level 和 High-Level 检索范式的影响。通过比较两种消融模型(分别移除一个模块)与 LightRAG 在四个数据集上的表现,我们得出了以下主要观察:
3.3 模型成本与动态数据适应性分析
我们从两个关键角度对 LightRAG 与 GraphRAG 的成本进行了比较。首先,我们分析了索引和检索过程中的 token 数量和 API 调用次数。其次,我们评估了这些指标在动态环境中处理数据变化的表现。
在检索阶段,GraphRAG 创建了 1,399 个 Communities,其中 610 个二级社区被用于本实验的检索。每个社区平均包含 1,000 个 token,因此总的 token 消耗量达到 610,000 个(610 个社区 × 每个社区 1,000个 token)。
此外,GraphRAG 需要逐一检查每个社区,导致了数百次 API 调用,这显著增加了检索成本。相较之下,LightRAG 对这一过程进行了优化,仅需使用不到 100 个 token 来进行关键词生成和检索,整个过程仅需一次 API 调用。这种高效性源于我们独特的检索机制,巧妙地结合了图结构与向量化表示,从而避免了对大量信息的预处理。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-30
Perplexity CEO揭秘:不训大模型、关键在于检索、排序、编排
2024-10-30
大模型与知识图谱结合用于推荐及LLM驱动分块ChunkRAG实现策略解读
2024-10-29
超强大的PDF数据提取库PyMuPDF4LLM
2024-10-29
Genie:Uber的生成式AI随叫随到副驾驶
2024-10-29
RAG 或 Fine Tume - 为您的用例选择正确方法的权威指南
2024-10-28
一文读懂:从RAG到多模态RAG
2024-10-28
行业落地分享:腾讯混元RAG/Agent落地实践
2024-10-28
揭秘RAG神器!如何通过上下文检索与混合搜索打造超强生成效果
2024-07-18
2024-07-09
2024-07-09
2024-05-19
2024-05-05
2024-07-07
2024-07-07
2024-07-08
2024-06-20
2024-07-09