微信扫码
与创始人交个朋友
我要投稿
近年来,检索增强生成(Retrieval-Augmented Generation, RAG)在解决大语言模型(LLMs)所面临的挑战方面取得了显著成功,而无需对模型进行重新训练。通过引用外部知识库,RAG能够改进LLM的输出,有效缓解了“幻觉”、缺乏领域特定知识以及信息过时等问题。然而,不同实体之间复杂的关系结构为RAG系统带来了挑战。为此,GraphRAG利用实体之间的结构化信息,使得检索更加精确和全面,捕捉到关系知识并促进了更准确、具备上下文感知的回答。鉴于GraphRAG的创新性和潜力,系统性地回顾当前技术显得尤为重要。GraphRAG 是一种将图神经网络(GNN)与大语言模型(LLM)相结合的推理框架,专为处理复杂的多跳推理场景设计。它通过 GNN 在知识图谱中建模节点及其关系,实现深层次的图结构推理,同时利用 LLM 处理自然语言查询,提升系统的语言理解和生成能力。GraphRAG 能在多层次节点间进行信息传递和推理,从而解决复杂的问题,特别适合知识图谱问答系统、推荐系统等需要结合结构化数据与非结构化语言处理的场景。GraphRAG的工作流程,包括图索引(Graph-Based Indexing)、图引导检索(Graph-Guided Retrieval)和图增强生成(Graph-Enhanced Generation)。随后,本文概述了每个阶段的核心技术和应用领域。最后,探讨了未来的研究方向,以激发更多的研究兴趣并推动该领域的进一步进展。
随着LLMs如 GPT-4 和 LLaMA 的出现,自然语言处理(NLP)领域取得了显著进展。这些模型基于庞大的数据集进行训练,展示了卓越的语言理解和文本生成能力。然而,尽管 LLM 在处理自然语言任务时表现优异,但它们在处理领域特定知识、实时更新的信息以及复杂关系推理任务时仍存在显著的局限性。为解决这些问题,检索增强生成(RAG)被引入,通过结合外部知识库在生成过程中检索相关信息,增强了 LLM 的知识覆盖和准确性。然而,RAG 也面临一些挑战。特别是在需要理解实体间关系的任务中表现欠佳。为应对这些局限性,GraphRAG 作为一种创新的解决方案被提出。GraphRAG 结合了图神经网络(GNN)和 RAG 的优势,通过从预构建的图数据库中检索图元素(如节点、路径、子图等)来增强检索过程。这种方法能够捕捉到文本之间的复杂关系,使得模型在处理多跳推理、复杂实体查询时更加准确。
GraphRAG示例
在 GraphRAG 中使用的图数据可以统一表示为文本属性图(Text-Attributed Graphs,简称 TAGs), 其中节点和边具有文本属性。形式上,文本属性图可以表示为, 其中 是节点的集合, 是边的集合, 是邻接矩阵。此外, 和 分别表示节点和边的文本属性。TAGs 的一种典型形式是知识图谱(Knowledge Graphs, KGs), 其中节点表示实体,边表示实体之间的关系,文本属性则是实体和关系的名称。
图神经网络(Graph Neural Networks,GNNs)是一种用于建模图数据的深度学习框架。经典的 GNNs,如图卷积网络(GCN)、图注意力网络(GAT)和 GraphSAGE,采用消息传递的方式来获取节点表示。
在 GraphRAG 中,GNNs 可以用于检索阶段获取图数据的表示,并用于建模检索到的图结构。
GraphRAG是一个框架,它利用外部结构化知识图来提高对LM的上下文理解,并生成更明智的响应。GraphRAG的目标是从数据库中检索最相关的知识,从而增强下游任务的答案。GraphRAG的整个过程分解为三个主要阶段:基于图的索引、图引导的检索和图增强的生成。GraphRAG的整体工作流程下图所示,下面将详细介绍各个阶段。
GraphRAG整体工作流程
基于图形的索引:基于图的索引构成了GraphRAG的初始阶段,旨在识别或构建与下游任务对齐的图数据库G并在其上建立索引。图数据库可以源自公共知识图,图数据,或者基于专有数据源构建,例如文本或其他形式的数据。索引过程通常包括映射节点和边属性,在连接的节点之间建立指针,以及组织数据以支持快速遍历和检索操作。索引决定了后续检索阶段的粒度,对提高查询效率起着至关重要的作用。
基于图形的检索:在基于图的索引之后,图引导的检索阶段集中于响应于用户查询或输入从图数据库中提取相关信息。具体地,给定以自然语言表达的用户查询,检索阶段旨在提取最相关的元素(例如,?实体、三元组、路径、子图),其可以被公式化为:
其中,最优检索图元素是最优检索图元素,Sim(·,·)是测量用户查询与图数据之间的语义相似性的函数。R(·)表示考虑到效率而缩小子图的搜索范围的函数。然而,检索图数据提出了两个重大挑战:(1)爆炸性候选子图:随着图大小的增加,候选子图的数量呈指数级增长(2)相似性度量不足:准确度量文本查询和图形数据之间的相似性需要开发能够理解文本和结构信息的算法。图引导检索的一般架构如下图所示。
基于图增强生成:图形增强生成阶段涉及基于检索到的图形数据合成有意义的输出或响应。这可以包括回答用户查询、生成报告等。在这个阶段,生成器将查询、检索到的图形元素和可选提示作为输入来生成响应,该响应可以表示为:
其中F(·,·)是将图形数据转换为生成器可以处理的形式的函数。
GraphRAG 技术在多个领域得到了广泛的应用,帮助解决复杂的数据和推理任务。
GraphRAG 技术虽然取得了显著进展,但仍面临许多挑战。以下是未来研究的几个重要方向:
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-22
技术动态 | 如何使用知识图谱改进RAG?
2024-11-22
RAG前沿之RAG–知识图谱构建框架Graphusion:兼看LongRAG双视角检索增强生成范式
2024-11-21
OpenSPG/KAG 新版发布:聚焦用户反馈,大幅优化用户体验!
2024-11-15
大语言模型与图结构的融合:推荐系统中的新兴范式
2024-11-15
利用LLM构建非结构化文本的知识图谱
2024-11-13
GraphRAG:基于PolarDB+通义千问+LangChain的知识图谱+大模型最佳实践
2024-11-13
利用LLM Graph Transformer实现知识图谱的高效构建
2024-11-12
什么是知识图谱和AI多模态推理
2024-07-17
2024-07-11
2024-07-13
2024-08-13
2024-07-08
2024-07-12
2024-07-26
2024-06-10
2024-07-04
2024-06-24
2024-11-22
2024-11-04
2024-10-10
2024-10-03
2024-09-27
2024-09-08
2024-09-05
2024-08-27