AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一周涨8000 star!RAG技术迎来大升级,速度关注
发布日期:2024-07-09 11:17:49 浏览次数: 2079 来源:IT咖啡馆



之前我们聊到过RAG,它是目前非常常用的增强大模型能力的技术,通过检索增强生成(RAG),大型语言模型能够从外部知识源检索信息,从而回答涉及私有或未见文档的问题。

今天我们分享的开源项目,它是RAG技术的最新发展,可以大幅提升当前RAG的能力,它就是:GraphRAG



GraphRAG 是什么



GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法,可以对私有或以前未见过的数据集进行问答。

今天早先微软发表GraphRAG论文"From Local to Global: A Graph RAG Approach to Query-Focused Summarization",论文讨论GraphRAG方法,用于对文本语料库进行问题回答,结合了检索增强生成和图形索引,以提高答案的全面性和多样性,现在对应的开源项目终于来了。

与传统的 RAG 不同,GraphRAG 方法可以归结为:利用大型语言模型 (LLMs) 从您的来源中提取知识图谱;将此图谱聚类成不同粒度        级别的相关实体社区;对于 RAG 操作,遍历所有社区以创建“社区答案”,并进行缩减以创建最终答案。




 GraphRAG 的工作原理



GraphRAG 的架构主要包含两个核心模块:索引器 (Indexer) 和 查询引擎 (Query Engine)。索引器通过对私有数据进行索引创建由 LLM 派生的知识图谱。查询引擎利用预建索引的 LLM ,创建了一个更优的 RAG 流程。

 

索引器

索引器负责将非结构化文本数据转化为结构化的知识图谱,并将其存储到数据库中,这些图谱作为 LLM 的记忆表示,可以被后续步骤用于更有效的检索。其主要流程如下:

  1. 文本切分: 将输入的文本数据按照一定的规则切分成多个文本单元 (Text Unit),每个文本单元通常包含一个或多个完整的句子。

  2. 实体和关系抽取: 利用 LLM 从文本单元中抽取实体、关系和关键陈述等信息。例如,从句子 "OpenAI 开发了 ChatGPT" 中,可以抽取出实体 "OpenAI" 和 "ChatGPT",以及关系 "开发"。


  3. 知识图谱构建: 将抽取出的实体和关系信息构建成图结构的知识图谱,其中节点代表实体,边代表关系。

  4. 社区检测: 利用图算法(例如,层次化 Leiden 技术)对知识图谱进行社区检测,将具有相似语义的实体聚集在一起,形成不同的社区。

  5. 社区概括: 为每个社区生成一个概括性的描述,用于概括该社区的主题和关键信息。


  6. 向量化: 利用 LLM 将实体、关系、社区概括等信息转化为向量表示,用于后续的语义搜索。


  7. 存储: 将构建好的知识图谱、社区信息和向量表示等数据存储到数据库中,供查询引擎使用。 

查询引擎

查询引擎负责接收用户查询,并在知识图谱中检索相关信息,最终生成答案。其主要流程如下:

  1. 查询解析: 将用户查询转化为知识图谱上的查询语句。

  2. 图遍历: 在知识图谱上进行遍历,寻找与查询相关的实体、关系和路径。

  3. 信息整合: 将检索到的信息进行整合,形成 LLM 生成答案的上下文信息。

  4. 答案生成: 利用 LLM 根据上下文信息生成最终的答案。



产品特点



GraphRAG 之所以能够克服传统 RAG 的局限性,主要得益于以下几个方面的创新:

  1. 结构化的知识表示: GraphRAG 使用知识图谱来表示信息,将文本数据转化为结构化的图谱形式,其中节点代表实体,边代表实体之间的关系。这种结构化的知识表示方式,使得信息之间的关系更加清晰明确,便于 LLM 进行推理和分析。

  2. 自动化的知识抽取: GraphRAG 利用 LLM 自动从文本数据中抽取实体、关系和关键陈述等信息,无需人工构建知识图谱,大大降低了知识图谱构建的成本和难度。

  3. 层次化的信息组织: GraphRAG 使用层次化的社区结构来组织信息,将具有相似语义的实体聚集在一起,形成不同的社区,并生成社区摘要,帮助用户快速了解每个社区的关键信息。这种层次化的信息组织方式,使得 LLM 能够更好地理解信息的上下文和语义关系。

  4. 灵活的查询方式: GraphRAG 支持全局搜索和本地搜索两种查询模式。全局搜索利用社区摘要推理关于整体性问题,而本地搜索则通过探索邻近概念和相关概念来处理特定实体查询。

  5. 优越的性能表现: GraphRAG 在处理复杂信息和私有数据集方面表现优于传统的 RAG 方法,尤其是在以下情况下:

  • 连接不同的信息片段。

  • 全面理解大型数据集上的汇总语义概念。

  • 从长文档中滤除噪声。

  • 根据用户上下文和查询中捕获的实体对结果进行过滤和提升。





总结



GraphRAG是一个非常好的想法,通过知识图谱和RAG的组合,可以极大提高当前RAG的性能,但其成功取决于 LLM 首先能够多好地提取关系,同时并非所有数据都是或可以以图形结构展示,这样的考虑会产生什么影响,尚待观察。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询