我要投稿

GNN-RAG: 更精准的GraphRAG

发布日期：2024-09-20 20:04:00 浏览次数： 1834 来源：AI 搜索引擎

今天为大家分享一篇联合GNN和LLM来提升知识图谱问答系统(KGQA)精度的文章，该论文由明尼苏达大学发表。

GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning

GNN-RAG：用于大型语言模型推理的图神经检索

论文地址: https://arxiv.org/pdf/2405.20139

Github 开源地址: https://github.com/cmavro/GNN-RAG

1.论文概述

知识图谱问答系统（Knowledge Graph Question Answering）指的是利用知识图谱（KG）来回答自然语言问题的系统。在 KGQA 系统中，用户输入的问题会被解析为相关的实体和关系，然后系统通过遍历知识图谱中的节点和边来找到准确的答案。因为知识图谱是以结构化的方式存储信息，能够很好地捕捉实体之间的关联，因此这种方法可以提高答案的准确性和相关性。

在KGQA场景中，回答的准确性高度依赖于检索KG事实的精准度。如何从复杂的图谱上执行精确的检索成为了核心挑战。检索正确的信息需要有效的图处理，而检索不相关的信息可能会在KGQA推理过程中误导LLM。目前主流的方法采用LLM从KG中进行检索，然而这种方法在多跳KGQA上表现不佳，因为它们不能处理复杂的图信息，或者它们需要非常大的LLM(例如GPT-4)的内部知识来补偿KG检索过程中的缺失信息。因此，在这篇文章中，作者提出了 GNN-RAG，以检索增强生成(RAG)风格将GNN的推理能力和LLM的文本理解能力相结合的新方法。

2.核心内容

GNN-RAG的架构如上图所示。具体可以分为三个阶段：

1. GNN 检索阶段：从知识图谱中检索出与问题相关的候选答案。图中的每个节点使用GNN模型聚合L-hop邻居信息得到节点表示，对节点表示做softmax操作，将得分高于阈值的节点选为候选答案。然后将这些候选点和问题中的实体节点在图上做最短路径匹配，最终得到检索的子图。在上图的例子中，经过GNN得到的候选点是“English, Jamaican English, French, Carbbean”，问题中的关键实体是 Jamaican, 将该实体与候选点做最短路径匹配最终输出检索子图。

2. LLM 和 GNN联合约减：作者微调了一个大模型用于从问题中挖掘推理链，例如在上图的例子中，大模型输出的推理链为“Jamaican->official_language” 和 “Jamaican->language_spoken”。这个过程要求大模型输出的推理链覆盖全面。然后将这个推理链和经过GNN得到的检索子图做匹配，过滤掉和推理链路不match的路径，得到最终的检索子图。

3. RAG生成：将检索子图和问题联合喂入大模型生成答案。

3.总结

这篇论文提出了GNN-RAG,联合LLM和GNN做精确检索。这种方法结合了LLM的理解能力和GNN处理图上复杂多跳信息的能力。这篇工作为在图上做精确检索提供了新的思路

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

知识图谱+AI：如何构建一个Graph RAG App？

2025-01-02

Knowledge Graph Studio：让知识图谱构建更简单、更智能

2025-01-03

喂饭教程！全网首发Neo4J可视化GraphRAG索引

2024-07-17

手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】

2024-07-11

全网首发！小白也能读懂的GraphRAG知识图谱全流程解析，多图预警！

2024-08-13

大语言模型和知识图谱结合的知识库（开篇）

2024-07-13

论文浅尝 | 揭开思维链、思维树和思维图的神秘面纱

2024-06-24

两个基于大模型的知识图谱自动构建开源工具：兼看AutoKG轻量化关键词KG构建和混合增强问答思路

2024-06-10

理解图结构和图推理，彻底掌握GraphRAG底层逻辑，悄悄超越99%的人 | ICLR2024

2024-07-12

十大向量数据库怎么选？AI/RAG应用开发技术参考

2024-08-27

大家都在问

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

2025-01-14

如何用GraphRAG + GNN解锁知识图谱的隐藏价值？

2025-01-10

搭建一个本地AI知识库需要用到哪些技术栈？

2025-01-06

知识图谱+AI：如何构建一个Graph RAG App？

2025-01-02

向量数据库到底算不算一种NoSQL数据库？

2024-12-16

解读 Graph+AI 白皮书：LLM 浪潮下，Graph 尚有何为？

2024-12-10

有哪些指标可以描述两个图（graph）的相似度？图的相似度计算是否可以通过统一的指标来完成？聚类系数能否作为图相似度的主要指标？

2024-12-04

如何用知识图谱解锁开源情报的真正潜力？

2024-12-01

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

1.论文概述

2.核心内容

3.总结

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

知识图谱+AI：如何构建一个Graph RAG App？

Knowledge Graph Studio：让知识图谱构建更简单、更智能

喂饭教程！全网首发Neo4J可视化GraphRAG索引

手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】

全网首发！小白也能读懂的GraphRAG知识图谱全流程解析，多图预警！

大语言模型和知识图谱结合的知识库（开篇）

论文浅尝 | 揭开思维链、思维树和思维图的神秘面纱

两个基于大模型的知识图谱自动构建开源工具：兼看AutoKG轻量化关键词KG构建和混合增强问答思路

理解图结构和图推理，彻底掌握GraphRAG底层逻辑，悄悄超越99%的人 | ICLR2024

十大向量数据库怎么选？AI/RAG应用开发技术参考

大家都在问

向量数据库真的能满足所有 AI Agent 的记忆需求吗？

如何用GraphRAG + GNN解锁知识图谱的隐藏价值？

搭建一个本地AI知识库需要用到哪些技术栈？

知识图谱+AI：如何构建一个Graph RAG App？

向量数据库到底算不算一种NoSQL数据库？

解读 Graph+AI 白皮书：LLM 浪潮下，Graph 尚有何为？

有哪些指标可以描述两个图（graph）的相似度？图的相似度计算是否可以通过统一的指标来完成？聚类系数能否作为图相似度的主要指标？

如何用知识图谱解锁开源情报的真正潜力？

热门标签