AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


GNN-RAG: 更精准的GraphRAG
发布日期:2024-09-20 20:04:00 浏览次数: 1642 来源:AI 搜索引擎


今天为大家分享一篇联合GNN和LLM来提升知识图谱问答系统(KGQA)精度的文章,该论文由明尼苏达大学发表。 
GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
GNN-RAG:用于大型语言模型推理的图神经检索
论文地址: https://arxiv.org/pdf/2405.20139
Github 开源地址: https://github.com/cmavro/GNN-RAG

1.论文概述

知识图谱问答系统(Knowledge Graph Question Answering)指的是利用 知识图谱(KG)来回答自然语言问题的系统。在 KGQA 系统中,用户输入的问题会被解析为相关的实体和关系,然后系统通过遍历知识图谱中的节点和边来找到准确的答案。因为知识图谱是以结构化的方式存储信息,能够很好地捕捉实体之间的关联,因此这种方法可以提高答案的准确性和相关性。
在KGQA场景中,回答的准确性高度依赖于检索KG事实的精准度。如何从复杂的图谱上执行精确的检索成为了核心挑战。检索正确的信息需要有效的图处理,而检索不相关的信息可能会在KGQA推理过程中误导LLM。目前主流的方法采用LLM从KG中进行检索,然而这种方法在多跳KGQA上表现不佳,因为它们不能处理复杂的图信息,或者它们需要非常大的LLM(例如GPT-4)的内部知识来补偿KG检索过程中的缺失信息。因此,在这篇文章中,作者提出了 GNN-RAG,以检索增强生成(RAG)风格将GNN的推理能力和LLM的文本理解能力相结合的新方法。

2.核心内容

GNN-RAG的架构如上图所示。具体可以分为三个阶段: 
1. GNN 检索阶段:从知识图谱中检索出与问题相关的候选答案。图中的每个节点使用GNN模型聚合L-hop邻居信息得到节点表示,对节点表示做softmax操作,将得分高于阈值的节点选为候选答案。然后将这些候选点和问题中的实体节点在图上做最短路径匹配,最终得到检索的子图。在上图的例子中,经过GNN得到的候选点是“English, Jamaican English, French, Carbbean”,问题中的关键实体是 Jamaican, 将该实体与候选点做最短路径匹配最终输出检索子图。
2. LLM 和 GNN联合约减:作者微调了一个大模型用于从问题中挖掘推理链,例如在上图的例子中,大模型输出的推理链为“Jamaican->official_language” 和 “Jamaican->language_spoken”。这个过程要求大模型输出的推理链覆盖全面。然后将这个推理链和经过GNN得到的检索子图做匹配,过滤掉和推理链路不match的路径,得到最终的检索子图。
3. RAG生成:将检索子图和问题联合喂入大模型生成答案。

3.总结

这篇论文提出了GNN-RAG,联合LLM和GNN做精确检索。这种方法结合了LLM的理解能力和GNN处理图上复杂多跳信息的能力。这篇工作为在图上做精确检索提供了新的思路


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询