AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


大型语言模型和知识图谱:如何将它们结合起来
发布日期:2024-04-25 21:19:09 浏览次数: 1855


介绍知识图谱,如Wikidata,包含了实体之间的丰富关系信息,并且已经被广泛用作存储和表示关系信息的结构化格式。随着当今大型语言模型(LLMs)(例如ChatGPT)的兴起,研究如何以多种方式将知识图谱与大型语言模型结合来解决各种问题的趋势日益上升。

在这篇文章中,我们将介绍一些最新的研究成果,其中涉及到知识图谱与大型语言模型的结合使用。

历史链(CoH)推理时序知识图谱(TKG)是知识图谱的一个子集,具有一些方向和时间戳。这允许捕捉关系随时间的演变或它们发生的顺序。它在各种应用中具有重要的实际价值。例如,一个TKG可能显示“阿尔伯特·爱因斯坦”(实体)在“1905年”(时间戳)“发表”(具有时间的关系)了相对论。关于TKG的大多数先进研究主要集中在根据给定的历史事实预测未来事实上。

最近的监督方法主要依赖于图神经网络(GNNs)来捕捉结构信息(例如实体和关系)。它们可以通过聚合图中相邻节点的信息来学习实体和关系的表示。这有助于识别TKG内的模式和连接。虽然GNNs能够捕捉结构,但它们可能无法完全理解TKG中实体、关系和时间戳的语义含义。它们专注于从标记数据中学习模式,这可能无法很好地转化为理解数据的潜在含义。幸运的是,借助LLMs的帮助,它们在这方面的能力已经逐渐得到探索。然而,问题仍然存在。例如,过于复杂的历史信息可能会使LLMs感到困惑,使它们难以给出准确的答案。当你向LLMs输入一大段文字时,模型可能难以选择有用的信息,并可能生成与问题无关的答案。

为了解决现有的问题,提出了用于TKG预测的历史链(CoH)推理方法。与传统方法一次性提供所有历史记录不同,CoH逐步向LLMs提供高阶历史记录(例如与查询不直接相关的信息)。具体来说,CoH采用LLMs逐步探索重要的高阶历史链,并在最后一步仅基于推断的历史链来推理查询的答案。

一阶历史

这些被认为是与回答查询最相关的单个事件或信息片段。 LLM分析提供的信息并识别这些关键元素。二阶历史

它们通过以特定顺序组合一阶历史形成。 它们代表了可能导致当前情况或回答查询的事件序列。二阶历史超越了孤立的事件,捕捉了它们之间的因果关系。 这个过程继续进行,形成更复杂的一阶历史链序列,用于三阶、四阶等历史。

广泛的实验结果证明了CoH的优越性,以及其在提升基于图模型的TKG预测性能方面的有效性。

正确的回答对应正确的理由知识图谱问答(KGQA)方法旨在利用存储在知识图谱(KGs)中的关系信息来回答自然语言问题。随着大型语言模型(LLMs)及其显著的推理能力的最近进展,利用它们进行KGQA的趋势日益增长。然而,现有的方法仅关注于回答事实性问题,例如“西蒙·拜尔斯出生在哪个城市”。在这种情况下,现实世界的用户可能更频繁提出的涉及常识推理的问题,例如“我是否需要单独的签证去看‘维伦多夫的维纳斯’并参加今年夏天的奥运会”,却被忽略了。

为了解决这个问题,提出了一种使用LLMs进行KGQA的可验证方法,称为正确的回答对应正确的理由(R3)。R3将常识KGQA问题视为树状结构搜索,其中每个推理步骤要么基于KG事实,要么基于显现的常识公理,这是一个关键属性,使得推理过程完全可验证。

在这个示例工作流中,R3首先确定查询中的锚定实体(查询中提到的与找到答案最相关的中心实体)并获取这些实体的相关子图。接下来,它从LLM中提取一个常识公理,以指导搜索树该分支中的推理步骤。然后,在树的每一层深度,它检查常识公理是否可以用现有的KG事实满足,如果可能的话,基于它们的一个子集提供一个答案。如果可用的KG三元组不足,通过从公理进行逆向链接,它选择下一个实体以获取其相关的KG子图以继续搜索。每个分支可以一直持续到最大深度,如果在底部没有得到答案,将提出一个新的常识公理,它将指导在新分支中的搜索,直到搜索树达到其最大宽度。

三个不同任务的实验评估 — 问答、主张验证和偏好匹配 — 展示了R3作为一种优越的方法,超越了现有的方法,并显著减少了幻觉和推理错误的实例。

KnowPhish

KnowPhish是最具影响力的诈骗类型之一,对个人和企业都造成伤害。为了对抗网络钓鱼攻击,人们做出了许多努力。在这些努力中,基于参考的钓鱼检测器(RBPDs)通过将目标网页上的标志与已知标志集进行比较,已被确立为最先进的钓鱼检测范式,引起了相当多的研究关注。

具体来说,一个RBPD由一个品牌知识库(BKB)和一个检测器骨干组成,其中BKB包含品牌信息(例如品牌的标志和合法域名),而检测器骨干则使用这些BKB信息来进行钓鱼检测。要检测一个网页是否是钓鱼页面,RBPDs首先识别网页的品牌意图,即网页所呈现的品牌(例如,带有Adobe标志和外观的网页具有Adobe的品牌意图)。然后,如果检测到网页具有某个品牌的意图,但其域名与该品牌的合法域名不匹配,那么该网页就被分类为钓鱼尝试。

然而,RBPD也有其局限性,例如无法识别文本品牌意图。因此,最近构建并公开发布了一个名为KnowPhish的大型多模态BKB,其中包含了每个品牌的丰富标志变体、别名和域名信息,以及一种基于大型语言模型(LLM)的方法,用于结合KnowPhish中的别名信息识别网页的品牌意图。这种方法可以直接与任何标准的视觉RBPD集成,使其能够通过视觉和文本两种模态来检测品牌意图。由此产生的多模态钓鱼检测方法,称为KnowPhish检测器(KPD),能够检测带有或不带有标志的钓鱼网页。

KnowPhish已被证明可以显著提高RBPDs的性能。它的运行速度也比DynaPhish快30倍以上,尤其是在使用基于图像的RBPDs时。此外,采用多模态方法(结合各种数据源,如图像、文本、音频等)的KPD,可以大幅提高检测到的钓鱼网页数量。

结论这篇文章探讨了知识图谱(KGs)和大型语言模型(LLMs)如何结合使用,以应对各种任务中的挑战。关键要点包括:

带有LLMs的时间知识图谱(TKGs):链式历史(CoH)推理方法为TKG预测提供了一个有前景的方法。通过将复杂的历史信息分解成步骤供LLMs处理,CoH提高了推理准确性,特别是当它与基于图的模型结合使用时。 带有LLMs的知识图谱问答(KGQA):正确的回答对应正确的理由(R3)方法论解决了常识性KGQA问题。R3利用LLMs挖掘常识知识并指导推理过程。这种可验证的方法相比现有方法减少了错误和幻觉。 带有LLMs的网络钓鱼检测:KnowPhish方法展示了LLMs在增强基于参考的网络钓鱼检测器(RBPDs)方面的力量。通过结合多模态品牌知识库(BKB)和基于LLM的品牌意图识别,KnowPhish显著提高了与传统方法相比的网络钓鱼检测率和速度。 总体而言,KGs和LLMs的结合为解决需要推理和知识表示的复杂任务开辟了令人兴奋的可能性。随着这一领域研究的进展,我们可以期待更多创新应用,这些应用将利用这两项技术的优势。



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询