©作者|Zhongmei

来源|神州问学

一.  背景概述

知识图谱（KG）概述

1.  知识图谱本质是一种知识表示方式，是以 (实体、关系、实体) 三元组集合的方式来存储结构化知识。

2.  其通过定义领域本体，对某一业务领域的知识结构（概念、实体属性、实体关系、事件属性、事件之间的关系）进行了精确表示，使之成为某个特定领域的知识规范表示。随后，通过实体识别、关系抽取、事件抽取等方法从各类数据源中抽取结构化数据，进行知识填充，最终以属性图或RDF（ 资源描述框架）格式进行存储。

3.  根据所存储信息的不同，现有的知识图谱可分为四大类：百科知识型知识图谱、常识型知识图谱、特定领域型知识图谱、多模态知识图谱。

大语言模型（LLM）概述

1.  transformer架构+多头注意力机制，通过参数隐含地表示知识

2.  架构不同分为：encoder-decoder, encoder-only, decoder-only

可行性分析

现有的部分代表性应用

为了提高LLM的知识感知能力，文心一言和Bard将知识图谱融入了他们的聊天机器人应用中。Doctor.ai开发了一个医疗助手，结合LLM和知识图谱来提供医疗建议。

一句话概况：KG和LLM都是储存，处理，利用知识的方式。知识图谱是形式化显性的知识库，大模型是参数化隐性的数据库，而二者可以互补不足

● 大模型根据其所具有的生成能力，包括语义理解、指令遵循、思维链、基础常识支持上下文理解、情感分析、推理规划等，擅长的是智能对话、内容生成、内容加工、作品创作、机器翻译、意图识别。

● 知识图谱所擅长的是智能检索、智能推荐、辅助决策以及知识管理。其中，知识管理场景中需要有知识融合、知识存储、知识补全、知识查询知识推理、知识溯源、知识共享与交换、知识更新与维护等核心能力。

二、融合知识图谱和大语言模型

该路线图包括三个一般的框架：

1）KG增强的LLMs，在LLMs的预训练和推理阶段加入KGs，或者为了加强对LLMs所学知识的理解；

2）LLM增强的KG，利用LLM完成不同的KG任务，如嵌入、完成、构建、图-文生成和问题回答；

3）协同的LLM+KG，其中LLM和KG扮演同样的角色，以互利的方式工作，以增强LLM和KG的双向推理，由数据和知识驱动。

1.  KG增强LLM

1.1 KG增强LLM预训练

1.1.1 将KGs整合到训练目标中：

第一种是在预训练目标中暴露出更多的知识实体。例如：GLM利用知识图谱结构来分配给重要的学习实体一个高的掩码概率。E-BERT进一步控制token级和实体级训练损失之间的平衡。SKEP在LLMs预训练期间注入情感知识，掩码时为这些确定的情感词语分配一个较高的掩蔽率。

另一类是明确利用知识和输入文本的联系【加强对实体的识别】文心一言提出一种新颖的word-entity对齐训练目标作为预训练目标。【将句子和文本中提到的相应实体一起输入到LLM中，然后训练LLM预测token与知识图谱中实体之间的对齐连接】

Figure 6. 文本-知识对齐损失将知识图谱信息注入到LLM的训练目标中，其中h表示由LLM生成的隐藏表示

1.1.2 将KGs整合到LLM的输入中

将相关的知识子图引入到LLM的输入中。ERNIE 3.0将一个三元组和相关的句子表示为一连串的token，并直接将它们与句子连接起来，进一步随机mask掉三元组中的关系标记或句子中的标记。但是可能造成一个问题是 Knowledge Noise 【即过多的知识融合可能会使原始句子偏离正确的本意，过犹不及】为了解决这一问题word-knowledge graph被提出来了，就是输入句子中的token形成一个完全连接的词图，与知识实体对齐的token与其相邻实体连接在一起。

1.1.3 通过额外的融合模块来整合KGs

文本-知识双encoder架构

THU-ERNIE

1.2 KG增强LLM推理

1.2.1 动态知识融合

1.  双塔架构，其中一个分离的模块处理文本输入，另一个处理相关的知识图谱输入。

2.  LM到KG和KG到LM的双向关注机制：在文本输入中的任何token和任何KG entity之间进行细粒度的互动

3.  根据注意力得分动态地进行剪枝，以使后面的层能够专注于更重要的子KG结构。

1.2.2 检索-增强型知识融合

非参数和参数模块结合

1.  Maximum Inner Product Search（MIPS）在非参数模块检索相关KG

2.  把这些信息当背景知识给大语言模型

1.3 KG增强LLM的可解释性

1.3.1 用于探测

通过预先定义的提示模板将KGs中的事实转换为填空问题，然后使用LLMs来预测缺失的实体。这样就能评估存储在LLMs中的知识

1.3.2 用于LLM分析的KGs

使LLMs在每个推理步骤产生的结果以知识图谱为基础，这样就能分析出LLMs的推理过程

总结起来：

优点就是四点

1.  提高知识可信度：依托知识图谱中经质量评估的知识，可帮助大模型提高信息的质量和可信度，并保障知识的正确性和时效性。

2.  增强通用性、领域能力、认知能力：可帮助大模型获得跨领域和跨语言的知识，并更好地适应不同的领域任务和场景。

3.  降低构建成本：依托知识图谱中的结构化知识，可减少大模型对标注数据或专家知识的需求，从而降低大模型的构建成本和难度。

4.  提高可生成性：可帮助大模型可生成更贴近实际、更具有解释性的内容。提高创作能力：通过知识图谱的知识增强，可帮助大模型创作内容更具逻辑、一致性和创新性等。

2.  LLM增强KG

2.1 增强 KG embedding

知识图谱嵌入（KGE）旨在将每个实体和关系映射到一个低维向量（嵌入）空间中。希望这些嵌入包含知识图谱的语义和结构信息。但传统的KGE主要依赖于KG的结构信息来优化定义在嵌入上的评分函数。由于结构的连通性有限，所以这些方法在未见实体和长尾关系上就表现不好。所以利用LLM，通过对实体和关系的文本描述进行编码，来丰富 KG 的表征。

2.1.1 LLM做文本编码器

KGE考虑图结构，LLM处理文本描述：以Pretrain-KGE 为代表性方法。给定一个三元组 (head entity, relation, tailed entity) KGs，它首先使用LLM(Bert)编码器将实体h、t和关系r的文本描述编码，eh、er 和 et 分别表示实体 h、t 和关系 r 的初始嵌入。然后，初始嵌入被输入到 KGE 模型中以生成最终的嵌入 vh、vr 和 vt。这样学习足够的结构信息的同时保留部分LLM中的知识

L = [γ + f(vh, vr, vt) − f(v ′ h , v′ r , v′ t )]

γ is a margin hyperparameter

v ′ h , v′ r , and v ′ t are the negative samples.

2.1.2 同时联合文本和KGE

另一种方法直接采用大语言模型将图结构和文本信息同时合并到嵌入空间。kNN-KGE为代表。将实体和关系视为special token 。在训练期间，它会传输每个三元组 (h, r, t) 和相应的文字描述组成一个句子，将尾部实体做掩码后喂入LLM，从而微调它去预测掩码。微调之后的模型用作嵌入模型

2.2 增强KG Completion

知识图谱补全（KGC）是指推断给定知识图中缺失的事实。和KGE相似，传统的KGC方法主要集中在知识图谱的结构，而不考虑广泛的文本信息。整合LLM进去可以使 KGC 方法能够编码文本或生成事实以获得更好的性能。这些方法分为两种

2.2.1 LLM作为编码器 (PaE)

encoder-only的LLM来编码文本信息和KG事实。然后，通过将编码后的表述输入预测头来预测三联体的可信度，预测头可以是一个简单的MLP或传统的KG评分函数（例如TransE和TransR）

PaE 应用额外的预测head 位于 LLM 编码的顶部。因此，PaE框架更容易微调：冻结LLM只优化预测头。此外，预测的输出可以轻松指定并与现有的 KGC 功能集成不同的 KGC 任务。

然而，在推理阶段，PaE 要求计算每个KG candidate的分数，计算成本可能很高。而且，他们不能推广到看不见的实体。此外，PaE需要LLM的中间输出，而一些最先进的LLM（例如 GPT-4) 是封源，不授予对表示输出的访问权限。

2.2.2 LLM 作为生成器 (PaG)

encoder-decoder or decoder-only LLMs; LLMs接收三元组的序列文本输入（h, r, ?），并直接生成尾部实体t的文本。

PaG 面临的挑战是生成的实体可能是多种多样的，不位于KG中的。而且由于自回归生成，单次推理时间较长。最后，如何设计有力的prompt将 KG 送入 LLM 的有力仍是开放式问题。

2.3 增强KG构建

知识图构建涉及在特定领域内创建知识的结构化表示。这包括识别实体及其相互关系。知识图谱构建的过程通常涉及多个阶段，包括1）entity discovery（实体发现）, 2) coreference resolution（共指解析）,和 3) relation extraction（关系提取）

2.3.1 端到端的知识图谱构建

2.3.2 从LLM中蒸馏出KG

隐性知识转化成显性知识

2.4 生成描述KG事实的自然语言

知识图谱到文本生成（KG-to-text）的目标是生成高质量的文本，准确和一致地描述输入的知识图谱信息。KG-to-text的生成将知识图谱和文本连接起来，大大改善了KG在更现实的NLG场景中的适用性，包括讲故事和基于知识的对话。然而，收集大量的图-文并行数据是具有挑战性的，而且成本很高，导致训练不足，生成质量差。

2.4.1 利用大语言模型的知识

2.4.2 构建大规模弱对齐KG-文本语料库

预训练大语言模型很难和KG-to-text这个下游任务对齐，这促使研究人员开发大规模的KG-文本对齐语料库。例如，来自维基百科的130万无监督KG到图形训练数据。具体来说，他们首先通过超链接和命名实体检测器检测文本中出现的实体，然后只添加与相应的知识图谱共享一组常见实体的文本，类似于关系抽取任务中关系监督的想法

2.5 知识图谱QA

知识图谱问答（KGQA）的目标是基于知识图谱中存储的结构化事实，找到自然语言问题的答案。在KGQA中不可避免的挑战是检索相关的事实，并将知识图谱的推理优势扩展到问答。

2.5.1 LLM作为实体/关系提取器

实体/关系提取器旨在识别自然语言问题中提及的实体和关系，并在知识图谱中检索相关事实。

2.5.2 LLM作为答案推理器

答案推理器旨在对检索到的事实进行推理并生成答案。LLM可以用作答案推理器，直接生成答案。

总结起来，优点也是四点

1. ）增强理解能力：大模型的语义理解能力可帮助知识图谱更好地理解和分类非结构化信息。

2.）降低构建成本：大模型的上下文理解能力、基础常识支持能力等可帮助知识图谱提升非结构化数据的知识获取、知识建模、知识融合等能力，降低其构建和维护成本。

3. ）丰富输出形式：大模型的生成能力可帮助知识图谱获得多元化的知识输出和服务形式，增强知识图谱系统的服务效果，并提升人机交互水平。

4.）提高知识完备性：大模型中涵盖的知识及其对新数据的理解能力，可帮助知识图谱进行知识补全和知识校验，提高知识的完备性。

3.  LLM和KG协同

将LLMs和KGs的优点结合起来，在各种下游应用中相互增强性能。

3.1 统一知识表示

文本语料库和知识图谱中的知识进行对齐，以统一地表示它们。

3.2 推理

1.  利用LLMs处理文本问题，并引导知识图谱上的推理步骤。通过这种方式，它能够弥合文本和结构信息之间的差距，为推理过程提供可解释性。

2.  在知识图谱推理任务中，有一种由LLM引导的逻辑推理方法。它首先将传统的逻辑规则转化为语言序列，然后要求LLMs对最终的输出进行推理。

3.  在统一的框架中融合了结构推理和语言模式的预训练。在给定文本输入的情况下，他们采用LLMs生成逻辑查询，然后在知识图谱上执行该查询以获取结构化上下文。最后，将结构化上下文与文本信息融合以生成最终的输出。

4.  结合知识图谱和LLMs，在对话系统中提供个性化的推荐。

1.  提高可解释性：知识图谱的显性知识与大模型的隐性知 识相结合，可提高知识应用的可解释性。

2.  实现交叉验证：知识图谱的输出与大模型的输出相结合， 可为知识应用提供交叉验证/比对的手段，提高服务的 可信赖性。

3.  优化知识存储：知识图谱的结构化信息存储和大模型的 非结构化信息处理相结合，可优化知识存储和检索效率。

4.  提高决策能力：知识图谱推理结果与大模型推理结果的 结合，可进一步丰富辅助决策的知识背景，并提供更精 确的决策建议。

5.  增强隐私保护：知识图谱中数据加密和保护能力与大模 型数据调用能力相结合，可降低大模型对个人隐私数据 的依赖，有利于保障隐私安全。• 确保知识产权保护：知识管理机制与本地化部署方式相 结合，可更好地保护知识产权，防止知识的滥用或盗用。

6.  增强伦理边界：通过优化知识图谱中的知识结构及大模 型训练样本结构，构建约束规则类知识并降低数据偏见， 强化输出边界。

三、未来方向

1.  用于检测LLM幻觉的KGs: 通过KG增强预训练或推理，利用KG来获得更可靠的LLMs。

2.  用于编辑LLM中知识的KGs: 尽管LLMs能够存储大量的现实世界的知识，但它们不能随着现实世界情况的变化而快速更新其内部知识。有一些研究工作提出了在不重新训练整个LLMs的情况下编辑LLMs的知识。然而，这种解决方案仍然存在性能差（遗忘和不正确的知识编辑）或计算开销大的问题。现有的研究也提出了在LLMs中编辑知识的解决方案，但只限于处理KGs中基于元组的简单知识。

3.  用于LLMs的KGs知识注入: 传统的KG注入方法，通过增加额外的知识融合模块来改变LLM结构。对于闭源模型来说这个方式不可以。将各种类型的知识转换为不同的文本提示似乎是一个可行的解决方案。但是1）目前还不清楚这些提示是否能很好地泛化到新的LLM中。2） 基于提示的方法受限于LLMs的输入长度。因此，如何使LLMs有效地注入知识，仍然是一个有待我们探索的问题。

4.  多模态LLMs for KGs：当前的知识图谱通常依赖于文本和图结构来处理与知识图谱相关的应用。然而，现实世界中的知识图谱通常是由来自多种模态的数据构建而成的。因此，有效地利用多个模态的表示将成为未来知识图谱研究的一个重要挑战。一个潜在的解决方案是开发能够准确地对不同模态之间的实体进行编码和对齐的方法。近年来，随着多模态LLMs的发展，利用LLMs进行模态对齐在这方面具有潜在的前景。但是，将多模态LLMs与知识图谱结构之间的鸿沟填补起来仍然是这个领域的一个关键挑战，需要进一步的研究和进展。

5.  理解KG结构的LLMs：传统的在纯文本数据上训练的LLMs并不是为了理解知识图谱这样的结构化数据而设计的。因此，LLMs可能无法完全掌握或理解KG结构所传达的信息。目前所采用的直接的方法是将结构化的数据线性化成LLMs可以理解的句子。然而，由于KGs的规模，不可能将整个KGs线性化作为输入而且线性化过程可能会失去KGs中的一些基本信息。因此，有必要开发能够直接理解KG结构并对其进行推理的LLM。

6.  双向推理的协同LLM和KGs：目前对LLMs和知识图谱的协同作用的研究相对较少。LMs和知识图谱的协同作用可以应用于许多现实世界的应用，如搜索引擎、推荐系统和药物发现。对于给定的应用问题，我们可以应用知识图谱来进行基于知识的搜索，寻找潜在的目标和未见数据，同时使用LLMs来进行基于数据/文本的推理，看看可以得出哪些新的数据/目标项。当基于知识的搜索与基于数据/文本的推理相结合时，它们可以相互验证，从而产生由双驱动引擎驱动的高效和有效的解决方案。因此，我们可以预期在不久的将来，对于将知识图谱和LLMs整合应用于多样化的具有生成和推理能力的下游应用，将会引起越来越多的关注。

四、个人思考补充

1）知识图谱构建：结构化知识之所以易于推理，是因为它有一套完整设计的结构或规则。做图谱其实就是做数据，其实就是对错综复杂的文档的数据进行有效的加工、处理、整合（数据定义、数据挖掘、数据清洗、数据评估的过程），使其转化为简单、清晰的“实体,关系,实体”的三元组。整个流程很长且成本低不了。其次它应该是一个对领域知识要求极高而且不同领域不能迁移（case by case)的范畴。

2）LLM和KG本质上都是一种知识库：在实时性和时效性上面临的挑战一致的，也就是知识更新