利用大型语言模型的能力进行基于问题的知识图谱补全，跨静态和动态领域

摘要

知识图谱补全（KGC）旨在识别知识图谱（KG）中缺失的三元组。这通常通过链接预测和实例补全等任务来实现。然而，这些方法往往只关注静态知识图谱（SKG）或时间知识图谱（TKG），仅解决范围内的三元组问题。本文介绍了一种新的生成补全框架，称为基于生成子图的KGC（GS-KGC）。GS-KGC采用问答格式直接生成目标实体，解决了问题可能有多个答案的挑战。我们提出了一种策略，从KG中提取以实体和关系为中心的子图，从中分别获取负样本和邻域信息，以解决一对多的问题。我们的方法利用已知事实生成负样本，以促进新信息的发现。此外，我们收集并精炼已知实体的邻域路径数据，提供上下文信息以增强大型语言模型（LLM）的推理能力。我们的实验在四个SKG和两个TKG上评估了所提出的方法，在五个数据集上实现了最先进的Hits@1 指标。结果分析表明，GS-KGC能够在现有KG中发现新三元组，并生成超出封闭KG的新事实，有效弥合了封闭世界和开放世界KGC之间的差距。

1 引言

知识图谱（KG）是一个结构化的语义知识库，以图形格式组织实体、概念、属性及其关系。在知识图谱中，节点代表实体或概念，边表示它们之间的关系。例如，电影领域的知识图谱可能包括“电影”、“导演”和“演员”等实体，以及“导演”和“参演”等关系。这种结构便于复杂查询和推理任务，在语义搜索、推荐系统和自然语言处理（NLP）等领域具有重要价值。然而，由于注释资源有限和技术限制，现有的知识图谱往往缺少关键实体或关系，限制了它们在下游任务中的功能。为了解决这个问题，知识图谱补全（KGC）被开发出来，通过分析现有的三元组推断、预测并填补这些缺失的实体和关系，从而增强知识图谱在实际应用中的价值和有效性。

以往的研究采用了多种方法来解决KGC问题。其中，KG嵌入方法如TransE和ComplEx将实体和关系映射到低维向量空间，并使用评分函数来评估三元组以进行推理。这些方法主要关注知识图谱的结构信息，往往忽视了实体的丰富语义内容。为了解决这一局限性，基于文本的KGC模型如KG-BERT和SimKGC应运而生，利用预训练语言模型（PLM）捕捉实体的详细语义信息。尽管这些基于文本的方法增强了语义理解，但它们在整合知识图谱的结构和语义信息方面常常面临挑战，限制了它们在某些应用中的表现。最近，大型语言模型（LLMs）在各个领域展现了卓越的生成能力，激励研究人员探索它们在KGC任务中的潜在应用。目前KGC的研究通常涉及对静态知识图谱（SKGs）和时间知识图谱（TKGs）采用分开的方法，主要集中在完成现有知识图谱中的信息，如图1所示。基于LLMs的方法显示出良好的结果，但在性能方面仍有改进空间。例如，我们提出的CP-KGC利用LLMs增强文本的语义表示。然而，这种方法仍然是一种基于文本的KGC策略。Luo等人提出的COH利用TKGs中的历史信息帮助LLMs推断最近的事件。尽管该方法能够从历史中学习新模式，但仍存在性能限制。与现实世界事件类似，知识图谱中的缺失三元组往往有多个答案。LLMs在没有有效上下文的情况下难以进行准确推理，限制了它们在封闭数据集中的预测性能。此外，LLMs是在庞大的数据集上训练的，因此它们的推理可能更符合现实世界的事实，而非标准化的答案。该领域的研究仍然相对不足。

为了解决这些问题，我们提出了基于生成子图的KGC（GS-KGC）框架，该框架利用LLMs通过生成基于子图的问题并从中推导答案来执行KGC。具体而言，我们为需要预测的不完整三元组设计问题，例如 或 ，其中 或 形成问题的一部分，预测的实体即为答案。在训练过程中， 或 被划分为输入和监督注释部分。在生成的问题中，我们提出了一种策略，提取以知识图谱中的实体和关系为中心的子图。这一策略结合了回忆的负样本和邻域信息，以帮助LLMs适应特定事件和复杂的逻辑关系。为了提高训练效率，我们对回忆的负样本和邻域信息进行了过滤和修剪。在此基础上，我们进一步探索了使用LLMs更新封闭数据集，以增强它们对KGC的贡献。

我们的贡献如下：

1. 我们引入了一个高性能框架，独特地将问答与知识图谱补全相结合，通过利用负样本和邻域信息，有效平衡了知识图谱的结构和语义方面。

2. 大量实验表明，我们的框架在多个SKG和TKG数据集上达到了最先进的性能，突显了其多样性和有效性。

3. 我们探索了生成KGC如何通过整合外部信息超越封闭世界范式，从而实现知识图谱的动态更新。

本文的其余部分组织如下：第二节介绍与本研究相关的先前研究。第三节描述子图划分的实现及GS-KGC框架的训练。第四节详细介绍实验结果。第五节分析超参数的影响并呈现消融研究，讨论生成KGC的优势。第六节总结并提出未来研究的考虑。

2 相关工作

2.1 知识图谱补全

知识图谱补全（KGC）旨在通过学习和推断稳定的关系和属性来填补知识图谱中的缺失实体和链接，从而增强图谱的完整性。KGC通常分为基于嵌入的方法和基于文本的方法。

基于嵌入的KGC：TransE是一种开创性的嵌入模型，通过将关系视为实体之间的线性转换来解决链接预测问题。后续模型TransH和TransD通过引入特定于关系的超平面和动态映射矩阵来改进TransE，更好地处理一对多、多对一和多对多等复杂关系。DistMult是一个简单高效的双线性模型，使用对称权重矩阵来捕捉实体之间的关系。然而，它无法处理关系的方向性。为了解决这个问题，ComplEx引入了复数值表示，使模型能够区分反对称关系。RotatE通过在复数空间中旋转实体来建模关系，捕捉更复杂的关系模式。TuckER基于张量分解技术，使用核心张量和两个嵌入矩阵有效地预测实体和关系，展示了优越的泛化能力。尽管这些嵌入模型在KGC中取得了显著进展，但它们通常无法捕捉实体和关系的高级语义特征，限制了它们在更复杂或动态环境中的适应性。

基于文本的KGC：基于文本的KGC利用预训练语言模型（PLMs）通过详细的文本描述增强实体关系的表示和理解。例如，Yao等人提出的KG-BERT使用BERT对三元组及其文本描述进行编码，将其转化为连续的文本序列，为将深层上下文信息整合到KGC中提供了基础方法。Wang等人提出的StAR在KG-BERT的基础上，通过将图嵌入技术与文本编码相结合，使用一种孪生式编码器来增强结构化知识，实现更细致的实体表示。尽管这些进展，基于文本的方法在性能上通常落后于基于嵌入的方法，直到SimKGC的出现。SimKGC首次在某些数据集上展示了相对于嵌入方法的优越性，证明了将对比学习技术与PLMs结合以显著提升性能的潜力。

2.2 LLMs增强知识图谱构建

具有参数高效微调的LLMs：最近的LLMs如Qwen、Llama和GPT-4因其卓越的突现能力而受到关注，并显著改善了增强知识图谱的应用。这些模型可以通过简单的提示生成新的事实用于知识图谱构建。此外，链式思维技术的引入显著增强了LLMs的推理能力。Wei等人提出的链式思维提示方法，通过在提示中加入中间推理步骤，大大提高了模型在算术、常识和符号推理任务上的表现。

最近的研究引入了各种参数高效微调技术（PEFT）来优化预训练语言模型（PLMs）的性能。一种方法是在PLMs的架构中添加适配器——小型可训练的前馈网络——以增强其功能。此外，低秩适应（LoRA）技术通过在微调过程中使用低维表示简化了模型参数更新。此外，提示微调和前缀微调通过引入可学习参数来增强模型输入或激活函数，从而提高模型在特定任务上的适应性和效率。这些技术提高了模型的灵活性和适用性，并增强了它们在保持原始模型结构稳定性的同时快速适应新任务的能力。

基于LLM的知识图谱构建：自KGC研究中引入KICGPT框架以来，它成功地指导LLMs使用基于三元组的KGC检索器生成丰富的上下文段落，支持小规模KGC模型并显著提升其性能。研究表明，LLMs在理解和生成丰富的语义信息方面具有巨大的潜力。CP-KGC框架通过语义丰富和上下文约束进一步发展了这种方法，增强了基于文本的KGC方法。该框架通过为不同数据集设计量身定制的提示，增加了语义丰富性，并有效识别KGC数据集中的多义实体。此外，KG-LLM方法将三元组视为文本序列，并通过指令调整LLMs，以评估三元组或候选实体和关系的合理性，显示出在三元组分类和关系预测任务中高性能的潜力。MPIKGC框架通过查询LLMs从多个角度增强KGC，以扩展实体描述、理解关系和提取结构。随着研究的进展，LLMs在时间知识图谱构建（TKGC）中的应用得到了广泛研究，要求使用已建立的时间结构来预测未来时间戳缺失的事件链接。LLMs在该领域的应用通过增强历史建模和引入逆逻辑，提高了对时间结构的推理能力。这些方法提高了模型在链接预测和三元组分类任务中的表现，展示了整合各种增强方法以提高整体性能的潜力。

这一系列研究为LLM在KGC中的应用创造了丰富的景观，展示了使用LLMs从多个角度增强KGC任务的广泛可能性和实际好处。然而，目前基于LLM的KGC研究的表现尚未达到主流模型的水平，未能充分评估LLMs对KGC的潜在影响。

3 方法论

在本节中，我们介绍了一种新颖的生成式知识图谱构建方法，称为GS-KGC。如图2所示，它由三个模块组成：

子图划分：该模块将图G划分为多个子图，每个子图包含相似数量的实体。这些子图作为高效的上下文用于训练。

问答模板映射：该模块将传统的知识图谱构建任务转化为问答任务，通过微调的大型模型实现知识图谱构建。

生成式知识图谱构建的评估：该模块通过在知识图谱内外发现新三元组来评估生成式知识图谱构建，使大型语言模型能够超越封闭世界的知识图谱构建范式。

3.1 子图划分

知识图谱（KG）定义为 。 是实体集合，包括个人、地点等个体， 包含实体之间的关系，如 hasFriend 和 locatedIn。 是三元组集合，其中 和 分别表示三元组的头实体、关系和尾实体。训练集 包含三元组，验证集 包含三元组，测试集 包含三元组。值得注意的是，验证集 和测试集 中的子图数据源自 。在链接预测任务中，每个三元组必须双向预测，考虑前向预测 和后向预测 。我们将这两种缺失三元组统一表示为 ，其中 表示现有的头或尾实体， 表示关系。，。

基于这些定义，我们在 中生成的子图表示为 。本文采用邻域采样方法进行子图划分，旨在从更大的图中选择特定的节点和边以创建更小的子图。这些子图保留了原始图的基本特征，同时降低了计算复杂性。为了最大化推理的有效信息，我们提出了一种以知识图谱中的实体和关系为中心提取子图的策略。该策略由两个主要组成部分构成：负采样和最优邻域信息。每个三元组对应的子图 被生成，每个子图具有 。在图3中，对于每个 ，我们生成两个对应的子图，分别针对 和 ，将不完整的三元组统一表示为 ，假设不完整三元组的真实答案为 。 包含三元组 和 ，但不包括 ，而 过滤掉与 相关但不涉及 的邻域信息。在模型微调阶段， 和 被视为两个独立部分，共同贡献于最终的推理结果。

3.1.1 过滤

防止训练集和测试集之间的信息泄露至关重要。测试集必须包含模型从未见过的数据，以公平评估其泛化能力。我们描述了如何在训练过程中为正样本生成负样本，以增强大语言模型（LLMs）的学习效果，同时防止信息泄露。

在为缺失三元组 生成子图时，使用邻域采样技术构建以 为中心的邻域子图 。该子图 包含与 直接连接的所有实体和关系。

然后，我们从 中过滤出包含 并具有关系 的三元组集合 。

接下来，我们从 中移除真实答案 ，以获得所有其他三元组的集合 ，排除正确的三元组。

这种负采样策略有助于训练大语言模型从已知答案推断其他潜在实体，从而显著提高其泛化能力。

3.1.2 剪枝

我们统一表示缺失的正向和反向三元组为 。对于 中的每个三元组，从实体 开始，我们使用邻域采样方法直接从 中提取与 e 相关的信息，以形成子图 。为了提高效率和准确性，我们对 进行了必要的剪枝和压缩。

首先，从实体 开始，我们构建其连接的子图 。为了控制子图的大小，我们剪枝与 路径上距离超过 5 跳的实体。具体而言，如果从实体 到实体 的最短路径 大于 5，这些实体将被剪枝。

接下来，为了确保 不包含负样本，我们从 中移除 的内容，并通过集合差运算生成 G 邻居，从而隔离正样本和负样本的影响。

在处理大型图 时，即使在运行后，为每个实体生成的连接子图可能仍然过大，无法适应 LLM。因此，我们引入 p 来限制子图中的路径深度。p 的设置直接影响从实体 开始的路径长度，从而决定子图的大小。我们将 定义为以实体 为中心，深度为 的上下文邻域信息集。

当 时，上下文邻域集为空；当 时，仅考虑与 直接连接的第一阶邻居。

当 时，我们扩展到更深的路径。例如，当 时，考虑形如 的路径。最终，我们的目标是根据 p 的值准确获取和利用实体 的邻域上下文集 。

3.1.3 信息合并

通过3.1.1和3.1.2，我们从三元组中获得了负样本集 和邻域信息集 。

我们设定所需的上下文信息集数量为 。对于每个三元组对应的 和 ，我们根据以下规则确定最终的信息集：如果 ，我们将从 中随机抽取 个元素，以确保最终信息集的大小不超过 。如果 ，为了达到集合大小，我们将从 中随机抽取元素，直到填充到 个元素。具体来说，我们需要从 中抽取个元素，如下所示：

最终信息集 由调整后的负样本集 和补充的邻域信息集 组成。需要注意的是，如果 ，则补充的邻域信息集 将为空。该方法确保信息集的数量恰好满足预定需求，同时保持数据集的多样性和信息的平衡。

3.2 QA 模板映射

大型语言模型在自然语言处理任务（如问答）中表现出了卓越的能力。基于此，我们采用简单的问答格式来实现知识图谱构建任务。对于缺失的三元组 ，我们设计了一个基本的问答模板 ：

这里， 表示实体 的文本描述，使用来自 CP-KGC 的语义增强描述。添加 有助于大型语言模型理解实体的含义，并有效区分多义词。在 中的每个 t，通过子 h 划分获得子图，记为 。对于任何一对 ，相应的子图表示为 ，其中 或 可能为空：

当 不为空时， 和 在 中是相同的， 表示负样本集。 可以表示为 。此时，Prompt Negative 为：

当 不为空时， 包含与 相关的三元组或路径。这些邻域信息为大型语言模型提供了更多相关知识以进行推理。此时，Prompt Neighbors 为：

最后，通过整合这些信息形成的问题被输入到大型语言模型中进行训练：

3.3 模型训练

基于指令的微调是一种针对大型语言模型（LLMs）的训练策略，旨在通过提供指令和示例来优化其在特定任务上的表现。虽然全参数微调是有效的，但在大规模数据上会遇到显著的挑战。

LoRA是一种高效的微调技术，通过调整少量模型参数快速适应任务，减少计算资源需求，同时保持模型的泛化能力。在LoRA微调过程中，矩阵 被表示为两个低秩矩阵的乘积， 和 ，其中 和 的秩为 ，且 。因此，更新后的权重可以表示为：

这里， 是一个秩为 的矩阵，表示可能需要更新的权重增量。在微调过程中，仅更新 和 。例如， 的更新规则可以表示为 ，其中 ℓ 是学习率，L 是损失函数。

为了测量预测实体与实际实体之间的相似性，我们使用交叉熵损失函数，其表达式为：

是预测的实体。最终的语言模型记作 ，参数数量为 θ，训练集包括 × |T| − 实例 。微调的目的是最小化以下损失函数：

其中 是具有参数 的微调后大型语言模型的输出， 是问题。

3.4 生成知识图谱的评估

生成知识图谱（KGC）与传统知识图谱的主要区别在于，生成知识图谱直接产生其认为最可能的答案。在现实世界中，许多问题并没有单一的正确答案。大型语言模型（LLMs）在庞大的文本数据集上进行训练，使其能够学习语言的细微差别和广泛的知识，从而具备生成和理解人类语言的强大能力。因此，即使LLM给出的答案不在测试集的标准答案中，它仍然可能是正确的，因为同一个问题可能有多个合理的答案。

如图4所示，排除部分 和 ，闭合世界假设（CWA）意味着知识图谱中不存在的三元组被视为错误。在CWA下，训练集中的三元组被认为是真实的，而测试三元组的真实值未知。预测的三元组集 可以分为两个子集：，包含来自测试集的真实三元组，以及 ，包含不在 中的错误三元组。我们可以获得更准确的结果，从而弥合基于CWA和基于开放世界假设（OWA）的知识图谱之间的差距。

我们从CWA的角度重新评估LLM生成的知识图谱结果，利用 和 。 预测表示LLM的真实正预测，最终结果应为 和 的总和。有关详细分析，请参见第5.4节。

4 实验

4.1 数据集

我们在几个流行的知识图谱（KGs）上进行了实验，包括四个静态知识图谱（SKGs）和两个时间知识图谱（TKGs）。这四个静态知识图谱分别是WN18RR、UMLS、FB15k-237和FB15k-237N。WN18RR是WordNet的一个子集，包含英语短语及其语义关系。FB15k-237和FB15k-237N源自Freebase，包含大量现实世界的事实。UMLS包括医学语义实体及其关系，是一个广泛用于知识图谱构建（KGC）任务的领域特定知识图谱。这两个时间知识图谱包括广泛使用的ICEWS14和ICEWS05-15数据集。所有这些知识图谱都是具有挑战性且广泛使用的基准。这些数据集的统计信息总结在表1中。每个数据集被划分为训练集、验证集和测试集。

4.2 基线和实验设置

在我们的SKGC实验中，我们使用了基于文本的KGC模型，如KG-BERT、KG-S2S和SimKGC进行比较。对于基于LLM的实验设置，我们选择了KG-S2S-CD、SimKGC MPIKGC-S和SimKGC CP-KGC。对于TKGC，我们将传统模型如TiRGN、HGLS、GenTKG与基于LLM的模型Llama2-7b-ICL和Llama2-7b-CoH进行了比较。

所使用的基础LLM模型为SKGC的llama3-8b-instruct和TKGC的 -chat。具体的微调参数为：LoRA秩设置为64，LoRA alpha设置为16，LoRA dropout率为0.05，学习率为0.0001，训练周期为1.0个epoch。训练设备包括四个A-800-80GB PCIe显卡。此外，我们设置了。

4.3 主要结果

我们比较了GS-KGC与基线模型的性能。UMLS、FB15k-237N、FB15k-237和WN18RR数据集的实验结果如表2所示。ICEWS14和ICEWS05-15数据集的结果如表3所示。从这些比较中，我们得出了以下三个关键观察结果：

 和    的结果：在表2和表3中，  指仅使用微调模型，而GS-KGC则同时采用负样本和邻域策略。在SKGC任务中，与相比，GS-KGC在UMLS、FB15k-237N、FB15k-237和WN18RR数据集上分别实现了、、和的性能提升。在TKGC任务中，GS-KGC在ICEWS14和ICEWS05-15数据集上分别提高了和的性能，相比于-only。具体而言，Hits@1的提升与数据集的大小和类型密切相关。例如，在UMLS数据集中，添加负样本和邻域信息显著增强了Hits 的性能。这主要是因为UMLS数据集样本量小，主要包含概念知识。提供邻域信息有效地帮助LLMs进行更准确的推理。这些结果表明，当得到外部有效知识的支持时，LLMs的推理能力显著增强。

SKGC中的结果：在SKGC中，GS-KGC在UMLS、FB15k-237N和FB15k-237数据集上优于基于文本的KGC方法及其LLM增强变体，但在WN18RR上的表现略逊一筹。具体而言，GS-KGC在UMLS上比SimKGC+CP-KGC高出，在FB15k-237上高出，在FB15k-237N上超越SimKGC+MPIKGC-S 。WN18RR表现较差的原因可以归因于其实体的独特特性，同一个词往往有多重含义。例如，在stool NN 2中，“stool”是实体，“NN”表示它是名词，而“2”表示其第二个含义。LLMs难以直接理解这些复杂的含义。虽然它们可以在推理过程中利用已知信息，但它们容易产生幻觉，生成不属于WN18RR数据集的实体。这突显了模型在处理高度多义实体时的局限性，表明需要进一步优化以减少错误和非目标实体的生成。在前向和后向测试集中，LLM分别生成了1,220和1,424个在WN18RR中不存在的实体。这分别占和。像“stool NN ”这样的实体导致的额外结果都是错误的。

TKGC中的结果：在TKGC中，GS-KGC在ICEWS14和ICEWS05-15数据集上优于基于LM和基于LLM的KGC方法。与基线模型相比，GS-KGC在ICEWS14上提高了，在ICEWS05-15上提高了。尽管GS-KGC在SKGC中对的提升较小，但已经达到了与主流模型相当的性能。与SKGC不同，TKGC的任务是基于历史观察预测未来实体。在这种情况下，LLMs可以通过LoRA有效地学习和适应这些任务。由于TKGC中的数据关系相对简单明了，使用QA-only模式可以取得良好的结果。

这些观察结果验证了GS-KGC的有效性。GS-KGC在将负样本和邻域信息整合到LLMs中进行KGC方面显示出巨大的潜力。这个特性使得GS-KGC能够灵活且持续地从KG中的新实体和关系中学习KGC。LLMs的进步可能进一步提高GS-KGC的准确性。

5 分析

5.1 超参数分析

大型语言模型（LLMs）的推理能力通常受到可用上下文数量的限制。在表2和表3中，我们将GS-KGC的负样本总数和邻居信息设置为100。为了平衡模型的推理性能和资源消耗，我们在四个数据集（FB15k-237N、ICEWS14、UMLS和WN18RR）上进行了参数分析实验，以探索不同M值（0、20、40、60、80、100）对模型性能的影响。当 时，对应于仅QA模式；当 时，结果如表2和表3所示，具体结果在表4中说明。

从图5中可以更清晰地观察到模型性能的变化。实验结果表明，在四个数据集上，随着M值从0增加到20，模型性能显著提高，然后在40、60、80和100时趋于稳定。这表明，召回有效的负样本和邻域信息可以显著增强GS-KGC的性能，在SKG和TKG上实现了之前模型未能达到的改进。尽管在 时，FB15k-237N和ICEWS14的性能进一步提升，但在 时，GS-KGC在FB15k-237N、ICEWS14和UMLS上的Hits 结果已经超过了之前的最佳结果。较短的上下文信息不仅意味着更短的训练和推理时间，还意味着更少的资源消耗，这对于处理大型知识图谱数据集尤其有利。

5.2 消融研究

在5.1节中，我们分析了上下文信息（包括负样本和邻域信息）对GS-KGC性能的影响。为了理解负样本和邻域信息的具体贡献，我们在四个数据集上进行了详细的消融研究：FB15k-237N、ICEWS14、WN18RR和le 5。仅表示负样本和邻域信息，仅包含负样本，仅包含邻域信息，而GS-KGC则同时包含这两种信息。

根据表5的结果，引入负样本显著提升了的性能。然而，仅添加邻域信息导致性能相对没有变化，甚至在三个数据集中出现性能下降，FB15k-237N除外。当负样本和邻域信息结合时，GS-KGC的性能不仅超过了仅有负样本的场景，还显示出协同效应，即整体大于部分之和。我们认为这是因为在现实世界中，不完整的三元组通常对应于一个具有多个潜在答案的问题。使用已知结果作为负样本可以激励模型探索更多可能性，从而增强其泛化能力。另一方面，当仅添加邻域信息时，模型获得了更多的背景信息。然而，这些信息与已知答案的背景高度重叠，导致在测试集上的性能不理想。这在GS-KGC的结果中得到了进一步的说明。

5.3 模型规模如何影响结果

在本节中，我们探讨了大型语言模型（LLMs）的规模如何影响知识图谱构建（KGC）的性能。我们比较了两种模型规模，Qwen2-1.5B-Instruct 和 LLaMA3-8b-Instruct/GLM4-9B-Chat，所有上下文信息 M 的总量设置为 100。其他条件保持不变。具体比较结果如表 6 所示。

在 FB15k-237N、ICEWS14、WN18RR 和 UMLS 数据集上，这两种模型之间的性能差异分别为 、、 和 。在 1.5B 参数模型中，我们观察到与传统方法相比存在一定差异。这表明在一定的参数范围内，增加模型规模可以有效提升性能。更大的模型意味着更强的推理能力。随着大型语言模型技术的不断进步和开源模型的迭代更新，我们预计推理能力将继续提高，为知识图谱构建的广泛应用铺平道路。

5.4 GS-KGC的优势

在第3.4节中，我们讨论了生成式知识图谱补全（KGC）与传统KGC之间的主要区别。生成式KGC能够识别知识图谱中的新三元组关系，并引入知识图谱外的实体。这一能力与KGC的原始目标更为契合，即探索和补全未知的三元组关系，而不仅仅是进行链接预测。

以FB15k-237N数据集的测试结果为例，测试集包含8226个三元组，其中3774个成功预测，4452个未成功预测。如图6所示，在4452个未成功预测的三元组中，794个是训练集和验证集中的三元组的重复，占 。我们认为这可能是由于负样本生成的局限性。尽管负样本可以促使LLM生成超出已知答案的结果，但输入长度的限制使得无法将所有负样本包含在上下文中。进一步分析显示，在3423个预测的实体中，两个LLM同时认为880个完成的三元组是正确的。在知识图谱中不存在的实体中，LLM认为87个完成的三元组是正确的；这些三元组被称为 。

表7将 分为两类。第一类包括存在于知识图谱中的预测实体，其中组成的三元组不在知识图谱中，但两个LLM都同意其有效性。例如，预测的三元组（Waylon Jennings，死亡地点，凤凰城）与测试集答案查andler不同。由于查andler位于凤凰城大都市区，因此这两个三元组都是有效的。第二类包括不存在于知识图谱中的预测实体，且组成的三元组也缺失于知识图谱。这些三元组是LLM新引入的，知识图谱中不存在。

通过GS-KGC，生成式KGC不仅增强和细化了知识图谱的内部结构，还通过引入外部实体扩展了其边界，实现了从封闭世界到开放世界的无缝过渡。这一跨域模型显著增强了知识图谱的动态更新能力，大大扩展了其在各种现实应用中的实用性和影响力。

6 结论

本文提出了一种名为GS-KGC的生成式知识图谱补全方法，这是一种能够同时完成结构化知识图谱（SKGs）和时间知识图谱（TKGs）的通用模型。为了解决生成式知识图谱补全中的一对多问题，我们引入了新的负样本生成方法和邻域信息路径回忆策略，以为大规模语言模型（LLM）的推理提供有效的上下文信息。我们对GS-KGC有效性的探索表明，GS能够生成超出图谱的正确事实，这表明GS-KGC能够弥合封闭世界知识图谱补全和开放世界知识图谱补全之间的差距，从而增强知识图谱补全在实际应用中的潜力。在未来的研究中，我们旨在探索更高质量的信息回忆策略，以便在垂直领域更广泛地应用GS-KGC。