论文题目：

Knowledge Graph Enhanced Large Language Model Editing, ACL Findings, 2024

论文链接：

https://arxiv.org/abs/2402.13593

大语言模型凭借其强大的生成能力和蕴含的丰富知识在各种任务中表现卓越。然而，大模型中可能存在知识过时、事实错误等问题，这限制了大模型在实际应用中的可靠性。在一些关键领域的实际场景，如医疗诊断或法律咨询中，过时和错误的知识可能导致严重的后果。如何对大模型中的知识进行准确、有效的编辑更新，成为了亟待解决的重要问题。传统的微调方法虽然可以对模型进行更新，但却面临着参数破坏和灾难性遗忘等问题。为解决这些问题，知识编辑任务应运而生，旨在对大模型内特定知识进行精确更新，而不对其他无关知识和模型整体性能造成负面影响。

尽管已有的研究工作在知识编辑方面取得了一定效果，但在捕捉与目标知识关联的知识变化方面仍存在挑战。具体来说，现有的研究工作侧重于单个知识的编辑，比如将知识从（s,r,o）修改成（s,r,o*），但单个知识的修改往往会引发其他相关知识的连带改变。如图1所示，将“勒布朗 · 詹姆斯效力于迈阿密热火”修改为“勒布朗 · 詹姆斯效力于洛杉矶湖人队”需要相应地将“勒布朗 · 詹姆斯在迈阿密工作”更新至“勒布朗 · 詹姆斯在洛杉矶工作”。现有的编辑方法未能考虑由于修改目标知识而导致的关联知识变化的影响，这限制了编辑后模型的泛化能力。大模型的黑盒特性使得发掘大模型内部知识之间的关联关系变得极为复杂，这进一步增加了在编辑过程中检测这些相关知识变化的难度。

图1 大模型知识编辑的一条示例 单次编辑可能引发关联知识改变

为了解决这一问题，我们提出了知识图谱增强的模型编辑方法（GLAME, Graphs for LArge language Model Editing）。GLAME通过引入外部知识图谱，利用图结构数据捕捉目标知识更新带来的关联知识变化，从而缓解了大模型黑盒特性导致无法显式地建模知识依赖的问题。此外，我们还设计了用于图结构数据的编辑模块，将变化的关联知识编辑到大模型相关参数，实现了目标知识及其关联知识的协同编辑，突破了现有方法只能编辑孤立知识而难以泛化的局限性。

图2 GLAME模型的架构示意图

• 知识图谱增强模块（KGA）

a. 目标知识匹配与采样：知识编辑任务中，每个编辑样本都包含一个主语s、关系r、原宾语o以及编辑后新宾语o*。为了捕捉受到编辑影响的知识，我们使用o*在外部知识图谱（如Wikidata）中匹配最相关的实体。然后以该实体为中心，采样其邻近的实体及其关系，得到一个包含新关联关系的子图。

b. 知识表征提取：我们大模型的浅层中提取子图中实体和关系对应的隐向量，作为子图里节点和边的初始表征，这可以对知识表征间的依赖关系显式建模。

• 图数据编辑模块（GKE）

GKE模块主要将包含关联关系变化的图结构知识（子图）注入到大模型的参数中，完成知识编辑。基于ROME框架，我们需要在定位层计算大模型对编辑主语的原有表征和目标知识表征，来完成编辑：

b. 原始表征提取：大模型处理主语实体时，提取实体对应的隐向量，作为大模型对主语的知识表征。

c. 参数更新：得到原表征和新表征后，基于ROME框架可在大模型中间层实现两个表征的映射关系，得到建立新映射后的模型参数，从而实现对大模型特定参数的更新：

各模型在CounterFact、CounterFactPlus和MQuAKE数据集上的实验效果如表1和表2所示：

表1 各模型在CounterFact及CounterFactPlus数据集上的性能指标

表2 各模型在MQuAKE数据集上的性能指标

• 探究了在知识编辑过程中捕捉单次编辑引发的关联关系变化的重要性。通过对目标知识及其关联知识的协同编辑，提升编辑后大模型的泛化能力。

• 将外部知识图谱引入大语言模型的知识编辑任务中，利用知识图谱结构化的特性显式关联目标知识及其关联知识的变化。并提出了新的知识编辑方法GLAME，通过两个关键模块实现目标知识及其关联知识的协同编辑。

• 通过在多个标准数据集上的实验展示了GLAME在编辑效果和泛化能力上的提升。