我要投稿

论文札记| 大语言模型中的知识编辑

发布日期：2024-04-05 11:35:41 浏览次数： 2384 来源：囤粮松鼠

声明：此系列仅作分享，欢迎讨论，论文链接在阅读原文中.

文献：Zhang N, Yao Y, Tian B, et al. A comprehensive study of knowledge editing for large language models[J]. arXiv preprint arXiv:2401.01286, 2024.

摘要

大语言模型（Large Language Models，简称LLMs）在训练时参数量极大，但世界动态变化带来的知识更新和知识创造不会停止，人们对用于动态模型修改的高效、轻量级方法越来越感兴趣。大模型的知识编辑技术能够有效改善在特定领域的行为，同时保持跨各种输入的总体性能。综述定义了知识编辑问题，对其进行了分类，引入了KnowEdit基准，提供了知识定位的深度分析。作者希望通过知识编辑来探究大语言模型内部潜在的知识机制，开放了EasyEdit平台供以测试，讨论了几个潜在的应用。

方法

研究表明，LLMs内部的知识存储形式更加结构化和可检索。研究表明LLMs可以作为广泛的知识库，不仅存储大量信息，而且还以可能模仿人类认知过程的方式构建这些信息。

图1说明了已有研究对LLMs中的知识存储机制的发现，一些工作尝试解释Transformer LLM如何检索和利用这些存储的知识的问题，但更广泛的挑战在于全面理解各种知识链是如何在这些复杂的模型中错综复杂地组织和互连的。

在LLM领域，利用预训练模型进行微调的过程遇到了重大挑战。其中包括大量的参数、大量的时间和内存需求、过度拟合的风险以及灾难性遗忘等问题。为了应对这些挑战，已经开发了几种技术，如表1。知识编辑这种方法，具有理解和操纵LLM的细微差别的知识存储和处理能力，选择性地改变或增强模型知识库的特定方面。

LLMs的知识编辑. 理想的知识库不仅可以存储广泛的信息，还可以进行高效和有针对性的更新，以纠正这些错误并提高其准确性。基于这一差距，文章引入了LLM知识编辑的概念。

作为知识库，知识编辑要满足三个基本设置：知识插入、知识修改和知识擦除。如图2所示，教育和认知研究将人类知识获取分为三个不同的阶段：认知、联想和掌握。这三个阶段为LLMs中的知识编辑提供了概念化的方法，如表2所示。

认知阶段：利用外部知识. 当人类遇到新信息时，我们并不总是能立即掌握。相反，有了正确的背景和例子，我们可以通过这些新知识进行处理和推理。LLM表现出类似的情境学习能力。这种方法通常维护一个内存M，并为每个输入检索最相关的案例。

关联阶段：将知识合并到模型中. 与识别阶段不同，这种方法学习新知识h_{Know}的表示，并将这些信息与原始模型的表示合并。

掌握阶段：编辑内在知识. 模型需要学习其自身参数的知识，并自行掌握这些知识。对模型进行微调是更新知识的直接途径；然而，训练整个模型需要大量的计算资源并且耗时。同时，微调技术通常会遭受灾难性的遗忘和过拟合。现有研究一般采用元学习和定位编辑的方式。

新基准：KnowEdit. 文章整理了六个数据集，详细统计如表3，包括一系列编辑类型，包括事实操纵、情绪修改和幻觉生成。先前工作中的关键评估标准分为四类：编辑成功率、可移植性、本地化和流利性。

KeyPoints

不同知识编辑方法的对比. ROM、MEND和MEMIT表现出明显的稀疏更新模式，而微调则将其修改更均匀地分布在权重上。

LLMs中知识编辑的有效性. 正如之前所讨论的，LLM中存储的知识不是结构化的，编辑事实知识并不一定能使模型在推理和应用过程中利用它。同时，Hase等人发现，编辑成功与事实的存储位置无关。通过作者的案例研究，如图9所示，结果表明，casual analysis methods似乎只是定位与实体本身相关的区域，而不是整个事实。该模型是通过使用预训练语料库中记忆的答案作弊还是通过多步骤推理机制来执行这些答案，目前尚不清楚。然而，正如Ju和Zhang所提到的，与不相关知识的定位结果相比，特定知识及其相关知识链的定位结果应该表现出更大的相似性。

LLMs中的知识结构. 先前的研究经常将LLM中的知识概念化为知识图（KG）中的三元组，包括主题、关系和对象。这种类比简化了LLM中知识表示的复杂性。在KG中编辑知识相对简单，但LLM中的知识编辑由于知识的纠缠性质而带来了独特的挑战，如图10所示。与知识被整齐划分的KGs不同，在LLM中，知识分布在不同的参数和层中，这使得在不影响其他知识领域的情况下很难隔离和编辑特定信息。此外，先前的研究表明，LLM中的知识编辑会导致意想不到的传播效应。李等人说明了当前的知识编辑方法可能导致LLM中的知识冲突和知识失真。与结构化知识库不同，神经网络对知识结构和相互关系缺乏严格的约束。这使得很难将编辑限制在模型内的本地化范围内，LLM的自由形式使编辑过程更加复杂。因此，需要对LM的机制有更全面的了解。

小结一下

总结：文章强调了当今知识编辑所固有的挑战，并为不同的编辑任务引入了一个新的基准。但仍有问题亟需解决，1)Transformers底层机制仍然不透明，目前尚不清楚目前的编辑方法是否真正构成成功或有用的编辑，这些方法可能侧重于改变输出的概率分布或对特定提示的反应；2)界定知识编辑的影响范围和界限是一项挑战；3)知识的动态和流动性，随着日常变化和新信息的不断演变，需要一种更灵活、反应更灵敏的方法来控制LLM，这可以跟上信息和社会规范的快速发展，并进一步确保LLM对人类社会的安全。

碎碎念：后大模型时代，vqa任务好像不复存在，甚至我的课题也默默改成了视觉语言任务哈哈。各大企业都在如火如荼地用大模型，导在思考如何改造大模型~

END

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

一文带你了解大模型——智能体（Agent）

2024-05-28

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

更改ollama模型存储路径

2024-04-25

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

全面对比dify、coze、streamlit、chainlit

2024-04-26

太强了！10大开源大模型！

2024-05-06

大家都在问

如何从头建立一个通用AI智能体应用？

2024-12-22

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

o3比o1强在哪里？

2024-12-21

OpenAI 铺垫了12天发布的 o3 到底咋样？

2024-12-21

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

2024-12-21

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

Nvidia 的 CUDA 护城河到底有多深？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

太强了！10大开源大模型！

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

万字长文解析：大模型需要怎样的硬件算力

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

一文带你了解大模型——智能体（Agent）

最强 GPT 免费使用！GPT4O 开启多模态新时代！

更改ollama模型存储路径

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

全面对比dify、coze、streamlit、chainlit

太强了！10​大开源大模型！

大家都在问

如何从头建立一个通用AI智能体应用？

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

o3比o1强在哪里？

OpenAI 铺垫了12天发布的 o3 到底咋样？

Gemini 2.0重磅来袭！AI实力再进化，你准备好了吗？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

Nvidia 的 CUDA 护城河到底有多深？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

太强了！10大开源大模型！