粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
声明：此系列仅作分享，欢迎讨论，论文链接在阅读原文中.
文献：Zhang N, Yao Y, Tian B, et al. A comprehensive study of knowledge editing for large language models[J]. arXiv preprint arXiv:2401.01286, 2024.
01
摘要
02
方法
研究表明，LLMs内部的知识存储形式更加结构化和可检索。研究表明LLMs可以作为广泛的知识库，不仅存储大量信息，而且还以可能模仿人类认知过程的方式构建这些信息。
认知阶段：利用外部知识. 当人类遇到新信息时，我们并不总是能立即掌握。相反，有了正确的背景和例子，我们可以通过这些新知识进行处理和推理。LLM表现出类似的情境学习能力。这种方法通常维护一个内存M，并为每个输入检索最相关的案例。
关联阶段：将知识合并到模型中. 与识别阶段不同，这种方法学习新知识h_{Know}的表示，并将这些信息与原始模型的表示合并。
掌握阶段：编辑内在知识. 模型需要学习其自身参数的知识，并自行掌握这些知识。对模型进行微调是更新知识的直接途径；然而，训练整个模型需要大量的计算资源并且耗时。同时，微调技术通常会遭受灾难性的遗忘和过拟合。现有研究一般采用元学习和定位编辑的方式。
03
KeyPoints
小结一下
总结：文章强调了当今知识编辑所固有的挑战，并为不同的编辑任务引入了一个新的基准。但仍有问题亟需解决，1)Transformers底层机制仍然不透明，目前尚不清楚目前的编辑方法是否真正构成成功或有用的编辑，这些方法可能侧重于改变输出的概率分布或对特定提示的反应；2)界定知识编辑的影响范围和界限是一项挑战；3)知识的动态和流动性，随着日常变化和新信息的不断演变，需要一种更灵活、反应更灵敏的方法来控制LLM，这可以跟上信息和社会规范的快速发展，并进一步确保LLM对人类社会的安全。
碎碎念：后大模型时代，vqa任务好像不复存在，甚至我的课题也默默改成了视觉语言任务哈哈。各大企业都在如火如荼地用大模型，导在思考如何改造大模型~
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-05-14
2024-04-26
2024-03-30
2024-04-12
2024-05-10
2024-07-18
2024-05-22
2024-05-28
2024-04-25
2024-04-26
回到顶部