我要投稿

微调真的导致了模型幻象吗？

发布日期：2024-05-26 07:26:21 浏览次数： 1761

Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?

微调真的导致了模型幻象吗？‍‍‍‍‍‍‍‍‍

‍‍‍‍‍

上一条发送忘了改标题了=。=

对于模型幻象这一令人头大的问题，其实社区很多人都认为是SFT阶段试图注入太多模型没有在预训练阶段学到的知识，从而使其尝试虚假错误地回复，这种揠苗助长逼迫模型容易hallucinate，这篇论文便对此进行了讨论。作者设计了一个专注于闭卷QA的实验，在其中变换能引入新知识的微调数据的比例。作者展示了LLM通过微调获取新的事实知识很困难，因为学习会引入新知识的微调数据比学那些与模型知识一致的数据明显更慢。而且他们也发现，模型产生幻觉的倾向随着带有新知识的样例最终被学习到的过程进行而线性增加。总之，该研究强调了通过微调引入新的事实知识的风险，并且认为LLM主要通过预训练获取事实知识，而微调则教会模型更有效地使用这些知识。

为了研究新知识的影响，他们采用ENTITYQUESTIONS数据集。首先要能评估某条微调数据是否与模型知识一致，因此他们提出了SliCK(Sampling-based Categorization of Knowledge)，一个包含四种类别的知识分类体系（见figure2），首先知识被分为Known和Unknown，而Known又继续被划分为HighlyKnown, MaybeKnown和WeaklyKnown，他们划分的时候用了一个新定义的连续指标P_Correct来量化模型中的知识，这个指标是模型在被few-shot式地prompt问题后精确产生正确答案的可能性，作者按照不同解码方式下模型对答案的不同预测能力划分了这四个类别。

然后作者就做了控制实验，他们固定住微调数据集大小然后变换其中Unknown数据的比例去训练，见figure3，对于微调有不同的epoch数，5-10个epoch的是早停（EARLY_STOP），50个epoch的是CONVERGENCE（模型完全拟合了数据，训练准确性100%）。然后他们用闭卷QA问题做了测试，有以下结论：

更高的Unknown比例与性能退化成正比：见figure3a，无论微调多久，更高的Unknown百分比会导致性能退化，这表明Unknown不如Known示例有用。性能也受微调时间的强烈影响，通常早停法性能最好。训练更多的epoch通常会降低性能。
Unknown数据是有害的还是中性的？考虑到数据量固定，上述情况下效果随着Unknown变多而变差可能单纯是Known数据变少了，作者因此将Unknow数据过滤掉，比如筛掉25%的Unknown数据留下一个0.75被数据量的纯Known数据集。结果见figure3b，实线是figure3a里取过来的，虚线是去掉Unknown后的结果，可以对比两个颜色，在早停情况下，效果几乎不变，意味着此时Unknown数据效果较为中性，而当训久了CONVERGENCE时差别很大。而且对于两条纯Known的虚线，其实效果很接近，这表明Unknown的存在是使得具有较高未知比例的ckpt更容易过拟合的原因。
Unknown拟合速度比Known慢：早停可以减轻过拟合Unknown示例带来的幻觉风险。作者在figure1中展示了随着训练，模型在Train中Known/Unknown以及Dev上的表现，可以看到Known的准确性提升得比Unknown快，而且效果最好的时候是拟合了大部分Known以及小部分Unknown的时候。
随着在早停时达到峰值，M拟合更多Unknown会性能恶化，作者甚至拟合了Known和Unknown示例对测试准确率的影响，其线性回归模型见下，具体参数见论文。
作者对微调数据集以外的知识做了评估，在OOD测试集上有类似上述结论的发现：较高的Unknown比例导致较低的OOD测试性能；Unknown对OOD性能有害且也主要在拟合它们时。因此上述结论有迁移性。

作者进一步评估了三种已知知识类别的微调示例对性能的影响。出乎意料的是，他们发现仅在最高知识度（HighlyKnown类）的示例上进行微调的模型并未产生最佳结果。分析显示，纳入MaybeKnown这种有较低事实确信度的数据发挥了重要作用。另外还有一个分析表明，WeaklyKnown的数据也会增加过拟合的风险，这表明微调示例的组成显著影响了LLM如何有效利用其预先存在的知识的程度。

撰文：戴剑波；编辑：戴剑波

未经本公众号授权不得转载，欢迎转发。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

2024-09-19

o1 能带我们走进 AGI 吗？

2024-09-19

如何微调（Fine-tuning）大语言模型？

2024-09-18

AI软件必须用GPU么？

2024-09-18

ChatGPT有三个快捷指令和三个模式，你知道吗？

2024-09-17

为什么4090比A100更有性价比？

2024-09-17

o1新模型数据乐观，现实却打脸？

2024-09-16

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

o1新模型数据乐观，现实却打脸？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

从案例分析到客户沟通：AI提示词如何优化律师工作流程？

o1 能带我们走进 AGI 吗？

如何微调（Fine-tuning）大语言模型？

AI软件必须用GPU么？

ChatGPT有三个快捷指令和三个模式，你知道吗？

为什么4090比A100更有性价比？

o1新模型数据乐观，现实却打脸？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示