粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
你有微调过大语言模型（LLM）吗？
它看起来简单，但实际上坑多得很！
研究员Yam Peleg在推特上一番吐槽，道出了其中的辛酸。
他说，微调LLM最难的地方在于：
我们想要的不是"学习一项技能"，而是"在已有能力基础上添加新技能"。
这跟传统机器学习完全是两码事啊！
举个栗子，如果你用一堆"输出JSON"的指令去训练LLM，然后再喂给它一些JSON数据……
猜猜会发生什么？
你可能会得到一个只会吐随机JSON的"傻子"模型！
Yam Peleg提醒道，你真正需要的是：
既是有效指令，又符合JSON格式的数据集。
好家伙，想搞到这种数据，不花大力气是不行的。
那么，微调到底该怎么搞？Yam Peleg给出了几点建议：
1. 从头训练通常效果更好
但别忘了，ML界的黄金法则：有条件的话，两种方法都试试，用验证集挑选最佳模型。
2. RAG vs 微调
对大多数人来说，RAG（检索增强生成）简单得多，而且能更快获得好结果。
但如果你真下定决心搞微调：
微调确实可能更胜一筹
换基础模型怎么办？
这是个棘手的问题，没有捷径可走。在决定微调之前，一定要考虑清楚。
有网友还提到，RAG+微调的效果可能还不如RAG+基础模型。Santiago回应说：
这说得通，微调可能会削弱模型检索信息的能力。不过具体还得看应用场景。
所以想微调LLM的朋友们，可要三思而后行啊！
别到头来，辛辛苦苦调出个"只会吐JSON的傻子"，那可就尴尬了。
最后，Yam Peleg 强调：
在ML领域，如果你能尝试，就尝试所有可能的方法。在验证集上测试，选择得分最高的。
这话虽然听着像是废话，但确实是真理！
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-07-11
2024-07-09
2024-07-11
2024-06-11
2024-07-23
2024-07-09
2024-07-20
2024-07-12
2024-07-11
2024-07-07
回到顶部