微信扫码
和创始人交个朋友
我要投稿
探索AI推理模型的创新突破和实际应用。
核心内容:
1. DeepSeek-R1模型的冷启动数据引入和两阶段强化学习
2. DeepSeek-R1在推理任务中的高性能表现和模型蒸馏能力
3. DeepSeek-R1-Zero基于强化学习的创新训练方式和应用场景
DeepSeek-R1和DeepSeek-R1-Zero都是杭州深度求索人工智能基础技术研究有限公司发布的AI推理模型。
我自己在官方的模型[1]上试用了一下,感觉很不错,尤其是深度思考模式下的思考链内容,很不错。
以下是二者的具体介绍:
直接基于R1生成的long CoT的数据做SFT,最后的效果如下:
结论
相比较于R1,我更好奇于知识蒸馏的细节,可惜,官方paper没有过多叙述。
为什么我会把注意力放在知识蒸馏上,主要是在一定的GPU/NPU限制内,通过CoT格式的数据,做SFT,最终的是有RL效果的。而且相比较基于RL训练的同等模型,效果要更好。
而遗憾就是在官方的paper没有公布一下数据及蒸馏方式。总的来说是如下几个方面的细节:
带着这两个问题,查询检索了很多信息,但是都没有一个答案,毕竟官方没有放出来的话,一般是不会有准确信息的,同样在官方issue上很多人都提了类似的问题。
不过在一个issue[2]下,倒是有一个回答从浅层次的说明了如何生成数据——prompt。
并且另外开了一个分支[3],来解释说明prompt。
不过也只是阐述了一下大致的逻辑,但具体的实践还是有待考证,不过也是一个思路。
相比较别的DeepSeek帖子,本文要更侧重于知识蒸馏,而这一部分在paper中也是极少叙述的,只是阐述了简单的过程及效果。而其中可挖掘的内容是很多的,尤其是在显存等硬件受限的情况下,通过API调用DeepSeek R1生成的数据结合自定义的CoT数据,训练小模型,最后取得更好的效果。可惜,官方paper这些都没有放出来,但issue上关于这块的也是不少,希望官方可以考虑放出来一下。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-19
满足个性化需求,手把手教你微调DeepSeek大模型
2025-02-19
DeepSeek V3+R1满血微调工具上线!一键启动,硬件要求降10倍
2025-02-18
DeepSeek R1 671B 完整版本地部署教程来了!!!
2025-02-18
昇腾 910B 部署满血 DeepSeek-R1
2025-02-18
如何训练LLMs像DeepSeek-R1“思考”
2025-02-17
7G显存,训练你自己的DeepSeek-R1
2025-02-17
DeepSeek-R1 如何通过知识蒸馏将推理能力传递给 Qwen
2025-02-16
飞书多维表格+Deepseek王炸组合,最强AI agent工具
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-11
2024-07-09
2024-07-26
2025-01-27
2025-02-01
2024-12-29
2025-02-16
2025-02-10
2025-02-10
2025-02-09
2025-02-05
2025-01-24
2025-01-22
2025-01-14