我要投稿

“李飞飞团队50美元复刻DeepSeek R1”之辨

发布日期：2025-02-07 12:15:12 浏览次数： 1594 来源：AI先锋官

作者｜沐风

来源｜AI先锋官

近日，AI领域又迎来一枚“深水炸弹”，斯坦福大学李飞飞团队联合华盛顿大学研究人员以不到50美元的云计算费用，成功训练出了一个名为s1的推理模型。

其数学与编码能力测试表现，与OpenAI的o1、DeepSeek的R1等模型不相上下。

根据研究团队的测试结果，在竞赛数学问题上，s1-32B的表现较o1-preview高27%(MATH和AIME24)；且该模型在AIME24上的表现，几乎与Gemini 2.0 Thinking API相当。

并且，s1模型已经在GitHub上发布，并附带了训练它所用的数据和代码。

这一成果瞬间引爆行业热议。

要知道，传统大模型的训练成本动辄数百万美元，而s1的“白菜价”，无疑是对现有研发模式的颠覆。

这表明即使在极低的成本下，也能够训练出具有高度竞争力的AI模型。

这场低成本奇迹的背后，究竟藏着怎样的技术密码？

低成本≠从零开始。

s1并非“从零开始”训练，而是基于阿里云通义千问（Qwen）的一款小型现成AI模型，这意味着，s1的“低成本”是建立在已具备强大能力的开源基础模型之上。

根据研究论文，为了训练s1，研究人员首先构建了一个名为s1K的小型数据集，其中包含1000个高质量的推理问题。

按照业内共识，这一数据量在AI训练中可谓微乎其微，通常不足以训练出一个具备推理能力的模型。

但该数据集的筛选标准非常严格，必须同时满足难度高、多样性强、质量优良三个条件。

研究团队通过详尽的消融实验，验证了这三个标准的重要性，结果表明，随机选择或仅关注单一标准都会导致性能大幅下降。

通过这种“小而精”的策略，让s1在有限资源下实现了性能跃升。

值得一提的是，即使使用包含5.9万个样本的超集进行训练，其效果也远不如精心挑选的1000个样本。

然后再通过蒸馏法从谷歌的Gemini 2.0 Flash Thinking Experimental模型中提炼知识，也就是“思考”过程，最终“雕琢”出s1的推理能力。

研究人员表示，蒸馏方法与伯克利研究人员上个月以约450美元创建AI推理模型的方式相同。

训练过程中，研究人员表示，在使用16台Nvidia H100 GPU进行训练的不到30分钟时间里，s1在某些AI基准测试中表现出色。

这种方法与传统的大规模强化学习方法(RL)形成鲜明对比，后者的成本通常较高，DeepSeek、OpenAl都采用了这种方法。

并且，还有研究人员表示，他们如今只需约20美元就能租到所需的计算资源。

此外，为了提高答案的准确度，研究团队还运用了一种“预算强制”技术，可以控制测试时间计算，通过强制提前终止模型的思考过程，或在s1的推理过程中加入“wait”一词帮助该模型得出略微更准确的答案。

尽管s1模型的低成本训练在某种程度上展示了AI训练的潜力，但其局限性也不容忽视。

首先是，其依赖于已有强大基座模型，如果没有基座模型，低成本训练的效果将大打折扣。

其次是，在处理复杂任务时，1000个样本数据的训练量在大多数情况下是不够的。

此外，还有分析人士质疑，如果任何人都可以轻易复制和超越现有的顶级模型，那么大型AI公司多年的研发投入和技术积累会不会受到威胁？

而且，尽管蒸馏技术已被证明是以低成本重新创建AI模型能力的有效方法，但它并不能创造出远超现有模型的新AI。

与DeepSeek对比，s1虽然在MATH测试中比GPT-4o高27%，接近Gemini 2.0，但仅限于特定题型。

DeepSeek R1则覆盖更广泛数学场景（如金融建模、工程计算），通用性更强。

在HUMANEVAL测试中，s1达75%通过率（接近GPT-4水平），但其还是依赖基座模型Qwen的代码能力；

DeepSeek R1内置代码解释器，支持多语言混合编程，长上下文处理更稳定。

虽然s1通过“小数据高精度蒸馏”实现超低成本，但依赖已有基座模型（Qwen）和外部大模型（Gemini）的知识迁移；而DeepSeek R1采用全自研技术链，虽成本高，但具备独立迭代能力，无需外部依赖。

并且，依赖外部模型蒸馏是否构成“技术套利”？

正如此前，OpenAl就曾指控DeepSeek不当使用其API数据进行蒸馏。

尽管s1模型的低成本训练引发了争议，但其背后的研究思路无疑为AI领域提供了新的思考方向。

小数据+强蒸馏让中小团队也可突破算力壁垒，参与 AI军备竞赛，并且，完整公开的训练链路或催生更多低成本垂直模型。

论文地址:

https://arxiv.org/pdf/2501.19393

GitHub地址:

https://github.com/simplescaling/s1

.END.

扫码邀请进群，我们带你一起来玩转ChatGPT、GPT-4、文心一言、通义千问、讯飞星火等AI大模型，顺便学一些AI搞钱技能。

往期文章回顾

‍

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

太爽了！o1 现在可以天天享用了

2024-09-18

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

2025-02-04

FP8 低精度训练：Transformer Engine 简析

2024-07-11

万字综述 10+ 种 LLM 投机采样推理加速方案

2024-07-11

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

2024-07-26

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-07-09

DeepSeek R1 671B 完整版本地部署教程来了！！！

2025-02-04

谈谈DeepSeek-v3在算力约束下的出色工作

2024-12-29

通义千问超越GPT4了？

2024-06-11

ollama 部署 deepseek-r1 70B 模型完整指南

2025-01-27

大家都在问

别被Deepseek低成本冲昏头！本地化部署后续的“甜蜜陷阱”，你真能扛住吗？

2025-02-05

AI大模型那么强，它是吃什么长大的？

2025-01-24

怎么学习设计和训练一个大模型——也就是神经网络？

2025-01-22

如何本地部署AI模型？

2025-01-14

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

2025-01-12

大模型推理框架：Ollama和vLLM到底应该选哪个？

2025-01-06

AI模型训练到底在训练什么？

2024-12-26

微软变脸OpenAI，模型价值之争压不住了？

2024-12-25

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

场景解决方案

【智能问答】解决方案

【应用智改】解决方案

【智能工单】解决方案

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

太爽了！o1 现在可以天天享用了

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

FP8 低精度训练：Transformer Engine 简析

万字综述 10+ 种 LLM 投机采样推理加速方案

彻底理解系列之：FP32、FP16、TF32、BF16、混合精度

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

DeepSeek R1 671B 完整版本地部署教程来了！！！

谈谈DeepSeek-v3在算力约束下的出色工作

通义千问超越GPT4了？

ollama 部署 deepseek-r1 70B 模型完整指南

大家都在问

别被Deepseek低成本冲昏头！本地化部署后续的“甜蜜陷阱”，你真能扛住吗？

AI大模型那么强，它是吃什么长大的？

怎么学习设计和训练一个大模型——也就是神经网络？

如何本地部署AI模型？

一文搞懂：大模型为什么要设计成预训练和微调两个阶段？

大模型推理框架：Ollama和vLLM到底应该选哪个？

AI模型训练到底在训练什么？

微软变脸OpenAI，模型价值之争压不住了？

热门标签