我要投稿

DeepSeek-R1-Distill-Qwen-1.5B 在某些基准测试中超越了 GPT-4o

发布日期：2025-01-22 07:51:40 浏览次数： 1619 来源：Halo咯咯

.01

概述

随着人工智能领域的快速发展，推理能力已经成为了衡量大规模语言模型（LLMs）性能的一个重要指标。为了推动推理能力的极限，我们迎来了DeepSeek-R1系列模型的诞生。这个系列包括了两个重要版本：DeepSeek-R1-Zero和DeepSeek-R1，它们分别在强化学习（RL）和传统的监督微调（SFT）方法中找到了新的平衡，展示了前所未有的推理能力。

DeepSeek-R1-Zero突破了传统的训练方式，直接通过大规模的强化学习进行训练，而没有依赖预先的监督微调。这一创新使得模型在推理任务中表现出色，但同时也暴露了某些挑战，比如语言混合、无休止重复等问题。为了进一步提升性能，DeepSeek-R1加入了冷启动数据的处理，解决了这些问题，达到了与OpenAI-o1在数学、代码和推理任务中的类似表现。

不仅如此，DeepSeek-R1系列模型还开源了大量的训练成果，包括基于Llama和Qwen模型蒸馏而来的六个紧凑型模型，其中DeepSeek-R1-Distill-Qwen-32B在多个基准测试中超越了OpenAI-o1-mini，创造了新的最先进结果。

.02

模型介绍

后训练：通过强化学习优化基础模型

传统的语言模型通常依赖**监督微调（SFT）作为基础训练方法，然后通过后期的微调来增强模型的推理能力。然而，DeepSeek团队采取了一种全新的方式，直接通过大规模的强化学习（RL）**对基础模型进行训练，省略了SFT的初步步骤。这一方式让模型能够通过自主探索复杂问题的推理链条（Chain-of-Thought，CoT），自发地发展出许多强大且有趣的推理行为。

DeepSeek-R1-Zero正是通过这种强化学习方法训练出来的，并且它展示了诸如自我验证、反思、以及生成长推理链条等能力，标志着在推动推理能力方面的一个重要里程碑。更值得注意的是，这也是首个通过纯粹的RL验证大规模语言模型推理能力的研究，无需任何监督微调。这一突破为未来的相关研究奠定了基础。

DeepSeek-R1的创新管线

在DeepSeek-R1的开发过程中，我们采用了一个双阶段强化学习流程，并结合两阶段的监督微调（SFT），旨在发现更加优化的推理模式，并且能够与人类偏好相对齐。这个管线的设计不仅提升了模型的推理能力，还为AI行业提供了一种新的模型开发思路，有助于推动未来更高效的推理模型的出现。

.03

蒸馏：小模型也能表现出色

大模型推理模式的蒸馏

我们还展示了如何将大模型中的推理模式蒸馏到小模型中，取得了比在小模型上直接通过RL训练的推理模式更优秀的表现。通过将DeepSeek-R1生成的推理数据用于对小型模型进行微调，我们显著提升了这些模型在多个基准测试中的表现，证明了即使是参数较少的模型，也能在推理任务中取得不逊色的大模型的成绩。

这一研究的另一个亮点是，DeepSeek团队公开了多款蒸馏模型，包括1.5B、7B、8B、14B、32B以及70B六个版本，这些模型基于Qwen2.5和Llama3系列进行了蒸馏处理。这些小型模型在多个推理任务中表现出色，对于研究人员和开发者来说，将是一个非常有价值的资源。

.04

模型信息

DeepSeek团队提供了详细的模型下载链接，供研究人员和开发者下载使用。以下是DeepSeek-R1系列以及其蒸馏版本的模型参数和下载信息：

DeepSeek-R1系列模型

模型名称	总参数量	激活参数量	上下文长度	下载链接

DeepSeek-R1-Zero

671B

37B

128K

? HuggingFace

DeepSeek-R1

671B

37B

128K

? HuggingFace

DeepSeek-R1蒸馏模型

模型名称	基础模型	下载链接

DeepSeek-R1-Distill-Qwen-1.5B

Qwen2.5-Math-1.5B

? HuggingFace

DeepSeek-R1-Distill-Qwen-7B

Qwen2.5-Math-7B

? HuggingFace

DeepSeek-R1-Distill-Llama-8B

Llama-3.1-8B

? HuggingFace

DeepSeek-R1-Distill-Qwen-14B

Qwen2.5-14B

? HuggingFace

DeepSeek-R1-Distill-Qwen-32B

Qwen2.5-32B

? HuggingFace

DeepSeek-R1-Distill-Llama-70B

Llama-3.3-70B-Instruct

? HuggingFace

.05

模型评估结果

对于所有DeepSeek模型，我们将最大生成长度设置为32,768个tokens，确保能处理更长的输入和生成更复杂的答案。在需要进行采样的基准测试中，我们使用了温度0.6和top-p值0.95，并生成了64个响应以估算pass@1的指标。以下是模型在多个基准测试中的评估结果：

DeepSeek-R1：在数学、代码和推理任务中的表现可与OpenAI-o1相媲美，证明了该模型的强大推理能力。

DeepSeek-R1-Distill：系列小型模型，在多个测试中超过了OpenAI-o1-mini，表现出色。

.06

结语

DeepSeek-R1系列模型的发布，标志着推理能力在大规模语言模型中的新突破。从DeepSeek-R1-Zero到DeepSeek-R1，我们展示了如何通过强化学习（RL）直接驱动推理能力的提升，同时通过蒸馏技术，使得更小的模型同样能够达到高效的推理表现。这不仅是对AI研究的一次重大贡献，也为未来的模型开发提供了新的思路。

随着更多小型化模型的开源，研究人员和开发者能够更好地利用这些技术，打造出适应不同场景的推理系统。未来，随着推理技术的不断进步，DeepSeek-R1系列无疑将在各个领域引领人工智能的创新浪潮。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

太强了！10大开源大模型！

2024-05-06

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

中医大模型，开源！

2024-06-16

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

2024-06-10

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

2025-01-22

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

2025-01-16

大模型的泡沫什么时候破灭？

2024-12-24

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

Ollama 本地运行大模型(LLM)完全指南

太强了！10大开源大模型！

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

中医大模型，开源！

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

Ollama 本地运行大模型(LLM)完全指南

太强了！10​大开源大模型！

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

如何免费使用 Claude AI？Claude使用指南！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

中医大模型 ，开源！

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

不同开源大模型对比及领域落地选型考虑 Qwen2 LLaMa3 GLM4等

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

热门标签

太强了！10大开源大模型！

中医大模型，开源！