支持私有云部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


DeepSeek-R1的Qwen-32B蒸馏模型与QwQ-32B模型,谁更强?

发布日期:2025-03-16 20:45:00 浏览次数: 1569 来源:刚哥帮EDU
推荐语

在硬件限制下,对两个32B参数模型的深度比较分析。

核心内容:
1. 4-bit量化加载模型对比与参数设置
2. 模型输出质量和稳定性分析
3. 不同问题下两个模型的回答差异与性能表现

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

由于硬件限制,让结果跑得顺畅一点,选择这两个32B参数的模型都以4-bit量化的方式加载运行,,同时将关键参数均设置为官方网站上建议的值,比如temperature设为0.6。为了确保不发生输出内容截断的情况,两个模型加载时设定的输出最大tokens为32K,也符合正常的思维链输出需要。同时推理代码也采用相同的代码,只针对模型本身的差异做调整,如路径不同。经过这样的比较就更加客观一点,更具有可比性。
这是DeepSeek-R1的Qwen-32B蒸馏模型加载完成后的显存占用情况如下,与上次我介绍的QwQ-32B模型加载后的情况基本一致。
下面我们就来看看这两个大模型的输出质量对比吧!

问题1

9.11和9.9哪一个更大?



DeepSeek-R1-Distill-Qwen-32B回答

DeepSeek的回答其实不太稳定,有的时候会突然出现一个很简短的输出,也就是基本没有思考,而且结果还是错的。上图看到的是第二次生成的内容。这种不稳定在后续的测试中也经常出现。

QwQ-32B的回答

QwQ-32B的回答没有问题,而且也非常稳定。
比较回答的过程和内容来看,DeepSeek更侧重于多种计算方式比较结果是否相同来确认最终结果;而QwQ则更侧重于对题目中各个语素的理解是否存在不同,甚至会虑用户输入的笔误情况。


问题2

陨石为什么总是落在陨石坑里?


DeepSeek-R1-Distill-Qwen-32B回答


DeepSeek-R1-Distill-Qwen-32B的回答没有抓住问题的关键在于“因果”,原命题出现“因果倒置”的情况,但DeepSeek-R1-Distill-Qwen-32B没能在寄指出来。


QwQ-32B的回答

QwQ-32B则明显指出了“因果倒置”,这是明显优于DeepSeek的。

问题3

等红灯是在等红灯还是在等绿灯?


DeepSeek-R1-Distill-Qwen-32B回答

这道题目很绕,结果DeepSeek回答遇到了问题,变成了原问题的重复,只能强制复位了。

DeepSeek-R1-Distill-Qwen-32B重新回答

结论是比较清楚的,而且也是可以自圆其说的。

QwQ-32B的回答

QwQ-32bf阿辉稳定,也能够自圆其说。它的猜测提问者意图的倾向,在这个问题中又次表现出来,比如专门提到“可能的误解”等。

问题4

很多人说看不到未来。那么他究竟有没有看到未来?


DeepSeek-R1-Distill-Qwen-32B回答

DeepSeek第一次简单拒绝了,第二次后陷入到循环重复问题了。
而显存占用情况都很正常。

QwQ-32B的回答


考虑到可能存在的问题表述不清的情况,重新修改了问题再问了一下。

问题5

我们经常听到有人说:“我看不到未来”。那么他究竟有没有看到未来呢?


DeepSeek-R1-Distill-Qwen-32B回答

对于这个问题DeepSeek又有一点“力不从心”,草草结束了对话。没见其稳定性应该是存在问题的,也就是说再一次证明DeepSeek-R1-Distill-Qwen-32不适合在生产环境中部署。

QwQ-32B的回答

输出依然非常稳定,而且效果也是能达到预期的。 
综合上述的比,虽然不是一个非常严谨的测评,但是总体表现已经可以看到效果上的差距了。
所以,如果要低成本本地部署大模型的话,我建议还是选用QwQ-32B。这个一个大模型的性价比是最高的。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询