AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


DeepSeek R1 671B 单机测试报告,250万的机器每秒3500Tokens

发布日期:2025-02-16 11:25:47 浏览次数: 1762 来源:IT搬砖录
推荐语

DeepSeek R1 性能测试揭秘:单机性能与成本分析。

核心内容:
1. DeepSeek R1单机性能测试结果与实际应用表现
2. 国产AI搜索平台与DeepSeek R1性能对比
3. 基于Electron的AI客户端Cherry Studio使用体验与DeepSeek R1适配情况

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

DeepSeek的官网太卡,必须找些平替,一般人用如果没有联网搜索功能(比如直接调用API)因为缺少24年后的新鲜数据,输出的效果会打折(除非所问的问题相关信息与时效无关),需要联网搜索则可以用几家平替的AI搜索:势不可挡,三大国产AI搜索均升级支持R1,羊毛蓐起来

一直好奇大家热衷接入DeepSeek R1满血版,自己搭建使用成本会多高,网上看到一份测试报告:

官方R1的输出是16元/M tokens,所以这台机器每小时产出12.6M tokes,即每小时收入极限是200元左右,这可是一机8卡的小时费,看上去要亏。

不少平台适配国产310B卡,据说只能是FP16的,而DeepSeek R1是FP8,上去显存就得白白扩一倍。

上面这个AMD新机,到极限时(并发压上去),每路每秒不到2 tokens,所以怪不得好多上了R1满血版的API,调用时感觉每秒就是跳出俩字,估计还是压力太大了。这个输出速度简直跟本机用cpu跑最小1.5B蒸馏版差不多了。

这个基于Electron做的桌面AI客户端Cherry Studio,特别适合大模型海王用来评估各家平台上的DeepSeek

图片

免费试用期里的DeepSeek R1在这些平台上,大部分还是比较卡的,应该是并发的流控做得不够。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

和创始人交个朋友

回到顶部

 

加载中...

扫码咨询