微信扫码
和创始人交个朋友
我要投稿
DeepSeek R1 性能测试揭秘:单机性能与成本分析。 核心内容: 1. DeepSeek R1单机性能测试结果与实际应用表现 2. 国产AI搜索平台与DeepSeek R1性能对比 3. 基于Electron的AI客户端Cherry Studio使用体验与DeepSeek R1适配情况
DeepSeek的官网太卡,必须找些平替,一般人用如果没有联网搜索功能(比如直接调用API)因为缺少24年后的新鲜数据,输出的效果会打折(除非所问的问题相关信息与时效无关),需要联网搜索则可以用几家平替的AI搜索:势不可挡,三大国产AI搜索均升级支持R1,羊毛蓐起来
一直好奇大家热衷接入DeepSeek R1满血版,自己搭建使用成本会多高,网上看到一份测试报告:
官方R1的输出是16元/M tokens,所以这台机器每小时产出12.6M tokes,即每小时收入极限是200元左右,这可是一机8卡的小时费,看上去要亏。
不少平台适配国产310B卡,据说只能是FP16的,而DeepSeek R1是FP8,上去显存就得白白扩一倍。
上面这个AMD新机,到极限时(并发压上去),每路每秒不到2 tokens,所以怪不得好多上了R1满血版的API,调用时感觉每秒就是跳出俩字,估计还是压力太大了。这个输出速度简直跟本机用cpu跑最小1.5B蒸馏版差不多了。
这个基于Electron做的桌面AI客户端Cherry Studio,特别适合大模型海王用来评估各家平台上的DeepSeek
免费试用期里的DeepSeek R1在这些平台上,大部分还是比较卡的,应该是并发的流控做得不够。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-08-13
2024-06-13
2024-09-23
2024-08-21
2024-05-28
2024-04-26
2024-08-04
2024-07-31
2024-07-09
2024-09-17
2025-02-21
2025-02-20
2025-02-19
2025-02-16
2025-02-16
2025-02-16
2025-02-16
2025-02-16