粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
探索DeepSeek 671B在8卡H20服务器上的极致性能表现。核心内容：1. DeepSeek 671B模型在8卡H20服务器上的并发性能测试2. 问答对话和模拟RAG两种场景下的性能表现3. 企业高并发场景下的适用性和实际体验
前段时间技术同事完成了对中小模型的测试验证。分别测试了 RTX 5000 Ada和RTX 5880 Ada 显卡运行 DeepSeek 7B/14B/32B 等模型的并发性能与部署效率。
近期我们针对 DeepSeek 满血版 671B 进行了并发性能的测试，搭载的是 8张 NVIDIA H20（单卡显存141GB）的服务器，我们来看看测试结果。
测试版本：
DeepSeek-R1 671B
测试框架：vllm
测试环境：
GPU：H20*8（单卡141GB，共1128GB）
CPU：英特尔 至强® Platinum 8480+ *2
内存：2T DDR5 硬盘：3.84TB
测试数据仅供参考：
我们在压力并发测试中分别测试了 2 种常见的使用场景：
问答对话场景
特点：直接回答用户提出的问题，通常基于预定义的规则、知识库或简单检索。
测试结果：
并发数在80以内，吞吐率可以达到＞9 tokens/s，在简单对话场景的表现优秀。
模拟RAG场景
特点：结合检索外部知识库与生成模型，动态生成精准、上下文相关的答案。
测试结果：
基本可以满足32个并发，吞吐率＞6 tokens/s。可以流畅地对海量文档和数据库进行检索并输出内容。
对话问答场景：基本可以满足 80 个并发。当并发数＜80 时，Tokens/s＞9。
模拟RAG场景：基本可以满足 32 个并发。当并发数＜32 时，Tokens/s＞6。
后端服务稳定运行，配合前端实际使用体验效果优秀，延迟很低。
综上所述，使用8卡H20配置进行 DeepSeek 671B 的满血版本地化部署，能够很好地应对企业高并发的实际使用场景，想用671B的建议直接上！
还有更多测试内容持续更新
快来加入赞奇 DeepSeek 交流群吧！
中小模型测试：
技术支持
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-03-12
使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高
2025-03-12
企业级私有化部署：基于 Ollama 实现 DeepSeek 大模型
2025-03-11
Cursor 新版本要来了！释放Claude 3.7全部潜力，估值百亿引热议，前Apple工程师：招人要会用AI。
2025-03-11
vLLM 私有化部署满血版 DeepSeek-R1-671B 模型
2025-03-11
从DeepSeek到Manus：如何实现本地LLM微调+联网开发？
2025-03-11
从零开始的DeepSeek微调训练实战（SFT）
2025-03-11
DeepSeek-R1 671B + KTransformer部署服务器配置&万元复现方案
2025-03-11
Ollama之服务监测程序
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
回到顶部