粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
探索DeepSeek 671B在8卡H20服务器上的极致性能表现。 核心内容： 1. DeepSeek 671B模型在8卡H20服务器上的并发性能测试 2. 问答对话和模拟RAG两种场景下的性能表现 3. 企业高并发场景下的适用性和实际体验
前段时间技术同事完成了对中小模型的测试验证。分别测试了 RTX 5000 Ada和RTX 5880 Ada 显卡运行 DeepSeek 7B/14B/32B 等模型的并发性能与部署效率。
近期我们针对 DeepSeek 满血版 671B 进行了并发性能的测试，搭载的是 8张 NVIDIA H20（单卡显存141GB）的服务器，我们来看看测试结果。
测试版本：
DeepSeek-R1 671B
测试框架：vllm
测试环境：
GPU：H20*8（单卡141GB，共1128GB）
CPU：英特尔 至强® Platinum 8480+ *2
内存：2T DDR5 硬盘：3.84TB
测试数据仅供参考：
我们在压力并发测试中分别测试了 2 种常见的使用场景：
问答对话场景
特点：直接回答用户提出的问题，通常基于预定义的规则、知识库或简单检索。
测试结果：
并发数在80以内，吞吐率可以达到＞9 tokens/s，在简单对话场景的表现优秀。
模拟RAG场景
特点：结合检索外部知识库与生成模型，动态生成精准、上下文相关的答案。
测试结果：
基本可以满足32个并发，吞吐率＞6 tokens/s。可以流畅地对海量文档和数据库进行检索并输出内容。
对话问答场景：基本可以满足 80 个并发。当并发数＜80 时，Tokens/s＞9。
模拟RAG场景：基本可以满足 32 个并发。当并发数＜32 时，Tokens/s＞6。
后端服务稳定运行，配合前端实际使用体验效果优秀，延迟很低。
综上所述，使用8卡H20配置进行 DeepSeek 671B 的满血版本地化部署，能够很好地应对企业高并发的实际使用场景，想用671B的建议直接上！
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-19
低延迟小智AI服务端搭建-ASR篇（续）：CPU可跑
2025-04-19
LoRA 与QLoRA区别
2025-04-18
DeepSeek-V3-0324 本地部署，vLLM和SGLang的方法
2025-04-18
Ollama对决vLLM：DEEPSEEK部署神器选谁？90%人选错！这份实测攻略让你秒懂！
2025-04-18
ollama v0.6.6 震撼发布！推理能力翻倍、下载提速 50%，对比 vLLM/LMDeploy 谁更强
2025-04-17
从零开始开发 MCP Server
2025-04-17
AI 应用开发不要在大模型迭代必经之路上
2025-04-17
阿里百炼出手了！MCP 现在配置门槛下降了 100 倍
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
2025-04-01
2025-03-31
2025-03-20
2025-03-16
2025-03-16
2025-03-13
2025-03-13
2025-03-11
回到顶部