推荐语

部署DeepSeek大模型，企业如何选型与优化？

核心内容：
1. DeepSeek模型选型的重要性与策略
2. 全量版与蒸馏版DeepSeek模型的参数量与性能对比
3. 企业如何根据业务场景适配性选择合适的DeepSeek模型版本

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

要成功实现 DeepSeek 大模型的私有化部署，绝非易事，从模型选型到基础设施搭建，再到推理部署工程优化，每一个环节都需要精心规划与考量。接下来，让我们深入探讨企业私有化部署 DeepSeek 的关键要点与策略。

1 DeepSeek模型选型

在企业进行 deepseek 大模型私有化部署时，模型选型是至关重要的第一步，它直接关系到后续的应用效果与成本投入。通过业务场景适配性分析确定合适的模型，能让企业充分发挥大模型的价值。

DeepSeek 提供了多种模型版本，以满足不同企业的需求，其中全量版（如 DeepSeek-R1 671B）与蒸馏版（如 DeepSeek-R1-Distill 1.5B, 7B, 8B, 14B, 32B, 70B）具有显著差异。蒸馏版是通过知识蒸馏技术，将全量模型的语义信息压缩到小规模模型中。

从参数量来看，全量版 DeepSeek-R1 671B 拥有 6710 亿参数，这使其具备极为强大的知识储备与复杂任务处理能力。而蒸馏版虽然参数量大幅减少，但在一些对模型性能要求相对较低的场景中仍能发挥作用。

在显存需求方面，全量版 DeepSeek-R1 671B 在 BF16 精度下，需要的的总显存至少是1.4TB；在 FP8 精度下，总显存也至少需要 800GB 显存，通常需要多张高性能显卡并行 ，这对企业的硬件资源和成本投入要求极高。而蒸馏版对硬件要求则低很多，比如7B的模型，在具有24GB内存的单块显卡即可推理。

推理延迟上，由于全量版模型计算量巨大，推理延迟相对较高；而蒸馏版模型因为结构相对简单、参数量少，在优化得当的情况下，推理延迟可控制在较低水平，能满足对实时性要求较高的场景。

从适用场景来看，全量版适用于超大规模 AI 研究，如通用人工智能 AGI 探索，复杂的风险评估与投资策略制定等。而蒸馏版适合实时生成文本，如简单的聊天、问答场景，以及适合嵌入式系统或物联网设备。在一些对成本敏感且任务相对简单的企业应用中，如小型客服系统，蒸馏版也能发挥其优势。

企业在选型时可以从多个角度充分考虑和判断。若业务涉及专业领域推理，且对模型性能要求极高，数据量庞大且复杂，优先考虑全量版，但也要与预算相匹配。若预算不足，可采用使用量化技术等方式来降低显存需求。若业务不涉及专业领域推理，且对成本较为敏感，追求快速响应，对模型精度要求不是特别高，则选择蒸馏版。若处于超高并发场景，可对蒸馏版部署多副本，以满足大量请求的处理。通过这样的分析与决策，企业能够选出最契合自身业务的DeepSeek模型。

2 Iaas层规划

部署GPU集群

在大模型推理的数据中心中，GPU 集群是核心计算单元，其性能直接影响推理效率。若选用全量版的 DeepSeek-R1 671B 这类超大规模模型，由于其具有 6710 亿参数，运算量极为庞大，对 GPU 的性能要求极高，可以从市面上的高性能、高内存容量的AI加速设备中进行选购。由于需要多卡多机推理，所以必须具备高速的卡间互联。搭配的服务器需要具备高带宽内存和高速存储接口，具有先进的 PCIe 5.0 接口，或者至少 PCIe 4.0，这样才能够极大程度保障 GPU 与内存、存储之间的数据传输速率，避免在数据传输过程中出现瓶颈，确保 GPU 能够充分发挥其计算性能。

对于蒸馏版模型，如 DeepSeek-R1-Distill-Qwen-7B，由于其参数量相对较少，计算量较小，对 GPU 性能要求相对较低，具备 24GB 显存的 GPU 即可，在满足蒸馏版模型推理需求的同时，具有较高的性价比。服务器方面，可选用配置能够满足 GPU 运行需求，同时在成本控制上表现出色的即可。

高速网络架构

构建构建低延迟、高带宽的RDMA网络（如400G/200G Infiniband 或者 RoCEv2）是实现高效全量版DeepSeek推理的关键。RDMA（远程直接内存访问）技术允许网络中的设备直接访问彼此的内存，无需经过操作系统内核，大大减少了数据传输的延迟和 CPU 的负载。在大模型推理过程中，频繁的数据读取和写入操作对存储的访问速度要求极高。

3 推理部署工程优化

容器化部署

在大模型推理服务中，采用容器化部署是提升系统性能和稳定性的重要手段。通过将大模型推理相关的应用程序、依赖项和运行环境打包成独立的容器，实现了环境的隔离与可移植性。同时，利用容器编排工具（如 Kubernetes），能够根据推理任务的需求，灵活调度具有亲和性的 GPU 资源。

GPU亲和性调度通过将容器优先分配到指定的 GPU 设备上运行，显著减少了跨节点或跨交换机的数据传输需求。当数据在单个节点内或拓扑结构上相邻的 GPU 之间传输时，可充分利用高速互连（如 NVLink）的优势，从而实现更高的传输速度和更低的延迟。此外，这种调度策略避免了通过网络交换机转发数据所带来的额外延迟和潜在的网络拥塞问题，有效提升了整体计算效率。

选择合适推理加速引擎

选择合适的推理加速引擎对于提升大模型推理性能至关重要。以 vLLM 为例，它是一个高效的 Transformer 推理库，采用了 PagedAttention 算法，能够有效管理 KVCache，减少内存碎片，从而显著提高推理速度。在实际应用中，vLLM 通过优化注意力机制的计算过程，使得大模型在推理时能够更快速地处理输入数据，生成高质量的输出结果。

除了 vLLM，SGLang 也是一款值得关注的推理加速引擎，一些 GPU 已经支持采用SGLang运行 Deepseek 。SGLang 是新兴的开源推理框架项目，得到了活跃的社区支持，在工业界也获得了广泛应用。其核心特性包括快速的后端运行时、灵活的前端语言以及广泛的模型支持等。

在与 Deepseek 的适配方面，SGLang 针对 DeepSeek 模型采用的 MLA 注意力机制开展了针对性的工程优化，并在框架上对其 MoE 架构的推理做了优化设计。浪潮信息元脑 R1 推理服务器完成对 SGLang 最新版本的深度适配后，在单机高性能运行 DeepSeek R1 671B 模型时，可支持超过 1000 路的用户并发访问，展现出强大的并发处理能力。

与 vLLM 相比，SGLang 在运行诸如 Llama 系列模型时，展现出了更优的性能。例如在运行 Llama 3.1 405B 时，SGLang 的吞吐量在某些情况下能达到 vLLM 的 3.8 倍 。在处理从 Llama-8B 到 Llama-405B 的模型时，以及在 A100 和 H100 GPU 上使用 FP8 和 FP16 时，SGLang 在在线和离线场景下都能持续提供卓越或有竞争力的性能。

企业在选择推理加速引擎时，需要综合考虑自身的业务场景、模型类型、硬件配置以及性能需求等因素。vLLM 在流式输出和内存管理方面表现突出，适合对实时交互体验要求高的场景；而 SGLang 在优化资源利用、提升并发处理能力以及与 Deepseek 特定模型架构的适配优化上具有优势，更适合对吞吐量和大规模并发请求处理有较高要求的场景。

跨节点的大参数量模型 PD 分离

对于跨节点的大参数量模型，采用 PD（Prefill 和 Decode）分离策略是一种优化选择。可以参考 DeepSeek 官方推荐了1:10的资源配置方式，使用 4 节点 prefill + 40 节点 decode配置。

Prefill 阶段主要负责生成初始的 KVCache，这个过程需要较高的计算资源来快速处理输入数据。而 Decode 阶段则专注于根据 Prefill 生成的 KVCache 逐步生成输出文本。将这两个阶段分离到不同的节点上，可以充分利用不同节点的资源优势，实现资源的高效利用。

在高并发场景下，大量的推理请求同时到来，通过 PD 分离，Prefill 节点可以并行处理多个请求的初始 KVCache 生成，然后将生成好的 KVCache 分发给 Decode 节点进行后续的文本生成。这样的分工协作能够有效提高系统的并发处理能力，确保在高负载情况下，大模型推理服务依然能够稳定、高效地运行。

结语

综上所述，企业私有化部署 DeepSeek 大模型是一项复杂且系统的工程。在模型选型阶段，企业需依据业务需求、预算以及数据特性等，精准挑选全量版或蒸馏版模型，为后续工作筑牢根基。Iaas 层规划中，合适的 GPU 选型以及集群高速网络架构，是保障大模型推理高效运行的硬件支撑。而推理部署工程优化则从软件层面，通过容器化部署、选择适配的推理加速引擎以及采用 PD 分离策略等，进一步提升系统性能。

参考链接

• 浪潮信息推出元脑R1推理服务器，单机即可释放DeepSeek 671B强大模力

• Unlock DeepSeek-R1 Inference Performance on AMD Instinct™ MI300X GPU

更多文章：

英伟达发布了GB200和H200的新形态

混元大模型

大模型训练时卡住怎么办？

大模型部署解决方案之TorchServe+vLLM

大模型训练集群的存储设计