3种方法本地部署DeepSeek-V3，附部署方法

DeepSeek-V3 的开源大型语言模型的横空出世，它带着创新的架构、高效的训练方法和出色的性能，跟自家的 R1 可谓是齐头并进。

在众多模型中，如何找到一款既高效又经济实惠的模型，用于日常办公中的智能文档处理，还是科研领域的复杂数据分析等等，AI 智能化需求一直在新增。为了数据安全以及商业化，本地部署一个既高效又实惠的模型的需求也不断增加。

这篇文章将深入了解 DeepSeek-V3 的架构、功能、经济高效的训练和开发人员的实际用例。了解如何使用 Ollama、llama.cpp 和 LMDeploy 等开源工具在本地部署和运行它。

V3 简介

DeepSeek-V3 由 DeepSeek AI 开发，是目前一种较先进的开源大型语言模型 （LLM），旨在与 GPT-4o、Llama 3 和 Claude 3 等最先进的模型竞争。

该模型集成了 Mixture-of-Experts （MoE） 架构、高效的训练方法和扩展的上下文处理等尖端功能，使其成为在本地利用 AI 的开发人员的强大工具。

01 DeepSeek-V3 的架构

Mixture-of-Experts （MoE） 模型

DeepSeek-V3 采用基于 MoE 的方法，共有 6710 亿个参数，但每个 tokens 仅激活 370 亿个参数。这种选择性激活大大减少了计算开销，同时保持了效率，在关键任务中优于密集模型。

与传统 Dense 模型的比较

与传统的密集模型（如 Llama 3.1 和 GPT-4o）不同，DeepSeek-V3 利用稀疏 MoE 框架。这种方法：

• 降低计算成本：每次推理只使用模型的一小部分，从而提高了效率。

• 提高专业化：不同的专家层处理特定的任务，从而更好地理解上下文。

• 增强可扩展性：与密集的替代方案相比，该模型可以有效地扩展，同时保持较低的资源需求。

架构主要特性：

• 多头潜在注意力 （MLA）：通过压缩键值缓存来优化内存使用。

• DeepSeek MoE 框架：平衡共享专家和路由专家以实现专业化。

• 辅助无损负载均衡：防止不必要的损失功能，同时确保专家的利用率。

• 多 tokens 预测：通过在一次传递中生成多个 tokens 来提高效率。

• 128,000 个 Token 上下文窗口：启用扩展的推理功能和更好的文档理解。

02 高效的训练方法

DeepSeek-V3 使用 14.8 万亿个高质量 tokens 进行训练，优先考虑英文、中文、编程和数学内容。

该模型经历了三个主要阶段：

1、训练前：

• 数据集来源于不同的文本语料库。

• 使用 YaRN 方法，上下文窗口逐渐从 4K 扩展到 128K 令牌。

2、监督微调 （SFT）：

• 150 万个样品用于精炼性能。

• 任务包括数学、逻辑推理、编程和一般 NLP 任务。

3、强化学习 （RL）：

• 包含基于模型和基于规则的奖励机制。

• 提高决策准确性和响应连贯性。

对实际应用的影响

DeepSeek-V3 训练方法的效率在实际应用中具有切实的好处：

• 更快的部署：优化的架构允许在生产环境中更快地适应。

• AI 开发人员的成本更低：由于计算负载减少，与密集模型相比，运行 DeepSeek-V3 需要的资源更少。

• 增强的 AI 系统的响应能力：该模型能够处理长序列并在一次传递中生成多个 tokens，从而提高了聊天机器人、研究助理和文档摘要工具的响应能力。

03 性能基准测试

DeepSeek-V3 在关键基准测试中与顶级专有和开源模型竞争：

04 开发人员的实际性能优势

• 数学和逻辑推理：MATH-500 的更高分数意味着 DeepSeek-V3 非常适合 AI 驱动的辅导、科学研究和计算问题解决。

• 编码和软件开发：凭借卓越的 HumanEval 性能，开发人员可以利用 DeepSeek-V3 进行智能代码生成、调试和自动化。

• 多语言处理：DeepSeek-V3 在中文 NLP 任务中表现出色，使其在构建具有本地化语言支持的全球 AI 应用程序方面非常有效。

• 长篇内容生成：扩展上下文处理允许对冗长的文档进行无缝总结和分析，使研究、新闻和内容营销应用程序受益。

关键要点：

• DeepSeek-V3 在数学相关和编码任务方面超过了 GPT-4o。

• 擅长多语言处理，尤其是中文 NLP。

• 通过更高效的训练方法实现近乎最先进的性能。

05 为什么 DeepSeek-V3 不同于其他高级模型

与 GPT-4o 和 Claude 3.5 相比：

• 具有成本效益的训练：在 278.8 万个 H800 GPU 小时上进行训练，成本仅为 560+ 万美元，明显低于 GPT-4o。

• 开源可用性：与专有模型不同，DeepSeek-V3 在 MIT 许可下可用，为开发人员提供了更大的灵活性。

• 针对专业任务进行了优化：在数学、逻辑推理和长格式文本处理方面取得优异的成绩。

• 扩展上下文长度：具有 128K 上下文窗口，与 GPT-4o 的 32K 限制相比，DeepSeek-V4 提供了增强的文档理解和检索能力。

与 Llama 3.1 和其他开源模型相比：

• 稀疏 MoE 与密集模型：每个 token 使用 37B 活动参数，在效率和性能之间提供平衡。

• 使用 MoE 进行更快的推理：由于专家的选择性激活，DeepSeek-V3 可以实现近乎密集的模型精度，同时计算效率高。

• 卓越的编码性能：在 HumanEval 基准测试中表现出色，使其成为 AI 辅助编码和调试的有力候选者。

• 更强的多语言能力：在中文 NLP 任务中优于 Llama 3.1，使其成为全球 AI 应用的理想选择。

通过集成经济高效的训练、开源可访问性和卓越的基准测试，DeepSeek-V3 成为专有和开源 LLM 的强大竞争对手，为开发人员的应用程序提供功能强大且经济实惠的 AI 模型。

06 在本地运行 DeepSeek-V3：开发人员指南

鉴于其 404GB 的模型大小，在本地运行 DeepSeek-V3 需要优化策略。

以下是一些有效部署它的方法：

硬件要求

根据您的部署选择，所需的硬件会有所不同：

基本CPU设置（用于小规模测试和量化模型）

• 处理器：8-core CPU （Intel i7 or AMD Ryzen 7）

• RAM：32GB（最小），64GB（推荐）

• 存储：NVMe SSD （500GB+）

中端 GPU 设置（用于高效的本地推理）

• 显卡：NVIDIA RTX 3090 / RTX 4090（24GB VRAM 或更高）

• 内存：64GB+

• 存储：1TB NVMe SSD

高端 GPU 集群（用于完整模型执行）

• GPU：NVIDIA A100/H100 （80GB VRAM） x2 或更高

• 内存：512GB+

• 存储：高速 SSD （2TB+）

选项 1：使用 Ollama（为简单起见，建议使用）

Ollama 提供了一种在本地运行 DeepSeek-V3 的简单方法，无需复杂的设置。

安装：

选项 2：使用 llama.cpp 运行量化版本

为了在低端硬件上高效运行 DeepSeek-V3 ，建议使用量化版本。

步骤：

1、从 Hugging Face 下载量化模型（.gguf 格式）。

2、安装并执行：llama.cpp

选项 3：使用 LMDeploy 优化推理

LMDeploy 通过利用 FP8 和 BF16 精度为 GPU 用户增强性能。

安装和使用：

鉴于其 404GB 的模型大小，在本地运行 DeepSeek-V3 需要优化策略。以下是一些有效部署它的方法：

06 DeepSeek-V3 的有效利用

DeepSeek-V3 的独特功能显著提高了其在各种实际应用中的有效性。

以下是展示其优势的一些关键用例：

自动化研究论文写作

• 场景：研究人员需要结构良好的文献综述。

• 为什么选择 DeepSeek-V3：其 128K  tokens 上下文窗口支持处理大型文本正文，确保连贯和全面的文献综述。

• 可能的局限性：虽然 DeepSeek-V3 可以有效地生成结构化内容，但用户应验证参考文献和事实细节的准确性，以避免错误信息。

AI 驱动的代码生成和分析

• 场景：开发人员需要一个 Python 脚本来抓取新闻文章。

• 为什么选择 DeepSeek-V3：它的 MoE 架构专门处理结构化提示和与编程相关的查询。

多语言内容创建

• 场景：内容作者需要多种语言的摘要。

• 为什么选择 DeepSeek-V3：凭借其强大的多语言处理能力，它可以生成高度准确的翻译和摘要。与许多竞争模型不同，DeepSeek-V3 在多语言处理方面表现出色，因为它在不同语言数据集上进行了高度优化的训练，与 Llama 3.1 等模型相比，它提供了更好的流畅性、上下文保留和翻译准确性。

通过利用这些功能，DeepSeek-V3 成为许多研究人员、开发者和内容创作者的重要工具，为 AI 驱动的任务提供高效率和可扩展性。

Last but not least

DeepSeek-V3 是 AI 研究和部署的游戏规则改变者。它的开源可用性、卓越的架构、扩展的上下文处理和经济高效的培训使其成为开发人员和企业有吸引力的替代方案。

为什么 DeepSeek-V3 值得我们探索：

• 灵活性：对 API 使用或许可没有限制。

• 优化性能：在高效的情况下与闭源模型竞争。

• 开发人员友好型部署：支持多个开源工具在本地运行。