实战教程：用一张4090显卡+512GB内存部署671B的Deepseek大模型

推荐语

最新技术突破，低成本部署高性能大模型！
核心内容：
1. 清华大学MADSys团队开源KTransformers算法框架
2. 4090显卡+512GB内存部署671B Deepseek模型实操
3. 详细环境配置与编译安装步骤指南

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

    近日，清华大学MADSys团队正式开源了面向资源受限环境的KTransformers算法框架。基于该框架的技术特性，用户可以在一张4090显卡的设备中部署满血671B的Deepseek。老王看到这个消息非常兴奋，因为这意味着只需要几万块钱就可以实现原本需要百万才能实现的“满血梦”。

     老王在工作之余，赶紧找了一台设备，实际操练一下，先实现自己的“满血梦”。 同时，我把我自己的部署过程记录了下来，供大家参考学习。

1、硬件配置

2、部署ktransformer

a.参考以下文件安装环境

https://kvcache-ai.github.io/ktransformers/en/install.html#id_666

i.编译gcc/g++ ，安装conda环境

# Adding CUDA to PATH
export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_PATH=/usr/local/cuda

# 编译ktransformer
sudo dnf update
sudo dnf install gcc g++ cmake ninja-build

# 创建conda环境，推荐使用python3.11版本
conda create --name ktransformers python=3.11
conda activate ktransformers 
pip install torch packaging ninja cpufeature numpy

ii.遇到服务器拉取github的网络问题，可以先clone到本地，执行init和update后，然后打包上传到服务器

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
git submodule init
git submodule update

iii.根据linux的服务器配置，主要是内存是否大于1TB，执行不同的安装步骤

# 内存小于1TB
bash install.sh

# 内存大于1TB的情况下
export USE_NUMA=1
bash install.sh # or `make dev_install`

iv.ktransformer需要flash atten的支持，必须安装

pip install flash_attn

b.模型下载

推荐使用别人已经量化好的模型（INT4精度/R1全参数量化版本）

（若需执行自定义量化流程，请参考附录A-量化实验记录章节）

i.直接下载

1.在服务器上下载GGUF的模型权重，国内推荐从huggingface镜像网站或者modelscope网站下载

2.https://hf-mirror.com/unsloth/DeepSeek-R1-GGUF

3.https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
export HUGGINGFACE_HUB_TIMEOUT=600

# 下载量化模型
huggingface-cli download --local-dir /usr/share/ollama/deepseek-R1-GGUF unsloth/DeepSeek-R1-GGUF --include "DeepSeek-R1-Q4_K_M/*"

# 下载R1的tokenizer.json,config等文件
huggingface-cli download --local-dir /usr/share/ollama/DeepSeek-R1 deepseek-ai/DeepSeek-R1 --exclude "*.msgpack" "*.onnx" "*.bin" "*.ot" "*.h5" "*.safetensors"

下载记录(此处省略一万字)

ii.执行以下命令，启动ktransformer

export CUDA_VISIBLE_DEVICES=6

python -m ktransformers.local_chat --model_path  /usr/share/ollama/DeepSeek-R1 --gguf_path /usr/share/ollama/deepseek-R1-GGUF/DeepSeek-R1-Q4_K_M

 # 多GPU
export CUDA_VISIBLE_DEVICES=4,5,6,7
python -m ktransformers.local_chat --model_path  /usr/share/ollama/DeepSeek-R1 --gguf_path /usr/share/ollama/deepseek-R1-GGUF/DeepSeek-R1-Q4_K_M --max_new_tokens 4096 --optimize_rule_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-multi-gpu-4.yaml

各个参数的中文解释：

–model_path (必需)：模型的名称（例如“deepseek-ai/DeepSeek-V2-Lite-Chat”，它会自动从 Hugging Face 下载配置文件）。如果您已经有本地文件，可以直接使用该路径来初始化模型。注意：目录中不需要.safetensors文件，只需要配置文件即可用来构建模型和分词器。

–gguf_path (必需)：包含 GGUF 文件的目录路径，这些文件可以从 Hugging Face 下载。注意该目录应该只包含当前模型的 GGUF 文件，也就是说，每个模型需要一个独立的目录。

–optimize_rule_path (必需，除了 Qwen2Moe 和 DeepSeek-V2)：包含优化规则的 YAML 文件路径。ktransformers/optimize/optimize_rules 目录下已经预写了两个规则文件，分别用于优化 DeepSeek-V2 和 Qwen2-57B-A14，这两个是当前的最先进 MoE 模型。

–max_new_tokens：整数（默认值=1000）。生成的最大新令牌数。

–cpu_infer：整数（默认值=10）。推理时使用的 CPU 核心数。理想情况下应设置为（总核数 - 2）。

3.测试

a.单GPU，每秒4个token

Chat: 强化学习 会使用gpu吗
嗯，用户问的是强化学习会不会使用GPU。首先，我需要确认强化学习的基本概念，以及GPU在其中的作用。强化学习属于机器学习的一个分支，主要用于训练智能体通过与环境互动来学习策略。传统的机器学习很多都会用到GPU加速，尤其是深度学习，因为GPU在处理矩阵运算上比CPU快很多。

接下来，我需要考虑强化学习的不同应用场景。比如，如果用的是传统的Q-learning或者SARSA这类表格型方法，可能不需要GPU，因为它们的计算量不大，主要依赖CPU处理。但如果是结合了深度学习的强化学习方法，比如深度Q网络（DQN）、策略梯度方法（PPO）或者Actor-Critic框架，这时候神经网络模型训练就需要大量矩阵运算，GPU的优势就显现出来了。

然后，用户可能想知道具体在哪些情况下会用到GPU。例如，当处理高维状态空间（如图像输入）时，使用卷积神经网络来处理这些输入，这时候GPU加速训练过程就非常关键。另外，像模拟环境，比如机器人控制或者游戏AI（如AlphaGo），可能需要大量的并行模拟，这时候GPU甚至TPU可能会有帮助。

还要考虑用户可能的背景。如果用户是刚开始学习强化学习，可能对硬件需求不太清楚，或者担心是否需要投资GPU资源。这时候需要说明，虽然GPU可以加速训练，但入门阶段的小规模问题用CPU就够了，等到处理复杂问题时再考虑GPU。

另外，用户可能想知道是否有替代方案，比如云计算平台或者训练。这时候可以
prompt eval count:    12 token(s)
prompt eval duration: 2.265155792236328s
prompt eval rate:     5.297648859795519 tokens/s
eval count:           300 token(s)
eval duration:        65.83381295204163s
eval rate:            4.556928826506569 tokens/s

b.多GPU，4*4090，每秒4.5个token

Chat: 介绍下思腾合力
好的，用户让我介绍一下思腾合力。首先，我需要确认思腾合力的基本信息，比如公司背景、主营业务、产品服务、市场定位等。可能还需要了解他们的核心技术、合作伙伴、行业地位以及发展历程。

用户可能是想了解这家公司是否可靠，或者考虑合作、求职，或者只是好奇。需要判断用户的需求层次，是表面的概述还是深入的技术细节。如果用户没有特别说明，应该提供全面的信息，涵盖公司介绍、产品服务、技术优势、应用场景等。

接下来，我需要查找思腾合力的相关资料。可能他们的官网、新闻报道、行业报告都是信息来源。需要确保信息的准确性和时效性，比如公司成立时间、最新动态、主要成就等。同时要注意是否有不同来源的信息矛盾，需要交叉验证。

思腾合力可能专注于某个领域，比如人工智能、云计算、大数据等。需要明确他们的核心业务，是否有自主研发的技术，或者主要提供解决方案。例如，他们可能提供AI服务器、云计算平台，或者行业定制化解决方案。

还要考虑他们的客户和合作伙伴，是否有知名企业或政府机构合作案例，这能体现公司的实力和信誉。此外，公司的发展历程中的重要事件，比如融资、上市、重大合作项目，也是值得提及的。

技术优势方面，是否有专利、认证，或者独特的技术架构。例如，是否在AI芯片、算法优化、数据处理等方面有创新。应用场景方面，他们的产品和服务适用于哪些行业，如金融、医疗、教育、智能制造
prompt eval count:    10 token(s)
prompt eval duration: 2.409355401992798s
prompt eval rate:     4.150487716228547 tokens/s
eval count:           300 token(s)
eval duration:        66.46189308166504s
eval rate:            4.513864804172446 tokens/s

附录A：自己转换gguf，然后进行量化的尝试步骤

a.使用llamacpp进行转换https://github.com/ggml-org/llama.cpp/blob/master/examples/quantize/README.md

b.转换满血671B的R1权重失败，即llamacpp不支持满血R1的GGUF转换，所以也没法执行后续的量化步骤，建议直接拉取huggingface上量化好的模型

(llamacpp) [root@localhost llama.cpp]# python3 convert_hf_to_gguf.py /usr/share/ollama/DeepSeek-R1 --outfile /usr/share/ollama/zxy/r1_gguf   --outtype bf16
INFO:hf-to-gguf:Loading model: DeepSeek-R1
INFO:gguf.gguf_writer:gguf: This GGUF file is for Little Endian only
INFO:hf-to-gguf:Exporting model...
INFO:hf-to-gguf:gguf: loading model weight map from 'model.safetensors.index.json'
INFO:hf-to-gguf:gguf: loading model part 'model-00001-of-000163.safetensors'
INFO:hf-to-gguf:token_embd.weight,            torch.bfloat16 --> BF16, shape = {7168, 129280}
INFO:hf-to-gguf:blk.0.attn_norm.weight,       torch.bfloat16 --> F32, shape = {7168}
INFO:hf-to-gguf:blk.0.ffn_down.weight,        torch.float8_e4m3fn --> BF16, shape = {18432, 7168}
Traceback (most recent call last):
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 5112, in <module>
    main()
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 5106, in main
    model_instance.write()
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 439, in write
    self.prepare_tensors()
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 4142, in prepare_tensors
    super().prepare_tensors()
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 298, in prepare_tensors
    for new_name, data_torch in (self.modify_tensors(data_torch, name, bid)):
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 4139, in modify_tensors
    return [(self.map_tensor_name(name), data_torch)]
  File "/root/llama.cpp/convert_hf_to_gguf.py", line 214, in map_tensor_name
    raise ValueError(f"Can not map tensor {name!r}")
ValueError: Can not map tensor 'model.layers.0.mlp.down_proj.weight_scale_inv'

c.llamacpp转换qwen2_7B为gguf是成功的。

INFO:gguf.vocab:Adding 151387 merge(s).
INFO:gguf.vocab:Setting special token type eos to 151645
INFO:gguf.vocab:Setting special token type pad to 151643
INFO:gguf.vocab:Setting special token type bos to 151643
INFO:gguf.vocab:Setting chat_template to {% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system
You are a helpful assistant.<|im_end|>
' }}{% endif %}{{'<|im_start|>' + message['role'] + '
' + message['content'] + '<|im_end|>' + '
'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
' }}{% endif %}
INFO:hf-to-gguf:Set model quantization version
INFO:gguf.gguf_writer:Writing the following files:
INFO:gguf.gguf_writer:/data/share/qwen2_7B_ins_gguf: n_tensors = 339, total_size = 15.2G
Writing: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 15.2G/15.2G [04:08<00:00, 61.4Mbyte/s]
INFO:hf-to-gguf:Model successfully exported to /data/share/qwen2_7B_ins_gguf

d.使用昇腾的量化代码，是可以转换r1的权重的

(vllm) [root@localhost NPU_inference]# python fp8_cast_bf16.py --input-fp8-hf-path /usr/share/ollama/DeepSeek-R1 --output-bf16-hf-path /usr/share/ollama/DeepSeek-R1-bf16
  9%|███████████████▌                                      | 15/163 [03:37<31:49, 12.91s/it]

e.unsloth提供一个转成gguf的工具，感兴趣可以尝试

https://docs.unsloth.ai/basics/running-and-saving-models/saving-to-gguf

结论：

KTransformers是为个人准备的；企业级环境需要根据并发数和具体场景确定推理服务器的配置。