我要投稿

4090单卡运行Deepseek r1:671B满血版

发布日期：2025-03-29 06:45:22 浏览次数： 1628 作者：缘来如赐

需要配置

显存： 24G

内存：382G

模型文件： deepseek-r1:671b 的 Q4_K_M 量化版

硬件配置

显卡：NVIDIA GeForce RTX 4090 24G

内存：64G * 8 DDR5 4800

cpu：Intel(R) Xeon(R) Gold 6430

环境配置

1.cuda环境，版本需要在12.4以上，

官网链接https://developer.nvidia.com/cuda-toolkit-archive：

wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda_12.6.0_560.28.03_linux.runsudo sh cuda_12.6.0_560.28.03_linux.run

2. 安装conda环境（可选）：

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_24.11.1-0-Linux-x86_64.shbash ./Miniconda3-py310_24.11.1-0-Linux-x86_64.shconda create --name ktransformers python=3.11conda activate ktransformers

3.安装必要依赖：

sudo apt-get update && sudo apt-get install gcc g++ cmake ninja-build

4.安装ktransformer:

## flash_attn安装pip install flash_attn -i https://mirrors.aliyun.com/pypi/simple/## ktransformer使用源码安装git clone https://github.com/kvcache-ai/ktransformers.gitcd ktransformers## 拉取子模块代码git submodule initgit submodule update## 运行编译脚本bash install.sh

下载速度过慢，修改编译脚本里（install.sh）指定为国内源：

pip install -r requirements-local chat.txt -i https://mirrors.aliyun.com/pypi/simple/

模型下载

模型文件是 deepseek-r1:671b 的 Q4_K_M 量化版。由于模型文件过大，所以下载速度比较慢。

使用 modelscope 下载

官网地址：https://www.modelscope.cn/models

pip install modelscopemodelscope download --model unsloth/DeepSeek-R1-GGUF --local_dir /path/to/models --include DeepSeek-R1-Q4_K_M-* --max-workers 108

命令参数解释：

model：是指定魔塔社区上的模型项目

local_dir：是指定文件的下载路径（路径不存在会自动创建）

include：是指定下载文件（其中 DeepSeek-R1-Q4_K_M-* 是匹配所有前缀为 DeepSeek-R1-Q4_K_M-的文件）

max-workers：是指定下载文件建立的连接数（一般该值设置为 CPU 核心数减 2 即可。本机 CPU 核心数为 112，这里指定 108，该值越大下载越快）。

模型运行

进入配置好的conda环境之后，执行命令

python -m ktransformers.local_chat --model_path deepseek-ai/DeepSeek-R1 --gguf_path /path/to/model --cpu_infer 48 --force_think true --max_new_tokens 128

命令参数解释：

model_path ：魔搭项目路径，用于远程拉取必要的json文件

gguf_path ：下载的 gguf 模型文件所在的路径

cpu_infer：用于推理的 CPU 核心数，本机的 CPU 核心数是 64，这里设置 48，cpu_infer 默认值是 10，10 个核心数推理速度较慢，可以适当增加，但是不要超过 CPU 核心数减 2。force_think：设置为 true 才能够看到模型的思考过程，否则默认是不输出模型的思考过程的。