我要投稿

vLLM 私有化部署满血版 DeepSeek-R1-671B 模型

发布日期：2025-03-11 19:43:30 浏览次数： 1550 来源：MuseTeach

点击下方卡片关注不要错过精彩文章

服务器环境准备

硬件配置：16 * H800，多机多卡，bfloat16 + FP8量化的混合精度推理，输出效率3秒/1token。

安装Miniconda

下载 Miniconda 安装脚本

打开终端，使用 wget 命令下载最新版本的 Miniconda 安装脚本：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

注意：如果你的系统架构不是 x86_64，请访问 Miniconda 官方下载页面获取适合你系统的安装包。

为安装脚本添加执行权限

下载完成后，为脚本文件赋予可执行权限：

chmod +x Miniconda3-latest-Linux-x86_64.sh

运行安装脚本

执行脚本开始安装：

./Miniconda3-latest-Linux-x86_64.sh

安装过程中，你会看到一些提示信息：

许可协议：按 Enter 键查看内容，输入 yes 同意许可协议。
安装路径：可以选择默认路径（通常是 ~/miniconda3），也可以指定其它路径。
初始化设置：安装完成后，安装程序会询问是否将 conda 初始化（即自动修改 shell 配置文件，如 ~/.bashrc），建议选择 yes。

激活 conda 环境

安装完成后，重新加载 shell 配置文件使更改生效（或者重启终端）：

source ~/.bashrc

现在你可以通过以下命令检查 conda 是否安装成功：

conda --version

如果看到类似 conda 4.x.x 的版本信息，则说明安装成功。

创建并激活虚拟环境

conda create -n deepseek python==3.10
conda activate deepseek

Docker部署（服务器版本Ubuntu20.04系统）

更新软件包索引

sudo apt-get update

安装必要的软件包

sudo apt-get install apt-transport-https ca-certificates curl gnupg lsb-release

添加阿里云官方 GPG 密钥

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

设置阿里云 Docker 仓库

sudo sh -c 'echo "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" > /etc/apt/sources.list.d/docker.list'

安装docker

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io

验证安装

sudo systemctl status docker

输出激活，显示绿色代表已启动：（CTRL + C 退出）

查看Docker版本

docker --version

设置Docker开机自启服务

sudo systemctl enable docker

验证是否开启自启功能

（如果输出是enabled，就已成功开启，如果不是需要进一步检查）

sudo systemctl is-enabled docker

配置Docker镜像加速

输入命令目录下添加daemon.json文件进行编辑：

sudo nano /etc/docker/daemon.json

编辑内容如下：（内容粘贴进去，CTRL + O + ENTER保存，CTRL + X退出）

{
    "registry-mirrors": [
        "https://docker.211678.top",
        "https://docker.1panel.live",
        "https://hub.rat.dev",
        "https://docker.m.daocloud.io",
        "https://do.nark.eu.org",
        "https://dockerpull.com",
        "https://dockerproxy.cn"
    ]
}

重新加载Docker服务的配置文件

sudo systemctl reload docker

停止并重新启动Docker服务

sudo systemctl restart docker

再次检查Docker服务状态

sudo systemctl status docker

运行一个简单的Docker容器测试

docker run hello-world

安装docker显卡驱动

wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/nvidia-container-toolkit-base_1.13.5-1_amd64.deb
wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/libnvidia-container-tools_1.13.5-1_amd64.deb
wget https://developer.download.nvidia.cn/compute/cuda/repos/ubuntu2204/x86_64/libnvidia-container1_1.13.5-1_amd64.deb

在服务器上安装：

sudo dpkg -i /home/data01/libnvidia-container1_1.13.5-1_amd64.deb
sudo dpkg -i /home/data01/libnvidia-container-tools_1.13.5-1_amd64.deb
sudo dpkg -i /home/data01/nvidia-container-toolkit-base_1.13.5-1_amd64.deb
sudo dpkg -i /home/data01/nvidia-container-toolkit_1.13.5-1_amd64.deb

拉取DeepSeek-R1-671B模型

魔塔社区拉取DeepSeek-R1

地址链接：git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git

删除 rdma-userspace-config-bbc 包

如果你不需要 RDMA 服务，可以尝试删除有问题的包：

sudo apt remove rdma-userspace-config-bbc

然后再执行以下命令来清理系统中的残留配置：

sudo apt autoremove
sudo apt clean

拉取模型文件之前下载LSF大文件存储

确保 Git 已安装

先检查是否安装了 Git：

git --version

如果没有安装，可以使用以下命令安装：

sudo apt update && sudo apt install git -y

安装 Git LFS

如果 Git LFS 未安装，可以使用以下命令安装：

Ubuntu/Debian

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt install git-lfs -y

初始化 Git LFS

安装完成后，运行以下命令初始化 Git LFS：

git lfs install

拉取DeepSeek-R1-671B项目命令

git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1.git

运行此命令会卡住，模型正在下载，可以查看磁盘内存是否在减少确认
文件大约1.3T内存需要磁盘空间足够

df -h

输出服务器磁盘：
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           1.5T     0  1.5T   0% /dev/shm
tmpfs           605G   13M  605G   1% /run
tmpfs           5.0M     0  5.0M   0% /run/lock
/dev/sda2        91G   14G   77G  16% /
/dev/sda3       1.9G  5.3M  1.9G   1% /boot/efi
/dev/sda4       341G   40K  340G   1% /home
/dev/nvme0n1p1  3.4T  3.7G  3.4T   1% /home/data01
/dev/nvme2n1p1  3.4T   24K  3.4T   1% /home/data03
/dev/nvme1n1p1  3.4T   24K  3.4T   1% /home/data02
/dev/nvme3n1p1  3.4T   24K  3.4T   1% /home/data04
tmpfs           303G  4.0K  303G   1% /run/user/0

（开200带宽，下载了大约需要8-10小时）

VLLM官网启动脚本

分布式部署官网参考链接：https://docs.vllm.ai/en/latest/serving/distributed_serving.html

在官网找到sh推理运行文件：

1. 打开官网链接下拉找到多节点运行VLLM标题
2. 在多节点标题下第二段第一行找到github链接
3. 进去之后就是一个脚本文件下载到电脑本地

首先在可以科学上网的服务器或者电脑本地拉取vllm

确保镜像已经存在

首先，检查是否已经成功拉取了 vllm/vllm-openai 镜像。在命令行中运行：

docker images

这会列出所有本地存在的镜像。如果 vllm/vllm-openai 不在列表中，说明你需要先拉取它。

拉取镜像

如果镜像没有找到，可以通过以下命令拉取 vllm/vllm-openai 镜像：

以下是win本地拉取：(打开命里提示符，保证电脑本地docker可以使用)

拉取vllm等待下载完成：

docker pull vllm/vllm-openai

确认拉取成功

再次运行 docker images，确认 vllm/vllm-openai 镜像已经出现在本地镜像列表中。

再次运行 docker save

镜像拉取完成后，再次运行：

docker save -o vllm.tar vllm/vllm-openai

如果一切顺利，应该能成功把镜像保存为 .tar 文件。

目前vllm.tar与run_cluster.sh都在电脑本地，手动拉取到服务器。

服务器联动文件运行

目前服务器有三个文件，模型文件，vllm文件，运行脚本文件

将主节点服务器的所有文件上传到从节点的同一位置:(两台机器是内网组网，可以选择其他上传方式)

rsync -avz /home/model/DeepSeek-R1 root@XXX.XXX .XX.XX:/XXX/XX/

两台服务器分别进入存有vllm.tar的文件运行以下命令下载：

docker load -i vllm.tar

下载结束后查看两台机器的ip

ip a

在主节点服务器运行：

bash run_cluster.sh vllm/vllm-openai 192.168.0.113 --head /home/data01/ -v /home/data01/:/models -e VLLM_HOST_IP=192.168.0.113 -e GLOO_SOCKET_IFNAME=eth0 -e NCCL_SOCKET_IFNAME=eth0

在从节点服务器运行：

bash run_cluster.sh vllm/vllm-openai 192.168.0.113 --worker /home/data01/ -v /home/data01/:/models -e VLLM_HOST_IP=192.168.0.116 -e GLOO_SOCKET_IFNAME=eth0 -e NCCL_SOCKET_IFNAME=eth0

新开终端页面查看docker镜像:

docker ps -a

进入docker镜像：

docker exec -it <指定的ID> <路径>

查看显卡问题：

ray status

启动vllm服务：

vllm serve /models/DeepSeek-R1/ --tensor-parallel-size 8 --pipeline-parallel-size 2 --served_model_name deepseek_r1 --enforce_eager --trust-remote-code --dtype float16

完事！