最近在进行一些私有化部署大模型，很多企业会考虑数据隐私问题。因此常常会在企业内部部署自主部署大语言模型。常见的能够提供大语言模型的部署工具有，Ollama、vLLM、Xinference、SGLang和LM Studio。Ollama和LM Studio都是只支持GGUF类型量化的大语言模型，vLLM、Xinference和SGlang是支持pytorch或者说transformer类型的大模型，这些类型的模型通常在HuggingFace上都能找到。一般我们使用Ollama和LM Studio在桌面显卡领域部署，也就是个人电脑上部署使用。而在服务器领域，我们通常使用后三者。本篇我们主要关注于vLLM如何部署和量化DeepSeek大语言模型，机器环境是4卡Nvidia 2080Ti，大约48G显存。

1. 下载LLM模型

首先我们下载所需要的大语言模型，国内我们通常使用ModelScope^[1]下载，它的速度较快也很稳定。我们使用modelscope官方提供的工具modelscope来下载，它有自动重连断点下载等功能。我们切换conda环境到base，然后安装modelscope。

conda activate base
pip install modelscope

然后我们访问modelscope找到我们要下载的模型，比如DeepSeek V2 Lite模型^[2]。

拷贝左上角模型的限定名称，然后使用如下命令，将其下载到当前目录。

modelscope download --model deepseek-ai/DeepSeek-V2-Lite-Chat --local_dir .

速度很快，可以达到30MB/s

2. 安装vLLM推理引擎

创建vLLM的虚拟环境并激活。

conda create -n vllm python=3.11
conda activate vllm

配置国内源，这样安装会快一点

conda config --show channels
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --set channel_priority flexible

接下来开始安装vLLM，根据官方文档^[3]来操作。

pip install vllm

注意

使用pip默认安装的是基于CUDA 12.1编译的，它也兼容CUDA 12.2和12.4等环境。但如果你的CUDA版本是CUDA 11.8，你需要一些指定版本的操作。

# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.4.0
export PYTHON_VERSION=310
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl --extra-index-url https://download.pytorch.org/whl/cu118

3. 开始部署

使用如下命令，开始部署DeepSeek V2 Lite Chat模型。

CUAD_VISIBLE_DEVICES=0,1,2,3 python -m vllm.entrypoints.openai.api_server --model deepseek-ai/DeepSeek-V2-Lite-Chat --port 11434 --tensor-parallel-size 4 --gpu-memory-utilization 0.9 --max-model-len 8192 --trust-remote-code --enforce_eager --dtype=half 

有几个参数需要特别说明，更多的参数可以参考vLLM官方文档^[4]

• dtype - 数据类型，由于RTX20280Ti 只支持半精度类型的，因此dtype必须强制指定为half。
• max-model-len - 指定上下文长度，它会自动预留KV Cache。虽然说DeepSeek V2支持128K上下文，但它也会导致占用大量的预留显存，因此一般我们一点一点尝试向上加，从而找到你显卡最佳上下文长度。我不确定是否有方法可以计算上下文长度所需显存。
• gpu-memory-utilization - 指定显存利用率，默认0.9 假设48G，那么设置为0.9，意味着它最大可以使用48*0.9=43.2G
• tensor-parallel-size - 张量并行推理，如果你是一机多卡，并且单张显卡显存无法承载大模型，那么你可以考虑启用该选项，大小根据你的显卡数量设置。

但我使用这里48G显存居然不够一个BF16的16B模型和KV Cache使用，报了如下错误。

ValueError: The model's max seq len (8192) is larger than the maximum number of tokens that can be stored in KV cache (7104). Try increasing gpu_memory_utilization or decreasing max_model_len when initializing the engine.

所以8K上下文导致了显存不够用，然而没有地方能够设置KV Cache大小，只能通过gpu_memory_utilization 参数设置，目前是0.9，增大到0.95能够启动并支持8K上下文了。速度勉强能够接受，速度大约每秒15 tokens。

4. 使用Lora

如果你在base模型基础上微调，那么可以通过以下方式指定Lora模型。比如

vllm serve meta-llama/Llama-2-7b-hf \
--enable-lora \
--lora-modules sql-lora=$HOME/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/snapshots/0dfa347e8877a4d4ed19ee56c140fa518470028c/

其中我们使用--enable-lora --lora-modules {name}={lora-path}来指定lora模型。在使用OAI兼容的接口请求时候，必须将模型名称指定为lora的模型名称。

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "sql-lora",
        "prompt": "San Francisco is a",
        "max_tokens": 7,
        "temperature": 0
    }' | jq

5. 量化DeepSeek Lite Chat模型

量化模型，需要考虑显卡平台支持的量化类型，此处不考虑非N卡。由于RTX 2080Ti是Turing架构，它的计算能力是7.5，因此它不支持FP8量化。

此处这里使用AWQ进行4bit量化

pip install autoawq

还有一个依赖要单独安装，不然会报错。

ImportError: This modeling file requires the following packages that were not found in your environment: flash_attn. Run

pip install flash_attn

但安装总说找不到nvcc，所以执行

which nvcc

然后根据获得地址手动设置CUDA_HOME安装

CUDA_HOME=/usr/local/cuda pip install flash_attn

然后编译wheel时候，卡了一个多小时了，还没结束。注意量化有时候依赖和vllm不一致，可以考虑建立两个虚拟环境。接下来使用如下代码并执行即可开始量化。

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = 'hub/deepseek-ai/DeepSeek-V2-Lite-Chat/'
quant_path = 'hub/deepseek-ai/DeepSeek-V2-Lite-Chat-awq-int4/'
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

# Load model
model = AutoAWQForCausalLM.from_pretrained(model_path, **{"low_cpu_mem_usage": True})
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# Quantize
model.quantize(tokenizer, quant_config=quant_config)

# Save quantized model
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

如果你的显卡支持FP8量化，可以使用AutoFP8进行离线量化。

git clone https://github.com/neuralmagic/AutoFP8.git
pip install -e AutoFP8

然后使用动态激活规模因子进行离线量化，不损失精度。

from auto_fp8 import AutoFP8ForCausalLM, BaseQuantizeConfig

pretrained_model_dir = "hub/deepseek-ai/DeepSeek-V2-Lite-Chat/"
quantized_model_dir = "hub/deepseek-ai/DeepSeek-V2-Lite-Chat-FP8/"

# Define quantization config with static activation scales
quantize_config = BaseQuantizeConfig(quant_method="fp8", activation_scheme="dynamic")
# For dynamic activation scales, there is no need for calbration examples
examples = []

# Load the model, quantize, and save checkpoint
model = AutoFP8ForCausalLM.from_pretrained(pretrained_model_dir, quantize_config)
model.quantize(examples)
model.save_quantized(quantized_model_dir)

总结

本文主要记录了我在RTX 4080Ti上部署DeepSeek V2 16B模型的过程。希望给大家一个参考，更多的参数还得看vLLM官方文档。此外，对于DeepSeek V2模型，它使用的MLA( Multi-head Latent Attention)目前vLLM尚未实现，但sglang最近实现了MLA，速度有了比较明显的提升。下一篇我们将会尝试一下。