告别复杂配置！轻松使用VLLM部署大模型

https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.1-Linux-x86_64.sh

#赋予文件可执行权限chmod +x Anaconda3-5.3.1-Linux-x86_64.sh#执行安装脚本./Anaconda3-5.3.1-Linux-x86_64.sh

add-apt-repository ppa:graphics-drivers/ppaapt update

#安装驱动检查工具apt install ubuntu-drivers-common alsa-utils -y#自动检查安装与当前显卡兼容的驱动程序ubuntu-drivers autoinstall#列出可用驱动ubuntu-drivers devices#手动安装apt install nvidia-driver-470

nvidia-smi

https://developer.nvidia.com/cuda-toolkit-archive

#默认为root用户，如不是root用户请加sudo
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-ubuntu2404.pinmv cuda-ubuntu2404.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/12.6.0/local_installers/cuda-repo-ubuntu2404-12-6-local_12.6.0-560.28.03-1_amd64.debdpkg -i cuda-repo-ubuntu2404-12-6-local_12.6.0-560.28.03-1_amd64.debcp /var/cuda-repo-ubuntu2404-12-6-local/cuda-*-keyring.gpg /usr/share/keyrings/apt-get updateapt-get -y install cuda-toolkit-12-6

#配置环境变量vi ~/.bashrc   //在文件末尾添加以下内容export PATH=/usr/local/cuda-12.6/bin:$PATHexport LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH#使配置立即生效source ~/.bashrc#查看版本nvcc -V

#创建一个名称为vllm的python环境conda create -n vllm python=3.10 -y#激活conda activate vllm

#安装前更新pippython -m pip install --upgrade pip -i https://mirrors.aliyun.com/pypi/simple

python -m pip install vllm -i https://mirrors.aliyun.com/pypi/simple

#设置GPU并行数为2vllm serve /mnt/models --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager --gpu-memory-utilization 0.9#不设置GPU并行数，使用默认值。设置api-key为test@123vllm serve  /mnt/models/ --max-model-len 32768 --enforce-eager --gpu-memory-utilization 0.9 --api-key test@123

https://vllm.hyper.ai/docs/models/engine-arguments#命名参数

python -m pip install modelscope -i https://mirrors.aliyun.com/pypi/simple

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local_dir /mnt/models2