与传统的HuggingFace Transformers相比，vLLM的吞吐量高达24倍，且无需改变模型架构，它采用创新的PagedAttention算法，优化了注意力键和值的管理，从而提升了推理速度，并且其能够有效地利用多核CPU和GPU资源，显著提升LLM的推理速度。
相比于ollama，vllm输出的速度更快，支持的并发更高，目前也没有遇到安全问题，稳定性非常好，更适合作为服务器的接口服务来部署。
但相应的，vllm会把服务器的GPU显存都占满，使得机器无法再部署其他服务，同时ollama部署更加的简单，也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些，因此个人使用可能ollama更合适。
vLLM本地环境准备
vllm需要使用最新的0.7.3版本，支持思考过程增加<think>标签。
建议用conda新建一个环境来安装
pip install vllm==0.7.3
python环境我这里使用的是python3.8，显卡为a40显卡40g显存版本。
模型权重下载
因为网络问题，建议在阿里魔塔社区下载QWQ模型。
选择好对应的版本后，使用pip安装modelscope，便可以下载选中的版本模型了：
粤ICP备17114055号