我要投稿

Xinference 本地运行大模型

发布日期：2025-04-05 20:27:30 浏览次数： 1616 作者：架构师炼丹炉

大语言模型（LLM）部署和推理工具——Xinference[1]，其特点是部署快捷、使用简单、推理高效，并且支持多种形式的开源模型，还提供了 WebGUI 界面和 API 接口，方便用户进行模型部署和推理。现在就让我们一起来了解和使用 Xinference 吧！

1. Xinference 介绍

Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。下面是 Xinference 与其他模型部署推理工具的对比：

2. Xinference 安装

Xinference 支持两种方式的安装，一种是使用 Docker 镜像安装，另外一种是直接在本地源码进行安装。

2.1. Xinference Docker安装

如果你希望在 Linux 或者 Window 服务器上部署大模型，可以使用 Xinference 官方的 Docker 镜像来一键安装和启动 Xinference 服务（确保你的机器上已经安装了 Docker 和 CUDA），命令如下：

docker pull xprobe/xinference:latest
docker run  -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

启动后，我们可以通过机器的 9997 端口来访问 Xinference 服务。

2.2. Xinference 本地源码安装

首先我们需要准备一个 3.9 以上的 Python 环境运行来 Xinference，建议先根据 conda 官网文档安装 conda。然后使用以下命令来创建 3.11 的 Python 环境：

conda create --name xinference python=3.10
conda activate xinference

以下两条命令在安装 Xinference 时，将安装 Transformers 和 vLLM 作为 Xinference 的推理引擎后端：

pip install "xinference[transformers]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "xinference[vllm]" -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install "xinference[transformers,vllm]" # 同时安装
#或者一次安装所有的推理后端引擎
pip install "xinference[all]"  -i https://pypi.tuna.tsinghua.edu.cn/simple

pip 在安装 Transformers 和 vLLM 时会自动安装 PyTorch，但自动安装的 CUDA 版本可能与你的环境不匹配，此时你可以根据 PyTorch 官网中的安装指南[6]来手动安装。

只需要输入如下命令，就可以在服务上启动 Xinference 服务：

xinference-local -H 0.0.0.0

Xinference 默认会在本地启动服务，端口默认为 9997。因为这里配置了-H 0.0.0.0参数，非本地客户端也可以通过机器的 IP 地址来访问 Xinference 服务。

启动成功后，我们可以通过地址 http://localhost:9777来访问 Xinference 的 WebGUI 界面了。

注意：在 Xinference 安装过程中，有可能会安装 PyTorch 的其他版本（其依赖的vllm[3]组件需要安装），从而导致 GPU 服务器无法正常使用，因此在安装完 Xinference 之后，可以执行以下命令看 PyTorch 是否正常：

python -c "import torch; print(torch.cuda.is_available())"

如果输出结果为True，则表示 PyTorch 正常，否则需要重新安装 PyTorch，PyTorch 的安装方式可以参考PyTorch 的页面[4]。

3. 部署本地模型（以 Qwen-14B 模型为例）

3.1 Web UI 方式启动模型

Xinference 启动之后，在浏览器中输入: http://localhost:9997，我们可以访问到本地 Xinference 的 Web UI。

打开“Launch Model”标签，搜索到 qwen-chat，选择模型启动的相关参数，然后点击模型卡片左下方的小火箭按钮，就可以部署该模型到 Xinference。默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。

当你第一次启动 Qwen 模型时，Xinference 会从 HuggingFace 下载模型参数，大概需要几分钟的时间。Xinference 将模型文件缓存在本地，这样之后启动时就不需要重新下载了。 Xinference 还支持从其他模型站点下载模型文件，例如 modelscope[9]。

3.2 命令行方式启动模型

我们也可以使用 Xinference 的命令行工具来启动模型，默认 Model UID 是 qwen-chat（后续通过将通过这个 ID 来访问模型）。

xinference launch -n qwen-chat -s 14 -f pytorch

除了 WebUI 和命令行工具， Xinference 还提供了 Python SDK 和 RESTful API 等多种交互方式，更多用法可以参考 Xinference 官方文档[10]。

3.3 模型下载源的设置

Xinference 模型下载缺省是从Huggingface官方网站下载 https://huggingface.co/models 。在国内因为网络原因，可以通过下面的环境变量设计为其它镜像网站：

HF_ENDPOINT=https://hf-mirror.com.

或者直接设置为：ModelScope:

通过环境变量"XINFERENCE_MODEL_SRC"设置。

XINFERENCE_MODEL_SRC=modelscope.

另外，可以通过环境变量XINFERENCE_HOME设置运行时缓存文件主目录。

export  HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/jppeng/app/xinference

可以设置环境变量，临时启作用，或者设置在用户环境变量中，登陆即自动生效。

3.4. 启动Xinference服务

在命令行中输入 xinference，这将在本地启动后台服务。
服务启动后，会自动打开一个Gradio风格的本地网页。在这里，你可以选择希望启动的模型、选择参数并启动。
请确保选择的模型在右下方标明为“Chat Model”，因为只有这些模型才能接入Chatbox。

3.5. 选择合适的模型

Model Size 模型大小越大，对硬件资源的要求也越多。
根据你的硬件配置，选择合适的模型大小。例如，对于M2芯片的MacBook Pro，可以选择7B参数规模的llama-2-chat模型。
如果是第一次启动选择的模型，xinference会自动下载模型文件。

4. 模型应用

4.1. 准备工作

模型下载并启动后，会自动打开一个本地网页，你可以在这里与模型进行简单的对话，测试其是否成功运行。
请记得复制标题下方的Model ID，因为这将在接入Chatbox时使用。

4.2. curl命令行方式

这里仅给出curl命令行方式，不难依据下面代码构造postman,apifox之类的相关请求。其中授权码可以随便写。总体来说，兼容openAI接口方式。

curl --location --request POST 'http://192.2.22.55:9997/v1/chat/completions' \
--header 'Authorization: Bearer sk-EfEaLLdEdsco5vBa2cCaD7F6Ac7941969d51700d5f477296' \
--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
--header 'Content-Type: application/json' \
--header 'Accept: */*' \
--header 'Host: 192.2.22.55:9997' \
--header 'Connection: keep-alive' \
--data-raw '{
 "model": "qwen1.5-chat",
 "messages": [
    {
 "role": "user",
 "content": "假设食品类型只包括：1.豆及豆制品、2.坚果籽类及其制品、3.菌类及其制品、4.酒类及其制品、5.糖果、6.巧克力、6.蜂蜜及其制品、7.藻类及其制品、8.油脂类、9.调味品、10.其他食品、11.多种食品、12.混合食品、13.不明食品、14.保健品。依据上面给出的分类，炒花生属于哪一类？请直接给出对应的分类号，不需要分析总结。"
    }
  ]
}'

这个接口也可以通过one-API进行包装，包装为标准的openAI接口形式。如下在的代码，只是端口改成了one-API的服务地址，且相应的授权码是通过one-API获得的有检验要求的KEY。

curl --location --request POST 'http://192.2.22.55:13000/v1/chat/completions' \
--header 'Authorization: Bearer sk-EfEaLLdEdsco5vBa2cCaD7F6Ac7941969d51700d5f477296' \
--header 'User-Agent: Apifox/1.0.0 (https://apifox.com)' \
--header 'Content-Type: application/json' \
--header 'Accept: */*' \
--header 'Host: 192.2.22.55:13000' \
--header 'Connection: keep-alive' \
--data-raw '{
   "model": "qwen1.5-chat",
   "messages": [
    {
      "role": "user",
      "content": "假设食品类型只包括：1.豆及豆制品、2.坚果籽类及其制品、3.菌类及其制品、4.酒类及其制品、5.糖果、6.巧克力、6.蜂蜜及其制品、7.藻类及其制品、8.油脂类、9.调味品、10.其他食品、11.多种食品、12.混合食品、13.不明食品、14.保健品。依据上面给出的分类，炒花生属于哪一类？请直接给出对应的分类号，不需要分析总结。"
    }
  ]
}'