• 引言
• 下载待部署模型
• 安装minconda
• 安装tvm和mlc-llm
• 安装 JDK
• 安装 Android SDK
• 下载mlc-llm仓库
• 设置环境变量
• 安装Rust

1. 引言

梨花风起正清明，游子寻春半出城。

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖青团的小女孩，紧接前文：

LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上？实战演示(下篇)

今天这篇小作文主要介绍LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上？实战演示(下篇)的前置工作，即Qwen部署到手机上的环境配置细节。

如需与小编进一步交流，可以在公众号上添加小编微信好友。

2.下载待部署模型

将 https://huggingface.co/Qwen/Qwen1.5-1.8B-Chat 下载到本地：

/share/model_zoo/LLM/Qwen/Qwen1.5-1.8B-Chat

3. 安装minconda

在下载好minconda的安装脚本之后，使用以下命令进行无交互安装：

bash Miniconda3-latest-Linux-x86_64.sh -b -p /home/your_user_name/opt/miniconda

将 bin 目录添加到PATH，

/home/your_user_name/opt/miniconda/bin

为实现长期可以使用conda命令具体实现，在/etc/profile文件末尾添加：

export PATH="/home/your_user_name/opt/miniconda/bin:$PATH"

在终端运行：source /etc/profile。

创建虚拟环境：

conda env remove -n mlc-chat-env-py311

conda create -n mlc-chat-env-py311 -c conda-forge "llvmdev>=15" "cmake>=3.24" git python=3.11

# enter the build environment
conda deactivate
conda activate mlc-chat-env-py311

4. 安装tvm和mlc-llm

前往 https://mlc.ai/wheels 下载安装预构建的安装文件， 本文实验采用的版本分别是：

mlc_ai_nightly_cu122-0.15.dev228
mlc_llm_nightly_cu122-0.1.dev1072

具体下载链接：

https://github.com/mlc-ai/package/releases/download/v0.9.dev0/mlc_ai_nightly_cu122-0.15.dev228-cp311-cp311-manylinux_2_28_x86_64.whl

https://github.com/mlc-ai/package/releases/download/v0.9.dev0/mlc_llm_nightly_cu122-0.1.dev1072-cp311-cp311-manylinux_2_28_x86_64.whl

安装命令：

pip3 install mlc_ai_nightly_cu122-0.15.dev228-cp311-cp311-manylinux_2_28_x86_64.whl -i https://mirrors.cloud.tencent.com/pypi/simple

pip3 install mlc_llm_nightly_cu122-0.1.dev1072-cp311-cp311-manylinux_2_28_x86_64.whl -i https://mirrors.cloud.tencent.com/pypi/simple

5. 安装 JDK

在目录/share_tools中执行以下命令：

# 下载 JDK 
wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
tar -zxvf jdk-17_linux-x64_bin.tar.gz
export JAVA_HOME=/share_tools/jdk-17.0.10/

6. 安装 Android SDK

先安装 Android SDK，直接在借助 Android SDK 安装 NDK。下载 Android SDK 命令行版，在目录/share_tools执行以下命令：

wget https://dl.google.com/android/repository/commandlinetools-linux-11076708_latest.zip
unzip -d android-sdk commandlinetools-linux-11076708_latest.zip

此时，Android SDK即可为/share_tools/android-sdk/cmdline-tools。

查看可下载的sdk版本：

cd android-sdk/cmdline-tools/bin
./sdkmanager --sdk_root=/share_tools/android-sdk/ --list

按需下载sdk版本：

./sdkmanager --sdk_root=/share_tools/android-sdk/ "platforms;android-28"
./sdkmanager --sdk_root=/share_tools/android-sdk/ "platform-tools"
./sdkmanager --sdk_root=/share_tools/android-sdk/ "build-tools;28.0.3"
./sdkmanager --sdk_root=/share_tools/android-sdk/ "ndk;25.2.9519653"

查看安装之后的结果：ls -lrth /share_tools/android-sdk/ndk

drwxr-xr-x 13 root root 4.0K Mar 29 12:35 21.3.6528147
drwxr-xr-x 11 root root 4.0K Apr  1 01:58 25.2.9519653

后续使用25.2.9519653这个版本，所以将其添加到系统环境变量中：export ANDROID_NDK=/share_tools/android-sdk/ndk/25.2.9519653。

此外，还需要设置NDK的clang compilerexport TVM_NDK_CC=$ANDROID_NDK/toolchains/llvm/prebuilt/linux-x86_64/bin/aarch64-linux-android24-clang

以上，已经配置了：

export ANDROID_NDK=...  # Android NDK toolchain
export TVM_NDK_CC=...   # Android NDK clang
export JAVA_HOME=...    # Java

那么还需要配置TVM_HOME。由于TVM Unity runtime 置于MLC LLM项目中的 3rdparty/tvm。因此，可以不用额外安装，设置以下环境变量:

export TVM_HOME=/home/your_user_name/Repository/LLM/mlc-llm/3rdparty/tvm/

设置TVM_HOME之后，可以通过$TVM_HOME/include/tvm/runtime访问headers。

7. 下载mlc-llm仓库

执行以下命令下载mlc-llm仓库：

git clone --recursive https://github.com/mlc-ai/mlc-llm.git

上述命令会同时clone该目标仓库内的子模块，如果出现网络原因导致git clone 目标仓库报错，则可以在系统层面将https://github.com/统一改成GitHub的镜像网站。以下假设https://github-proxy.com/是其镜像网站，具体实现如下：

git config --global url."https://github-proxy.com/".insteadOf "https://github.com/"

然后在目录/home/Repository/LLM/下载mlc-llm仓库：

git clone --recursive https://github.com/mlc-ai/mlc-llm/

cd ./mlc-llm/

8. 设置环境变量

在配置文件/etc/profile中新增以下：

export JAVA_HOME=/share_tools/jdk-17.0.10/

# 设置 Android SDK 路径
export ANDROID_HOME=/share_tools/android-sdk

export ANDROID_NDK=/share_tools/android-sdk/ndk/25.2.9519653/

export TVM_NDK_CC=$ANDROID_NDK/toolchains/llvm/prebuilt/linux-x86_64/bin/aarch64-linux-android24-clang

export TVM_HOME=/home/Repository/LLM/mlc-llm/3rdparty/tvm/

export PATH="$JAVA_HOME/bin:$PATH"

9. 安装Rust

在Android上交叉编译HuggingFace tokenizers需要安装Rust，并确保$PATH中有rustc、cargo和rustup`。

下载&安装：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

打印信息如下：

info: default toolchain set to 'stable-x86_64-unknown-linux-gnu'

  stable-x86_64-unknown-linux-gnu installed - rustc 1.75.0 (82e1608df 2023-12-21)


Rust is installed now. Great!

To get started you may need to restart your current shell.
This would reload your PATH environment variable to include
Cargo's bin directory ($HOME/.cargo/bin).

To configure your current shell, run:
source "$HOME/.cargo/env"

配置：

source ~/.bashrc

至此，完成rustc、cargo、和rustup命令安装：

/home/your_user_name/.cargo/bin/rustc
/home/your_user_name/.cargo/bin/cargo
/home/your_user_name/.cargo/bin/rustup

支持，完成 LLM端侧部署系列 | 如何将阿里千问大模型Qwen部署到手机上？实战演示(下篇) 所需环境配置，进入 mlc-llm 目录，跟着实战篇中的步骤一步步操作即可。