设置一个多 GPU Linux 系统，其中包含必要的库（例如 CUDA Toolkit 和 PyTorch），以开始深度学习 ?。同样的步骤也适用于单 GPU 机器。

我们将安装 1) CUDA Toolkit、2) PyTorch 和 3) Miniconda 以使用 exllamaV2 和 torchtune 等框架开始深度学习。

©️ 本文中提到的所有库和信息都是开源的和/或公开可用的。

使用终端中的 nvidia-smi 命令检查机器中安装的 GPU 数量。它应该会打印所有已安装 GPU 的列表。如果存在差异或命令不起作用，请首先安装适用于你的 Linux 版本的 Nvidia 驱动程序。确保 nvidia-smi 命令打印机器中安装的所有 GPU 的列表，如上所示。

如果尚未完成，请按照以下步骤安装 Nvidia 驱动程序：

我以在 Ubuntu 22.04 (Jammy Jellyfish) Linux 上安装 NVIDIA 驱动程序，并从默认的开源 Nouveau 驱动程序切换到专有的 Nvidia 驱动程序为例说明。虽然 Nouveau 驱动程序是默认安装的，但专有的 Nvidia 驱动程序可以提供比其替代方案更多的优势。通过下载官方驱动程序，你将拥有最先进的软件并确保与你的显卡硬件的最大兼容性。

我们统一使用命令行的方式安装。

第一步

首先，检测你的 nvidia 显卡型号和推荐的驱动程序。为此，请执行以下命令。请注意，你的输出和推荐的驱动程序很可能会有所不同：

从上面的输出我们可以得出结论，当前系统安装了 NVIDIA GeForce RTX 3080 显卡，建议安装的驱动程序是 nvidia-driver-470。

第二步

安装驱动程序。如果你同意该建议，请随意再次使用 ubuntu-drivers 命令安装所有推荐的驱动程序：

或者，使用 apt 命令有选择地安装所需的驱动程序。例如：

第三步

安装完成后，重新启动系统即可完成。

? 检查 usr/local/cuda-xx 处是否存在任何现有的 CUDA 文件夹。这意味着已安装某个版本的 CUDA。如果你已安装所需的 CUDA 工具包（使用终端中的 nvcc 命令检查），请跳至下一节。

检查所需 PyTorch 库所需的 CUDA 版本：

https://pytorch.org/get-started/locally/

转到 CUDA 工具包 12.1 下载 | NVIDIA 开发人员以获取安装 CUDA 12.1 的 Linux 命令（选择你的操作系统版本和相应的“deb（本地）”安装程序类型）。

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pinsudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2204-12-1-local_12.1.0-530.30.02-1_amd64.debsudo cp /var/cuda-repo-ubuntu2204-12-1-local/cuda-*-keyring.gpg /usr/share/keyrings/sudo apt-get updatesudo apt-get -y install cuda

⚠️在安装 CUDA 工具包时，安装程序可能会提示内核更新。如果终端中出现任何更新内核的弹出窗口，请按 esc 按钮取消。在此阶段不要更新内核！— 这可能会破坏你的 Nvidia 驱动程序☠️。

安装后重新启动 Linux 机器。nvcc 命令仍然不起作用。你需要将 CUDA 安装添加到 PATH。使用 nano 编辑器打开 .bashrc 文件。

nano /home/$USER/.bashrc

滚动到 .bashrc 文件的底部并添加以下两行：

export PATH="/usr/local/cuda-12.1/bin:$PATH"export LD_LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH"

? 请注意，你可以将 cuda-12.1 更改为你想要安装的 CUDA 版本，如果将来需要，可以更改为 cuda-xx，其中“xx”是你的 CUDA 版本。

保存更改并关闭 nano 编辑器：

To save changes - On you keyboard, press the following: 
ctrl + o             --> save enter or return key  --> accept changesctrl + x             --> close editor

关闭并重新打开终端。现在 nvcc--version 命令应该会在终端中打印已安装的 CUDA 版本。

在安装 PyTorch 之前，最好先安装 Miniconda，然后在 Conda 环境中安装 PyTorch。为每个项目创建一个新的 Conda 环境也很方便。

在下载文件夹中打开终端并运行以下命令：

mkdir -p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.shbash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3rm -rf ~/miniconda3/miniconda.sh

# initiate conda~/miniconda3/bin/conda init bash~/miniconda3/bin/conda init zsh

关闭并重新打开终端。现在 conda 命令应该可以工作了。

为你的项目创建一个新的 conda 环境。你可以将 <environment-name> 替换为你选择的名称。我通常以我的项目名称命名。? 你可以在处理项目之前和之后使用 conda activate <environment-name> 和 conda deactivate <environment-name> 命令。

conda create -n <environment-name> python=3.11
# activate the environmentconda activate <environment-name>

安装适合你的 CUDA 版本的 PyTorch 库。以下命令适用于我们安装的 cuda-12.1：

pip3 install torch torchvision torchaudio

上述命令来自 PyTorch 安装指南：

https://pytorch.org/get-started/locally/

PyTorch 安装后，在终端中检查 PyTorch 可见的 GPU 数量。

python
>> import torch>> print(torch.cuda.device_count())8

这应该会打印系统中安装的 GPU 数量（在我的情况下是 8 个），并且还应与 nvidia-smi 命令中列出的 GPU 数量相匹配。

好的！我们已准备好开始利用多个 GPU 的深度学习项目 ?。