AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


ollama 小白手册(linux)

发布日期:2025-02-13 13:04:24 浏览次数: 2113 来源:AIGC前沿技术追踪
推荐语

Linux用户不容错过的Ollama小白手册。

核心内容:
1. Ollama官网地址及快速安装指南
2. 使用命令行安装Ollama的详细步骤
3. 手动安装Ollama的注意事项及开机启动设置

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家


01
安装

话不多说,直接开始

要安装 Ollama,请运行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

或 通过魔搭社区镜像站安装(推荐)

# 安装modelscopepip install modelscope
# 使用命令行前,请确保已经通过pip install modelscope 安装 ModelScopemodelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.8
# 运行ollama安装脚本cd ollama-linuxsudo chmod 777 ./ollama-modelscope-install.sh./ollama-modelscope-install.sh
# 启动服务ollama serve
参考 :https://modelscope.cn/models/modelscope/ollama-linux



02
手动安装(不推荐)

笔记

果您从以前的版本升级,您应该先删除旧的库。命令如下:

sudo rm -rf /usr/lib/ollama 

下载并解压软件包:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgzsudo tar -C /usr -xzf ollama-linux-amd64.tgz

启动 Ollama:

ollama serve

在另一个终端中,验证 Ollama 是否正在运行:

ollama -v

03
Ollama 开机启动(非必须)

为 Ollama 创建用户和组:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollamasudo usermod -a -G ollama $(whoami)

在以下位置创建服务文件 /etc/systemd/system/ollama.service:

[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/usr/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=$PATH"[Install]WantedBy=default.target

然后启动服务:

sudo systemctl daemon-reloadsudo systemctl enable ollama


04
自定义安装

要自定义 Ollama 的安装,您可以通过运行以下命令编辑 systemd 服务文件或环境变量:

sudo systemctl edit ollama

或者,在以下位置手动创建覆盖文件


/etc/systemd/system/ollama.service.d/override.conf:

[Service]Environment="OLLAMA_DEBUG=1"



05
修改模型路径

在 Linux 系统中,Ollama 默认将模型存储在 /usr/share/ollama/.ollama/models 目录。以下是修改模型目录的步骤:

创建新的模型存储目录

打开终端,创建一个新的目录作为模型存储路径。
sudo mkdir -p /data/ai/ollama/models
更改目录权限,确保 Ollama 有权限访问和写入:
# 非必须sudo chown -R ollama:ollama /data/ai/ollama/models
# 非必须sudo chmod -R 775 /data/ai/ollama/models

修改 Ollama 服务配置文件

编辑 Ollama 服务的配置文件。使用以下命令打开配置文件:
sudo vi /etc/systemd/system/ollama.service
在 [Service] 部分的 Environment 字段后,添加新的 Environment 字段,指定新的模型路径:
# 修改模型下载路径Environment="OLLAMA_MODELS=/data/ai/ollama/models"
# 开启外部访问Environment="OLLAMA_HOST=0.0.0.0"

完整的配置示例如下:

[Unit]Description=Ollama ServiceAfter=network-online.target
[Service]ExecStart=/usr/local/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=/data/conda3/run/envs/ollama/bin:/data/conda3/run/condabin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_MODELS=/data/ai/ollama/models"
[Install]WantedBy=default.target

重载配置并重启 Ollama 服务

重载系统服务配置:
sudo systemctl daemon-reload
重启 Ollama 服务:
sudo systemctl restart ollama
查看服务状态:
sudo systemctl status ollama

验证更改

检查默认路径 /usr/share/ollama/.ollama/models,确认模型文件是否已经消失。
检查新路径 /data/ai/models,确认是否生成了 blobs 和 manifests 文件夹。



06
模型离线迁移

主要是迁移 blobs 和 manifests 文件夹中的内容

blobs 文件夹

在blobs文件夹下是一些二进制文件,这时,需要到ollama官网去,找到对应模型的唯一标识,这里以deepseek-r1:1.5b为例,ollama官网的models中搜索deepseek-r1,并进入主页,如下所示:

点击model,然后拷贝这部分 aabd4debf0c8


在blobs文件夹搜索 aabd4debf0c8

可以定位到一个二进制文件,找到这个文件,并将与这个文件具有相同修改时间的其它文件一起复制到目标主机的对应文件夹下

sha256-369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150sha256-6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4sha256-a85fe2a2e58e2426116d3686dfdc1a6ea58640c1e684069976aa730be6c1fa01sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbcsha256-f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588

manifests 文件夹

这个比较简单,复制manifests文件夹下特定目录到目标主机的对应文件夹下


验证

在目标主机运行 ollama list 命令,发现 deepseekr1:1.5b 模型已经迁移过来了

执行 ollama run deepseek-r1:1.5b 部署模型

ok 部署从成功

备注:ollama的模型在windows、linux和mac系统中都是通用的,模型不同系统之间可以进行相互拷贝。





07
更新

通过再次运行安装脚本来更新 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

或者重新下载 Ollama:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgzsudo tar -C /usr -xzf ollama-linux-amd64.tgz


08
安装特定版本

使用安装脚本中的环境变量来安装特定版本的 Ollama,包括预发布版本。您可以在发布页面OLLAMA_VERSION中找到版本号

例如:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日志

要查看作为启动服务运行的 Ollama 的日志,请运行:

journalctl -e -u ollama


09
卸载

删除 ollama 服务:

sudo systemctl stop ollamasudo systemctl disable ollamasudo rm /etc/systemd/system/ollama.service

从 bin 目录中删除 ollama 二进制文件

 (either /usr/local/bin/usr/bin, or /bin):

sudo rm $(which ollama)

删除下载的模型和 Ollama 服务用户和组:

sudo rm -r /usr/share/ollamasudo userdel ollamasudo groupdel ollama

删除已安装的库:

sudo rm -rf /usr/local/lib/ollama

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

和创始人交个朋友

回到顶部

 

加载中...

扫码咨询