微信扫码
和创始人交个朋友
我要投稿
Linux用户不容错过的Ollama小白手册。 核心内容: 1. Ollama官网地址及快速安装指南 2. 使用命令行安装Ollama的详细步骤 3. 手动安装Ollama的注意事项及开机启动设置
curl -fsSL https://ollama.com/install.sh | sh
或 通过魔搭社区镜像站安装(推荐)
# 安装modelscope
pip install modelscope
# 使用命令行前,请确保已经通过pip install modelscope 安装 ModelScope。
modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux --revision v0.5.8
# 运行ollama安装脚本
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh
# 启动服务
ollama serve
参考 :https://modelscope.cn/models/modelscope/ollama-linux
笔记
如果您从以前的版本升级,您应该先删除旧的库。命令如下:
sudo rm -rf /usr/lib/ollama
下载并解压软件包:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgzsudo tar -C /usr -xzf ollama-linux-amd64.tgz
启动 Ollama:
ollama serve
在另一个终端中,验证 Ollama 是否正在运行:
ollama -v
为 Ollama 创建用户和组:
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollamasudo usermod -a -G ollama $(whoami)
在以下位置创建服务文件 /etc/systemd/system/ollama.service
:
[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/usr/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=$PATH"[Install]WantedBy=default.target
然后启动服务:
sudo systemctl daemon-reloadsudo systemctl enable ollama
要自定义 Ollama 的安装,您可以通过运行以下命令编辑 systemd 服务文件或环境变量:
sudo systemctl edit ollama
或者,在以下位置手动创建覆盖文件
/etc/systemd/system/ollama.service.d/override.conf
:
[Service]Environment="OLLAMA_DEBUG=1"
在 Linux 系统中,Ollama 默认将模型存储在 /usr/share/ollama/.ollama/models
目录。以下是修改模型目录的步骤:
sudo mkdir -p /data/ai/ollama/models
# 非必须
sudo chown -R ollama:ollama /data/ai/ollama/models
# 非必须
sudo chmod -R 775 /data/ai/ollama/models
sudo vi /etc/systemd/system/ollama.service
[Service]
部分的 Environment
字段后,添加新的 Environment
字段,指定新的模型路径:# 修改模型下载路径
Environment="OLLAMA_MODELS=/data/ai/ollama/models"
# 开启外部访问
Environment="OLLAMA_HOST=0.0.0.0"
完整的配置示例如下:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/data/conda3/run/envs/ollama/bin:/data/conda3/run/condabin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/data/ai/ollama/models"
[Install]
WantedBy=default.target
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama
/usr/share/ollama/.ollama/models
,确认模型文件是否已经消失。/data/ai/models
,确认是否生成了 blobs
和 manifests
文件夹。主要是迁移 blobs 和 manifests 文件夹中的内容
在blobs文件夹下是一些二进制文件,这时,需要到ollama官网去,找到对应模型的唯一标识,这里以deepseek-r1:1.5b为例,ollama官网的models中搜索deepseek-r1,并进入主页,如下所示:
点击model,然后拷贝这部分 aabd4debf0c8
在blobs文件夹搜索 aabd4debf0c8
可以定位到一个二进制文件,找到这个文件,并将与这个文件具有相同修改时间的其它文件一起复制到目标主机的对应文件夹下
sha256-369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150sha256-6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4sha256-a85fe2a2e58e2426116d3686dfdc1a6ea58640c1e684069976aa730be6c1fa01sha256-aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbcsha256-f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588
这个比较简单,复制manifests文件夹下特定目录到目标主机的对应文件夹下
在目标主机运行 ollama list
命令,发现 deepseekr1:1.5b 模型已经迁移过来了
执行 ollama run deepseek-r1:1.5b 部署模型
ok 部署从成功
备注:ollama的模型在windows、linux和mac系统中都是通用的,模型不同系统之间可以进行相互拷贝。
通过再次运行安装脚本来更新 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
或者重新下载 Ollama:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgzsudo tar -C /usr -xzf ollama-linux-amd64.tgz
使用安装脚本中的环境变量来安装特定版本的 Ollama,包括预发布版本。您可以在发布页面OLLAMA_VERSION
中找到版本号。
例如:
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh
查看日志
要查看作为启动服务运行的 Ollama 的日志,请运行:
journalctl -e -u ollama
删除 ollama 服务:
sudo systemctl stop ollamasudo systemctl disable ollamasudo rm /etc/systemd/system/ollama.service
从 bin 目录中删除 ollama 二进制文件
(either /usr/local/bin
, /usr/bin
, or /bin
):
sudo rm $(which ollama)
删除下载的模型和 Ollama 服务用户和组:
sudo rm -r /usr/share/ollamasudo userdel ollamasudo groupdel ollama
删除已安装的库:
sudo rm -rf /usr/local/lib/ollama
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-02-22
本地部署Ollama与DeepSeek R1:安装、优化与应用实测
2025-02-22
DeepSeek R1 全系列模型部署指南
2025-02-22
DeepSeek 满血版在 IDEA 中怎么用?手把手教程来了
2025-02-22
开源力量!轻松上手 Xinference:让DeepSeek-V3/R1满血私有化推理触手可及
2025-02-22
Cursor 如何使用本地搜索获取海量信息
2025-02-22
DeepSeek将开源每日工作代码,聊聊背后的开源精神
2025-02-22
这款流行 AI 工具被盗用挖取加密货币,这些隐患你需要知道
2025-02-22
大语言模型后门攻击指南
2025-01-01
2024-07-25
2024-05-06
2025-01-21
2024-09-20
2024-07-20
2024-08-13
2024-06-12
2024-12-26
2024-07-11
2025-02-18
2025-02-15
2025-02-15
2025-02-12
2025-02-07
2025-01-22
2025-01-16
2024-12-24