微信扫码
添加专属顾问
我要投稿
高效部署DeepSeek,离线安装Ollama的完整指南。核心内容:1. Ollama的二进制文件下载与安装步骤2. 服务配置及启动验证方法3. 创建自启动服务文件的详细说明
Ollama 官网:https://ollama.com/
curl -fsSL https://ollama.com/install.sh | sh
二进制文件安装:使用 curl 命令下载或者直接在 Github 上下载二进制文件
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
ollama serve
打开另外一个终端,验证 ollama 运行状态。
ollama -v
创建服务文件 /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target
服务文件解释:
Description=Ollama Service
描述服务的名称和用途,表明这是一个用于运行 Ollama 应用的服务。After=network-online.target
指定服务应在系统网络完全就绪(即 network-online.target
达成)之后启动。确保服务依赖的网络功能可用。ExecStart=/usr/bin/ollama serve
定义启动服务时执行的命令:运行 /usr/bin/ollama
程序的 serve
子命令(通常用于启动服务端)。User=ollama
和 Group=ollama
服务以 ollama
用户和组的身份运行,避免使用 root 权限,提高安全性。需确保系统中已存在该用户和组,否则服务会启动失败。Restart=always
服务无论因何原因退出(包括正常退出、异常崩溃、被杀死等),都会自动重启。RestartSec=3
重启前等待 3 秒,防止频繁崩溃导致系统负载过高。Environment="PATH=$PATH"
显式设置环境变量 PATH
,继承当前 systemd 环境中的 PATH
值,确保服务能找到所需命令路径。需注意实际环境可能与 Shell 中的 PATH
不同。WantedBy=default.target
当通过 systemctl enable
启用服务时,该服务会关联到 default.target
(系统默认启动目标,通常是图形界面或多用户模式)。系统启动时,服务会自动运行。sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama // 启动 ollama
sudo systemctl status ollama // 查看 ollama 状态
编译配置文件shell
sudo systemctl edit ollama
也可以手动创建 /etc/systemd/system/ollama.service.d/override.conf
添加配置
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_MODELS=/home/xxxx/.ollama/models"
Environment="OLLAMA_KEEP_ALIVE=-1"
常见环境变量
OLLAMA_DEBUG |
OLLAMA_DEBUG=1 ) |
OLLAMA_HOST |
127.0.0.1:11434 ) |
OLLAMA_KEEP_ALIVE |
"5m" ) |
OLLAMA_MAX_LOADED_MODELS |
|
OLLAMA_MAX_QUEUE |
|
OLLAMA_MODELS |
|
OLLAMA_NUM_PARALLEL |
|
OLLAMA_NOPRUNE |
|
OLLAMA_ORIGINS |
|
OLLAMA_SCHED_SPREAD |
|
OLLAMA_FLASH_ATTENTION |
|
OLLAMA_KV_CACHE_TYPE |
f16 ) |
OLLAMA_LLM_LIBRARY |
|
OLLAMA_GPU_OVERHEAD |
|
OLLAMA_LOAD_TIMEOUT |
"5m" ) |
ollama serve #启动 ollama
ollama create #从模型文件创建模型
ollama show #显示模型信息
ollama run #运行模型
ollama pull #拉取模型
ollama push #推送模型
ollama list #列出模型
ollama cp #复制模型
ollama rm #删除模型
ollama help #获取有关任何命令的帮助信息
journalctl -e -u ollama
停止并删除 ollama 服务
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
移除 ollama 二进制文件 (either /usr/local/bin
, /usr/bin
, or /bin
):
sudo rm $(which ollama)
删除模型和用户、用户组
sudo rm -r /usr/share/ollama
sudo userdel ollama # 若为 ollama 专门添加了用户
sudo groupdel ollama # 若为 ollama 专门添加了用户组
ollama run deepseek-r1
使用一台联网的电脑执行 ollama run deepseek-r1:1.5b
指令,下载完成后找到模型所在位置。下载过程若出现速度慢的情况,可以结束指令后重新执行,会自动断点续传,这一步操作主要是方便找到更快的下载链接。
默认存放位置:
也可以尝试搜索拉取模型时产生的哈希字符,以便找到模型位置。
按照时间排序,找到最大的那个文件,就是gguf
格式的模型,复制出来,改名为deepseek-r1-1.5b-local.gguf
;
执行命令 ollama show deepseek-r1:1.5b --modelfile > Modelfile
得到模型对应的 Modelfile
文件并保存。关键的两个文件已获取:
deepseek-r1-1.5b-local.gguf
Modelfile
上传 gguf
文件和 Modelfile
文件至已安装 ollama 服务的内网服务器。修改 Modelfile
第五行的 FROM
,将模型路径修改为模型的真实路径,例如这里是./deepseek-r1-1.5b-local.gguf
。
ollama create deepseek-r1-1.5b-local -f Modelfile
导入成功后,接下来的使用和外网一模一样,输入ollama list
命令可以看到导入的模型。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-03-17
《大模型微调的十种方法》
2025-03-17
AI Code 在团队开发工作流的融合思考
2025-03-16
使用Ollama部署deepseek大模型
2025-03-16
DeepSeek-R1的Qwen-32B蒸馏模型与QwQ-32B模型,谁更强?
2025-03-16
deepseek-r1:32b在低性能电脑部署运行
2025-03-16
简化 Cursor, Windsurf 和 Cline 的开发流程:揭示 8 个必备的 MCP Server 插件
2025-03-16
部署DeepSeek的4条路,企业级客户到底该咋走?
2025-03-16
部署Ollama后端引擎运行LLM
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
2025-03-16
2025-03-16
2025-03-13
2025-03-13
2025-03-11
2025-03-07
2025-03-05
2025-03-05