微信扫码
添加专属顾问
我要投稿
掌握Ollama部署DeepSeek大模型的全流程,从环境搭建到模型运行,一文搞定。 核心内容: 1. 部署DeepSeek模型的前置条件和环境设置 2. Ollama和DeepSeek模型的安装与启动命令 3. Windows环境下Ollama的配置及Open WebUI的安装指南
使用英伟达显卡下载cuda驱动
https://developer.nvidia.com/cuda-downloads
Ollama 官方版: https://ollama.com/
我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装
若你的显卡是在Linux上面 可以使用如下命令安装
curl -fsSL https://ollama.com/install.sh | sh
当然Ollama不只是可以启动deepseek模型,也可以启动他的模型
https://ollama.com/search
# 模型的安装命令
# 1.5B Qwen DeepSeek R1
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b
# 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b
# 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b
# 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b
# 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b
# 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b
# 671B Llama DeepSeek R1
# 所需空间大约 404G
ollama run deepseek-r1:671b
# Windows的环境变量监听
# OLLAMA_HOST 0.0.0.0
# 启动命令
ollama serve
官方安装文档:https://docs.openwebui.com/
Open WebUI官网文档翻译:
注意:
使用Docker安装Open WebUI时,请确保在Docker命令中包含
-v open-webui:/app/backend/data
这一步至关重要,因为它确保您的数据库正确挂载,避免任何数据丢失。
安装默认配置
1.如果您的计算机上安装了Ollama,可以使用以下命令:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
2.如果Ollama在另一台服务器上,请使用以下命令:
连接到另一台服务器上的Ollama时,请将OLLAMA_BASE_URL更改为服务器的URL:
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要使用Nvidia GPU支持运行Open WebUI,请使用以下命令:
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
3.仅用于OpenAI API使用的安装
如果您仅使用OpenAI API,请使用以下命令:
docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
4.带有捆绑Ollama支持的Open WebUI安装
此安装方法使用一个单独的容器映像,将Open WebUI与Ollama捆绑在一起,通过单个命令实现简化设置。根据您的硬件设置选择适当的命令:
使用GPU支持:通过运行以下命令利用GPU资源
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
仅CPU:如果您不使用GPU,请改用以下命令:
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
这两个命令都支持内置、简单的安装Open WebUI和Ollama,确保您可以快速启动一切。
# 我用到的命令
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.100:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
访问:http://192.168.1.120:3000
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-03-17
《大模型微调的十种方法》
2025-03-17
AI Code 在团队开发工作流的融合思考
2025-03-16
DeepSeek-R1的Qwen-32B蒸馏模型与QwQ-32B模型,谁更强?
2025-03-16
deepseek-r1:32b在低性能电脑部署运行
2025-03-16
简化 Cursor, Windsurf 和 Cline 的开发流程:揭示 8 个必备的 MCP Server 插件
2025-03-16
部署DeepSeek的4条路,企业级客户到底该咋走?
2025-03-16
部署Ollama后端引擎运行LLM
2025-03-16
内网服务器离线安装部署 DeepSeek
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
2025-03-16
2025-03-16
2025-03-13
2025-03-13
2025-03-11
2025-03-07
2025-03-05
2025-03-05