支持私有云部署
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


使用Ollama部署deepseek大模型

发布日期:2025-03-16 20:53:23 浏览次数: 1559 来源:小陈运维
推荐语

掌握Ollama部署DeepSeek大模型的全流程,从环境搭建到模型运行,一文搞定。

核心内容:
1. 部署DeepSeek模型的前置条件和环境设置
2. Ollama和DeepSeek模型的安装与启动命令
3. Windows环境下Ollama的配置及Open WebUI的安装指南

杨芳贤
53A创始人/腾讯云(TVP)最具价值专家

使用Ollama部署deepseek大模型

前置条件 

使用英伟达显卡下载cuda驱动
https://developer.nvidia.com/cuda-downloads

Ollama 

Ollama 官方版: https://ollama.com/

我的显卡在Windows电脑上面 所以使用Windows的安装方式去安装
若你的显卡是在Linux上面 可以使用如下命令安装

curl -fsSL https://ollama.com/install.sh | sh

当然Ollama不只是可以启动deepseek模型,也可以启动他的模型
https://ollama.com/search

# 模型的安装命令

#
 1.5B Qwen DeepSeek R1  
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b

#
 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b

#
 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b

#
 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b

#
 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b

#
 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b

#
 671B Llama DeepSeek R1
# 所需空间大约 404G
ollama run deepseek-r1:671b

#
 Windows的环境变量监听
# OLLAMA_HOST  0.0.0.0

#
 启动命令
ollama serve

Open WebUI 

官方安装文档:https://docs.openwebui.com/

Open WebUI官网文档翻译:

注意:

使用Docker安装Open WebUI时,请确保在Docker命令中包含

-v open-webui:/app/backend/data

这一步至关重要,因为它确保您的数据库正确挂载,避免任何数据丢失。

安装默认配置

1.如果您的计算机上安装了Ollama,可以使用以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.如果Ollama在另一台服务器上,请使用以下命令:

连接到另一台服务器上的Ollama时,请将OLLAMA_BASE_URL更改为服务器的URL:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要使用Nvidia GPU支持运行Open WebUI,请使用以下命令:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3.仅用于OpenAI API使用的安装

如果您仅使用OpenAI API,请使用以下命令:

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 

4.带有捆绑Ollama支持的Open WebUI安装

此安装方法使用一个单独的容器映像,将Open WebUI与Ollama捆绑在一起,通过单个命令实现简化设置。根据您的硬件设置选择适当的命令:

使用GPU支持:通过运行以下命令利用GPU资源

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

仅CPU:如果您不使用GPU,请改用以下命令:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

这两个命令都支持内置、简单的安装Open WebUI和Ollama,确保您可以快速启动一切。

# 我用到的命令
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.1.100:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问:http://192.168.1.120:3000



关于

https://www.oiox.cn/

https://www.oiox.cn/index.php/start-page.html

CSDN、GitHub、51CTO、知乎、开源中国、思否、掘金、简书、华为云、阿里云、腾讯云、哔哩哔哩、今日头条、新浪微博、个人博客

全网可搜《小陈运维》

文章主要发布于微信公众号


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询