微信扫码
添加专属顾问
我要投稿
一键部署并非易事,Ollama助你高效搭建DeepSeek。 核心内容: 1. Ollama工具介绍及其在DeepSeek部署中的作用 2. 不同DeepSeek模型版本的显存需求对照表 3. 详细步骤:Ollama的安装、配置及常见问题解决方案
最近最火的莫过于DeepSeek,现在网上关于 AI 模型部署的文章一抓一大把,动不动就是 “一键部署,轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。可现实是,当你真上手用 Ollama 搭建 DeepSeek 模型时,那简直就是踩坑大冒险!今天咱就来好好唠唠那些坑,帮你顺利搭建属于自己的 DeepSeek。
Ollama 则是咱们搭建模型的得力助手,它就像是一个智能的建筑工人,能够帮助我们快速、轻松地部署各种大型语言模型。使用 Ollama,我们不需要掌握复杂的技术知识,只需要几个简单的命令,就能让模型在本地运行起来。它还提供了简洁易用的界面,让我们可以方便地与模型进行交互,就像和朋友聊天一样自然。
ollama地址:www.ollama.com/download
不同模型版本对应的需求
以下是显存需求的大致参照表:
通过此表,可以帮助您快速选择适合自己需求的 DeepSeek版本。
在安装 Ollama 之前,要确保你的系统满足基本要求。通常,Ollama 支持主流的操作系统,如 Linux、macOS 和 Windows。至少有 32GB 的内存和足够的存储空间。我使用的是Ubuntu服务器,32核,64G内存,P100(计算卡)。
同时,要保证系统已经安装了必要的依赖,比如在 Linux 系统上可能需要安装一些基础的开发工具包。
在 Linux 系统上安装 Ollama 相对简单。打开终端,输入以下命令:
curl https://ollama.com/install.sh | sh
这个命令会从 Ollama 的官方服务器下载安装脚本并执行。
遇到的第一个坑
正常情况下通过上面的步骤就能安装成功,然而,在安装之际,网络状况却成了 “绊脚石”,致使 Ollama 的下载进度特别慢,甚至会弹出了 “Error: pull model manifest” 的问题提示,这无疑是雪上加霜,让原本就不顺利的安装过程变得更加艰难。不过别慌,解决办法这就奉上:
1、下载ollama_install.sh并保存
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
2、使用github文件加速替换github下载地址
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
3、替换后增加可执行权限
chmod +x ollama_install.sh
4、执行sh下载安装
sh ollama_install.sh
安装完成后,你可以通过以下命令验证是否安装成功:
ollama --version
如果能正确显示 Ollama 的版本信息,说明安装成功。
输入以下命令来启动模型:
ollama run deepseek-r1:14b
这一步整体还算顺利,没什么大毛病。唯一小闹心的就是初次下载时,速度就像老黄牛拉车,磨磨蹭蹭的。但别着急,只要下载成功,后续就能顺顺当当的。要是下载失败了也别气馁,就多试那么几次,说不定哪一回就成啦。
当你看到终端输出一些信息后,就说明模型已经成功启动啦!这时候,你就可以和 DeepSeek开始聊天啦。
cmd 黑窗口用起来实在是太憋屈啦,有没有带 UI 界面的,用起来能更顺手些。要说和 Ollama 搭配使用,体验感拉满的 UI 界面,首推 Ollama 官方的 docs.openwebui.com 。要是你对 Docker 部署轻车熟路,或者懂点代码,那完全可以参考相关教程手动安装,感受一把技术操作的乐趣。
如果你就想简单点,下载个客户端,用鼠标点点就能轻松上手,那选 chatbox 就对啦。安装方式跟装其他软件没啥两样,双击运行安装程序就行,超省心。点击这个链接 chatboxai.app/zh 就能下载,快去试试吧!
在服务器上成功安装 Ollama 并启动 DeepSeek 之后,我们遇到了第二个问题。通过本地命令行可以正常调用接口,但当尝试从外部电脑访问服务器上的 DeepSeek 接口时,始终无法成功。
查阅官方文档后发现,要实现外网访问,需要对 Ollama 进行配置修改,使其监听地址为 0.0.0.0 并修改端口。具体步骤如下:
第一步:修改文件
vim /etc/systemd/system/ollama.service
第二步:增加配置
[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"
第三步:重新加载
sudo systemctl daemon-reloadsudo systemctl restart ollamasudo systemctl status ollama
配置完之后,在浏览器中访问http://服务器IP:11434/ ,返回“Ollama is running”。说明配置成功了。接下来在chatbox 中设置Ollama 的地址即可。
虽然搭建过程中充满了各种坑,但当我最终成功部署好 DeepSeek 模型,看到它正常运行并给出准确回答时,那种成就感简直无法言喻。就像历经千辛万苦终于登上了山顶,看到了美丽的风景。
《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《《
关于微服务架构的全部内容,我已经整理在我的新书《从零开始学 Spring Cloud微服务架构》中了。这本书已在各大线上线下书店全面上架,热切期待大家前去选购!让我们携手共赴这场精彩绝伦的微服务架构学习盛宴吧!?
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-24
大模型微调框架LLaMA-Factory
2025-04-23
Unsloth:提升 LLM 微调效率的革命性开源工具
2025-04-23
超越 DevOps?VibeOps 引领 AI 驱动的开发革命
2025-04-23
大模型想 “专精” 特定任务?这 3 种 Addition-Based 微调法别错过
2025-04-23
重参数化微调:揭秘LoRA家族让大模型训练成本暴降的方法
2025-04-23
为什么全参数微调能让大模型从“通才”变“专才”?
2025-04-22
使用 LLaMA-Factory 微调 llama3 模型
2025-04-22
费曼讲解大模型参数微调——小白也能看懂
2025-02-04
2025-02-04
2024-09-18
2024-07-11
2024-07-09
2024-07-11
2024-07-26
2025-02-05
2025-01-27
2025-02-01
2025-04-23
2025-04-20
2025-04-01
2025-03-31
2025-03-20
2025-03-16
2025-03-16
2025-03-13