微信扫码
添加专属顾问
我要投稿
掌握低成本搭建大模型与智能体开发一体机的秘诀。核心内容:1. 5000元主机配置及大模型部署方法2. WSL Ubuntu系统安装与Dify智能体开发平台配置3. AI聊天桌面助手安装及实际应用效果展示
大家好,我是九歌AI。
前几天写过两篇用2000元主机部署大模型的教程,虽然通义千问的QwQ32B版本和Gemma3但是只能玩玩,并没有实用价值。
今天教大家只花5000元就能拥有属于自己的大模型与智能体开发一体机,而且是Windows版本的!
为了写这个教程,我直接租了一台成本大约5000元左右的远程主机。
主机的配置如下
(一)大模型部署
这个在之前的教程已经详细介绍过,使用Ollama安装,然后在PowerShell中运行ollama命令。
Ollama的下载和大模型的拉群非常花时间,这里说两个技巧。
1.下载Ollama请复制链接到迅雷,速度高达5M/s!
2.大模型下载后半段,速度会非常慢,粉丝给我的建议是退出重来,直接满速断点续传,朋友们可以试试。因为我还要下载部署WSL Linux系统和dify智能体开发平台,所以不着急快速下载完,让它慢慢下载吧。
ollama run gemma3:27b
(二)WSL Ubuntu系统安装
趁着下载大模型的功夫,我们把Dify需要的环境配置好。Dify是全球流行的低代码智能体开发平台,且只能依赖Docker安装。
Windows想使用Docker,就必须使用WSL。详细介绍请参考我之前的文章,这里就不详细展开了。
(1)启用适用于Linux的Windwos子系统
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all/norestart
(2)启用windows虚拟机功能
(3)安装Ubuntu系统
wsl --install -d Ubuntu-20.04
也可以直接微软商店找到Ubuntu的版本安装
Ubuntu安装完成,正好Gemma3也下载完成。我们来看一下速度!显卡负载98%,大模型输出速度14token/s,已经可以正常使用了!
(三)AI 聊天桌面助手安装
这里我使用ThinkAI团队的DeepChat助手,Github地址:
https://github.com/ThinkInAIXYZ/deepchat
安装过程非常方便,开始界面直接查找我们刚安装的Gemma3-27B大模型。
我们来查看一下使用效果,让他写个贪吃蛇游戏试试!
代码是写出来了,但是网页一打开,游戏就结束了!看来要加钱或者换模型了!
不过这个Token输出速率,已经可以干一些低难度的事情了!
(三)WSL 可视化运维面板安装
在WSL2环境中使用命令行安装1Panel
完成安装后,通过浏览器访问相应的端口(http://[WSL_IP]:8888)进入面板。
curl -sSL https://resource.fit2cloud.com/1panel/package/quick_start.sh -o quick_start.sh && sudo bash quick_start.sh
在1Panel面板后台完成Docker镜像加速配置
https://docker.1panel.livehttps://docker.registry.cyouhttps://docker-cf.registry.cyouhttps://dockercf.jsdelivr.fyihttps://docker.jsdelivr.fyihttps://dockertest.jsdelivr.fyihttps://mirror.aliyuncs.comhttps://dockerproxy.comhttps://mirror.baidubce.comhttps://docker.m.daocloud.io
(四)智能体开发平台部署
从Github下载Dify仓库
git clone --depth 1 https://github.com/langgenius/dify.git
使用以下命令直接部署,等待一段时间后查看是否部署成功
cd dify/dockercp .env.example .envdocker compose up -d
如报错找不到命令则用 docker-compose up -d
访问WSL-IP地址,默认80端口,根据提示完成安装,设置管理员账号后登录
(五)智能体开发实战
1.在Dify(0.15版本)配置Ollama,添加Gemma3-27B的大模型。
(六)创建DeepSeek聊天助手
在Dify中点击创建空白应用,选择聊天助手,点击创建
在调试与预览窗口选择所需要的模型并发布
在探索栏目,使用创建的聊天助手
(七)创建基于工作流的智能体
点击创建“工作流”类型智能体
利用Dify提供的低代码工具,拓展形成智能体的业务逻辑链
对智能体进行测试和使用
通过智能体日志进行业务流程分析调试
最后
今天我们完成了小成本大模型一体机与智能体开发平台的搭建工作,但是整体效果并没有特别经验,竟然有点小失落,看来还是得升级配置或者尝试其他的大模型了,我们改天再折腾!
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-03-31
大模型时代的视频动静态封面生产方案及业务实践
2025-03-31
AI赋能:大模型创新的模板生成与内容填充
2025-03-31
音频生成技术探索与淘宝域实践
2025-03-31
Agent驱动产品研发管理[续集]:如何用AI大模型打造PRD全流程自动化
2025-03-31
深度解读| GPT4o离干掉套壳AI与Midjourney只差最后一步
2025-03-31
大模型上下文协议 MCP 带来了哪些货币化机会
2025-03-31
智谱发布免费的超级 Agent:像 Manus 一样干活,像 DeepSeek 一样思考
2025-03-31
Cursor + Flux 构建高质量本地运行的文生图 MCP 服务
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-03-30
2025-03-30
2025-03-28
2025-03-27
2025-03-27
2025-03-27
2025-03-27
2025-03-26