5000元主机打造270亿参数大模型+知识库+智能体开发一体机（Win10版）

推荐语

掌握低成本搭建大模型与智能体开发一体机的秘诀。

核心内容：
1. 5000元主机配置及大模型部署方法
2. WSL Ubuntu系统安装与Dify智能体开发平台配置
3. AI聊天桌面助手安装及实际应用效果展示

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

前几天写过两篇用2000元主机部署大模型的教程，虽然通义千问的QwQ32B版本和Gemma3但是只能玩玩，并没有实用价值。

今天教大家只花5000元就能拥有属于自己的大模型与智能体开发一体机，而且是Windows版本的！

为了写这个教程，我直接租了一台成本大约5000元左右的远程主机。

主机的配置如下

（一）大模型部署

这个在之前的教程已经详细介绍过，使用Ollama安装，然后在PowerShell中运行ollama命令。

Ollama的下载和大模型的拉群非常花时间，这里说两个技巧。

1.下载Ollama请复制链接到迅雷，速度高达5M/s！

2.大模型下载后半段，速度会非常慢，粉丝给我的建议是退出重来，直接满速断点续传，朋友们可以试试。因为我还要下载部署WSL Linux系统和dify智能体开发平台，所以不着急快速下载完，让它慢慢下载吧。

ollama run gemma3:27b

（二）WSL Ubuntu系统安装

趁着下载大模型的功夫，我们把Dify需要的环境配置好。Dify是全球流行的低代码智能体开发平台，且只能依赖Docker安装。

Windows想使用Docker，就必须使用WSL。详细介绍请参考我之前的文章，这里就不详细展开了。

(1)启用适用于Linux的Windwos子系统

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all/norestart

(2)启用windows虚拟机功能

(3)安装Ubuntu系统

wsl --install -d Ubuntu-20.04

也可以直接微软商店找到Ubuntu的版本安装

Ubuntu安装完成，正好Gemma3也下载完成。我们来看一下速度！显卡负载98%，大模型输出速度14token/s，已经可以正常使用了！

（三）AI 聊天桌面助手安装

这里我使用ThinkAI团队的DeepChat助手，Github地址：

https://github.com/ThinkInAIXYZ/deepchat

安装过程非常方便，开始界面直接查找我们刚安装的Gemma3-27B大模型。

我们来查看一下使用效果,让他写个贪吃蛇游戏试试！

代码是写出来了，但是网页一打开，游戏就结束了！看来要加钱或者换模型了！

不过这个Token输出速率，已经可以干一些低难度的事情了！

（三）WSL 可视化运维面板安装

1. 在WSL2环境中使用命令行安装1Panel

2. 完成安装后，通过浏览器访问相应的端口（http://[WSL_IP]:8888）进入面板。

3. curl -sSL https://resource.fit2cloud.com/1panel/package/quick_start.sh -o quick_start.sh && sudo bash quick_start.sh

4. 在1Panel面板后台完成Docker镜像加速配置

https://docker.1panel.livehttps://docker.registry.cyouhttps://docker-cf.registry.cyouhttps://dockercf.jsdelivr.fyihttps://docker.jsdelivr.fyihttps://dockertest.jsdelivr.fyihttps://mirror.aliyuncs.comhttps://dockerproxy.comhttps://mirror.baidubce.comhttps://docker.m.daocloud.io

（四）智能体开发平台部署

1. 从Github下载Dify仓库

git clone --depth 1 https://github.com/langgenius/dify.git

• 使用以下命令直接部署，等待一段时间后查看是否部署成功

cd dify/dockercp .env.example .envdocker compose up -d

如报错找不到命令则用 docker-compose up -d

1. 访问WSL-IP地址，默认80端口，根据提示完成安装，设置管理员账号后登录

（五）智能体开发实战

1.在Dify（0.15版本）配置Ollama，添加Gemma3-27B的大模型。

（六）创建DeepSeek聊天助手

1. 在Dify中点击创建空白应用，选择聊天助手，点击创建

1. 在调试与预览窗口选择所需要的模型并发布

1. 在探索栏目，使用创建的聊天助手

（七）创建基于工作流的智能体

1. 点击创建“工作流”类型智能体

1. 利用Dify提供的低代码工具，拓展形成智能体的业务逻辑链

1. 对智能体进行测试和使用

2. 通过智能体日志进行业务流程分析调试

最后

今天我们完成了小成本大模型一体机与智能体开发平台的搭建工作，但是整体效果并没有特别经验，竟然有点小失落，看来还是得升级配置或者尝试其他的大模型了，我们改天再折腾！