微信扫码
与创始人交个朋友
我要投稿
FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过可视化进行工作流编排,从而实现复杂的问答场景!
它界面简洁美观,功能完备强大。本文将介绍如何基于 Docker 快速部署 FastGPT,该方案非常适合个人或者小型团队。
本方案已经在 Linux 上验证通过,笔者也建议选择 Linux 作为运行 FastGPT 的操作系统。
Intel 芯片的 MacOS 则没问题,可以正常运行 FastGPT docker 容器。
Apple 芯片的 MacOS 则不能正常运行 FastGPT docker 容器,因为部分 docker 镜像暂时不支持 Apple 芯片。
Windows 系统未验证,不过根据一些用户反馈,是能正确运行的,就是需要一定的动手和 Debug 能力。
因为 FastGPT 知识库功能需要上传的文档进行向量化并存储到向量数据库中,所以对 CPU、内存和存储有一定要求。
数据量 最低配置 推荐配置 开发测试用 2c2g 2c4g 100w 组向量 4c8g 50GB 4c16g 50GB 500w 组向量 8c32g 200GB 16c64g 200GB
Linux 下安装 docker 可参考下面的命令,或者 docker 官网安装文档[1]
# 安装 Docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker
# 安装 docker-compose
curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
# 验证安装
docker -v
docker-compose -v
# 如失效,自行百度~
架构图如下:
Docker 运行 FastGPT 参考了 FastGPT 官方文档[2],但是由于 docker-compose.yaml 文件中的配置经常变导致一些组件不兼容部署失败,所以笔者专门新建一个仓库 fastgpt-deploy[3],把验证通过的 compose 文件传上去,确保成功部署。
git clone https://github.com/dockerq/fastgpt-deploy.git
cd fastgpt-deploy
docker compose pull
docker compose up -d
参考 如何自定义配置文件?[4]。
每次变更配置都要重新运行 FastGPT 容器。
config.json
中的配置docker compose down fastgpt
docker compose up -d fastgpt
如果你使用 Ollama 运行开源大模型,这部分要注意下,因为 FastGPT 都是运行在 Docker 容器中的,所以在 FastGPT/OneAPI 中配置 Ollama 地址时,要写对:
http://172.17.0.1:11434
http://host.docker.internal:11434
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-30
扔掉 Google 翻译!这个超强 AI 翻译工作流才是你的最佳选择
2024-09-12
FastGPT一站式解决方案[1-部署篇]:轻松实现RAG-智能问答系统
2024-09-07
FastGPT 正式接入 Flux,准备好迎接 AI 绘画的狂风了么?
2024-08-22
FastGPT:利用大模型重新定义传统知识库
2024-08-13
定制你的AI梦!快速搭建属于自己的本地FastGPT
2024-08-03
Ollama 0.3.1-0.3.3 版本已推出
2024-07-26
AI知识库这事儿FastGPT是专业的
2024-06-20
AI | 基于 FastGPT + 大语言模型 + 向量模型手把手从0-1快速构建本地私有化知识库
2024-04-23
2024-05-09
2024-05-08
2024-05-08
2024-06-03
2024-05-09
2024-04-24
2024-06-20
2024-05-01
2024-07-26