我要投稿

部署AI大模型的API集合容器|文心一言|绿联私有云

发布日期：2024-05-07 07:27:32 浏览次数： 2009 来源：冥冰薇的小天地

提示：本篇文章1520字符，阅读大约需要4分钟。

写在前面

上两期我们分别部署了ChatGPT 3.5的API服务器，以及可以使用API接入的ChatGPT聊天服务器。但这个时候，就有聪明的小伙伴要问了，如果我有百度文心一言、阿里通义千问或者是微软的Azure AI等其他大模型的API，那是不是都得一个一个部署他们对应的聊天服务器呢？

答案当然是不需要的，早就有开发者帮大家把这件事情做好了。

而且部署完今天这个容器以后，人人都能化身套壳AI工具开发者，把你用的所有AI大模型都分享给你的亲朋好友使用。

听起来是不是很棒？但同前两期一样，仍然在本文开头本薇要给大家做风险提示：

注意相关的安全及法律风险，使用时请遵守国内关于AI大模型的相关法律法规，遵守AI公司相关使用规范，尊重开发者要求的工具使用范围，请不要随意分享到公网使用。

原理

简单解释一下今天部署容器的原理：

这台容器相当于一台中转服务器，它集成了多种AI大模型的API，可以帮助你把AI聊天服务器中的请求，发送到你需要的AI大模型服务商。这样你就可以实现在本来只支持OpenAI公司API的AI聊天服务器中，使用其他公司包括国产服务商开发的AI大模型。

部署

第一步，下载镜像，镜像名称：justsong/one-api:latest；

第二步，创建容器；

第三步，本薇这里偷个懒，直接使用SQLite来部署了，直接映射一下数据库存储路径给容器就好；

第四步，设置本地端口，我这里设置3000，请注意上次聊天服务器是否占用了这个端口；

第五步，在环境变量里面设置一下时区（TZ = Asia/Shanghai）；

第六步，部署成功；

使用

在浏览器输入http://[NAS IP]:端口号即可打开网页端。

首次登录，初始账号用户名为 root，密码为 123456，登录成功后，系统会自动提示你修改管理员密码。

然后点击渠道-添加新的渠道；

在渠道编辑页面添加第一篇教程里面部署的API服务器；

保存后点击测试，测试成功即可使用。

再次点击令牌，点击添加新的令牌，选择模型范围，额度默认就好；

这个令牌就相当于这个中转服务器的API，填入其他支持API的工具中，你就可以愉快的玩耍了。

这个容器默认使用的就是我们上次部署的AI聊天服务器（，只不过需要在设置中将聊天服务器链接改成我们自己的本地链接就能使用了。

然后聊天服务器里面也需要手动更改一下API代理和API，因为默认上次我们在环境变量里面填的是本地的ChatGPT 3.5服务器。

如果要长期使用的话，建议在dockerUI里面编辑一下聊天服务器的环境变量，改成中转服务器的地址和API，不然每次都要手动设置一下，会比较麻烦。

关于DX4600+

今日我们使用搭载绿联NAS DX4600+进行部署：

绿联DX4600+搭载了4核4线程的低功耗CPU——N5105，兼具了性能和节能的特性。同时最高支持16G内存（双8G），使你在部署docker容器时，容量不再捉襟见肘。同时具备双M.2插槽，将docker文件夹放入固态硬盘中，会极大降低系统运行时机械硬盘读写的噪音。同时，两张M.2固态硬盘还能组建RAID1存储池，为你的docker数据保驾护航。

同时，在UGOS系统中，dockerUI集成了绝大部分常用功能，大大简化了docker部署的繁琐程度：

你甚至可以在docker应用中直接为Jellyfin映射核显，非常方便：

新手小白不会部署docker怎么办？绿联也为你贴心的准备了各类常用容器的部署教程，实现一键下载，一键部署哦。

总结

把AI大模型搬到本地完整的三期就给大家做完了。其中包含了如何在docker容器构建本地的API服务器、AI聊天服务器以及API中转服务器。

部署完成后，你就会发现AI工具离我们普通人真的很近很近，你也可以一键把AI工具分享给你的亲朋好友，让更多的人进入AI时代吧。

心动不如行动，快快用起来吧。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2024-07-10

科研助力神器：Scholar GPT，百倍提升你的研究效率！

2024-07-09

Doc2X：一款功能超级强大的文档解析与转换工具

2024-07-06

我对多智能体协作过程自动演化架构设计

2024-07-06

可穿戴AI，底层逻辑的变化

2024-07-06

一文彻底搞懂Transformer - Word Embedding（词嵌入）

2024-07-06

AI动态 | 腾讯元宝AI搜索能力升级：深度搜索模式上线

2024-07-06

智能手表 + AI ，都已经这么智能了？？

2024-07-06

死磕10万卡GPU算力集群，腾讯星脉网络2.0有什么秘密武器？

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

爆肝50小时，DeepSeek使用技巧，你收藏这一篇就够了！

2025-02-01

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

本地部署大模型？看这篇就够了，Ollama 部署和实战

2024-08-13

更改ollama模型存储路径

2024-04-25

一文读懂DeepSeek-R1本地部署配置要求（建议收藏）

2025-02-04

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

16个具有“联网搜索”功能的AI：总有一个适合你！

2024-06-13

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

OpenAI o1与GPT4o的对比分析

2024-09-23

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

大家都在问

传统RAG的局限被打破！三个轻量级智能体分工协作，如何让问答系统更精准？

2025-02-24

RAG、LangChain、Agent 到底有啥关系？

2025-02-23

Tokens是啥？为啥大模型按Tokens收费？和API调用、订阅收费区别？

2025-02-23

Jetson 引爆 DeepSeek 边缘 AI？

2025-02-23

开源VS闭源，DeepSeek是最好选择吗？

2025-02-23

DeepSeek 为什么总是服务器繁忙？

2025-02-22

一觉醒来，DeepSeek开始“领导”公务员了？

2025-02-22

为什么马斯克认为 Google 才是xAI的终极对手？

2025-02-22

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB