我要投稿

部署AI大模型的API集合容器|文心一言|绿联私有云

发布日期：2024-05-07 07:27:32 浏览次数： 1756

提示：本篇文章1520字符，阅读大约需要4分钟。

写在前面

上两期我们分别部署了ChatGPT 3.5的API服务器，以及可以使用API接入的ChatGPT聊天服务器。但这个时候，就有聪明的小伙伴要问了，如果我有百度文心一言、阿里通义千问或者是微软的Azure AI等其他大模型的API，那是不是都得一个一个部署他们对应的聊天服务器呢？

答案当然是不需要的，早就有开发者帮大家把这件事情做好了。

而且部署完今天这个容器以后，人人都能化身套壳AI工具开发者，把你用的所有AI大模型都分享给你的亲朋好友使用。

听起来是不是很棒？但同前两期一样，仍然在本文开头本薇要给大家做风险提示：

注意相关的安全及法律风险，使用时请遵守国内关于AI大模型的相关法律法规，遵守AI公司相关使用规范，尊重开发者要求的工具使用范围，请不要随意分享到公网使用。

原理

简单解释一下今天部署容器的原理：

这台容器相当于一台中转服务器，它集成了多种AI大模型的API，可以帮助你把AI聊天服务器中的请求，发送到你需要的AI大模型服务商。这样你就可以实现在本来只支持OpenAI公司API的AI聊天服务器中，使用其他公司包括国产服务商开发的AI大模型。

部署

第一步，下载镜像，镜像名称：justsong/one-api:latest；

第二步，创建容器；

第三步，本薇这里偷个懒，直接使用SQLite来部署了，直接映射一下数据库存储路径给容器就好；

第四步，设置本地端口，我这里设置3000，请注意上次聊天服务器是否占用了这个端口；

第五步，在环境变量里面设置一下时区（TZ = Asia/Shanghai）；

第六步，部署成功；

使用

在浏览器输入http://[NAS IP]:端口号即可打开网页端。

首次登录，初始账号用户名为 root，密码为 123456，登录成功后，系统会自动提示你修改管理员密码。

然后点击渠道-添加新的渠道；

在渠道编辑页面添加第一篇教程里面部署的API服务器；

保存后点击测试，测试成功即可使用。

再次点击令牌，点击添加新的令牌，选择模型范围，额度默认就好；

这个令牌就相当于这个中转服务器的API，填入其他支持API的工具中，你就可以愉快的玩耍了。

这个容器默认使用的就是我们上次部署的AI聊天服务器（，只不过需要在设置中将聊天服务器链接改成我们自己的本地链接就能使用了。

然后聊天服务器里面也需要手动更改一下API代理和API，因为默认上次我们在环境变量里面填的是本地的ChatGPT 3.5服务器。

如果要长期使用的话，建议在dockerUI里面编辑一下聊天服务器的环境变量，改成中转服务器的地址和API，不然每次都要手动设置一下，会比较麻烦。

关于DX4600+

今日我们使用搭载绿联NAS DX4600+进行部署：

绿联DX4600+搭载了4核4线程的低功耗CPU——N5105，兼具了性能和节能的特性。同时最高支持16G内存（双8G），使你在部署docker容器时，容量不再捉襟见肘。同时具备双M.2插槽，将docker文件夹放入固态硬盘中，会极大降低系统运行时机械硬盘读写的噪音。同时，两张M.2固态硬盘还能组建RAID1存储池，为你的docker数据保驾护航。

同时，在UGOS系统中，dockerUI集成了绝大部分常用功能，大大简化了docker部署的繁琐程度：

你甚至可以在docker应用中直接为Jellyfin映射核显，非常方便：

新手小白不会部署docker怎么办？绿联也为你贴心的准备了各类常用容器的部署教程，实现一键下载，一键部署哦。

总结

把AI大模型搬到本地完整的三期就给大家做完了。其中包含了如何在docker容器构建本地的API服务器、AI聊天服务器以及API中转服务器。

部署完成后，你就会发现AI工具离我们普通人真的很近很近，你也可以一键把AI工具分享给你的亲朋好友，让更多的人进入AI时代吧。

心动不如行动，快快用起来吧。

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

2024-05-14

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

2024-04-26

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

2024-05-22

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

2024-04-12

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

万字长文解析：大模型需要怎样的硬件算力

2024-03-30

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

2024-05-10

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

更改ollama模型存储路径

2024-04-25

全面对比dify、coze、streamlit、chainlit

2024-04-26

大家都在问

为什么需要Agent?

2024-09-22

阿里巴巴发布Qwen2.5，对标GPT o1？

2024-09-22

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

2024-09-22

OpenAI o1的架构流程已被Claude破解了？

2024-09-21

从 Data 到 Data + AI，必然之路还是盲目跟风？

2024-09-21

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

2024-09-20

在长上下文LLM的时代，RAG是否仍然必要？

2024-09-20

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

2024-09-19

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

写在前面

原理

部署

使用

关于DX4600+

总结

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

写在前面

原理

部署

使用

关于DX4600+

总结

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

最强 GPT 免费使用！GPT4O 开启多模态新时代！

全民AI时代：手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行！

【开源看AI】4.9K star！Khoj：完美融合本地文档和在线网页的AI第二大脑

OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

万字长文解析：大模型需要怎样的硬件算力

微调神器LLaMA-Factory官方保姆级教程来了，从环境搭建到模型训练评估全覆盖

开源项目Composio：突破 AI 智能体开发的边界

更改ollama模型存储路径

全面对比dify、coze、streamlit、chainlit

大家都在问

为什么需要Agent?

阿里巴巴发布Qwen2.5，对标GPT o1？

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的&#39;阉割&#39;?

OpenAI o1的架构流程已被Claude破解了？

从 Data 到 Data + AI，必然之路还是盲目跟风？

疯狂星期四Qwen2.5开源，通义成了最Open的AI?

在长上下文LLM的时代，RAG是否仍然必要？

【AI赋能】揭秘大模型微调：如何让机器智能跃升一个台阶？

热门标签

OLLama详细的 api 介绍不完全指南 python 直接调用 OLLama api 翻译助手演示

深度解析：Apple Intelligence 真相揭秘 - 国行iPhone 16是否真的'阉割'?