部署AI大模型的API集合容器|文心一言|绿联私有云
发布日期：2024-05-07 07:27:32
浏览次数： 1890
来源：冥冰薇的小天地
写在前面
上两期我们分别部署了ChatGPT 3.5的API服务器，以及可以使用API接入的ChatGPT聊天服务器。但这个时候，就有聪明的小伙伴要问了，如果我有百度文心一言、阿里通义千问或者是微软的Azure AI等其他大模型的API，那是不是都得一个一个部署他们对应的聊天服务器呢？答案当然是不需要的，早就有开发者帮大家把这件事情做好了。而且部署完今天这个容器以后，人人都能化身套壳AI工具开发者，把你用的所有AI大模型都分享给你的亲朋好友使用。听起来是不是很棒？但同前两期一样，仍然在本文开头本薇要给大家做风险提示：注意相关的安全及法律风险，使用时请遵守国内关于AI大模型的相关法律法规，遵守AI公司相关使用规范，尊重开发者要求的工具使用范围，请不要随意分享到公网使用。原理
这台容器相当于一台中转服务器，它集成了多种AI大模型的API，可以帮助你把AI聊天服务器中的请求，发送到你需要的AI大模型服务商。这样你就可以实现在本来只支持OpenAI公司API的AI聊天服务器中，使用其他公司包括国产服务商开发的AI大模型。部署
第一步，下载镜像，镜像名称：justsong/one-api:latest；第三步，本薇这里偷个懒，直接使用SQLite来部署了，直接映射一下数据库存储路径给容器就好；第四步，设置本地端口，我这里设置3000，请注意上次聊天服务器是否占用了这个端口；第五步，在环境变量里面设置一下时区（TZ = Asia/Shanghai）；使用
在浏览器输入http://[NAS IP]:端口号即可打开网页端。首次登录，初始账号用户名为 root，密码为 123456，登录成功后，系统会自动提示你修改管理员密码。在渠道编辑页面添加第一篇教程里面部署的API服务器；再次点击令牌，点击添加新的令牌，选择模型范围，额度默认就好；这个令牌就相当于这个中转服务器的API，填入其他支持API的工具中，你就可以愉快的玩耍了。这个容器默认使用的就是我们上次部署的AI聊天服务器（，只不过需要在设置中将聊天服务器链接改成我们自己的本地链接就能使用了。然后聊天服务器里面也需要手动更改一下API代理和API，因为默认上次我们在环境变量里面填的是本地的ChatGPT 3.5服务器。如果要长期使用的话，建议在dockerUI里面编辑一下聊天服务器的环境变量，改成中转服务器的地址和API，不然每次都要手动设置一下，会比较麻烦。关于DX4600+
今日我们使用搭载绿联NAS DX4600+进行部署：绿联DX4600+搭载了4核4线程的低功耗CPU——N5105，兼具了性能和节能的特性。同时最高支持16G内存（双8G），使你在部署docker容器时，容量不再捉襟见肘。同时具备双M.2插槽，将docker文件夹放入固态硬盘中，会极大降低系统运行时机械硬盘读写的噪音。同时，两张M.2固态硬盘还能组建RAID1存储池，为你的docker数据保驾护航。同时，在UGOS系统中，dockerUI集成了绝大部分常用功能，大大简化了docker部署的繁琐程度：你甚至可以在docker应用中直接为Jellyfin映射核显，非常方便：新手小白不会部署docker怎么办？绿联也为你贴心的准备了各类常用容器的部署教程，实现一键下载，一键部署哦。总结
把AI大模型搬到本地完整的三期就给大家做完了。其中包含了如何在docker容器构建本地的API服务器、AI聊天服务器以及API中转服务器。部署完成后，你就会发现AI工具离我们普通人真的很近很近，你也可以一键把AI工具分享给你的亲朋好友，让更多的人进入AI时代吧。
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
粤ICP备17114055号
支持私有云部署
