粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
技术栈：Omllama + Llama3 + MaxKB
Omllama：是一个开源的大型语言模型服务工具，用户只需执行一条命令即可在本地运行开源大型语言模型。
Llama3：是Meta（原Facebook）旗下最新的大语言模型，Llama 3已经开放了80亿（8B）和700亿（70B）两个参数版本。
MaxKB：是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base，旨在成为企业的最强大脑。
部署Omllama：
ollama目前Windows/linux等全平台支持，且支持docker方式部署，这里演示mac版。
直接通过下方链接地址下载，然后根据提示下一步安装即可。
项目地址：https://github.com/ollama/ollama
运行Llama3：
ollama支持的大模型很多，除了llama3,可以根据自己的需要选择：
我的Mac系统只有16G，所以这里选择8B版的，也是默认模型。打开terminal：
ollama run llama3
首次运行需要下载，大小4.7GB，后期再次运行不需要下载。
部署MaxKB：
直接通过docker部署：
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
访问本地8080端口：
先创建一个关于jumpserver的FAQ库：
创建后程序会自动抓取数据（文本或者网页），并进行模型优化，自动分段。
创建应用：
问答测试：
（问答系统结果）
（源文档内容）
经过简单的测试和微调，回答的速度非常快，而且准确，完全可以在企业中运用起来。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-07-10
2024-05-15
2024-04-24
2024-06-23
2024-07-10
2024-08-04
2024-09-14
2024-06-19
2024-07-10
2024-06-14
回到顶部