微信扫码
与创始人交个朋友
技术栈:Omllama + Llama3 + MaxKB
Omllama:是一个开源的大型语言模型服务工具,用户只需执行一条命令即可在本地运行开源大型语言模型。
Llama3:是Meta(原Facebook)旗下最新的大语言模型,Llama 3已经开放了80亿(8B)和700亿(70B)两个参数版本。
MaxKB:是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base,旨在成为企业的最强大脑。
部署Omllama:
ollama目前Windows/linux等全平台支持,且支持docker方式部署,这里演示mac版。
直接通过下方链接地址下载,然后根据提示下一步安装即可。
项目地址:https://github.com/ollama/ollama
运行Llama3:
ollama支持的大模型很多,除了llama3,可以根据自己的需要选择:
我的Mac系统只有16G,所以这里选择8B版的,也是默认模型。打开terminal:
ollama run llama3
首次运行需要下载,大小4.7GB,后期再次运行不需要下载。
部署MaxKB:
直接通过docker部署:
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
访问本地8080端口:
先创建一个关于jumpserver的FAQ库:
创建后程序会自动抓取数据(文本或者网页),并进行模型优化,自动分段。
创建应用:
问答测试:
(问答系统结果)
(源文档内容)
经过简单的测试和微调,回答的速度非常快,而且准确,完全可以在企业中运用起来。
53AI,大模型落地应用首选服务商
定位:开箱即用的大模型落地应用平台
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
如果你看见AI对商业世界的变革,欢迎来和我们一起探索~
2024-07-03
让企业为大模型买单,目前有四大难
2024-07-03
Laplace AI Lab打破了传统SaaS和RPA框架的局限,解决了功能繁杂、操作复杂
2024-07-03
演讲实录|如何以 AI+指标平台构建企业数智竞争力
2024-07-03
演讲实录丨智能一站式指标平台在头部企业的实践分享
2024-07-03
“指标平台”掀起数智风暴:AI 对话已达 95% 准确率、100% 可解释!
2024-07-03
不是“尝鲜”,餐饮巨头市场团队已用指标平台+AI 更高效理解业务和决策
2024-07-03
GenAI大模型成熟度模型 - Google
2024-07-02
从企业内部的聊天记录中构建一个知识库式的检索增强生成 (RAG) 应用
2024-03-11
2024-04-02
2024-03-11
2024-04-24
2024-04-01
2024-04-18
2024-04-06
2024-04-08
2024-05-15
2024-04-03
2024-07-01
2024-06-29
2024-06-28
2024-06-24
2024-06-21
2024-06-20
2024-06-20
2024-06-19