AI知识库 AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


5分钟打造安全的企业级知识库/问答系统
发布日期:2024-06-27 07:03:17 浏览次数: 1539

技术栈:Omllama + Llama3 + MaxKB

Omllama:是一个开源的大型语言模型服务工具,用户只需执行一条命令即可在本地运行开源大型语言模型。

Llama3:是Meta(原Facebook)旗下最新的大语言模型,Llama 3已经开放了80亿(8B)和700亿(70B)两个参数版本。

MaxKB:是一款基于 LLM 大语言模型的知识库问答系统。MaxKB = Max Knowledge Base,旨在成为企业的最强大脑。


部署Omllama:

ollama目前Windows/linux等全平台支持,且支持docker方式部署,这里演示mac版。

直接通过下方链接地址下载,然后根据提示下一步安装即可。

项目地址:https://github.com/ollama/ollama

运行Llama3:

ollama支持的大模型很多,除了llama3,可以根据自己的需要选择:

我的Mac系统只有16G,所以这里选择8B版的,也是默认模型。打开terminal:

ollama run llama3

首次运行需要下载,大小4.7GB,后期再次运行不需要下载。

部署MaxKB:

直接通过docker部署:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

访问本地8080端口:

先创建一个关于jumpserver的FAQ库:

创建后程序会自动抓取数据(文本或者网页),并进行模型优化,自动分段。

创建应用:


问答测试

(问答系统结果)

(源文档内容)

经过简单的测试和微调,回答的速度非常快,而且准确,完全可以在企业中运用起来。


53AI,大模型落地应用首选服务商

定位:开箱即用的大模型落地应用平台

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

年轻人!来一起搞AI吗?

如果你看见AI对商业世界的变革,欢迎来和我们一起探索~

岗位:销售经理

查看详情

岗位:项目经理

查看详情

岗位:产品经理

查看详情

岗位:测试工程师

查看详情

联系我们

售前咨询
186 6662 7370
产品演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询