微信扫码
添加专属顾问
我要投稿
构建本地知识库的详细指南,涵盖智能体应用创建与配置。核心内容:1. 创建智能体应用的步骤与界面操作2. 配置智能体模型,选择Ollama大模型的理由与方法3. 配置知识库Embedding模型,选用BGE-M3的原因及操作流程
点击 左侧“创建空白应用",在如下界面中点击”Agent“。 给名称和图标,创建完成。
点击上一步中创建好的智能体,点击去 "去设置", 就可以输入申请的API Key或者本地大模型。API key是指去deepseek等官网申请账号并获取一个key,但是这个会收费而且知识库内容会暴露在网上,不安全。
本文采用的是本地大模型,所以选择Ollama。
创建智能体的时候,可以通过"去设置"来添加模型,如下图,点击模型供应商然后点击Ollama下面添加模型按钮。
当然也可以点击右上角的账户名,然后在菜单里面点击设置,就可以打开上图的设置页面来添加或者维护模型。
事先我已经安装了Ollama并下载了几个大模型,如果大家没有事先准备好。那先下载安装Ollama,并在命令行工具里面下载运行大模型即可,简单的命令如下:
如果有必要,我可以再写一篇关于Ollama相关的文章,这里不再描述。然后在弹出页面中输入具体内容,如下红色箭头部分不能直接输入 http://localhost:11434
输入localhost,点击保存总是报错"An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f4a84ce0590>: Failed to establish a new connection: [Errno 111] Connection refused'))"。
问题主要出在docker类似于虚拟机,如果直接写 http://localhost:11434,其实访问的是docker本身的服务,肯定就找不到了。其实当前请求相当于docker要访问主机机器的地址,那就需要把主机的ollama地址暴露出来,步骤如下:
系统变量里面加 OLLAMA_HOST,然后输入局域网地址或者直接输入"0.0.0.0"; 如果是对外的网络地址也行。然后在path里面增加%OLLAMA_HOST%,重启Ollama即可。
逻辑推理用deepseek大模型, 知识库Embedding不用deepseek,说命中率不高,回答问题效果不好,所以选用BGE-M3。按如下红色箭头命令操作,然后查看一下,模型已经下载完成。
BGE (BAAI General Embedding) 专注于检索增强LLM领域,对中文场景支持效果更好,当然也有很多其他embedding模型可供选择,可以根据自己的场景,在ollama上搜索“embedding”查询适合自己的嵌入模型。
配置如上图,如果说连不上报错,要确认Ollama是否启动,就直接在浏览器里面输入URL看看是否有“Ollama is running”字样。点击保存按钮,就可以看到如下所示LLM用了deepseek-r1:14b而TEXT EMBEDDING用的是bge-m3。
至此,两个模型配置完成。
如下图操作
可以看到有三步,即选择数据源,文本分段与清洗,处理并完成。资料可以是本地的文本文件,或者直接同步网络资料等等。
支持的文本文件类型也很多,不过要注意单个文件不能超过15M。如果文件大了怎么办,拆呗。
我上传了一个自己写的用户手册,pdf格式,12.86M,可以处理。点击下一步,如下图。
分段设置直接用了通用的,索引方式用高质量,Embedding模型用bge-m3,检索设置用混合检索。点击保存并处理,等待处理完成。
完成前往文档,知识库里面就有一个文档知识库内容了。
点击工作室,并打开已经创建完成的智能体(Agent)
不错,AI能够自己检索并拼出结果给用户。接下来要研究怎么改进RAG,并嵌入到自己写的系统中。
往期推荐
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-04
AI问答的核心!知识图谱:突破传统 RAG 的天花板
2025-04-04
Basic Memory:构建个人知识图谱的AI对话助手
2025-04-03
Dify+RAGFlow打造企业级智能知识库:PDF表格秒变结构化数据,检索精准度暴增
2025-04-01
官宣,Milvus SDK v2发布!原生异步接口、支持MCP、性能提升
2025-03-31
从Milvus Operator聊聊,手动运维终将被淘汰
2025-03-30
大模型+知识图谱:重塑企业制度标准管理
2025-03-30
解锁LLM知识库检索:高返回率背后的关键密码
2025-03-29
RAG知识库的数据方案:图数据库、向量数据库和知识图谱怎么选?
2025-01-02
2024-07-17
2024-08-13
2025-01-03
2024-07-11
2024-08-27
2024-06-24
2024-07-13
2024-07-12
2024-06-10
2025-03-29
2025-02-13
2025-01-14
2025-01-10
2025-01-06
2025-01-02
2024-12-16
2024-12-10