我要投稿

私有知识库+本地300种模型一键部署，私密性拉满！这个国产开源工具太绝了

发布日期：2025-04-05 06:01:47 浏览次数： 1512 作者：袋鼠帝AI客栈

点击上方蓝字关注我们

大家好，我是袋鼠帝，最近分享了不少本地部署的开源LLM应用平台，以及如何利用它们在本地搭建自己的私有知识库、和知识库优化相关内容，反响还不错。

而在这几篇文章中，使用的大模型并不是本地部署，都是远程调用大模型厂商的API。然后我发现评论区很多朋友的使用场景对私密性要求很高，希望能全链路（包括大模型）本地部署，整个RAG过程完全在内网，这样才能保证数据安全。

虽然本地知识库+大模型API 也还算安全，但由于RAG的流程是根据问题检索相关内容作为上下文，连同问题一起发送给大模型。所以通过API远程调用大模型，理论上确实是存在数据泄露风险的。

我为什么一直没出：本地知识库+本地大模型的文章呢？

主要是本地部署大模型，并获取大模型API较为繁琐，对小白很不友好。而且还需要科学上网，否则模型下载速度巨慢。

然而这两天无意中发现了一个国产开源工具--AingDesk

它虽然是最近刚开源的一个项目，目前Star只有635，但确实有不少惊艳到我的地方（而且完全能满足大家的需求）。

Github地址：

https://github.com/aingdesk/AingDesk

CNB地址：

https://cnb.cool/aingdesk/AingDesk

优点主要有：

1.开源，免费，无限制；

2.无需额外安装ollama，支持本地模型一键安装（就点一下，等着下载好就ok了），而且不需要科学上网，下载速度飞快~

3.支持联网、知识库的文件上传支持几乎所有格式，没有复杂的配置，但是知识库检索非常准确；

4.工具支持windows、mac一键安装，同时也支持docker部署；

5.搭建好的智能体还可以一键分享给家人、朋友、同事使用。

好了，不啰嗦了，我们直接开整！

AingDesk搭建私密知识库

接下来我们将在本地搭建一个完全私密的知识库

知识库、语言模型、索引模型全都用本地的，这次是真的不联网也完全可以用了，再也不用担心数据泄露~

友情提示：本期工具不用docker部署，下载后一键安装。

首先直接去官网下载aingdesk：

https://www.aingdesk.com/zh/

如下图，配置要求可以说非常低了。

选择合适的平台进行下载。

接下来就是傻瓜式安装

安装好之后双击打开

点击左下角【本地模型】，有300个模型供你挑选，包含带视觉功能的模型，索引模型，支持工具调用的模型。看中哪款，点击安装就行。

甚至可以一键安装满血版的DeepSeek...（当然，同样支持最强32B模型QWQ）

接下来我们搭建知识库（需要索引模型，语言模型），我的电脑配置不高

我的电脑配置：显卡-8G显存的3060TI，CPU-AMD Ryzen 7 5800X 8-Core 3.80 GHz，内存-32G

本地大模型主要还是吃显存，教大家一个选择适合本机模型的方法：

模型所需显存大小≈模型大小×1.2

大语言模型，我选择qwen2.5:14b（如下图大小是9G）

9×1.2=10.8G，所以运行qwen2.5:14b所需的显存大约是10.8G，我的显存大小只有8G，但还是勉强可以跑起来，只不过输出稍微慢一些。

索引模型我选择beg-m3:567m

看这模型下载速度：134MB/s，我没有开魔法上网（对国内用户非常友好）

模型已备好，接下来我们开始搭建知识库

创建知识库，嵌入模型选择刚刚下载的beg-m3:567m

上传文件，这里支持几乎所有文件类型（我们先试试公众号文章pdf）

19个pdf文件大约1分半处理完毕

创建智能体（目前相当于一个提示词模板）

保存之后，选择刚刚新建的智能体，进入对话

右下角知识库->选择刚刚创建好的知识库。

经过测试，发现小模型里面还得是qwen蒸馏出来的deepseek-r1模型给力。

回答的没啥毛病，就是不够详细。

知识库检索准确度非常高，但是想要回复的内容更准确，还是得用更强的语言模型，本地有条件最好上QWQ:32b

从下图中可以看出，上传的pdf被解析成markdown格式文件了，解析出来的内容还是挺准确的。

接着，我又测试了一下Excel格式的文件

问答效果也挺不错，Excel也是解析成了markdown格式

试了一下，上传图片到知识库，发现目前图片解析还不太行

它的知识库，我体验下来，创建和使用都非常简单，检索的准确度甚至可以媲美fastgpt了，而且支持几乎所有的文件格式（都是把文件解析成markdown）

本地索引模型直接上小参数量的beg-m3:567m，检索效果就很好了，瓶颈在语言模型上。本地算力够的朋友推荐直接上QWQ:32b。

配置第三方模型API

以硅基流动为例

点击第三方模型API->硅基流动->配置apikey->保存API

下面会自动搜索出模型。

说实话，用上面的本地8b、14b的小参数语言模型测试，回答效果确实一般

但换成硅基的DeepSeek V3满血版之后，熟悉的感觉又回来了，回答的既准确，又详细。

PS：索引模型还是没变，还是之前配置的本地索引模型：beg-m3:567m

联网搜索

设置->默认搜索引擎，全都是国内搜索，也都是免费调用（对国内用户来说非常友好了）

测试一个问题：搜索今日热点AI资讯

会联网搜索10条内容作为参考

日期25年3月26，正确，而且今天刚好出了Mureka O1音乐大模型，给出的热点也完全没毛病。

一键分享

打开一个对话，点击右上角分享按钮

随便起个名字，选择一个知识库，点击小窗口中的分享

下面会增加一条记录，复制分享链接发给朋友即可。

打开浏览器即可访问使用。

这个分享功能需要本地联网，整个调用过程需要通过AingDesk云服务中转，内网穿透访问到你本地的AingDesk。

网页访问使用，可以看到检索的知识库相关资料文件名，但无法获取源文件内容。

最后总结一下：

这个工具可以一键安装几乎所有开源大模型，而且国内下载速度贼快。当知识库和所有模型都在本地的时候，可以完全离线使用，私密性拉满。

创建知识库，支持解析几乎所有类型的文件；

即便使用小参数量的索引模型，知识库检索准确度也非常高。

但由于项目还在初期，UI比较简陋，没有工具插件、和工作流，希望后面越做越好。

这个工具还支持docker部署：

https://docs.aingdesk.com/zh-Hans/Installation/docker

docker部署之后可以对外提供web服务。

补充说明：该工具不会和本地的ollama冲突，如果和ollama同时开启，它还会自动读取ollama中已经安装的本地模型。

能看到这里的都是凤毛麟角的存在！

如果觉得不错，随手点个赞、在看、转发三连吧~

如果想第一时间收到推送，也可以给我个星标⭐

谢谢你耐心看完我的文章~

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-04-05

Free QWQ - 世界首个免费无限制分布式 QwQ API

2025-04-05

体验 DeepSite：AI 辅助开发神器，实力与局限并存

2025-04-05

Dify+RAGFlow:1+1＞2的混合架构，详细教程+实施案例

2025-04-04

2025：Agent智能体时代来临 - 认识自主思考的 OpenHands

2025-04-04

AI 时代如何更高效开发前端组件？21st.dev 给了一种答案

2025-04-04

使用 Meta 系列模型构建

2025-04-04

OpenAI推出免费学习社区，让你悄悄变强

2025-04-04

OpenAI 免费 “AI 补习班”：教你偷偷变强！『OpenAI Academy』

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

太强了！10大开源大模型！

2024-05-06

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

DeepSeek-V3 正式发布

2024-12-26

大家都在问

4天开发，1700万美元融资：开源的Browser Use为啥这么火？

2025-04-03

为什么大模型本地部署后“没了下文”？

2025-04-03

阿里搞了个大新闻！这AI能听会看还会实时唠嗑，科幻片都不敢这么拍？

2025-04-03

Agent框架大比拼：谁将引领智能应用的未来？

2025-04-01

OWL团队万字分享：复现Manus最好的团队，如何看待Agentic AI的落地现状？

2025-03-31

字节的开源 Manus — Agent Tars，我们离真正的复杂工作流还有多远？

2025-03-25

DeepSeek-V3-0324 就这么悄咪咪的更新了？

2025-03-25

【深度思考】MCP究竟是什么？

2025-03-24

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备17114055号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）杨小姐 186 6662 7370

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204 陈先生 185 8882 0121

上海：上海市浦东新区金新路58号1602室戴先生 186 1639 7587

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部