▼最近直播超级多，预约保你有收获

今晚直播：《从分布式预训练到微调技术落地实践》

—1—

如何搭建个人 AI 知识库？

 —2—

Ollama和 LM Studio 有哪些区别？

仅仅让大模型在后台运行是不够的，还需要一个前端交互界面。

在这方面，LM Studio 表现突出。正如我之前提到的，它的集成度非常高，从模型的搜索和下载，到加载和对话，所有功能都集中在一个包内。

相比之下，Ollama 在终端中进行对话，界面看起来相对简陋。因此，出现了像Open WebUI 这样的项目，为 Ollama 提供了一个更加现代化的界面，类似于ChatGPT 的风格。此外，Open WebUI 还内置了 RAG，可以用来构建知识库，并且具备账号管理功能，便于多人共用。

以上所述的都是 Ollama 和L M Studio 的【客户端】模式。这两种工具还提供了【服务器】模式。简单来说，这种模式就是将它们作为大模型在本地运行的工具或容器，然后开放一个通道或端口，供其他应用程序使用。这就像发电机一样，接出一根电线，为各种电器供电。

 —3—

如何提升 AnythingLLM 精确度？

RAG = 文档预处理 + 查询理解 + 文档检索 + LLM 生成。

如果你选择使用 AnythingLLM 这类现成的工具，以下是一些设置时需要特别注意的要点：

首先，要考虑嵌入模型的语言兼容性。例如，如果你的资料中包含中英文，可以选择 Cohere Embed v3 - Multilingual，因为它支持多种语言。

其次，要注意嵌入模型的上下文窗口大小。例如，Cohere Embed v3 - Multilingual的上下文窗口为512个tokens。在使用 Ollama或LM Studio 时，需要填写最大嵌入块长度（Max embedding chunk length），不要随意填写。

第三，文本切块的大小（Chunk Size）和重叠部分（Overlap）的设置。

在设置切块大小时，需要考虑两个因素：一是不要超过嵌入模型的上限；二是根据资料的类型来调整。如果资料主要由短句或片段组成，如单条简短笔记，较小的切块尺寸可以避免一个块中包含过多不相关内容，减少对大模型理解的干扰。相反，如果资料是完整的文章，具有较强的连贯逻辑，则应尽量增大切块尺寸，以避免将一个连贯的段落切割得支离破碎，影响上下文的连贯性。

 —4—

AI大模型开发技能直播课程

立即扫码，即可免费预约

进入直播，大佬直播在线答疑！

本期名额有限

高度起始于速度（手慢无！！）

 —5—

领取一份《AI 大模型技术知识图谱》

第二步：扫码后，点击以下关注按钮，就可关注我。

 —6—

每日一大模型知识

—7—

加我微信

有很多不方便公开发公众号的我会直接分享在朋友圈，欢迎你扫码加我个人微信来看?

⬇戳”阅读原文“，立即预约！