最近一直在使用本地化的笔记软件作为主要的写作工具，受到llma3发布的启发，尝试通过ollama部署本地大模型并在本地化笔记软件中创建AI应用，觉得效果不错，总结出本篇文章和谈谈我个人对未来本地化笔记+AI的知识库应用的看法。

真正的 OpenAI

近期，大模型 llama3 正式发布，这款号称目前最强大、性能最好的开源模型，在真正的“OpenAI”Meta 公司训练下得到了更好进化，在本次发布提供了 8B 和 70B 参数规模大小的模型，并预告了会有 400B 参数规模的模型即将发布。其中，8B 参数规模的模型在性能上号称吊打上一代产品 llama 2:70B 的模型，既 80 亿参数的模型能干掉 700 亿参数的模型，性能的提升幅度令人震惊。

llama3 作为头牌开源模型，其开源社区的支持也是极其迅速，据最新的 Github Trending 来看，llama3 以及其中文微调模型 llama3-Chinese-chat 得到了非常多开发者的青睐，其中最快发布 llama3-Chinese-chat：8b 作为首个 llama3 的中文版特化版本，它拥有同等参数规模下最好的中文性能。

基于 Ollama 的本地大模型部署

对于喜欢写笔记的用户来说，Notion 类工具绝对是神兵利器式的工具，有很多用户使用这类在线笔记工具的原因就在于,这类工具能很好地结合 AI 工具进行更好、更高效的写作。以 Notion AI 为例，其 AI 应用的热度一度力压 ChatGPT，也掀起了很多国产笔记工具的 AI 应用潮流，例如 FlowUs AI 、Wolai AI、WPS AI 等等。但由于审查原因，在线工具往往存在私密性得不到保障的原由，很多用户开始寻求本地化的笔记方案，例如 Obisidian 、SiyuanNote、Logseq、Outline 等等。

由于 llama3-Chinese-chat：8b 由于其模型参数较小，适合本地部署。这也让很多喜欢折腾的用户重新关注本地大模型的部署方案，试图在本地体验安全、快速的大模型应用和微调训练。对于大模型有较好适配方案的工具有 Obisian 和思源笔记（SiyuanNote），这两款笔记工具在国内都有较多的用户使用，其中对基于 Ollama 的大模型部署方案适配较好。

思源笔记是什么

思源笔记是一款隐私优先的个人知识管理系统，支持完全离线使用的本地部署，同时适配 Markdwon 语法和双向链接。作为一款类 Notion 工具，它几乎拥有了关于 Notion 的所有基础功能，包括很多用户喜欢的数据库、无限页面等。并且思源笔记是开源、免费的，它的更新进度几乎达到了一日一更的程度，并且用户社区也正在不断地扩大。

安装思源笔记

在思源笔记官网中点击免费下载程序并进行安装：https://b3log.org/siyuan/

Ollama 是什么

Ollama 是一个可以在本地启动并运行大语言模型的应用框架，是近期最火的大语言模型部署方案之一。通过 Ollama，可以通过一条命令就能在本地运行 Llama3 模型，并且可以根据系统配置进行基于 GPU 和 CPU 的推理（当然，使用 CPU 推理会占用极大的内存）。不仅如此，他还可以通过 Web API 的方式访问 WebUI 或提供类似于 OpenAI API 近似的服务。事实上，很多用户青睐的应用也在适配 Ollama，例如沉浸式翻译通过 Ollama 可以在本地运行大模型并执行翻译任务，而获取到优质的翻译效果。

如何在思源笔记中使用 Ollama

对于喜欢折腾的用户来说，Ollama 有适配 Obisdian 的插件方案，并且有官方博客进行教学：Leveraging LLMs in your Obsidian Notes · Ollama Blog

对于不太喜欢过度折腾的用户来说，思源笔记是一个很棒的本地笔记方案，用户可以按照类似于配置 OpenAI API Key 的方式，就能在思源笔记中使用本地 AI 大模型的应用。不过遗憾的是，目前 llama3-Chinese-chat 还不支持 Ollama 配置（有非官方的量化版本，效果感人，不建议使用），所以我们可以使用目前国产开源模型性能较好的 Qwen1.5:7B 模型作为演示。

安装 Ollama

在 Ollama 官网中点击下载 Ollama 程序并进行安装：Ollama.com

拉取模型

以 Windows 为例，当安装完毕后，通过组合键 Win+R 于运行页面中输入 cmd 打开命令提示符，在命令提示符中输入 ollama run + 模型名称 后即可拉取或启动大模型。例如拉取 Qwen1.5 - 7B 模型，则需要在命令提示符中输入：

ollama run qwen:7b

当出现以下内容时，则大模型应用生效：

用户可以通过输入任意内容来获得生成式响应，例如在本案例中，我们通过输入“你好，很高兴见到你”发送给 qwen:7b 以获得响应。

启动 Ollama 服务

第一次启动会伴随一次较长时间的模型拉取，当模型被拉取到本地后，输入相同命令即可启动。

如果要开启 Ollama 服务，则需要在命令提示符中输入：

ollama serve

当出现例如以下内容时，则服务开启生效：

启动服务后，可以通过 Web 输入 127.0.0.1:11434 以获得 ollama 的运行状态：Ollama is running

在思源笔记中配置 Ollama

在思源笔记左上角菜单栏点击设置并在列表中点选 AI，配置模型、API Key 和 API 基础地址。

其中，模型处需要根据用户在 Ollama 中使用的模型进行输入，例如使用 Qwen1.5:7B 模型则输入：

qwen:7b

在 API Key 中，可以随意输入，例如本案例中输入:

ollama

较为重要的是，在确认 ollama serve 开启的情况下，输入：

http://127.0.0.1:11434/v1

当配置完毕时，可以在页面中通过 AI Chat 工具与大模型进行对话。例如本案例中，我们通过输入“你好，很高兴见到你”发送给 qwen:7b 以获得响应。

此时，则可以通过 Ollama 获得完全本地化的 AI 笔记服务。

一些可能存在的问题

低配置的用户可能会发现，Ollama 在运行服务时对系统资源的占用量过高。例如在笔者的计算机中，对 qwen:7B 模型对 3060TI 显存的占用是 6.8GB。

如果有用户的显存不够支持大模型应用，其实也不要紧。

Ollama 支持 CPU 推理，并用内存（RAM）来代替显存，只不过推理速度特别慢罢了，可以供用户学习使用。一般而言，当使用 7B 模型时，如果使用 CPU 推理，请至少有 16GB 的空余内存供模型使用。

总结

通过 Ollama+ 思源笔记的应用，可以获得完全本地且私密的良好写作环境，并可以在离线情况下获得较为优质的写作辅助和翻译（笔者的主要需求）响应。

当然，对于笔记软件中是否应该存在 AI 应用或使用 AI 服务来方便写作的这件事上,很多用户的看法均不一致.笔者认为,笔记就是模块化、零碎化的知识，如果能够高效利用起来或有意识的利用起来，那么则在后续的学习和工作任务中会成为较好的助力。

事实上，也可以通过例如 Qanything 等大模型应用，来根据本地笔记创建完全本地化的知识库体系，来增加工作和学习效率，以提高生活幸福感。不过近期看来，基于小参数量（例如 7B）模型来执行这个操作目前效果还不够，兴许明年则可实现。

不过就目前应用的效果来看，大模型应用参与到每个用户的工作流程中是不可阻挡的一个趋势。有时间我会和大家一起讨论，敬请期待吧。