ChatOllama是我2024年开始创建的一款基于LLM的聊天机器人Web应用。项目开源于GitHub:

https://github.com/sugarforever/chat-ollama

初衷

项目的初衷，其实是开发一个小小的基于Ollama的Web应用，方便用户在本地环境管理Ollama支持的开源大模型，同时与模型聊天。

仅此而已，并为之起名ChatOllama。

在使用中，意识到可以在此基础上，基于在过去大半年积累的些许LangChain框架经验，或许可以给ChatOllama添加知识库的功能，并实践一下RAG。

这样，项目中就有了知识库的功能。

再加上项目初期就构思的Instructions功能，这样就有了如下的功能板块：

• Ollama模型管理（下载，删除）

• 知识库管理（增删，聊天）

• AI聊天（与模型聊天）

• 系统设置

在系统设置中，最初只有Ollama服务器的设置。

随着功能集合的确定，一个100%本地化知识库的想法基本成型。这也是最初我对其的定位！

用户反馈

随着项目的发布，我在X上也做了一些介绍，同时录制了一些视频，介绍开发中用到的相关技术，比如LangChain基础，RAG基础等。

在这个过程中，逐渐收获到一些初期用户。应用在早期有着大量的bug，以及设计中的不足。用户们给到了大量非常有价值的反馈。

基于反馈，我总结了以下几点，分享出来供大家参考。

1. 本地大模型以及本地知识库是有价值的

许多用户认可本地大模型，以及本地知识库的价值。越来越多的贡献者参与进来贡献代码，汇报问题，并帮助调试。在此，我感激不尽。

2. 用户的需求是多态的

随着越来越多的用户开始使用ChatOllama，我开始收到以各种形式发来的需求。总结如下：

• 支持OpenAI的模型

• 支持Azure OpenAI

• 支持Anthropic模型

• 支持Google模型

• 支持Moonshot模型

• 支持知识库文件的动态调整

• ......

从用户反馈看，大家对开源大模型保持了极大的兴趣，但是其能力还是不如OpenAI的GPT模型。这也导致大家对开源模型目前也只是浅尝则止。

当然，大尺寸的开源模型效果会更好，但是受限于计算资源，绝大多数用户没有运行条件。这样，大家只能选择商业化模型API。

这也是为什么现在的ChatOllama中已经支持了主流模型API。

大量的反馈，对于创始人来说，也是挑战。哪些需求需要满足？哪些需求需要放弃？

3. 心得

这是我第一次相对正式地开发个人开源项目。项目上不断收到的反馈，会帮助到项目，让它不断成熟。开源贡献者也能帮助项目越做越好。

对于我，更重要的是，在这个过程中认识了许多朋友。很感谢大家。这过程也让我深感“高手在民间”。希望我们能把ChatOllama越做越像样。

如何为项目发展把握分寸，引领项目走在正确的道路上，目前我还没法给出答案。听说，做减法是更难的。

先看看这个项目能否活过2024年6月吧。