之前收到Ollama邮件推送，说支持embedding models。正好基于它的webui的chatollama更新了新的功能，不仅支持各种格式的多文档上传，还可以基于网站URL创造知识库，于是在本地试了一下，整体感觉还可以的。

源码地址：

https://github.com/sugarforever/chat-ollama

如果你是windows用户，在这里我建议直接运行源码就可以。docker的形式redis总启动不了，估计只能是Linux了。试了好多次都失败，所以最后选择用源码的方式。

源码是基于Nuxt 3实现的，运行起来也是非常方便的。

运行前提：

1. 安装并运行Ollama server

下载场景的模型，下面是我下载的几个模型，正好乘此机会体验一下最近活的Llama3。

为了对知识库进行分词，这里要用一下ollama最新出来的embedding模型 nomic-embed-text。

命令行中输入ollama list

启动Ollama: ollama serve, 通过http://localhost:11434得到验证。

2. 安装Chroma

可以参考官方文档去安装：https://docs.trychroma.com/getting-started 

比较推荐用docker

docker pull chromadb/chroma
docker run -d -p 8000:8000 chromadb/chroma

启动后运行在http://localhost:8000

3. 从chatollama上下载源码，修改.env.example为.env文件。安装依赖

pnpm install

4. 迁移数据库： 

pnpm prisma-migrate

5. 启动界面：

pnpm dev

如果是源码启动，就不需要设置，如果是docker启动，需要将endpoint的地方改成：

http://host.docker.internal:11434

这样在Models下就能看到所有下载的ollama模型。

6. 知识库设置：

这里主要体验一下通过url来建立知识库，这里的embedding第一次需要手动输入一下名称，我们看到url的抓取深度最大设置为3层，这个已经完全够我用了。

7. 聊天

选择相应的模型和知识库：

看到内容基本是符合要求的，而且速度也是非常快的。当然它也可以接入在线的各大模型，也可以上传各种格式的文档，就留给大家去体验了。