粤ICP备17114055号
微信扫码
添加专属顾问
支持私有云部署
我要投稿
之前收到Ollama邮件推送，说支持embedding models。正好基于它的webui的chatollama更新了新的功能，不仅支持各种格式的多文档上传，还可以基于网站URL创造知识库，于是在本地试了一下，整体感觉还可以的。
源码地址：
https://github.com/sugarforever/chat-ollama
如果你是windows用户，在这里我建议直接运行源码就可以。docker的形式redis总启动不了，估计只能是Linux了。试了好多次都失败，所以最后选择用源码的方式。
源码是基于Nuxt 3实现的，运行起来也是非常方便的。
运行前提：
1. 安装并运行Ollama server
下载场景的模型，下面是我下载的几个模型，正好乘此机会体验一下最近活的Llama3。
为了对知识库进行分词，这里要用一下ollama最新出来的embedding模型 nomic-embed-text。
命令行中输入ollama list
启动Ollama: ollama serve, 通过http://localhost:11434得到验证。
2. 安装Chroma
可以参考官方文档去安装：https://docs.trychroma.com/getting-started
比较推荐用docker
docker pull chromadb/chroma docker run -d -p 8000:8000 chromadb/chroma
启动后运行在http://localhost:8000
3. 从chatollama上下载源码，修改.env.example为.env文件。安装依赖
pnpm install
4. 迁移数据库：
pnpm prisma-migrate
5. 启动界面：
pnpm dev
如果是源码启动，就不需要设置，如果是docker启动，需要将endpoint的地方改成：
http://host.docker.internal:11434
这样在Models下就能看到所有下载的ollama模型。
6. 知识库设置：
这里主要体验一下通过url来建立知识库，这里的embedding第一次需要手动输入一下名称，我们看到url的抓取深度最大设置为3层，这个已经完全够我用了。
7. 聊天
选择相应的模型和知识库：
看到内容基本是符合要求的，而且速度也是非常快的。当然它也可以接入在线的各大模型，也可以上传各种格式的文档，就留给大家去体验了。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-02-01
2025-01-01
2024-08-13
2025-02-04
2024-07-25
2024-04-25
2024-06-13
2024-09-23
2024-04-26
2024-08-21
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-17
2025-03-16
2025-03-16
回到顶部