粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
这是一个使用LLM代理的完全本地运行的元搜索引擎。用户可以提出一个问题，系统将使用一连串来LLMs找到答案。用户可以看到代理的进度和最终答案。不需要 OpenAI 或 Google API 密钥。
现在有后续问题：
这是一个概念证明，代码很可怕。我还不打算公开这个，但我想与一些人分享。如果您有任何建议，请打开问题和 PR。
完全本地（无需 API 密钥）
在“低端”LLM硬件上运行（演示视频使用 7b 模型）
用户可以看到代理的进度，并了解答案是如何找到的
将“代理更新”/调试信息与最终结果分开（类似于 langsmith 界面？
实现有状态代理链（以便用户可以提出后续问题）
代码重构，为未来的开发和协作提供更坚实的基础
请阅读下文以获得最新的想法。
目前，这两个选项是相同的。我计划将其打包到单个 docker 映像中，以便于部署。
网络中某处正在运行的 Ollama 服务器
LLocalSearch 使用 hermes-2-pro-mistral 模型进行测试，默认情况下会拉取此模型
将 docker-compose.dev.yaml 文件中 OLLAMA_HOST 的环境变量设置为 Ollama 服务器的 IP
docker-compose.dev.yaml 将文件中的环境 OLLAMA_MODEL_NAME 变量设置为要使用的模型名称
Docker Compose
Make（可选）
撰写文件中包含的有
搜索后端（基于Go Langchain库）
搜索前端（Svelte & Tailwind）
Chroma DB（用于将搜索结果存储在矢量空间中）
SearXNG（代理链使用的元搜索引擎）
Redis（用于缓存搜索结果）
git clone https://github.com/nilsherzig/LLocalsearch.git# make sure to check the env vars inside the compose file# build the containers and start the servicesmake dev # make dev will start the frontend on port 3000. Both front and backend will hot reload on code changes. # or use "make run" to detach the containers (and use "make stop" to stop them)# running "make upgrade" will stop all containers, pull the latest code and restart the containers
如果您尚未 make 安装，则可以在 Makefile 中手动运行这些命令。
现在，您应该能够访问 http://localhost:3000 上的前端。所有其他服务均不向外界公开。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-03-30
2024-04-26
2024-05-10
2024-04-12
2024-05-28
2024-04-25
2024-05-14
2024-07-18
2024-08-13
2024-04-26
回到顶部