微信扫码
与创始人交个朋友
我要投稿
这是一个使用LLM代理的完全本地运行的元搜索引擎。用户可以提出一个问题,系统将使用一连串来LLMs找到答案。用户可以看到代理的进度和最终答案。不需要 OpenAI 或 Google API 密钥。
现在有后续问题:
这是一个概念证明,代码很可怕。我还不打算公开这个,但我想与一些人分享。如果您有任何建议,请打开问题和 PR。
完全本地(无需 API 密钥)
在“低端”LLM硬件上运行(演示视频使用 7b 模型)
用户可以看到代理的进度,并了解答案是如何找到的
将“代理更新”/调试信息与最终结果分开(类似于 langsmith 界面?
实现有状态代理链(以便用户可以提出后续问题)
代码重构,为未来的开发和协作提供更坚实的基础
请阅读下文以获得最新的想法。
目前,这两个选项是相同的。我计划将其打包到单个 docker 映像中,以便于部署。
网络中某处正在运行的 Ollama 服务器
LLocalSearch 使用 hermes-2-pro-mistral
模型进行测试,默认情况下会拉取此模型
将 docker-compose.dev.yaml
文件中 OLLAMA_HOST
的环境变量设置为 Ollama 服务器的 IP
docker-compose.dev.yaml
将文件中的环境 OLLAMA_MODEL_NAME
变量设置为要使用的模型名称
Docker Compose
Make(可选)
撰写文件中包含的有
搜索后端(基于Go Langchain库)
搜索前端(Svelte & Tailwind)
Chroma DB(用于将搜索结果存储在矢量空间中)
SearXNG(代理链使用的元搜索引擎)
Redis(用于缓存搜索结果)
git clone https://github.com/nilsherzig/LLocalsearch.git# make sure to check the env vars inside the compose file# build the containers and start the servicesmake dev # make dev will start the frontend on port 3000. Both front and backend will hot reload on code changes. # or use "make run" to detach the containers (and use "make stop" to stop them)# running "make upgrade" will stop all containers, pull the latest code and restart the containers
如果您尚未 make 安装,则可以在 Makefile 中手动运行这些命令。
现在,您应该能够访问 http://localhost:3000 上的前端。所有其他服务均不向外界公开。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-14
2024-04-26
2024-03-30
2024-04-12
2024-05-10
2024-07-18
2024-05-28
2024-05-22
2024-04-25
2024-04-26
2024-11-22
2024-11-22
2024-11-21
2024-11-20
2024-11-19
2024-11-18
2024-11-18
2024-11-16