AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


LLocalSearch:使用LLM Agent完全本地运行的元搜索引擎
发布日期:2024-04-17 20:13:05 浏览次数: 1891 来源:GitHubStore


项目简介

这是一个使用LLM代理的完全本地运行的元搜索引擎。用户可以提出一个问题,系统将使用一连串来LLMs找到答案。用户可以看到代理的进度和最终答案。不需要 OpenAI 或 Google API 密钥。


现在有后续问题:

地位

这是一个概念证明,代码很可怕。我还不打算公开这个,但我想与一些人分享。如果您有任何建议,请打开问题和 PR。

特征

  • 完全本地(无需 API 密钥)

  • 在“低端”LLM硬件上运行(演示视频使用 7b 模型)

  • 用户可以看到代理的进度,并了解答案是如何找到的


 路线图

  • 将“代理更新”/调试信息与最终结果分开(类似于 langsmith 界面?

  • 实现有状态代理链(以便用户可以提出后续问题)

  • 代码重构,为未来的开发和协作提供更坚实的基础


运作方式

请阅读下文以获得最新的想法。


自托管/开发

目前,这两个选项是相同的。我计划将其打包到单个 docker 映像中,以便于部署。

要求

  • 网络中某处正在运行的 Ollama 服务器

    • LLocalSearch 使用 hermes-2-pro-mistral 模型进行测试,默认情况下会拉取此模型

    • 将 docker-compose.dev.yaml 文件中 OLLAMA_HOST 的环境变量设置为 Ollama 服务器的 IP

    • docker-compose.dev.yaml 将文件中的环境 OLLAMA_MODEL_NAME 变量设置为要使用的模型名称

  • Docker Compose

  • Make(可选)


撰写文件中包含的有

  • 搜索后端(基于Go Langchain库)

  • 搜索前端(Svelte & Tailwind)

  • Chroma DB(用于将搜索结果存储在矢量空间中)

  • SearXNG(代理链使用的元搜索引擎)

  • Redis(用于缓存搜索结果)

git clone https://github.com/nilsherzig/LLocalsearch.git# make sure to check the env vars inside the compose file# build the containers and start the servicesmake dev # make dev will start the frontend on port 3000. Both front and backend will hot reload on code changes. # or use "make run" to detach the containers (and use "make stop" to stop them)# running "make upgrade" will stop all containers, pull the latest code and restart the containers

如果您尚未 make 安装,则可以在 Makefile 中手动运行这些命令。

现在,您应该能够访问 http://localhost:3000 上的前端。所有其他服务均不向外界公开。




53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询