粤ICP备17114055号
微信扫码
与创始人交个朋友
支持私有云部署
我要投稿
项目简介
LLocalSearch是一个完全本地化运行的搜索聚合器，采用LLM（大型语言模型）Agent进行工作。用户可以提出问题，系统将通过一系列LLM找到答案，并且用户能够看到Agent的进展和最终答案。
该项目的特点是不需要OpenAI或Google的API密钥，保证了搜索过程的隐私性和安全性。此外，LLocalSearch支持跟进问题，具备完全本地化操作的特性，无需通过外部API进行数据处理，为用户提供了一个既方便又安全的本地搜索服务
Demo
特点
·?️ 完全本地化（无需API密钥）
·? 可在“低端”大型语言模型硬件上运行（演示视频使用了一个7b模型）
·? 进度日志，让搜索过程的理解更加深入
·? 提出后续问题
·? 移动友好界面
·? 通过Docker Compose快速且易于部署
·? 网络界面，允许从任何设备轻松访问
·? 手工制作的UI，具有明暗模式
自托管与开发
1.需求
·一个运行中的Ollama服务器，容器能够访问到GPU不是必需的，但推荐使用
·确保Ollama不仅仅在localhost上监听，而是在所有接口上监听（或至少是docker网络上）。如果你在docker内使用ollama，那么你不需要更改任何设置。
·Docker Compose
2.运行最新发布版
如果你不打算在这个项目上进行开发，这是推荐的代码
git clone https://github.com/nilsherzig/LLocalSearch.gitcd ./LLocalSearch# ? check the env vars inside the compose file (and `env-example` file) and change them if neededdocker-compose up
? 你现在应该能够在 http://localhost:3000 上打开网络界面。默认情况下，没有其他内容被暴露。
3.运行当前的git版本
具有更新的特性，但可能稳定性较差。
git clone https://github.com/nilsherzig/LLocalsearch.git# 1. make sure to check the env vars inside the `docker-compose.dev.yaml`.# 2. Make sure you've really checked the dev compose file not the normal one.# 3. build the containers and start the servicesmake dev# Both front and backend will hot reload on code changes.
如果你没有安装make，你可以手动运行Makefile内的命令。
现在，你应该能够在 http://localhost:3000 访问前端界面。
53AI，企业落地应用大模型首选服务商
产品：大模型应用平台+智能体定制开发+落地咨询服务
承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2024-08-18
当产品经理谈到用LLM Agent构建新一代智能体的时候，他们在说什么？
2024-08-15
对话AI教育从业者们：AI如何解决因材施教的难题？
2024-08-03
工业应用中的向量数据库与知识向量化存储方案
2024-07-25
两大深度学习框架TensorFlow与PyTorch对比
2024-07-17
让生成式 AI 触手可及：NVIDIA NIM on VKE 部署实践
2024-07-16
中文大模型基准测评2024上半年报告
2024-07-16
一文看懂人工智能的起源、发展、三次浪潮与未来趋势
2024-07-14
"自拍" 秒变 "证件照" 看Coze如何实现
2024-05-14
2024-04-26
2024-05-22
2024-04-12
2024-07-18
2024-03-30
2024-05-10
2024-08-13
2024-04-25
2024-04-26
回到顶部