AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


FreeAskInternet:一个免费、私有、本地运行的搜索聚合器和答案生成器
发布日期:2024-04-16 12:06:36 浏览次数: 1871


博主之前使用SerpAPI实现了本地LLM的Web搜索功能(可参考使用Java拓展本地开源大模型的网络搜索问答能力),但无奈每月只能免费使用100次。今天在网上冲浪的时候,发现了FreeAskInternet框架,可以实现完全免费的大模型与Web搜索的聚合。


简介

FreeAskInternet是一个完全免费,私人和本地运行的搜索聚合器和答案生成使用LLM,无需GPU。用户可以提出一个问题,系统通过搜索进行多引擎搜索,并将搜索结果合并到ChatGPT3.5 LLM中,根据搜索结果生成答案。所有进程在本地运行,不需要GPU或OpenAI或Google API密钥。

特点

  • • 完全免费(不需要任何API密钥)

  • • 完全本地(不需要GPU,任何计算机都可以运行)

  • • 完全私有(所有东西都在本地运行,使用自定义llm)

  • • 运行没有LLM硬件(不需要GPU)

  • • 使用免费的 ChatGPT3.5 / Qwen / Kimi / ZhipuAI(GLM) API

  • • 自定义LLM(ollama,llama.cpp)支持

  • • 快速和容易部署与Docker撰写

  • • Web和移动友好的界面,专为Web搜索增强AI聊天,允许从任何设备轻松访问。

项目截图

工作原理

  1. 1. 系统在FreeAskInternet UI界面(本地运行)中获取用户输入问题,调用SearXNG搜索(本地运行)在多个搜索引擎上进行搜索。

  2. 2. 抓取搜索结果链接内容并传递给ChatGPT3.5 / Kimi / Qwen /知乎ai / ollama(使用自定义llm),让llm根据该内容作为参考回答用户问题。

  3. 3. 将答案流式传输到聊天UI。

  4. 4. 支持自定义LLM设置,所以理论上是无限的LLM支持。

项目部署

官方推荐使用docker

git clone https://github.com/nashsu/FreeAskInternet.git
cd ./FreeAskInternet
docker-compose up -d 

在浏览器输入以下地址:

http://localhost:3000

项目地址:

https://github.com/nashsu/FreeAskInternet

写在最后

此框架的关键在于SearXNG搜索引擎,通过搜索引擎抓取搜索结果,然后使用LLM进行回答响应,整体思路与使用SerpAPI是一样的。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询