AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


一个AI驱动的搜索引擎,内置SearXNG,也许是未来搜索新姿态,Star 10K!
发布日期:2024-06-29 12:25:54 浏览次数: 2097 来源:有趣的开源集市




在《一个尊重个人隐私的搜索引擎,可以私有化部署,Star 9.6+!》一文中我们详细介绍了一个无广告,尊重个人隐私的搜索引擎-SearXNG。在文章的结尾我们抛出了一个猜想话题:

“有可能基于LLM+SearXNG的问答式搜索会不会是下一代搜索引擎的发展新趋势”


为什么会这么猜想,个人觉得当搜索引擎+大模型结合时,不同于现有的搜索引擎模式,至少在以下两个层面的能力有所增强:

  • 更智能的搜索推荐:大模型能够更好地理解搜索意图和上下文,从而为我们提供更加个性化和精准的搜索推荐结果,甚至可能在我们自身还没明确问题内容的情况下就能得到相关建议。

  • 更深入的内容理解:大模型使得搜索引擎能够更深入地理解复杂的查询内容,例如复杂的逻辑文本、文档。这种能力可能会推动搜索引擎向更高级的文本理解和语义理解方向发展。

而今天给大家介绍的就是一款基于大模型+SearXNG的AI搜索引擎-Perplexica

01 
— 

 Perplexica 介绍 

一段话介绍Perplexica一个AI驱动的搜索引擎,不仅可以搜索网页内容,还可以理解你的问题,提供最优的回答。使用先进的机器学习算法,如相似性搜索和嵌入式技术来完善搜索结果,并提供搜索结果的数据来源。

?  项目信息

#Github地址https://github.com/ItzCrazyKns/Perplexica

项目截图

?功能特性

  • 本地模型支持:可以使用 Ollama 部署本地模型,例如 llama3 和 Mixtral。

  • 两种主要模式:

    • Copilot 模式:(正在开发中)通过生成不同的查询来查找更多相关的互联网资源,从而提高搜索效率。与常规搜索一样,它不仅仅使用 SearxNG 的上下文,而且访问最热门的匹配项,并尝试直接从页面查找与用户查询相关的资源。

    • 正常模式:处理您的查询并执行网络搜索。

  • 专注模式:可以更好地回答特定类型的问题。Perplexica 目前有 6 种专注模式:

    • 全部模式:搜索整个网络以找到最佳结果。

    • 写作助手模式:有助于完成不需要搜索网络的写作任务。

    • 学术搜索模式:查找文章和论文,非常适合学术研究。

    • YouTube 搜索模式:根据搜索查询查找 YouTube 视频。

    • Wolfram Alpha 搜索模式:使用 Wolfram Alpha 回答需要计算或数据分析的查询。

    • Reddit 搜索模式:在 Reddit 上搜索与查询相关的讨论和意见。

  • 当前信息:某些搜索引擎可能会提供过时的信息,因为它们使用来自爬虫的数据并将其转换、嵌入并存储在索引中。与它们不同,Perplexica 使用元搜索引擎 SearxNG 来获取结果并重新排序,并从中获取最相关的来源,确保始终获得最新信息,而无需每天更新数据。

系统架构

Perplexica 的架构包括以下关键组件:

  • 用户界面 :一个基于 Web 的界面,允许用户与 Perplexica 进行交互,搜索图像、视频等。

  • Agent/Chains :这些组件预测 Perplexica 的下一步操作,理解用户查询,并决定是否需要进行网络搜索。

  • SearXNG :Perplexica 使用的元数据搜索引擎SearXNG在网络上搜索来源。

  • LLMs:用于理解内容、撰写响应并引用来源。例如 GPT 等。

  • 嵌入模型 :为了提高搜索结果的准确性,嵌入模型使用诸如余弦相似度和点积距离等,相似性搜索算法对结果进行重新排序。


02

 Perplexica 部署 

0、准备机器

本次部署我们采用的是腾讯云上的云主机,8C16G,200G的磁盘,OpenCloudOS 操作系统,按照流量付费


1、本地模型安装

本次我们接入的是本地模型 llama3,部署 llama3 我们采用 Ollama。当然网络没问题的同学也可以采用OpenAi接入。

#部署ollama,cpu onlydocker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama#加载llama3模型docker exec -it ollama ollama run llama3

出现下图,说明部署成功

2、Perplexica安装


官方推荐项目采用Docker进行安装。


  • 确保 Docker 已在操作系统安装并正在运行。


  • 克隆 Perplexica 存储库:

#clone master仓库会build失败,所以本次clone的v1.5.0版本git clone https://github.com/ItzCrazyKns/Perplexica.git
  • 克隆后,进行项目文件目录

cd Perplexica
  • 将文件重命名sample.config.tomlconfig.toml

cp sample.config.toml config.toml#修改config.toml文件OLLAMA = "http://xxx.xxx.xxx.xxx:11434"
  • 启动应用

docker compose up -d#显示如下,则部署成功docker-compose up --build`.Creating perplexica_searxng_1 ... doneCreating perplexica_perplexica-backend_1 ... doneCreating perplexica_perplexica-frontend_1 ... done
  • 浏览器中通过 http://hostip:3000 访问 Perplexica


03

 Perplexica 集成 

如果希望使用 Perplexica 来替代浏览器(比如Chrom)中的默认搜索引擎,可以按照以下步骤操作:


  • 设置-搜索引擎-管理搜索引擎

  • 添加搜索引擎http://hostip:3000/?q=%s



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询