AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


Perplexica + Llama-3.1 (405B):一分钟搭建强大的AI搜索引擎,替代Perplexity(本地&免费)
发布日期:2024-07-29 23:17:59 浏览次数: 2356 来源:AI进修生



最近,OpenAI推出了自己的Perplexity——Search GPT,可能他们感觉当第三方使用它们的模型并提供包装时,不如他们自己做。

“ Perplexity声称做了很多事情来生成结果,所以向用户收费20美元,但实际上他们只是GPT4与Google搜索结果的包装。

我曾经介绍过许多本地替代方案的文章,有些被洗脑的人会说没有什么能打败Perplexity,但现在OpenAI直接这么做了,这样Perplexity的投资者现在不会高兴了。

不讨论其他的了,今天我要告诉你如何在你的电脑上本地设置一个Perplexity替代品,使用Llama 3.1 + Perplexica ,它非常类似于Perplexity,免费且完全本地。

设置非常简单,我们可以将其与Ollama和Groq集成。

所以我会向你展示如何用Llama 3.1 8B模型和Groq的Llama 3.1 70B模型来配置它。我还会告诉你如何在文章结束时使用Llama 3.1 405B模型。

好,让我们开始吧。首先,进入Ollama,点击下载按钮,选择你的操作系统并安装。

安装后,进入模型页面。

现在选择Llama 3.1并复制安装命令:ollama run llama3.1,将其粘贴到终端中,模型将开始安装。

安装后,你会在终端中看到这个聊天界面,发送一条消息并检查是否正常工作。

现在我们还需要安装一个嵌入模型到Llama中,为此只需运行这个Ollama pull nomic embed text命令,这将安装嵌入模型。

安装完成后,进入dock。现在下载Docker,按照屏幕上的说明进行安装。

我们需要这个来安装Perplexica,进入Google搜索Perplexica,

点击这个GitHub链接。现在你会看到这个页面,向下滚动并复制这个命令。

现在打开你的终端并将其粘贴进去,这将克隆这个仓库到你的电脑上。

现在在VS Code中打开克隆的文件夹,将sample.config.toml文件重命名为config.toml。

完成后,回到终端,现在cd进入克隆的文件夹并运行这个compose命令,这将为你创建一个Docker容器并启动它。

完成后,你可以在浏览器中打开端口3000,你会看到这个页面。正如你所见,它显示了一个错误,

不要担心,只需进入设置选项并将此URL添加到Al API基URL。

一旦完成,保存它,现在你会看到这个页面正常打开。

但我们仍然不能使用它,所以进入设置选项。现在这里确保你选择了模型,选择Llama 3.1,在嵌入提供者中选择Ollama,然后选择nomic embed text。

完成后我们现在可以使用它了。

在这里发送一条消息,可以看到它正常工作,

你可以得到文章、图片、视频等,这非常酷。你还可以在这里询问后续问题,这也很酷。它拥有Perplexity的所有功能,这也很酷。

它还有与Perplexity一样的搜索功能,比如Reddit、YouTube和其他类似的东西。

这里还有一个共同编辑器开关,虽然我不知道它的作用。你还可以在这个选项中看到你的过去搜索记录。

如果你不想本地运行LLM,但仍想使用Perplexica,你可以使用Groq。Groq添加了Llama 3.1 8B和70B模型,你可以通过API免费使用它,但会有一些速率限制。

要与Groq配置它,只需进入Google搜索Groq Cloud,注册一个账户,并在API密钥选项中创建一个API密钥并复制它。

现在回到Perplexica,打开设置并输入API密钥,

保存它,重新打开设置并将提供者更改为Groq。

现在在这里选择Llama 3.1模型,

保存它,现在你可以开始使用Groq,你会看到与Perplexity相同的速度,

但质量大大提高且免费。如果你不想托管自己的模型但仍想使用它,这也是一个很好的选择。

现在让我告诉你如何与405B模型一起设置它。

我将使用Together AI,因为他们提供一些免费积分。之前是25积分,根据上下文和其他因素,你仍然可以做大约100次请求。

进入Google搜索Together AI,

注册并进入设置选项,

复制你的API密钥。现在回到Perplexica,点击设置并将提供者更改为自定义OpenAI,现在输入这个URL作为基URL,这个模型名称并输入你的API密钥。

一旦完成并看起来像这样,保存它,现在你可以开始使用Llama 3.1 405B。

所以这就是如何使用Llama 3.1设置你自己的Perplexity,完全免费且本地。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询