微信扫码
与创始人交个朋友
我要投稿
最近,OpenAI推出了自己的Perplexity——Search GPT,可能他们感觉当第三方使用它们的模型并提供包装时,不如他们自己做。
“ Perplexity声称做了很多事情来生成结果,所以向用户收费20美元,但实际上他们只是GPT4与Google搜索结果的包装。
我曾经介绍过许多本地替代方案的文章,有些被洗脑的人会说没有什么能打败Perplexity,但现在OpenAI直接这么做了,这样Perplexity的投资者现在不会高兴了。
不讨论其他的了,今天我要告诉你如何在你的电脑上本地设置一个Perplexity替代品,使用Llama 3.1 + Perplexica ,它非常类似于Perplexity,免费且完全本地。
设置非常简单,我们可以将其与Ollama和Groq集成。
所以我会向你展示如何用Llama 3.1 8B模型和Groq的Llama 3.1 70B模型来配置它。我还会告诉你如何在文章结束时使用Llama 3.1 405B模型。
好,让我们开始吧。首先,进入Ollama,点击下载按钮,选择你的操作系统并安装。
安装后,进入模型页面。
现在选择Llama 3.1并复制安装命令:ollama run llama3.1,将其粘贴到终端中,模型将开始安装。
安装后,你会在终端中看到这个聊天界面,发送一条消息并检查是否正常工作。
现在我们还需要安装一个嵌入模型到Llama中,为此只需运行这个Ollama pull nomic embed text命令,这将安装嵌入模型。
安装完成后,进入dock。现在下载Docker,按照屏幕上的说明进行安装。
我们需要这个来安装Perplexica,进入Google搜索Perplexica,
点击这个GitHub链接。现在你会看到这个页面,向下滚动并复制这个命令。
现在打开你的终端并将其粘贴进去,这将克隆这个仓库到你的电脑上。
现在在VS Code中打开克隆的文件夹,将sample.config.toml文件重命名为config.toml。
完成后,回到终端,现在cd进入克隆的文件夹并运行这个compose命令,这将为你创建一个Docker容器并启动它。
完成后,你可以在浏览器中打开端口3000,你会看到这个页面。正如你所见,它显示了一个错误,
不要担心,只需进入设置选项并将此URL添加到Al API基URL。
一旦完成,保存它,现在你会看到这个页面正常打开。
但我们仍然不能使用它,所以进入设置选项。现在这里确保你选择了模型,选择Llama 3.1,在嵌入提供者中选择Ollama,然后选择nomic embed text。
完成后我们现在可以使用它了。
在这里发送一条消息,可以看到它正常工作,
你可以得到文章、图片、视频等,这非常酷。你还可以在这里询问后续问题,这也很酷。它拥有Perplexity的所有功能,这也很酷。
它还有与Perplexity一样的搜索功能,比如Reddit、YouTube和其他类似的东西。
这里还有一个共同编辑器开关,虽然我不知道它的作用。你还可以在这个选项中看到你的过去搜索记录。
如果你不想本地运行LLM,但仍想使用Perplexica,你可以使用Groq。Groq添加了Llama 3.1 8B和70B模型,你可以通过API免费使用它,但会有一些速率限制。
要与Groq配置它,只需进入Google搜索Groq Cloud,注册一个账户,并在API密钥选项中创建一个API密钥并复制它。
现在回到Perplexica,打开设置并输入API密钥,
保存它,重新打开设置并将提供者更改为Groq。
现在在这里选择Llama 3.1模型,
保存它,现在你可以开始使用Groq,你会看到与Perplexity相同的速度,
但质量大大提高且免费。如果你不想托管自己的模型但仍想使用它,这也是一个很好的选择。
现在让我告诉你如何与405B模型一起设置它。
我将使用Together AI,因为他们提供一些免费积分。之前是25积分,根据上下文和其他因素,你仍然可以做大约100次请求。
进入Google搜索Together AI,
注册并进入设置选项,
复制你的API密钥。现在回到Perplexica,点击设置并将提供者更改为自定义OpenAI,现在输入这个URL作为基URL,这个模型名称并输入你的API密钥。
一旦完成并看起来像这样,保存它,现在你可以开始使用Llama 3.1 405B。
所以这就是如何使用Llama 3.1设置你自己的Perplexity,完全免费且本地。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-05-28
2024-04-26
2024-04-11
2024-08-21
2024-07-09
2024-08-13
2024-07-18
2024-10-25
2024-07-01
2024-06-17