我要投稿

Llama3高级定制：在线搜索与RAG检索增强，打造你的专属perplexity和GPTs知识库！

发布日期：2024-05-09 20:34:59 浏览次数： 2673 来源：古哒哒研究所

在各种网络信息数据爆棚的今天，企业和个人数据安全和隐私保护开始受到大家的重视。随着开源大语言模型LAMA3的全新升级，使得在本地构建私有化服务提供极大的方便。

今天给大家带来一点Llama3本地化部署的一点思路，仅作简单演示，希望能抛砖引玉，给各位小伙伴带来一点启发。这次演示的框架不仅融合了先进的搜索引擎功能，更在本地知识库的加持下，为您提供了一个既智能又安全的信息处理平台：

?️ 安全为本：本地知识库的深度整合，确保数据安全，隐私无忧。

? 智能搜索：搭载先进搜索引擎，精准捕捉信息，提升决策效率。

? 文档通读：无缝读取PDF等文档，信息获取更快捷，隐私保护更全面。

下面进入正题，首先演示功能比较简单，这里使用一个现成的开源框架，对于有一定编程基础的兄弟，完全可以手撸一个。

准备材料：

ollama ：https://ollama.com/download

docker ：https://www.docker.com/products/docker-desktop/

phidata ：https://github.com/phidatahq/phidata

先安装ollama和docker

然后打开CMD窗口拉取phidata项目，使用conda安装虚拟环境

git clone https://github.com/phidatahq/phidata.gitcd phidataconda create -n phidata python=3.9 --yespip install -U phidatapip install -r requirements.txtpip install ollama tavily-python streamlit

环境安装好之后我们使用tavily来调用搜索引擎API获取网络信息推送给Llama3处理。这里只是演示，你可以根据自己需要换其他搜索接口。

https://app.tavily.com/home 到这里注册一个账户获取api key，不要钱

创建一个环境变量，替换成你自己的key

win：set TAVILY_API_KEY=tvly-xxxxxxxxxxxlinux：export TAVILY_API_KEY=tvly-xxxxxxxxxxx

将下面的代码保存到位于项目根目录的python文件中

from phi.assistant import Assistantfrom phi.llm.ollama import OllamaToolsfrom phi.tools.tavily import TavilyTools

# 创建一个Assistant实例，配置其使用OllamaTools中的llama3模型，并整合Tavily工具assistant = Assistant(    llm=OllamaTools(model="llama3",host="127.0.0.1:11434"),  # 使用OllamaTools的llama3模型tools=[TavilyTools()],show_tool_calls=True,# 设置为True以展示工具调用信息)
# 使用助手实例输出请求的响应，并以Markdown格式展示结果assistant.print_response("Search tavily for 'GPT-5'", markdown=True)

保存之后运行python文件

窗口返回了查询结果，一段GPT-5的介绍和几个相关的网页链接，这就为Llama3提供了实时联网过去最新信息的能力。框架提供多种联网查询的工具这里就不每个介绍了，有兴趣的可以看项目文档，功能十分丰富，三天三夜讲不完。

由于这是一个国外的开源项目，提供的接口对墙内不太友好，需要自备网络环境，也可以自己动手封装国内搜索接口，项目提供了详细的开发文档，非常的Nice。

接下来，再来看一看项目中如何使用Ollama和PgVector进行完全本地文档的检索增强生成（RAG）

所有操作在项目根目录下完成

安装Embeddings模型和依赖：

ollama pull nomic-embed-textpip install -r cookbook/llms/ollama/rag/requirements.txt

使用Docker运行PgVector

docker run -d -e POSTGRES_DB=ai -e POSTGRES_USER=ai -e POSTGRES_PASSWORD=ai -e PGDATA=/var/lib/postgresql/data/pgdata -v pgvolume:/var/lib/postgresql/data -p 5532:5432 --name pgvector phidata/pgvector:16streamlit run cookbook/llms/ollama/rag/app.py

然后打开浏览器：http://localhost:8501/