我要投稿

检索增强生成（RAG）：从理论到LangChain的实现

发布日期：2024-04-06 07:37:30 浏览次数： 2636 来源：二师兄talks

本文关注 RAG 的概念并首先介绍其理论。然后，它继续展示如何使用 LangChain 进行编排、 OpenAI 语言模型和 Weaviate 矢量数据库来实现简单的 RAG 管道。

什么是检索增强生成

检索增强生成（RAG）是为 LLMs 提供来自外部知识源的附加信息的概念。这使他们能够生成更准确和更符合上下文的答案，同时减少幻觉。

问题

最先进的 LLMs 接受大量数据的训练，以获得存储在神经网络权重（参数存储器）中的广泛常识。然而，提示 LLMs 生成需要未包含在其训练数据中的知识（例如更新的、专有的或特定领域的信息）的完成，可能会导致事实不准确（幻觉），如以下屏幕截图所示：

因此，弥合 LLMs 的一般知识和任何其他背景之间的差距非常重要，以帮助 LLMs 生成更准确和更符合背景的完成结果，同时减少幻觉。

解决方案

传统上，神经网络通过微调模型来适应特定领域或专有信息。尽管这种技术很有效，但它也是计算密集型的、昂贵的，并且需要技术专业知识，使其不太灵活地适应不断变化的信息。

简单来说，RAG 对于法学硕士来说就像开卷考试对于人类一样。在开卷考试中，学生可以携带参考材料，例如课本或笔记，可以用来查找相关信息来回答问题。开卷考试背后的想法是，测试的重点是学生的推理能力，而不是他们记忆特定信息的能力。

同样，事实知识与LLM的推理能力分离，并存储在外部知识源中，可以轻松访问和更新：

参数知识：在训练期间学习到的知识，隐式存储在神经网络的权重中。
非参数知识：存储在外部知识源中，例如向量数据库。

普通 RAG 工作流程如下图所示：

检索：用户查询用于从外部知识源检索相关上下文。为此，使用嵌入模型将用户查询嵌入到与向量数据库中的附加上下文相同的向量空间中。这允许执行相似性搜索，并返回矢量数据库中最接近的前 k 个数据对象。
增强：用户查询和检索到的附加上下文被填充到提示模板中。
生成：最后，检索增强提示被馈送到 LLM。

使用 LangChain 实现检索增强生成

本部分使用 OpenAI LLM 结合 Weaviate 矢量数据库和 OpenAI 嵌入模型在 Python 中实现 RAG 管道。LangChain 用于编排。

先决条件

请确保已安装所需的 Python 包：

langchain用于编排
openai用于嵌入模型和 LLM
weaviate-client对于矢量数据库

#!pip install langchain openai weaviate-client

此外，在根目录下的 .env 文件中定义相关的环境变量。要获取 OpenAI API 密钥，您需要一个 OpenAI 帐户，然后在API 密钥下“创建新密钥” 。

OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"

然后，运行以下命令加载相关环境变量。

import dotenvdotenv.load_dotenv()

准备

作为准备步骤，您需要准备一个矢量数据库作为保存所有附加信息的外部知识源。该矢量数据库是通过以下步骤填充的：

收集并加载您的数据
将您的文档分块
嵌入和存储块

第一步是收集和加载您的数据- 在此示例中，您将使用拜登总统 2022 年的国情咨文作为附加背景。原始文本文档可在LangChain 的 GitHub 存储库中获取。要加载数据，您可以使用 LangChain 的众多内置[DocumentLoader](<https://api.python.langchain.com/en/latest/api_reference.html#module-langchain.document_loaders>)函数之一。Document 是一本包含文本和元数据的字典。要加载文本，您将使用 LangChain 的 TextLoader。

import requestsfrom langchain.document_loaders import TextLoader
url = "<https://raw.githubusercontent.com/langchain-ai/langchain/master/docs/docs/modules/state_of_the_union.txt>"res = requests.get(url)with open("state_of_the_union.txt", "w") as f:f.write(res.text)
loader = TextLoader('./state_of_the_union.txt')documents = loader.load()

接下来，对您的文档进行分块 -由于Document. 在其原始状态下太长，无法放入 LLM 的上下文窗口，因此您需要将其分成更小的部分。LangChain 内置了许多用于此目的的文本分割器。对于这个简单的示例，您可以使用CharacterTextSplitter achunk_size约为 500 和 achunk_overlap为 50 的来保持块之间的文本连续性。

from langchain.text_splitter import CharacterTextSplittertext_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)chunks = text_splitter.split_documents(documents)

最后，嵌入并存储块- 要启用跨文本块的语义搜索，您需要为每个块生成向量嵌入，然后将它们与其嵌入存储在一起。要生成向量嵌入，您可以使用 OpenAI 嵌入模型，并可以使用 Weaviate 向量数据库来存储它们。通过调用.from_documents()矢量数据库会自动填充块。

from langchain.embeddings import OpenAIEmbeddingsfrom langchain.vectorstores import Weaviateimport weaviatefrom weaviate.embedded import EmbeddedOptions
client = weaviate.Client(embedded_options = EmbeddedOptions())
vectorstore = Weaviate.from_documents(client = client,documents = chunks,embedding = OpenAIEmbeddings(),by_text = False
)

第 1 步：检索

填充矢量数据库后，您可以将其定义为检索器组件，该组件根据用户查询和嵌入块之间的语义相似性获取附加上下文。

retriever = vectorstore.as_retriever()

第 2 步：增强

接下来，要使用附加上下文来增强提示，您需要准备一个提示模板。可以通过提示模板轻松自定义提示，如下所示。

from langchain.prompts import ChatPromptTemplate
template = """You are an assistant for question-answering tasks.Use the following pieces of retrieved context to answer the question.If you don't know the answer, just say that you don't know.Use three sentences maximum and keep the answer concise.Question: {question}Context: {context}Answer:"""prompt = ChatPromptTemplate.from_template(template)
print(prompt)

第 3 步：生成

最后，您可以为 RAG 管道构建一条链，将检索器、提示模板和 LLM 链接在一起。一旦定义了 RAG 链，您就可以调用它。

from langchain.chat_models import ChatOpenAIfrom langchain.schema.runnable import RunnablePassthroughfrom langchain.schema.output_parser import StrOutputParser
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)
rag_chain = ({"context": retriever,"question": RunnablePassthrough()}| prompt| llm| StrOutputParser())
query = "What did the president say about Justice Breyer"rag_chain.invoke(query)

"The president thanked Justice Breyer for his service and acknowledged his dedication to serving the country.The president also mentioned that he nominated Judge Ketanji Brown Jackson as a successor to continue Justice Breyer's legacy of excellence."

您可以看到此特定示例生成的 RAG 管道，如下所示：

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

下一代 RAG 技术来了！微软正式开源 GraphRAG：大模型行业将迎来新的升级？

2024-07-07

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

大家都在问

构建行业RAG应用系统：金融、财务、保险、医疗等行业该怎么做？

2024-12-21

为什么分块在RAG技术中很重要？但又很没有存在感？

2024-12-14

比GraphRAG还好的LightRAG到底是何方神圣？

2024-12-01

企业级RAG应用的5大技术发展趋势，你准备好了吗？

2024-11-27

RAG搭建中，如何选择最合适的向量索引？

2024-11-25

RAG vs ICL：AI大模型的记忆术和临场发挥，谁才是最强辅助？

2024-11-06

企业如何从0到1构建RAG系统？