微信扫码
与创始人交个朋友
我要投稿
前言
在《RAG实战篇:构建一个最小可行性的Rag系统》中,风叔详细介绍了Rag系统的实现框架,以及如何搭建一个最基本的Naive Rag。
在前面五篇文章中,风叔分别介绍了索引(Indexing)、查询转换(Query Translation)、路由(Routing)、查询构建(Query Construction)和检索召回环节的优化方案。
但是在最后的生成(Generation)环节,可能会出现以下问题:
在这篇文章中,围绕最终生成环节,如下图右下角紫色框所示,风叔将介绍一种非常高效的优化生成结果的方案,Self-RAG。
Self RAG的概念
想象一下你正在写一篇论文,突然意识到自己对某个内容还不够了解,这时候你可能会停下来,上网查询之后再继续写。同时,在写作的过程中,你觉得某个段落或某个句子写的还不够好,可能会删掉重写。这个过程,其实就是Self-RAG在做的事情。
Self-RAG的核心思想很简单,让大型语言模型(LLM)在生成文本时能够“停下来”,检查一下自己是否需要更多信息,或者输出的内容是否足够好。这就像是给模型安排了一个小助手,时刻准备着评估和提升其工作的质量。
Self-Rag的关键在于若干个“反思标记”,这些标记会指引LLM思考的方向,具体包括四个关键的标记:
上图是Self-Rag的流程图,我们来看看伪代码,很清晰的阐明了其执行过程,
输入:接收输入提示(x)和之前生成的文本(y<t),其中(y-t)是模型基于本次问题生成的文本?
检索预测:模型 (M) 预测是否需要检索(Retrieve),基于((x,y<t))。
检索判断:
如果 (Retrieve)==是:
1.检索相关文本段落:使用(R) 基于((x,y<t))检索相关文本段落(D)。
2.相关性预测:模型(M)预测相关性(ISREL),基于(x),段落(d)和(y<t) 对每个(d)进行评估。
3.支持性和有用性预测:模型(M)预测支持性(ISSUP)和有用性(ISUSE),基于(x,y<t,d)对每个(d)进行评估。
4.排序:基于(ISREL),(ISSUP),和(ISUSE)对(y<t)进行排序。
如果 (Retrieve)==否:
1.生成下一个段落:模型(M)基于(x)生成(y_t)。
2.有用性预测:模型(M)预测有用性(ISUSE),基于(x,y_t)进行评估。
通过上述流程,可以很清晰地看到四大类标记,在整个检索生成环节的使用。
Self Rag的代码实现
下面,我们结合源代码,详细介绍下Self RAG的实现方案,具体的源代码地址可以在文末获取。
在这段代码中,参考了Self-RAG的一些思想,但是没有完全照搬。比如在四个评分器中,并没有实现检索需求评分器,即默认为都需要进行检索;再比如没有完全按照实用性的要求给回复内容生成1~5的分值,只是输出yes or no。大家感兴趣的话,也可以自行编写更复杂的评分器。
检索相关性评分器
首先,我们来实现检索相关性评分器,用来评估检索到的信息是否与输入相关。通过prompt,告诉大模型“你是一名评分员,负责评估检索到的文档与用户问题的相关性,不用特别严格,目标是过滤掉错误的检索”。
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_openai import ChatOpenAI
# Data model
class GradeDocuments(BaseModel):
"""Binary score for relevance check on retrieved documents."""
binary_score: str = Field(
description="Documents are relevant to the question, 'yes' or 'no'"
)
# LLM with function call
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm_grader = llm.with_structured_output(GradeDocuments)
# Prompt
system = """You are a grader assessing relevance of a retrieved document to a user question. \n
It does not need to be a stringent test. The goal is to filter out erroneous retrievals. \n
If the document contains keyword(s) or semantic meaning related to the user question, grade it as relevant. \n
Give a binary score 'yes' or 'no' score to indicate whether the document is relevant to the question."""
grade_prompt = ChatPromptTemplate.from_messages(
[
("system", system),
("human", "Retrieved document: \n\n {document} \n\n User question: {question}"),
]
)
retrieval_grader = grade_prompt | structured_llm_grader
question = "agent memory"
docs = retriever.get_relevant_documents(question)
doc_txt = docs[1].page_content
print(retrieval_grader.invoke({"question": question, "document": doc_txt}))
生成相关性评分器
然后,我们构建生成相关性评分器,用于评估生成的结果和输入的相关性,避免出现幻觉问题。通过prompt,告诉大模型“你是一名评分员,正在评估 LLM 的生成内容,是否能由一组检索到的事实支持”。
### Hallucination Grader
# Data model
class GradeHallucinations(BaseModel):
"""Binary score for hallucination present in generation answer."""
binary_score: str = Field(
description="Answer is grounded in the facts, 'yes' or 'no'"
)
# LLM with function call
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm_grader = llm.with_structured_output(GradeHallucinations)
# Prompt
system = """You are a grader assessing whether an LLM generation is grounded in / supported by a set of retrieved facts. \n
Give a binary score 'yes' or 'no'. 'Yes' means that the answer is grounded in / supported by the set of facts."""
hallucination_prompt = ChatPromptTemplate.from_messages(
[
("system", system),
("human", "Set of facts: \n\n {documents} \n\n LLM generation: {generation}"),
]
)
hallucination_grader = hallucination_prompt | structured_llm_grader
hallucination_grader.invoke({"documents": docs, "generation": generation})
回答质量评分器
最后,我们构建回答质量评分器,用于评估生成内容的整体效果。通过prompt,告诉大模型“你是评分员,需要评估答案是否解决提出的问题,并给出二进制分数【是】或【否】”。
### Answer Grader
# Data model
class GradeAnswer(BaseModel):
"""Binary score to assess answer addresses question."""
binary_score: str = Field(
description="Answer addresses the question, 'yes' or 'no'"
)
# LLM with function call
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm_grader = llm.with_structured_output(GradeAnswer)
# Prompt
system = """You are a grader assessing whether an answer addresses / resolves a question \n
Give a binary score 'yes' or 'no'. Yes' means that the answer resolves the question."""
answer_prompt = ChatPromptTemplate.from_messages(
[
("system", system),
("human", "User question: \n\n {question} \n\n LLM generation: {generation}"),
]
)
answer_grader = answer_prompt | structured_llm_grader
answer_grader.invoke({"question": question, "generation": generation})
篇幅有限,这里只展示了最关键的三个评分器的代码,其他相关代码就不贴出来了。
总结
在这篇文章中,风叔详细介绍了如何通过Self RAG来优化最终生成结果。Self RAG的核心在于四个关键的评分器,即检索需求评分器、检索相关性评分器、生成相关性评分器和回答质量评分器。
至此,我们已经完成了RAG系统全部环节的优化方案,包括索引、查询转换、路由、查询构建、检索召回和内容生成。至此,相信大家对RAG系统已经有了更加深刻的认识,并且能够搭建一个相对完整的RAG系统。
在整个RAG的生态中,还有两座山峰是我们绕不过去的。一座是RAG和知识图谱的结合,用于大幅提升RAG系统的推理和总结能力;另一座是RAG和Agent的结合,用于将RAG系统融合到实际业务流程中。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-22
RAG技术在实际应用中的挑战与解决方案
2024-11-22
从普通RAG到RAPTOR,10个最新的RAG框架
2024-11-22
如何使用 RAG 提高 LLM 成绩
2024-11-21
提升RAG性能的全攻略:优化检索增强生成系统的策略大揭秘 | 深度好文
2024-11-20
FastGraphRAG 如何做到高达 20%优化检索增强生成(RAG)性能优化
2024-11-20
为裸奔的大模型穿上"防护服":企业AI安全护栏设计指南
2024-11-20
RAG-Fusion技术在产品咨询中的实践与分析
2024-11-19
构建高性能RAG:文本分割核心技术详解
2024-07-18
2024-05-05
2024-07-09
2024-07-09
2024-05-19
2024-06-20
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21