AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


RAG实战篇:Self-RAG,通过自我反思大幅提升内容生成质量
发布日期:2024-10-14 11:39:29 浏览次数: 1592 来源:风叔云


前言

在《RAG实战篇:构建一个最小可行性的Rag系统》中,风叔详细介绍了Rag系统的实现框架,以及如何搭建一个最基本的Naive Rag。

在前面五篇文章中,风叔分别介绍了索引(Indexing)、查询转换(Query Translation)、路由(Routing)、查询构建(Query Construction)和检索召回环节的优化方案。

但是在最后的生成(Generation)环节,可能会出现以下问题:

  • 第一,当系统忽略了以特定格式(例如表格或列表)提取信息的指令时,输出可能会出现格式错误;
  • 第二,输出错误或者输出不完整,比如对于一些比较类问题的处理往往不尽人意,以及可能出现的幻觉问题;
  • 第三,可能会输出一些不太符合人类/社会偏好,政治不正确的回答


在这篇文章中,围绕最终生成环节,如下图右下角紫色框所示,风叔将介绍一种非常高效的优化生成结果的方案,Self-RAG。


Self RAG的概念

想象一下你正在写一篇论文,突然意识到自己对某个内容还不够了解,这时候你可能会停下来,上网查询之后再继续写。同时,在写作的过程中,你觉得某个段落或某个句子写的还不够好,可能会删掉重写。这个过程,其实就是Self-RAG在做的事情。

Self-RAG的核心思想很简单,让大型语言模型(LLM)在生成文本时能够“停下来”,检查一下自己是否需要更多信息,或者输出的内容是否足够好。这就像是给模型安排了一个小助手,时刻准备着评估和提升其工作的质量。

Self-Rag的关键在于若干个“反思标记”,这些标记会指引LLM思考的方向,具体包括四个关键的标记:

  • 检索需求标记(Retrieve):这类标记用于指示是否需要从外部数据源检索信息。它包括“是”(Yes)和“否”(No)的选项,以及“继续使用证据”(continue to use evidence),后者表示模型可以继续使用之前检索到的信息。
  • 相关性标记(ISREL):这类标记用于指示检索到的信息是否与输入相关。选项包括“相关”(Relevant)和“不相关”(Irrelevant)。
  • 支持度标记(ISSUP):这类标记用于评估检索到的信息是否支持模型的生成内容。它包括三种等级:完全支持(Fully Supported)、部分支持(Partially Supported)和无支持/矛盾(No Support / Contradictory)。
  • 实用性标记(ISUSE):这类标记用于评估生成内容的整体实用性或效用。实用性通常使用一个五级评估标准,从1(最低)到5(最高)。

上图是Self-Rag的流程图,我们来看看伪代码,很清晰的阐明了其执行过程,

输入:接收输入提示(x)和之前生成的文本(y<t),其中(y-t)是模型基于本次问题生成的文本?
检索预测:模型 (M) 预测是否需要检索(Retrieve),基于((x,y<t))。
检索判断:如果 (Retrieve)==是:1.检索相关文本段落:使用(R) 基于((x,y<t))检索相关文本段落(D)。2.相关性预测:模型(M)预测相关性(ISREL),基于(x),段落(d)和(y<t) 对每个(d)进行评估。3.支持性和有用性预测:模型(M)预测支持性(ISSUP)和有用性(ISUSE),基于(x,y<t,d)对每个(d)进行评估。4.排序:基于(ISREL),(ISSUP),和(ISUSE)对(y<t)进行排序。
如果 (Retrieve)==否:1.生成下一个段落:模型(M)基于(x)生成(y_t)。2.有用性预测:模型(M)预测有用性(ISUSE),基于(x,y_t)进行评估。

通过上述流程,可以很清晰地看到四大类标记,在整个检索生成环节的使用。


Self Rag的代码实现

下面,我们结合源代码,详细介绍下Self RAG的实现方案,具体的源代码地址可以在文末获取。

在这段代码中,参考了Self-RAG的一些思想,但是没有完全照搬。比如在四个评分器中,并没有实现检索需求评分器,即默认为都需要进行检索;再比如没有完全按照实用性的要求给回复内容生成1~5的分值,只是输出yes or no。大家感兴趣的话,也可以自行编写更复杂的评分器。

检索相关性评分器

首先,我们来实现检索相关性评分器,用来评估检索到的信息是否与输入相关。通过prompt,告诉大模型“你是一名评分员,负责评估检索到的文档与用户问题的相关性,不用特别严格,目标是过滤掉错误的检索”。

from langchain_core.prompts import ChatPromptTemplatefrom langchain_core.pydantic_v1 import BaseModel, Fieldfrom langchain_openai import ChatOpenAI
# Data modelclass GradeDocuments(BaseModel):"""Binary score for relevance check on retrieved documents."""
binary_score: str = Field(description="Documents are relevant to the question, 'yes' or 'no'")
# LLM with function callllm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)structured_llm_grader = llm.with_structured_output(GradeDocuments)
# Promptsystem = """You are a grader assessing relevance of a retrieved document to a user question. \n It does not need to be a stringent test. The goal is to filter out erroneous retrievals. \nIf the document contains keyword(s) or semantic meaning related to the user question, grade it as relevant. \nGive a binary score 'yes' or 'no' score to indicate whether the document is relevant to the question."""
grade_prompt = ChatPromptTemplate.from_messages([("system", system),("human", "Retrieved document: \n\n {document} \n\n User question: {question}"),])
retrieval_grader = grade_prompt | structured_llm_graderquestion = "agent memory"docs = retriever.get_relevant_documents(question)doc_txt = docs[1].page_contentprint(retrieval_grader.invoke({"question": question, "document": doc_txt}))


生成相关性评分器

然后,我们构建生成相关性评分器,用于评估生成的结果和输入的相关性,避免出现幻觉问题。通过prompt,告诉大模型“你是一名评分员,正在评估 LLM 的生成内容,是否能由一组检索到的事实支持”。

### Hallucination Grader
# Data modelclass GradeHallucinations(BaseModel):"""Binary score for hallucination present in generation answer."""
binary_score: str = Field(description="Answer is grounded in the facts, 'yes' or 'no'")
# LLM with function callllm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)structured_llm_grader = llm.with_structured_output(GradeHallucinations)
# Promptsystem = """You are a grader assessing whether an LLM generation is grounded in / supported by a set of retrieved facts. \n Give a binary score 'yes' or 'no'. 'Yes' means that the answer is grounded in / supported by the set of facts."""hallucination_prompt = ChatPromptTemplate.from_messages([("system", system),("human", "Set of facts: \n\n {documents} \n\n LLM generation: {generation}"),])
hallucination_grader = hallucination_prompt | structured_llm_graderhallucination_grader.invoke({"documents": docs, "generation": generation})


回答质量评分器

最后,我们构建回答质量评分器,用于评估生成内容的整体效果。通过prompt,告诉大模型“你是评分员,需要评估答案是否解决提出的问题,并给出二进制分数【是】或【否】”。

### Answer Grader
# Data modelclass GradeAnswer(BaseModel):"""Binary score to assess answer addresses question."""
binary_score: str = Field(description="Answer addresses the question, 'yes' or 'no'")
# LLM with function callllm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)structured_llm_grader = llm.with_structured_output(GradeAnswer)
# Promptsystem = """You are a grader assessing whether an answer addresses / resolves a question \n Give a binary score 'yes' or 'no'. Yes' means that the answer resolves the question."""answer_prompt = ChatPromptTemplate.from_messages([("system", system),("human", "User question: \n\n {question} \n\n LLM generation: {generation}"),])
answer_grader = answer_prompt | structured_llm_graderanswer_grader.invoke({"question": question, "generation": generation})


篇幅有限,这里只展示了最关键的三个评分器的代码,其他相关代码就不贴出来了。

总结

在这篇文章中,风叔详细介绍了如何通过Self RAG来优化最终生成结果。Self RAG的核心在于四个关键的评分器,即检索需求评分器、检索相关性评分器、生成相关性评分器和回答质量评分器。

至此,我们已经完成了RAG系统全部环节的优化方案,包括索引、查询转换、路由、查询构建、检索召回和内容生成。至此,相信大家对RAG系统已经有了更加深刻的认识,并且能够搭建一个相对完整的RAG系统。

在整个RAG的生态中,还有两座山峰是我们绕不过去的。一座是RAG和知识图谱的结合,用于大幅提升RAG系统的推理和总结能力;另一座是RAG和Agent的结合,用于将RAG系统融合到实际业务流程中。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询