微信扫码
添加专属顾问
我要投稿
EfficientRAG 是一种多轮检索生成(RAG)系统的高效方法,旨在通过多个检索轮次获取更相关的信息,并减少无关信息,从而提高答案的准确性和质量。上图显示了 EfficientRAG 如何集成到传统的 RAG 系统中,它的工作流程包括以下关键步骤和组成部分:
1. 检索阶段
步骤:首先,给定一个查询,EfficientRAG 从知识库中检索到与查询相关的内容块(chunks)。
目的:获取初步的相关信息,作为后续生成答案的基础。
2. 标签器和标注器(Labeler & Tagger)
组成:EfficientRAG 的核心模块之一,标签器和标注器共享相同的模型结构,作为 token 级别的分类器。
功能:
标签器:在检索到的内容块中标注一系列 token,表示可以部分或全部回答问题的有用信息。
标注器:对每个检索到的内容块进行标记,指示该块是否有助于回答问题。如果标记为“继续”(<Continue>),表示需要更多信息;如果标记为“终止”(<Terminate>),表示该块提供了足够的答案。
3. 过滤器(Filter)
功能:过滤器模块根据标签器标注的 token 和当前的查询,构建新的查询,指导下一轮的检索。
步骤:
过滤器将原始问题与之前标注的有用 token 结合起来,生成新的查询。
新的查询替换了原始查询中未知的部分,目标是检索到更多有用信息。
4. 多轮检索迭代
步骤:EfficientRAG 通过多轮次的检索不断改进查询。每一轮检索后,标签器对内容块标注有用信息,过滤器生成新的查询。该过程一直持续到所有内容块都被标记为“终止”(<Terminate>),或达到预设的最大检索轮次数。
目的:获取更全面的答案,特别是用于回答复杂的多跳问题(multi-hop questions),需要跨越多个信息点来最终得出答案。
5. 终止条件与答案生成
步骤:当 EfficienRAG 认为已经获取了足够的信息来回答问题时,它将停止检索。
功能:所有检索到的信息会传递给基于 LLM(大语言模型)的生成器,生成最终的回答。
EfficientRAG 通过标签器、过滤器和多轮检索迭代的设计,解决了传统检索生成方法在处理复杂问题时的效率和准确性问题。它既能减少不必要的信息冗余,又能有效获取关键信息,提升最终答案的质量
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-27
2024-09-04
2024-07-18
2024-05-05
2024-06-20
2024-06-13
2024-07-09
2024-07-09
2024-05-19
2024-07-07
2025-04-01
2025-04-01
2025-03-30
2025-03-28
2025-03-27
2025-03-27
2025-03-25
2025-03-19