微信扫码
与创始人交个朋友
我要投稿
好久没分享过综述了,今天分享一个最新的RAG综述,来自卡内基梅隆大学。标题:A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions
检索增强生成技术(RAG)主要由两个关键部分构成:其一是检索组件,主要职责是从外部数据库(如维基百科或私有库)中提取相关信息,通过密集向量表征进行文档识别;其二是生成组件,基于transformer结构,对获取的信息进行处理并输出自然语言文本。这种技术有效降低了内容生成中的虚假信息,提升了文本的准确性和语境适应性。目前,RAG已在开放域问答、智能对话系统及个性化推荐等多个方向得到应用。
在RAG技术问世以前,NLP领域主要采用单一的检索或生成方法。传统检索系统虽能快速定位相关文档,但缺乏信息整合能力;纯生成模型尽管表达流畅富有创意,却常有事实偏差。这两种方法各有优劣,促使研究者开始探索融合方案,其中DrQA是较早将检索技术应用于问答任务的代表。
该技术面临几个主要问题:首先,在处理模糊查询和专业领域检索时准确度不足,即使采用DPR等技术,仍可能出现检索偏差;其次,检索信息与生成内容的整合有时显得生硬,影响输出质量;再次,系统运行需要大量计算资源,特别是在规模化应用场景下;最后,还存在偏见传播和透明度等伦理问题,虽然RAG可能通过多元信息检索减少偏见,但仍需警惕信息源本身的偏向性。
RAG系统由检索器和生成器两部分组成,前者负责文档检索,后者整合信息生成回应。相比传统模型,RAG能够实时调用外部知识,性能优于固定数据集的生成模型。
作为传统检索方法,BM25基于TF-IDF原理对文档进行排序。虽然在关键词匹配方面表现优异,但在语义理解上存在局限。
DPR采用双编码器架构,将查询和文档映射至高维向量空间,通过语义相似度进行匹配,在开放域问答中展现出优异性能。
REALM创新地将检索过程融入语言模型训练,实现检索器与生成器的协同优化。通过同步更新机制,该方法在知识密集型任务中展现出优势。
最新研究显示,Self-RAG和REPLUG等技术通过引入LLM提升了检索能力。这些系统运用注意力机制处理输入和检索文本,确保生成过程中突出重要信息,尽管计算开销较大。
生成模块作为RAG系统的重要组成部分,主要负责整合检索信息与输入内容,输出连贯的响应结果。该模块以大规模语言模型为基础,确保输出内容的流畅性与准确性,并与初始查询保持高度相关。
作为文本生成的主流选择,T5模型将所有自然语言处理任务统一为文本转换框架。这种设计理念使其在问答、摘要等多种任务中展现出优异的适应性。在与检索模块结合后,T5基础的RAG系统在多个评测数据集上取得了显著成果,尤其是在Natural Questions和TriviaQA等测试中的表现超越了传统生成模型。其出色的多任务处理能力使其成为知识密集型应用的理想选择。
BART在处理含噪声输入的文本生成任务中表现突出,特别适合摘要和开放域问答等应用。其去噪自编码机制能够有效重构受损文本序列,当与检索功能结合时,显著提升了生成内容的事实准确度。
文本领域的RAG应用最为成熟,以BERT和T5为代表的Transformer架构为核心,通过注意力机制增强了文本理解能力,推动了多种实际应用的发展。
音频RAG技术将检索增强生成扩展到语音领域,借助Wav2Vec 2.0等预训练模型进行特征表示,为语音识别等应用提供支持。
视频RAG模型通过I3D TimeSformer等技术捕捉时空特征,实现了视觉与文本信息的融合,提升了视频理解和字幕生成等任务的效果。
跨模态RAG技术整合了多种数据形式,如Flamingo模型实现了文本、图像和视频的统一处理。"检索即生成"方法通过利用大规模配对数据集,将RAG框架扩展到了更广泛的应用场景,实现了高效的跨模态信息检索与生成。
当前RAG框架呈现多元化发展趋势,各具特色:
智能体RAG采用分层多智能体结构,通过小型预训练语言模型构建的子智能体处理特定任务,主智能体负责任务分配与知识检索,展现了较高的灵活性与效率。
医学领域的RULE框架着重提升医学视觉语言模型的准确性,引入校准选择策略和偏好优化机制,有效平衡了模型固有知识与检索信息。
METRAG通过多层次思维增强方式,结合文档相似度和实用性评估,配合任务自适应摘要器,在知识密集型任务中展现优势。
RAFT创新地引入干扰文档训练机制,结合思维链推理,增强模型辨别能力,在多个专业领域数据集上取得显著进展。
FILCO专注于提升上下文质量,通过词汇和信息论方法筛选有效信息,解决了过度依赖或忽视检索内容的问题。
Self-RAG引入反思机制,通过自适应检索和响应评估,使模型能够根据具体任务需求调整行为模式。
其他创新框架包括:
随着Gemini-1.5和GPT-4等支持长上下文的模型出现,RAG技术也相应演进:
这些框架各具特色,推动了RAG技术在不同应用场景中的发展。
以下是修改后的版本:
当前RAG技术存在多个待解决的关键问题:
系统性能方面:
质量控制方面:
社会影响方面:
未来发展重点包括:
关注重点:
发展方向:
重点关注:
发展重点:
创新方向:
未来展望:
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-08
微软GraphRAG 0.4.0&DRIFT图推理搜索更新
2024-11-08
小模型在RAG(Retrieval-Augmented Generation)系统中的应用:提升效率与可扩展性的新路径
2024-11-08
RAG评估:RAGChecker重磅发布!精准诊断RAG系统的全新细粒度框架!
2024-11-07
蚂蚁KAG框架核心功能研读
2024-11-07
为什么它是从PDF中解析数据的最佳工具?PDF文件解析新选择,构建LLM 大模型数据基础
2024-11-06
RAG vs ICL:AI大模型的记忆术和临场发挥,谁才是最强辅助?
2024-11-06
Long2RAG:评估长上下文与长形式检索增强生成与关键点召回
2024-11-06
微软GraphRAG 0.4.0发布,引入增量更新和DRIFT搜索
2024-07-18
2024-07-09
2024-07-09
2024-05-05
2024-05-19
2024-07-07
2024-06-20
2024-07-07
2024-07-08
2024-07-09
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21