我要投稿

RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！

发布日期：2024-06-13 12:49:01 浏览次数： 2352 来源：PaperAgent

检索增强生成（RAG：Retrieval-Augmented Generation）技术可追溯到2020年Facebook发表的一篇论文：“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”。它结合了信息检索和生成模型技术，通过引入外部知识库信息，解决知识密集型NLP任务的效果：问答、文本摘要等。

大模型RAG之启蒙

大型语言模型（LLMs）虽然展现出了令人印象深刻的能力，但它们在处理特定领域或知识密集型任务时面临诸如产生幻觉（hallucination）、知识过时以及推理过程不透明和不可追溯等挑战。

RAG技术通过整合外部数据库中的知识，作为解决这些问题的有前途的方案。它增强了生成的准确性和可信度，特别是对于知识密集型任务，并允许持续的知识更新和整合特定领域的信息。

大模型RAG核心浓缩成两个核心阶段：

检索阶段：模型首先从外部知识库中检索与输入文本相关的信息。这个知识库可以是对大规模文本数据集进行索引处理后形成的数据库。

生成阶段：将检索到的信息作为输入，到一个生成模型中（如Llama3）。这个生成模型会基于输入信息，生成最终的响应或文本。

高级RAG之36技

从架构、模块、技术三个维度讲解了整个大模型高级RAG企业落地全过程之技术要点，一个框架、10个模块、36种技术！对一些复杂核心模块：分块、向量、重排也进行了系统性总结和概况！

Query理解（Query NLU）：使用LLM作为基础引擎来重写用户Query以提高检索质量，涉及Query意图识别、消歧、分解、抽象等，总计7种技术。

Query路由（Query Routing）：查询路由是LLM支持的决策步骤，根据给定的用户查询下一步该做什么，总计1种技术。

索引（Indexing）：是当前RAG中比较核心的模块，包括文档解析（5种工具）、文档切块（5类）、嵌入模型（6类）、索引类型（3类）等内容，总计8种技术。

Query检索（Query Retrieval）：重点关注除典型RAG的向量检索之外的图谱与关系数据库检索（NL2SQL），总计3种技术。

重排（Rerank）：来自不同检索策略的结果往往需要重排对齐，包括重排器类型（5种），自训练领域重排器等，总计3种技术。

生成（Generation）：实际企业落地会遇到生成重复、幻觉、通顺、美化、溯源等问题，涉及到RLHF、偏好打分器、溯源SFT、Self-RAG等等，总计7种技术。

评估与框架：RAG需要有全链路的评价体系，作为RAG企业上线与迭代的依据，总计3种技术。

RAG新技术：RAG未来将走向哪里？探讨未来的一些可能得方向，以及如何实现，总计3种技术。

一张全景框架图，梳理了10个模块，36种技术（原版图，可编辑）

终章之Agentic RAG

最终，大模型RAG问答终章是Agentic RAG!

向Lv2-智能体提出一个问题。while (Lv2-智能体无法根据其记忆回答问题) {    Lv2-智能体提出一个新的子问题待解答。    Lv2-智能体向Lv1-RAG提问这个子问题。    将Lv1-RAG的回应添加到Lv2-智能体的记忆中。}Lv2-智能体提供原始问题的最终答案。

例如，Query：“与第五交响曲创作于同一世纪的交通工具是什么？”，Agent分两个子问题来解决：

第一个子问题：“第五交响曲是在哪个世纪创作的？”
第二个子问题：“19世纪发明的交通工具”

RAG全景图专栏学习方式

PaperAgent团队打造的RAG全景图专栏囊括70+张图，总计5万余字，专栏之配套包括专业技术交流群、RAG流程与架构图原稿（可自由编辑）等等，专栏之详情咨询+v： PaperAgentll ，备注说明：RAG专栏

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-02-22

TrustRAG：为AI知识检索打造更安全的防线

2025-02-22

DeepSeek+RAGFlow 本地部署避坑指南，一文搞定常见难题！

2025-02-22

基于DeepSeek的本地化知识库 RAGFlow 搭建(附带镜像链接)

2025-02-22

RAGFlow+DeepSeek-R1:14b落地案例分享（足够详细）：机加工行业设备维保场景

2025-02-21

DeepRAG：LLM时代的智能检索革命（实测提升准确率21.99%）

2025-02-21

从零开始优化 RAG 流程的终极指南，解决检索增强生成的核心挑战

2025-02-20

本地运行DeepSeek R1 + RAG系统

2025-02-20

传统分块已死？Agentic Chunking拯救语义断裂，实测RAG准确率飙升40%，LLM开发者必看！

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

一文彻底搞懂大模型 - RAG（检索、增强、生成）

2024-09-04

全网最全国内Agent平台深度测评：扣子、Dify、FastGPT，谁是你的Agent开发首选？

2024-10-27

GraphRAG+Ollama 本地部署，保姆教程，踩坑无数，闭坑大法

2024-07-18

RAGFlow：基于OCR和文档解析的下一代 RAG 引擎

2024-05-05

RAG框架，都在这了!

2024-06-20

RAG 高效应用指南：Embedding 模型的选择和微调

2024-06-13

微软开源的GraphRAG解读

2024-07-09

深入解析 Graph RAG：提升语言模型问答能力的创新策略

2024-07-09

基于Llama 3 构建RAG语音助手：将本地 RAG 与 Qdrant、Whisper 和 LangChain 集成

2024-05-19

Prompt工程师必备：复旦重磅 | 最佳RAG实践长什么样的？

2024-07-07

大家都在问

解锁AI新技能！揭秘检索增强生成（RAG）：如何让AI更懂你的业务？

2025-02-15

DeepSeek-R1超高幻觉率解析：为何大模型总“胡说八道”？

2025-02-12

打造RAG智能助手：实时数据检索的终极指南！惊呆你的需求，如何一步到位？

2025-02-05

RAG知识库中文档包含表格数据如何处理？

2025-02-05

破解大模型困境：RAG技术如何成为AI的终极武器？

2025-01-24

RAG文档分块新思路：LGMGC如何提升文档分块的语义连贯性？

2025-01-24

传统 RAG 和 Agentic RAG有什么不同？

2025-01-20

AI“捉妖记”：腾讯“朱雀”上线，我们离“真相”更近一步？

2025-01-18

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB