点击上方蓝字关注我们

【温馨提示：本文末有粉丝福利】

基于大模型的RAG（Retrival-Augmented Generation，检索增强生成）已经成为生成式AI落地最重要的应用形式之一。随着相关理论与实践的不断展开与完善，RAG应用在企业领域也逐渐从原型阶段走向了生产，并呈现出了一些显著的技术发展趋势。

越来越多的人意识到，经典的基于向量检索的RAG在应对简单的事实查询、数据量较小、语义不够复杂的场景下表现良好，但是在生产型的企业应用中，由于原始知识的形态多样性与庞大的数据量、查询任务的复杂性、单一索引技术的局限性、LLM自身的理解与推理局限等，很容易带来诸如召回精度不够、响应质量较低、答案不确定性较大等问题。

因此涌现出了较多复杂的RAG工作流，它们基于可重用的各种RAG模块与算子，包括但不限于各种文档加载与拆分模块、查询重写算法、索引模块、检索算法、重排模型、响应合成算法等，进行组合与编排，一般会带有各种条件路由、分支、循环、迭代等，以实现自我反思、按需检索、概要性查询任务等任务能力，常见的如Self-RAG、C-RAG、RAPTOR等有名的范式。

尽管如此，这些新型的RAG范式远未足够完美，很多尚处于实验性阶段。我们有理由相信，在未来它们将会得到持续的完善与丰富，以不断增强数据与任务的适应性与各项综合性能。

关键技术：

• 工作流编排框架，如LangGraph,LlamaIndex Workflows,LangFlow等

• RAG模块与算法，通常利用成熟的框架如LangChain、LlamaIndex

• 其他关联技术，如Self-RAG中需要的模型微调技术

随着企业数据量的指数级增长，传统的以文本为核心的RAG技术逐渐暴露出局限性。在实际场景中，企业数据形式非常多样化，包括图像、视频、音频、传感器数据以及文本等多模态内容。为更好地挖掘和释放这些数据的潜在价值，RAG 技术也正在从“以文本为核心”向多模态集成与协同的方向发展。

多模态RAG的价值主要体现在：

• 充分释放数据价值：企业积累的多模态内容，如产品图片、视频教程、用户反馈音频等，往往未被充分利用。多模态 RAG 技术能够跨越数据类型，将这些“孤立”信息整合为有价值的知识资产。例如，在制造业中，多模态 RAG 可以结合机器设备的监控视频、传感器数据和操作手册文本，为设备维护和故障排除提供智能的指导。

• 优化用户交互体验：通过将生成内容从单一的文字升级为图文并茂或音视频结合的方式，RAG 技术可以用更直观、生动的形式传递信息。如在教育或培训领域，基于多模态 RAG 的系统可以检索相关课程资料和视频讲解，并自动生成多媒体学习内容，提升交互学员的学习效率。

关键技术：

多模态内容语义对齐、多模态大模型、复杂的文档智能、多模态嵌入等

当前的RAG技术大多以向量索引为核心，这种技术尽管在处理高维语义搜索和模糊匹配方面具有显著优势，但也存在明显的局限性，比如受到嵌入模型影响的语义检索的精确性、缺乏对结构化信息与复杂数据关系的支持、可解释性不足、计算成本较高等问题。因此，越来越多的RAG应用从单一的向量检索逐渐向多种索引技术融合的方向演进，包括关键词索引、知识图谱索引、结合传统关系型数据库的索引方法等。其中以基于知识图谱的Graph RAG最具代表性：

通过构建Graph结构的知识索引与检索能力，GraphRAG在处理涉及复杂实体关系、语义推理与多步逻辑关联的查询上更具优势，更擅长处理隐式事实查询的任务。

整体而言，多索引技融合的RAG方法的价值在于：

• 不同索引方式在不同数据类型和查询需求下各有优势，融合多种索引技术后，RAG系统能够更广泛适配多样化场景。

• 通过多索引协同工作，能够在不同索引策略间切换或并行检索，并借助独立的重排序（Rerank）模型，提升检索的精度。

• 增强可解释性。知识图谱等结构化索引方法为检索结果提供了更强的逻辑性和可解释性，能更清晰地向用户展示结果来源和推理路径。

关键技术：

知识图谱、GraphDB、GraphQL、融合检索、Rerank模型与算法等

传统的检索增强生成（RAG）模型在处理简单的事实查询时表现出色。然而，在实际的生产环境中，用户的查询往往更加多样且复杂。例如，用户可能会提出跨越多个知识来源的问题、需要多步分解与推理才能解答的问题。为了解决这些挑战，Agentic RAG 应运而生。

Agentic RAG 借助于 AI 智能体的思想，使 RAG 系统能够针对复杂的查询任务主动规划解决步骤。通过多次的检索、信息交互以及大型语言模型（LLM）的调用，系统能够逐步构建答案，从而实现对任务的优化输出。其主要价值在于：

• 更擅长处理综合性的输入任务。Agentic RAG 在传统的RAG pipeline基础上引入智能体的思想，借助大模型的函数调用、ReAct提示范式等，实现多步骤规划与推理，从而实现对复杂问题的分解与响应合成。比如跨越多个信息源的综合性或对比性问题等。

• 可以让整个应用更具灵活性与弹性。比如在海量文档的企业环境下，可以对不同的信息构建不同的RAG Pipeline，并进一步构建Agentic RAG智能体。而这些Pipeline可以根据情况采用不同的模型、不同的索引甚至不同的工作流，极大的提高系统的适应性。

• 超越传统被动的问答类RAG应用。借助AI Agent的工具使用能力，你可以将RAG管道与企业内的其他工具结合，构建更复杂的AI智能体工作流。比如在智能咨询的流程中主动给用户发送产品介绍的电子邮件等。

关键技术：

LLM智能体开发技术与框架，如LangChain/LlamaIndex/AutoGen/CrewAI等

基于更智能和长期的记忆来实现个性化，是未来LLM应用的重要趋势之一。通过深入理解用户的交互历史和偏好，LLM 可以提供更贴近用户需求的服务，提升用户体验和满意度。

具体到RAG应用中，在每一次用户交互过程中，RAG应用应该能够实时分析交互过程，捕捉用户的行为特征和习惯。例如，系统可以记录用户使用的语言风格、常用词汇，以及对特定主题的兴趣程度。同时，分析个人的信息偏好，如用户更关注哪些领域、喜欢何种信息呈现方式（简洁概括或详细解释），以及对信息的新鲜度和权威性的要求。

通过这些分析，系统可以建立用户的个性化模型，将用户的偏好和习惯纳入到信息检索和生成的过程。未来在与用户的交互中，系统能够动态地检索与其偏好相关的内容，调整信息的呈现方式，提供更有针对性和个性化的人工智能体验。

关键技术：

• 长期用户记忆：持续记录并智能更新用户的交互历史和偏好信息。

• 实时交互分析：实时分析用户的输入，捕捉细微的情感和意图变化，更新用户模型。

• 个性化信息检索与生成：在信息检索阶段结合用户兴趣和偏好以提高检索结果的相关性；在生成回复时，考虑用户的语言习惯和信息需求，调整语言风格和内容深度，提供个性化的回答。

• 隐私保护机制：在收集和使用用户数据的过程中，严格遵守隐私保护。

为了帮助LLM开发人员更好的、更系统性的学习RAG应用，特别是企业级的RAG应用场景下，当前主流的优化方法与技术实现，我们编写了《基于大模型的RAG应用开发与优化 — 构建企业级LLM应用》这本指南，与大家一起来深入到LLM应用开发的全新世界。

• 这是一本专注在企业级RAG应用开发与优化（部分涉及Agent）的指南。既不会深入Transformer原理与机器学习，也不会讲解如Coze这样的低代码平台的使用。

  
  

• 这是一本RAG基础方法与高级技巧各占一半的书籍，不管你是大模型与RAG的初学者，还是期望深入学习RAG的爱好者，相信你都能各取所需。

  
  

• 尽管书中代码基于主流框架LlamaIndex（相比LangChain更专注RAG也更简洁）实现，但更注重内在的RAG原理讲解，你可以轻易的移植到其他框架实现。

  
  

• 由于大模型的飞速发展与框架的版本迭代，可能存在极少量的内容在你看到时已经出现版本更新，但并不会影响你的理解。

  
  

• 更多问题，欢迎加入读者群，与作者直接沟通。

更多细节，点击如下链接了解

现在购，享50%折扣

END