大型语言模型（LLMs）通过利用外部数据增强，展示了在现实世界任务中突出的能力。这些外部数据不仅提升了模型在特定领域的专业知识和时效性，还有效降低了生成幻觉的风险，从而提高了输出结果的可控性和可解释性。

然而，要在不同领域中成功应用数据增强的LLMs，依然面临许多挑战，这些挑战涉及从检索合适的数据、准确理解用户意图，到充分挖掘LLMs推理能力以完成复杂任务的各个方面。

本研究提出了一种针对RAG（检索增强生成）任务的分类方法，将用户查询根据需求的外部数据类型和任务焦点划分为四个层次：

• 显式事实查询

• 隐式事实查询

• 可解释的基本原理查询

• 隐藏的基本原理查询

我们将详细定义这些查询层级，提供相关的数据集，并概述关键挑战及其解决方案。

此外，我们讨论了将外部数据融入LLMs的三种主要方式：上下文引入、小模型和微调，阐明了它们各自的优缺点，以及适用的任务类型。

本文旨在帮助读者深入理解LLM应用程序的数据需求和主要瓶颈，并为不同的挑战提供解决方案，作为开发此类系统的参考指南。

四层查询的分类

显式事实查询（Level-1）：这一层次是最直白的数据增强问询方式，典型的例子包括：“2024年夏季奥运会将在哪里举行？”（这是依据相关的奥运会文档作出的提问）和“公司X的AI战略是什么？”（该问题基于关于公司X的最新新闻和文章）。

隐式事实查询（Level-2）：此类查询需要依赖一定的常识推理或基础逻辑推理。例如，询问“样本大小大于1000的实验有多少个？”（该问题基于一系列实验记录）或“最常提及的前3个症状是什么？”（依据关于医疗记录的集合）。还可以是“公司X和公司Y的AI战略有什么区别？”（这基于两家公司最新的新闻和文章进行比较的提问）。

解释性理由查询（Level-3）：这一层次不仅需掌握事实，还要求能够分析和理解相关领域的数据。比如，“根据胸痛管理指南，应该如何诊断和治疗具有特定症状描述的胸痛患者？”或“在实际情况下，如何有效回应用户的问题？”（依据客户服务工作流程进行分析）。

隐藏理由查询（Level-4）：这是最具挑战性的查询类型，它需要从外部数据中推断出未显性记录的推理规则。例如，提问“经济形势将如何影响公司未来的发展？”（该问题需要结合多份财务报告分析经济和财务的理由）。还有“使用数字5、5、5和1如何得到24点？”（这是基于24点游戏示例进行思考的提问）。最后，询问“阿富汗是否允许父母将其国籍传给在国外出生的孩子？”（这是依据GLOBALCIT公民法数据集进行考量的）。

RAG系统的技术方法

在RAG系统中，涉及多种技术的应用，例如多模态文档解析和块大小优化等。对此，可以比较传统的数据检索方法与现代的方法，如迭代RAG和基于图的RAG。接下来，将总结这些技术在应用过程中所面临的挑战及其潜在的解决方案。

在各领域中，LLMs（大语言模型）常常面临一些问题，包括模型幻觉和领域知识不一致。因此，整合特定领域的数据显得尤为重要，以满足行业的具体需求。利用RAG和微调等技术，基于RAG的LLM应用相较于仅依赖通用LLM的应用呈现出多个方面的优势。通常情况下，基于RAG的LLM应用可以视作一个映射过程：在给定数据D的基础上，将用户的输入（查询Q）映射到预期的响应（答案A）。依据与外部数据D交互的程度和所需的认知处理深度，可以将查询划分为不同层次。

外部数据往往为高度非结构化，且包含多模态元素，例如表格、图像和视频等。在对这些数据进行分割或“块化”处理时，保留其原始上下文与意义是一大挑战。

可行的解决方案

• 多模态文档解析：

  将表格转换为文本，或将图像和视频内容转化为文本。

• 块大小优化：

  采用固定大小、文档结构递归切分、滑动窗口或基于语义的方法。

• 索引技术：

  如BM25、香兰和混合索引等。

• 查询与文档对齐：

  采用传统对齐、HYDE文档领域对齐及查询领域对齐策略。

• 重排序修正：

  通过重排序方法优化检索结果。

• 递归检索与迭代解锁：

  通过多次检索逐步解决查询中的不明确性。

• 信息生成：

  判断检索到的信息是否充足，或者是否需要额外的外部数据，并处理检索知识与模型内在知识的冲突。

• 微调：

  通过精心设计的训练数据提升RAG系统生成响应的能力。

• 联合训练：

  在训练阶段同时优化检索器与生成器，以增强它们在RAG系统中的协同作用。

需要注意的是，不同的问题可能需要不同数量的检索上下文。固定数量的检索可能导致信息噪声过多或信息不足。此外，推理过程应与检索内容协调，推理能够指导检索所需的信息，而检索到的内容又可以逐步完善推理策略。

进一步的解决方案

• 迭代RAG：

  通过多步骤的RAG过程动态控制信息的收集与纠正，直到找到正确答案。

• 基于图/树的RAG：

  使用图形或树状结构自然表达文本之间的关系，适合需要综合多种参考信息的查询场景。

• NL2SQL：

  在处理结构化数据时，通过将自然语言查询转换为SQL查询以有效检索信息。

应用场景与挑战

RAG系统在各个行业的应用，如医疗和金融，展示了其潜在价值，但也面临着一些重要的挑战。其中一个突出的问题是模型幻觉，指的是模型生成的内容可能不真实或包含错误信息；另一个挑战是信息不一致性，这意味着模型在处理相同问题时可能给出互相矛盾的答案。

为了提高大语言模型（LLMs）的应用质量，集成外部数据显得尤为重要。这种集成主要通过检索增强技术和模型微调来实现。外部数据的整合方式可以是上下文整合、使用小型模型或进行模型微调，每种方式都有其独特的优势与局限。

针对某一特定任务，准确识别待解决的问题类型及其所需的数据，是成功应用的关键。

写在最后

展望RAG系统在大型语言模型中，未来的发展趋势与潜在的技术突破值得关注。可以预见的是，新的应用场景将不断涌现，并且研究方向将逐渐扩展，特别是在自动化与智能化的领域。

读者应持续关注RAG技术的动态进展，以及其对各个行业带来的潜在影响。