提升RAG性能的关键一步：一种基于混合分块器的粒度感知方法

推荐语

探索RAG技术中提升性能的新策略，揭示文本分块的重要性及其优化方法。

核心内容：
1. RAG系统在大语言模型中的作用与挑战
2. 文本分块在RAG系统中的关键角色
3. 新提出的评估指标与MoC分块框架设计

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

检索增强生成 (Retrieval-Augmented Generation, RAG) 作为一种旨在应对大语言模型 (LLM) 在数据新鲜度、幻觉和领域知识不足等方面挑战的技术范式，通过检索相关知识来增强其生成答案的准确性。

正如我们所知，一个优秀的RAG系统离不开两个核心组件：检索器（Retriever）和生成器（Generator）。检索器负责从海量数据中找到与用户query最相关的文档片段，而生成器则利用这些检索到的信息来生成最终的答案。实践证明，RAG策略的有效性毋庸置疑。然而，这篇论文却敏锐地指出，在RAG的整个流程中，一个常常被忽视但至关重要的环节，就是对原始文本进行分块（Text Chunking）的处理。

想象一下，如果图书馆里的书籍被随意撕成碎片，或者将毫不相关的段落硬塞在一起，那么即使是最优秀的图书管理员（检索器）也很难找到有用的信息，更不用说让读者（生成器）理解并从中学习了。这正是文本分块在RAG中扮演的关键角色。高质量的文本分块能够让检索到的信息更加集中和精确，减少无关信息的干扰，从而提升LLMs生成答案的质量。

然而，传统的文本分块方法，比如基于规则或语义相似性的方法，往往难以捕捉文本中细微的逻辑关系变化。而一些利用LLMs进行分块的新方法，虽然效果有所提升，但常常面临计算成本高昂的问题。此外，我们还缺乏一套独立于下游任务（如问答准确率）的指标来直接评估文本分块本身的质量。

这篇论文正是针对上述痛点，创新性地提出了双重评估指标——边界清晰度（Boundary Clarity）和块粘性（Chunk Stickiness），旨在直接量化文本分块的质量。更进一步，为了在保证分块精度的前提下降低计算成本，研究人员还设计了一个名为 MoC（Mixtures of Chunking Learners，混合文本分块学习器） 的框架。

一、MoC的核心奥秘：兼顾精度与效率的分块新范式

这篇论文的核心贡献在于两方面：一是提出了直接评估文本分块质量的新指标，二是设计了高效且精准的MoC分块框架。

1. 量化分块质量：边界清晰与块块相连

正如前文所说，以往对文本分块效果的评估往往依赖于下游任务的性能，这就像是通过考试成绩来判断课本章节划分是否合理，难免存在间接性和滞后性。为了更直接地评估分块的质量，研究人员创新性地提出了两个核心指标：

• 边界清晰度（Boundary Clarity, BC）：这个指标衡量的是分块是否有效地将语义单元分隔开。清晰的边界意味着每个文本块在语义层面是相对独立的，减少了后续任务中可能出现的混淆。研究人员使用困惑度（Perplexity）来计算边界清晰度。简单来说，如果两个相邻的文本块在语义上是独立的，那么在给定前一个文本块的情况下，语言模型预测后一个文本块的困惑度应该接近于直接预测后一个文本块的困惑度，此时BC值接近于1。反之，如果两个文本块语义高度相关，BC值则接近于0，表明边界模糊。

  
  

• 块粘性（Chunk Stickiness, CS）：这个指标关注的是一个文本块内部语义关系的紧密程度和连续性。理想的分块应该保证每个块内部的逻辑是连贯和完整的，避免在逻辑上相关的句子之间进行分割。研究人员通过构建一个语义关联图来计算块粘性。图中的节点代表文本块，边代表块与块之间的语义关联强度。边权重通过计算两个文本块的困惑度差异来定义。然后，通过计算这个语义关联图的结构熵来量化块粘性。较低的CS值表示文本块内部语义更紧密，块与块之间的独立性更好。为了提高计算效率，研究人员还提出了一种基于序列感知的非完全图构建策略，在考虑语义关联的同时，也保留了原始文本的顺序信息。

  
  

通过这两个指标，研究人员不仅能够更直接地评估不同分块策略的优劣，还能够深入分析语义分块在某些场景下表现不佳的原因。实验结果表明，与基于语义相似性的分块相比，LLM生成的分块往往具有更高的边界清晰度和更低的块粘性。

2. MoC框架：多粒度专家协同作战

为了解决LLM分块计算成本高和传统方法精度不足的矛盾，研究人员提出了粒度感知的混合分块器（Granularity-Aware Mixture-of-Chunkers, MoC）框架。这个框架的核心思想是分而治之，它将连续的粒度空间划分为多个相邻的子域，每个子域对应一个轻量级的、专门的元分块器（Meta-Chunker）。

MoC框架主要包含以下三个关键部分：

• 多粒度感知路由器（Multi-granularity-aware Router）

  这个模块的作用是根据输入的文本特征，动态地选择最适合当前文本的元分块器进行处理。为了训练这个路由器，研究人员首先构建了一个包含不同粒度分块的数据集。这个数据集的构建过程颇为巧妙，他们利用强大的GPT-4o模型生成高质量的文本分块，并通过一系列策略（如滑动窗口、数据清洗、编辑距离校验等）来保证数据的质量和可靠性。然后，他们对小语言模型（SLMs）进行微调，使其能够根据文本的长度等特征预测合适的粒度标签（例如，对应不同的平均块长度区间）。在推理阶段，路由器通过对SLM输出的概率分布进行边际采样，选择概率最高的粒度类别，并将待分块的文本路由到相应的元分块器。

  
  

• 专用元分块器（Specialized Meta-Chunkers）

  与直接生成完整的文本块不同，MoC框架中的元分块器的目标是生成结构化的分块正则表达式列表。每个正则表达式只包含文本块的开头（S）和结尾（E）的几个字符，中间的内容则用一个特殊的占位符（如“[MASK]”、“<…>”等）代替。这样做的好处是，极大地减少了元分块器需要生成的文本长度，从而降低了计算成本。研究人员定义了包含八个特殊字符的集合作为占位符。他们针对不同的粒度级别（对应不同的平均块长度），使用相应粒度的数据对元分块器进行全量微调。实验表明，不同的占位符对性能有一定影响，而“[MASK]”和“<.*>”等表现出了较好的效果。

  
  

• 编辑距离恢复算法（Edit Distance Recovery Algorithm）

  由于元分块器生成的是包含占位符的正则表达式，因此需要一个后处理步骤来从原始文本中精确地提取出文本块。编辑距离恢复算法通过计算元分块器生成的字符串（包含开头、占位符和结尾）与原始文本片段之间的最小编辑距离，来精确定位原始文本中与生成规则最匹配的部分，从而确保提取的准确性。

  
  

总的来说，MoC框架通过路由器实现对不同粒度文本的智能分发，利用轻量级的元分块器高效生成分块规则，并通过编辑距离恢复算法确保最终分块的准确性。这种混合专家的策略，有效地平衡了计算效率和分块精度。

二、MoC的实践效果：实验数据说话

为了验证所提出的评估指标和MoC框架的有效性，研究人员进行了大量的实验。他们使用了包括CRUD、DuReader和WebCPM在内的四个不同的问答数据集。实验中，他们将MoC与多种基线方法进行了比较，包括传统的基于规则的分块方法（如固定长度分块、Llama_index的分块方法）和动态分块方法（如基于语义相似性的分块、LumberChunker等）。

实验结果令人鼓舞！在多个问答数据集上，Meta-chunker（MoC框架中的核心组件） 和 完整的MoC框架 在各种评估指标（如BLEU、ROUGE-L、F1）上都表现出了显著的优势。尤其值得一提的是，即使与参数量更大的LLM（如Qwen2.5-14B和Qwen2.5-72B）直接进行分块相比，Meta-chunker-1.5B在大部分场景下都展现出了更优或相当的性能，尤其是在处理复杂长文本时。

此外，研究人员还通过实验验证了他们提出的边界清晰度和块粘性这两个指标的有效性。实验结果表明，这两个指标的数值变化趋势与RAG系统的问答性能具有一致性，能够独立地评估文本分块的质量，而传统的基于语义相似性的“不相似度”指标则未能展现出这种相关性。这有力地解释了为什么仅仅依赖语义相似性进行分块在RAG中可能效果不佳。

通过对超参数（如块粘性计算中的阈值K，以及元分块器解码时的temperature和top-k）的敏感性分析，研究人员进一步探究了MoC框架的鲁棒性和最佳实践。实验表明，较低的temperature和top-k值通常能带来更稳定和精确的分块效果。 

为了更全面地评估分块的效果，研究人员还提出了一种基于信息支持的评估方法，通过计算检索到的文本块对目标答案的条件概率来衡量分块的质量。实验结果再次证明，MoC框架能够生成更具有信息支持性的文本块，从而降低生成正确答案的难度。

三、MoC的展望：更智能的RAG系统

这项研究提出的MoC框架及其评估指标，为RAG系统中至关重要的文本分块环节带来了新的思路和方法。其潜在的应用场景和价值是值得期待的：

• 提升RAG系统性能：通过更精确和高效的文本分块，MoC框架有望显著提升RAG系统在各种知识密集型任务中的性能，例如开放域问答、知识库检索、文档摘要等.

  
  

• 降低计算成本：MoC框架通过混合使用轻量级的元分块器，并在生成分块规则时只关注文本的开头和结尾，有效地降低了计算资源的需求，使得在资源受限的环境中部署高性能RAG系统成为可能.

  
  

• 指导分块策略优化：提出的边界清晰度和块粘性指标，为我们理解不同分块策略的优缺点提供了理论基础和量化手段，有助于未来研究者设计更优的分块算法.

  
  

• 促进RAG生态发展：更高效和可靠的文本分块技术，将为构建更强大的RAG系统奠定坚实的基础，推动整个RAG技术生态的繁荣发展.

  
  

当然，研究人员也在论文中指出了目前的一些局限性，例如训练数据集的规模相对有限，以及在多语言环境下的适应性和验证尚不足等。这些也为未来的研究指明了方向：例如，可以进一步扩充和优化训练数据集，探索MoC框架在不同语言和领域中的表现，以及研究更精细化的粒度划分和更高效的元分块器设计等。

四. 总结

总而言之，这篇论文通过提出边界清晰度和块粘性这两个创新的评估指标，深刻揭示了传统和语义分块在长文本处理中的局限性，并论证了LLM参与分块的必要性。同时，提出的MoC框架通过多粒度感知路由和轻量级元分块器相结合的方式，实现了精度和效率的平衡，为RAG系统中的文本分块问题提供了一个极具潜力的解决方案。这项研究不仅为我们理解文本分块的本质提供了新的视角，也为未来构建更智能、更高效的RAG系统指明了道路。