TextIn团队的文档解析测评工具Markdown Tester在Github发布后，我们陆续与大家探讨了目前业内对PDF解析工作的评判标准与我们各项测评指标的设计原理，包括段落、表格、公式、阅读顺序等维度。

今天，我们将介绍另一项重要指标，也是业内面对的一项普遍性难点：标题识别，以及它如何影响数据清洗与RAG系统开发。

此前，我们在讨论段落检测维度的文章《所见即所得，赋能RAG：PDF解析里的段落识别与阅读顺序还原》中详细说明过识别率、召回率与F1的设计原理。

标题检测中，相关指标通过相似规则构建：

• 标题识别率测量的是标题解析是否足够准确，即被识别为标题的项目中有多少是正确的；

• 而标题召回率测量的是段落解析是否足够全面，能不能避免长文档中有没被找到的“漏网之鱼”；

• F1值是识别率和召回率的调和平均值，它综合考虑了这两个指标，用于评估文档解析的整体性能。

树状编辑距离的概念，可以参考《聊聊文档解析测评里的表格指标》。相对于表格树状结构，标题会更易于理解。凡长文档，大部分会包含多层级标题，将标题层级以树状结构的方式表达，并测量预测值与真值间的编辑距离，即可评判各层级标题的解析准确程度。

简而言之，如果解析产品将一篇论文中的二级标题检测为三级子标题，在这项指标里就会被扣分。

标题检测是PDF解析的主要维度之一，在长文档解析中尤为重要。TextIn团队研发了文档树引擎这一关键技术，针对性提升标题检测能力。

物理版面分析技术支持对目标区块的检测与元素识别，并利用标题区块的高度（即字号）判断一级、二级、三级、......N级标题。这种方法解决了一部分问题，但较难在文档格式多样的复杂场景中保持良好表现。在此基础上，文档树引擎从语义出发，增强了标题识别率与召回率。

TextIn文档树引擎遵循以下路径工作：

正确的标题检测结果输出与文档树构建对数据质量有重要的提升作用，对后续数据清洗、大模型语义理解与RAG开发应用场景意义尤为明显。

简单来说，当AI对长文档进行检索与理解，清晰的标题及层级识别，能帮助机器快速读取全文的逻辑结构，并锚定我们希望查找或归纳的信息位置。不论我们需要LLM帮助快速阅读、生成摘要，还是提取细节内容，标题目录都能起到重要作用。

以RAG（Retrieval-Augmented Generation）这一主要场景为例，在系统开发过程中，Chunking（分块）对整体性能有着显著的影响。RAG在进行信息检索的时候需要将检索出来的有价值的文本段送给模型，模型才能生成可靠有用的内容。分块是将整篇文本分成小段的过程，当我们使用LLM embedding内容时，分块可以帮助优化从向量数据库被召回的内容的准确性，因此文本段的质量也是RAG中比较重要的一环。良好的分块能够减少计算资源的消耗，提高检索效率，并提升生成质量。

不同的Chunking策略和参数设置会导致生成Chunk的特点差异，进而影响RAG模型在下游任务中的性能表现。在常规方法之外，也存在对文档要求更高的分块方式：按文档结构切分。这种策略要求文档具有明确的结构化信息，可以有效利用文档的层次信息，保持语义的连贯性。

基于语义分割的优化使用各级子标题作为分块依据，能够最大程度锚定完整内容。优化的实现需要充分的前提条件：文档解析工具能为RAG提供结构清晰、机器可读的长文档，例如自带标题层级的Markdown文本。

好的文档解析工具能让分块处理“不打没准备的仗”，为语义分割提供良好基础。