大家关心的问题，就是我们的最高优先级。

近期，我们会根据用户朋友们的反馈意见不断优化测评工具，同时，为大家详解我们是如何设计测试指标的。

再次指路我们的测评工具?https://github.com/intsig/markdown_tester

今天，我们先来聊聊PDF解析过程中的一项重难点——表格。

从语料源头来看，需要解析的文档中含有表格的情况十分常见。论文、年报、财报、行研报告、法律文件、企业文档等等类型的文件中，表格都是构成要件之一，且往往包含重要、精密的数据或信息。

当我们将注意力放到下游应用，会发现在普遍的知识库搭建、RAG（Retrieval-Augmented Generation）系统建设等场景中，表格解析也是至关重要的一环。

那么，一个好的表格解析效果是什么样呢？

从直接观感上看，主要有两方面：第一，每个单元格里的内容识别都是正确的；第二，表格整体上没有错行、漏行、错误合并或错误拆分等问题。

为了定量计算以上标准，我们的测试指标在表格维度定义了三个指标，即表格文本全对率、表格结构树状编辑距离以及表格树状编辑距离。

用术语来讲，这个指标的含义是：解析出的表格中每个单元格的文本是否与原始表格完全一致，没有遗漏、错误或多余的字符。

我们可以非常直白地理解，它的意义就是看一个表格中，每个单元格的内容是否完全准确。

以下面这个表为例：

与文本全对率相比，这是一个相对抽象的概念。

首先，在测评中，我们将表格结构用树状形式表现，这是一种对比逻辑结构的实用方法，图示可以参考下方图1。

我们再来看何为“编辑距离”。

这个概念最早来自于机器翻译，指的是对给定的两个字符串，最少要经历多少次插入、删除、替换操作，才能使两个字符串完全一样。

举一个例子："kitten" 和 "sitting"：

1️⃣把 'k' 换成 's'（替换） -> "sitten"

2️⃣把 'e' 换成 'i'（替换） -> "sittin"

3️⃣在最后插入一个 'g'（插入）-> "sitting"

1️⃣增：添加一个节点在父节点和其子节点之间

2️⃣删：将树的某个节点删除，同时将其子节点移动到该节点的父节点上。

3️⃣改：修改节点的label

如果我们的解析引擎给出的表格结构与实际结构完全一致，测试结果中，表格结构树状编辑距离就是0，也即得到满分?。

这个指标得分越高，意味着表格结构还原越好，错行、漏行或合并单元格错误等问题越少。

在前两个指标的基础上，表格树状编辑距离的概念就很好理解了。

这是一项将上述1和2综合起来的指标，整体评估了文本全对率与结构准确度，不仅考虑了单元格的内容，还考虑了表格的层次结构和布局。

通过这项指标，我们能整合测评表格解析结果的准确程度。

放几个案例?直观感受表格解析的效果。

显然，图中的表格数据没有被解析为各列一一对应的格式。如果大模型获得这样的解析结果，必然无法在此基础上提取到准确的参数信息，并建立正确的分析或回答。

本期我们主要介绍了测评指标中针对表格的部分，接下来，我们还会继续探讨标题、段落等指标的设计逻辑。

之后，我们还会不断扩充测评的维度、厂商，更好地满足大家的需求。