构建数据集

本文构建的数据集包括五个公共数据集。为了确保指令的多样性，使用GPT3.5生成了多个指令。同时提供了每个表格任务的用户问题示例。

表格检测（TD）旨在检测文档图像中所有表格的位置。以往的方法主要使用DETR或R-CNN的变体来预测大量重叠的边界框，需要复杂的后处理（如非极大值抑制）来生成最终结果。相比之下，我们采用LLM直接生成实例表格的位置，格式为“[x1，y1，x2，y2]”，其中x1，y1，x2，y2表示相应边界框左上角和右下角的归一化坐标。此外，为了便于检测多个表格的结果，我们使用特殊符号“\n”在输出响应中分割多个表格位置。我们使用PubTab1M-Det执行TD任务，其中的图像来自具有不同比例和旋转类型的表格的PDF文档。

表格结构识别（TSR）是一个用于解析表格结构的任务，主要针对HTML和Markdown两种文本序列来表示表格。HTML可以表示各种类型的表格，但包含大量的标记语法，导致输出响应过长。相比之下，Markdown更简洁，但无法表示跨多行或多列的单元格。为了权衡输出的简洁性和表格解析的完整性，我们提出了一种基于检测格式的规范表格结构表示。我们选择了PubTab1M-Str、FinTabNet和PubTabNet这三个数据集来支持TSR任务。

表格查询（TQ）任务与TSR任务不同，它直接从原始文档图像中解析表格，基于给定的表格位置。这个任务更具挑战性，因为表格的分辨率降低，周围其他文档内容的干扰。

表格问答（TQA）旨在通过表格理解和推理提供精确的答案。我们生成了大量的TQA数据，通过使用Gemini Pro的多模态理解能力，从FinTabNet和PubTab1M中的部分图像中生成。

为了更好地评估各种模型在真实世界表格图像上的TQA性能，我们基于FinTabNet和PubTab1M的测试集构建了一个复杂的TQA数据集（ComTQA）。与WTQ和TabFact相比，ComTQA具有更具挑战性的问题，例如多个答案、数学计算和逻辑推理。总共，我们通过专家注释从大约1.5k个图像中注释了约9k个高质量的问答对。

实验

实现细节

参数设置。meditative token的数量设置为256。文本序列的最大长度设置为4000。我们采用具有单周期学习率策略的余弦调度。在16块A100上进行训练。

数据集。为了全面评估TabPedia的性能，为每个任务使用多个基准。TD任务选择PubTab1M-Det，TSR任务选择FinTabNet、PubTabNet和PubTab1M-Str，对于TQ任务选择PubTab1M-Syn，对于TQA任务选择WTQ 、TabFact和我们的ComTQA。

评价指标。对于TD任务评估指标包括precision, recall和f1-score IoU@0.75。对于TSR和TQ任务，使用基于结构树编辑距离的相似性(S-TEDS)、GriTS指标。对于TQA任务，我们采用准确性度量标准，如果模型生成的响应包含ground truth中存在的字符串，则判断其正确。

总结

TabPedia旨在统一各种视觉表格理解任务。通过引入meditative tokens到LLM中，实现了概念协同机制，无缝集成了多样任务和来自双重视觉编码器的多源视觉令牌作为概念。通过充分利用LLM的能力，有效理解这些概念并生成准确可信的响应。通过在各种公共基准测试中进行广泛的定量和定性实验，验证了TabPedia的有效性。此外，还建立了一个具有约9000个问答对的具有挑战性的表格VQA数据集ComTQA，以进一步探索TabPedia的潜力。