论文标题：Unifying Multimodal Retrieval via Document Screenshot Embedding

论文链接：https://arxiv.org/pdf/2406.11251

项目链接：https://github.com/texttron/tevatron/

在现实世界中，文档以不同的格式和多样的模态组织。传统的检索流程需要定制的文档解析技术和内容提取模块来准备索引的输入。这一过程繁琐、易出错且存在信息丢失。

为此，论文提出了文档截图嵌入（Document Screenshot Embedding，DSE），一种利用截图简化文档检索过程的新型信息检索范式，通过绕过传统预处理步骤并直接使用视觉-语言模型对文档进行编码，DSE提供了一种统一的处理多种文档模式的方法，无需任何内容提取预处理并保留文档中的所有信息（包括文本、图像和布局）。DSE利用大型视觉-语言模型直接将文档截图编码为密集表示用于检索。

为了评估论文的方法，论文首先构建了Wiki-SS数据集，一个包含1.3M维基百科网页截图的语料库，用于回答Natural Questions数据集中的问题。在这种文本密集型文档检索设置中，DSE相较于依赖解析的其他文本检索方法显示出竞争性的有效性。例如，DSE在Top-1检索准确率上超越了BM25 17个百分点。此外，在混合模态任务如幻灯片检索中，DSE在nDCG@10上显著优于OCR文本检索方法超过15个百分点。这些实验表明，DSE是针对多种类型文档的有效检索范式。    

存在几个限制，值得进一步探讨。首先，对于更通用的文档检索任务，如涉及结构和内容高度多变的PDF或网页，其有效性仍有差距。此外，结合论文的方法与提取的文本和图像内容可以使DSE在通用检索任务中更加灵活。其次，论文目前的做法完全依赖于监督微调。然而，文本检索研究显示，对比预训练可以显著提高检索器的有效性。第三，对视觉数据的依赖在视觉数据质量较低的环境中引入了挑战。模糊或低分辨率的截图可能会降低DSE的有效性。相反，处理非常高分辨率的图像可能会降低计算效率。

             
图1：(a)现有文档检索范式与(b)论文提出的范式之间的比较。DSE绕过了文档解析和内容提取过程，直接将包含多模态内容的文档原始外观编码为密集表示

             
图2：DSE编码器架构概览。DSE采用双编码器架构，其中文档塔通过视觉输入将文档截图编码为密集向量，而查询塔则通过文本输入编码查询。文档和查询编码器共享同一语言模型

数据集 论文构建了Wiki-SS数据集，使用Selenium Python工具包通过URL访问英文维基百科页面并自动截图。截图以980 x 980像素的窗口大小进行，以确保核心内容的充分覆盖。截图创建过程从2024年5月20日持续到5月23日，共四天。最终，论文获得了1,267,874张维基百科截图用于论文的实验。    

为了与基于文本的检索基线进行比较，论文创建了一个文本版本的维基百科集合，该集合与Wiki-SS的集合相对应。鉴于维基百科页面随时间发生的重大更新和变化，现有的维基百科转储不能作为公平比较的依据。因此，论文基于2024年5月20日的转储，使用维基百科解析工具mwparserfromhell重新处理了维基百科文本内容。对于文本语料库中的每个文档，论文使用每个文档的前500个单词，这与Wiki-SS中的语料库相对应，其中每个截图仅覆盖第一页内容。

训练数据 论文通过采用NQ训练分割中的问题作为查询，并使用BM25在文本语料库上检索每个问题的最相关的前50个文档来创建训练数据。当相应的文本包含问题的答案时，文档候选（无论是截图还是文本）被视为正例。否则，该文档被视为硬负例候选。如果正例或负例候选列表为空，论文将丢弃训练样本，最终得到49,095个训练示例，包括查询、正例文档和硬负例文档的三元组。

评估 论文使用3,610个NQ测试集问题来评估检索器在域内的有效性。与评估问答数据集上检索有效性的先前实践一致（Karpukhin 等人，2020），论文使用top-k检索准确率作为度量。如果候选文档之一的相应文本内容中包含答案字符串的确切匹配，则认为问题得到了正确回答。论文遵循Karpukhin 等人（2020）相同的方法来计算确切匹配准确率。

数据集 原始的SlideVQA数据旨在用于文档视觉问答。它总共包含14.5k个QA对和52k个幻灯片图像。图像包含各种文本格式、布局和视觉内容，如图表和图表。给定一个问题，原始任务是从同一套最多20张幻灯片中选择最相关的幻灯片，然后根据选定的幻灯片回答问题。文档选择过程以重新排序和分类的形式进行。为了支持文档检索的评估，论文将SlideVQA修改为开放域检索任务，任务是从整个幻灯片图像池中检索k个最相关的幻灯片。经过论文的处理（例如，删除无法下载的幻灯片和没有可用证据幻灯片的问题），SlideVQA-open在其语料库中包含50,714张幻灯片图像（截图）。论文还创建了一个对应的基于文本的语料库，用于与文本检索器进行比较，使用pytesseract OCR工具包从幻灯片中提取文本。

训练数据 论文基于SlideVQA的原始训练分割创建训练数据集，对于给定问题，其标注的证据幻灯片被视为正样本，而同一组中的其他幻灯片则被视为硬负样本。这一过程总共产生了10,290个训练示例。    

评估 论文使用SlideVQA测试集中的2,136个问题构建了SlideVQA-open评估集。论文使用nDCG@10和Recall@10来评估模型的检索效果。在接下来的章节中，提及的SlideVQA指的是开放域检索设置。

(1) BM25：一种基于词汇表示的传统文本检索器。

(2) DPR：论文遵循DPR工作的相同设置，使用BERT-base初始化密集检索器，并基于文本输入在论文的训练数据上进行微调。    

(3) E5：类似于DPR，论文对无监督的E5-base模型进行微调，该模型基于网络数据进一步使用对比学习预训练BERT。

(4) Phi-3：论文使用与DSE相同的模型初始化和配置，但仅将语言模型组件作为基于文本的密集检索器进行微调。此外，论文还比较了微调后的CLIP模型，其图像编码器也由ViT-large初始化（与DSE相同），但仅支持固定长度的patch序列；

表1展示了在监督学习设置下模型的检索效果，其中模型在NQ或SlideVQA训练查询上进行了微调，并在相应的评估集上进行了评估。在维基百科网页检索任务中，DSE显著优于传统的基于文本的检索方法BM25。

具体来说，DSE在Top-1和Top-20检索准确率上分别达到了46.2%和77.6%，比BM25分别高出17个点和10个点。这表明DSE能有效编码截图格式的文本密集型文档以进行检索。

与神经文本检索方法相比，DSE优于较小的模型DPR，并与ES表现相当。Phi-3，使用与DSE相同的40亿参数语言模型，其Top-1检索准确率比DSE高出约4个点。这表明现有的视觉语言模型仍未能完全捕捉截图中的文本内容。

在包含文本和视觉内容的幻灯片检索任务中，论文观察到DSE显著优于（即在nDCG@10和Recall@10上均超过15个点）所有依赖OCR内容提取的文本检索基线。这突显了内容提取步骤中信息丢失的风险，其中OCR仅能提取文本内容，从而丢失了文档的视觉元素。

值得注意的是，神经检索方法DPR在这一任务中未能优于BM25。这可能是由于幻灯片布局的多样性，给文本内容提取带来了额外挑战，导致文本神经检索微调的噪声文本输入。相比之下，DSE 绕过了文本内容提取阶段，直接对文档截图进行编码，从而在检索时保留了更多信息。    

论文进一步评估 DSE 的泛化能力。具体而言，论文将针对 NQ 问题微调的模型应用于 TriviaQA 问题在 Wiki-SS（或相应的 Wiki 文本）语料库中检索答案，以评估其跨不同查询分布的泛化能力。此外，论文还评估了针对 NQ 微调的模型在 SlideVQA 数据集上的跨任务泛化能力。

如表 2 所示，在 TriviaQA 上，基于 LLM（即 Phi-3）的文本检索器实现了最佳的零样本有效性，top-1 检索准确率达到 57.1%。DPR 和 CLIP 的零样本有效性较低，分别被 BM25 超越约 10 个百分点。相比之下，DSE 实现了 50.3% 的 top-1 检索准确率，比 BM25 高出 3 个百分点。这表明 DSE 在不同查询分布上具有相对良好的零样本有效性，但仍有改进空间。    

在幻灯片检索任务中，论文观察到 DSE 在所有模型中表现最佳。具体来说，DSE 在 nDCG@10 上比 BM25 高出 8 个百分点，在nDCG@10的条件下，尽管DSE仅在Wikipedia网页检索任务上进行了微调，其中文本是主要内容，但它仍然能够编码超出文本的文档信息。这一结果表明，DSE在无需特定任务训练的情况下，处理各种文档类型和任务的潜力。

               
图3：维基百科网页快照被不同数量的补丁（红色小方块）分割的示例。随着补丁数量的增加，每个补丁能够捕捉到截图中更细粒度的文本信息。(Cw, Cy)表示图像被分割成 x 个子图像；随后转换成( x 24) x ( x 24)个补丁。更多细节请参见第3.2节和图2    

               
图4：DSE在输入图像不同作物数量下的效果与效率之间的权衡。推理速度在启用BF16精度和FlashAttention的单个H100 GPU上进行测量

               
图5：在Wikipedia和SlideQA上的两个示例的案例研究。论文展示了从微调嵌入到最后层图像块的多头注意力。GLOBAL-HEAD是关注粗略图像特征（336x336）的注意力头，而LOCAL-HEAD是在裁剪后关注更细粒度图像特征的注意力头（16x336x336)。论文验证了文本信息确实是从截图中提取的

论文在图4中绘制了效率和效果。当将图像裁剪成4x4的子图像以进行更细粒度的补丁编码时，前10名的检索准确率从62.0%提高到73.7%，表明更细的粒度有助于模型更好地理解和编码文档截图。然而，这是以计算效率为代价的。随着子图像数量的增加，模型的输入序列长度增加，导致编码时间更长。使用1x1子图像时，文档编码速度为每秒12.2个文档，而使用4x4子图像作为输入时，速度降至每秒4.3个文档。最后，实验表明，使用(C, Cy) -(2, 2)或(3, 3)在检索效果和计算效率之间提供了良好的平衡。