微信扫码
与创始人交个朋友
我要投稿
在 AI 领域,高效处理 PDF 文档是提升知识管理效率的关键。
随着检索增强生成(RAG)技术的普及,从朴素 RAG 到高级 RAG,再到 GraphRAG 的快速演进,如微软的 GraphRAG 和 LightRAG 等框架不断涌现。这些框架提升了 RAG 的精度,但大多不支持 PDF 格式,而企业内部却存在大量 PDF 文档。因此,将这些资料有效整合进内部知识库成为技术挑战。
然而,各种开源 PDF 解析和商用 PDF 解析工具到底性能怎么样?是否能够精确地处理好一直被诟病的图表转换问题?最近新出的论文《A Comparative Study of PDF Parsing Tools Across Diverse Document Categories[1]》评测了 10 种流行的 PDF 解析工具,如下表所示。
我们使用Google NotebookLLM[2]对该论文进行分析,它推荐适用性更强的 PDF 解析器PyMuPDF和更适用于论文解析的Nougat。本文在此基础上,加入商业 PDF 解析工具TextIn(通用文档解析器,合合信息旗下)和国内某商用产商(后面以某产商代指)的文档解析器,并以该论文作为样本,探索它们在文本提取、表格检测、图像提取、易用性中的真实表现。无论你是研究人员还是开发者,本文的发现将为你选择合适的解析工具提供宝贵的指导,助力提升文档处理的效率和准确性。
先说结论,满分 5 分。另文末有福利,先到先得~
注:
当前多模态嵌入模型已经出现,我认为准确提取图像也是重要的因素之一,RAG 未来的发展应该不仅仅是文本,也应包括图像。
文本识别和段落完整性,采用大模型进行综合评价,而图表处理则使用肉眼直接对比。
PyMuPDF[3]是一个高性能的 Python 库,用于从 PDF(以及其他)文档中进行数据提取、分析、转换和操作。它支持快速处理 PDF 文件,提供了灵活的接口来提取文本、图像、表格等内容,并且可以进行页面操作、格式转换等多种功能,广泛应用于文档处理、自然语言处理(NLP)任务及数据分析等领域。为了输出 Markdown,这里需要使用它的另外一个版本 PyMuPDF4LLM。API 很简单,非常容易集成到 RAG 应用流程。
使用方法
pip install pymupdf4llm
import pymupdf4llm
import pathlib
md_text = pymupdf4llm.to_markdown("/Users/xxx/Downloads/2410.09871v1.pdf")
pathlib.Path("2410.09871v1-pymupdf.md").write_bytes(md_text.encode())
合合信息[4]是一家人工智能及大数据科技企业,具有优秀的智能文字识别技术,是 OCR 领域领先开发者。公司 C 端产品主要为面向全球个人用户的 APP 产品,包括扫描全能王、名片全能王等;同时也为开发者提供智能文档处理服务。在 TextIn 平台注册后,即可领取 100 页免费测试额度。打开TextIn[5]的通用文档解析工作台,点击左侧上传文件即可,如下图所示。
速度非常快,几乎瞬间转换完成,并且可以逐个段落点击进行高亮对比,如果发现错误也可以手工进行修正,这一点能极大提升文档转换和校正的效率。校正完成后,点击右下角的导出结果按钮即可导出 markdown 文件。本次比对,暂不手动校正,影响其他评测指标,但是否方便校正本身也是一种指标。
除此之外,TextIn 也支持像 PyMuPDF 一样通过 API 调用。在平台获取 Token 之后,按照如下同步代码,即可转换 PDF 为 Markdown。
# 读取文件内容
file_path = '/Users/xxx/Downloads/2410.09871v1.pdf'
with open(file_path, 'rb') as fp:
pdf = fp.read()
# 初始化Textin
app_id = '#####c07db002663f3b085#####'
...
# 发送请求
url = "https://api.textin.com/ai/service/v1/pdf_to_markdown"
headers = {
'x-ti-app-id': app_id,
'x-ti-secret-code': app_secret
}
resp = requests.post(url, data=pdf, headers=headers, params=options)
# 保存结果
result = resp.json()
with open('result.json', 'w', encoding='utf-8') as fw:
json.dump(result, fw, indent=4, ensure_ascii=False)
返回的结果中直接包含 Markdown 的内容,速度很快不到 2 秒 19 页就解析完成了,可以极大提升我们文档处理效率。同时提取的内容可以保存为 md 或者直接将其 chunk 分割,更容易直接集成到 RAG 应用的流程中。
注:若是将这些代码整合成类似 pymupdf 的两行代码就更棒了
Nougat[6]是 Meta 于 2023 年 8 月开源的一款专门用于学术文献的 PDF 解析器,能够理解 LaTeX 数学公式和表格。它是一种基于视觉 Transformer 的模型,执行光学字符识别(OCR)任务,将科学文献处理为标记语言,具体论文可见Nougat: Neural Optical Understanding for Academic Documents[7]。
安装
pip install nougat-ocr
pip install transformers==4.38.2 #必须安装低版本的transformer,不然你可能遇到BARTDecoder错误,亲测4.38.2可用。
然后执行以下命令将论文转换为 markdown 格式。
nougat /Users/xxx/Downloads/2410.09871v1.pdf -o ./ -m 0.1.0-base --batch 2
耗时很夸张,在我的 Mac M1 上 19 页的论文达到了 47 分钟。
INFO:root:Processing file /Users/xxx/Downloads/2410.09871v1.pdf with 19 pages
██████████████████████████████████████████████████████████████| 10/10 [47:57<00:00, 287.71s/it]
注:nougat 生成的是 mmd 文件,兼容mathpic-markdown[8]。我们可以在 VS Code 中安装插件 Mathpix Markdown 来显示。
这家公司也同样支持多样化的文档解析,支持网页端直接上传和使用 API 访问,但是不支持导出为 Markdown,API 需要先上传再轮询状态获取。意味着我们需要离线处理文档,无法直接集成到 RAG 应用流程中。
接下来,我们准备开始对比。对比采用两种方式,文本采用大模型帮助我们比对,而图表我们则使用肉眼直接进行观察,这样更为准确。
既然要看抽取的文档质量是否有差错,可以考虑使用大模型帮助我们自动评判与原文在语义上的相关性,是否存在一些错误的转译。我们选择论文 3.1 节中双排图文混排进行对比。
如下 Prompt 然后要求 ChatGPT 进行打分。
prompt = f"""
这是从PDF原文上使用4种PDF解析器提取的,请对照原文基于以下3个指标进行评价。满分5分,根据这几项进行打分,输出markdown表格
1. **准确识别单词**:是否存在提取的文本错误,忽略错误的单词分隔和连字符等问题。
3. **保持段落完整性**:嵌入的元素如公式或图像可能会导致段落被打断,或者将标题错误地合并到正文中。如果原文有图像,但是转换的markdown没有图像,则需要扣分。
3. **保持原文语义**:是否存在多提取的内容,导致文本不对。
Original Text:
{original_text}
===================
Markdown Generated by Nougat:
{segment1}
===================
Markdown Generated by TextIn:
{segment2}
===================
Markdown Generated by PyMuPDF4LLM
{segment3}
===================
Markdown Generated by Another Vendor
{segment4}
"""
结果输出如下
总结:在文本准确识别上,Nougat 和 TextIn 表现较好,不分伯仲。
我们选取了一个比较有代表性的表格来比较,这个表格有左侧是目录,而右侧标题列,且分为两行副标题列。
PyMuPDF 的表格提取,我其实想问问你提取的是啥?这是表格?
不能说完美,但简直一模一样,除了标题列 Metrics 与 Precision 融合到一起之外,没有任何问题,而这种小错误在校正阶段即可手动修复掉。
Nougat 虽然号称是专为学术领域打造的 PDF 论文解析器,然而在这个表格提取上,属实拉胯。目录丢失严重,关键信息丢了,右侧数据再完整又有何用?但它的公式表现确实不错。
它输出的是 Word 文档,在这个表格上表现不错。但 Word 文档里的表格,RAG 要想正确处理还需要费一番功夫。
但其实论文里充斥的公式导致了整体排版有点混乱,这一点我们在文本比对中并没有显式进行对比,当然本文重点也不是公式比对。
总结:表格提取上,开源的表现都不太好。虽然某产商在表格提取不错,但输出的是 word 文档。这一环节显然 TextIn 胜出。
正如我们之前所说,我们采用肉眼对比图像,接下来多图预警。本节采用 2.1 节中所用图文混排的双排论文作为比对对象。
PyMuPDF 丢失所有图像,只保留图标题。
可以看到 TextIn 准确地识别出了排列,以及图片和其对应的描述。这里图片内容并不影响文本本身的连续性,因为 markdown 中图片内容是以注释[]( "")
格式存在。在 RAG 应用进行 chunk 的时候,并不会导致文本连续受到影响。
Nougat 会把论文中所有的图都丢弃,只保留了图的标题。就这个解析还把原文中的小标题 3.1 丢弃了,整个排版也变得乱序起来,丢大分,耗时就不说了。
图像提取出来了,图像标题也提取了,但是混合到正文中去了,且没有分隔符分开。
总结:图像提取这一环节,开源工具都忽略图像,某产商的图像标题错乱排版,TextIn 依然胜出。
综上,不论是在图表提取、格式兼容还是效率上,TextIn 无疑表现更为优秀,而且非常容易集成到 RAG 的 Pipeline 中。因此,在 RAG 应用中如果你有大量的 PDF 文档,尤其是图表较多的场景,推荐你使用合合信息 TextIn 的通用文档解析器提升文档解析效率。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-05
15种典型RAG框架:卡内基梅隆大学最新RAG综述
2024-11-05
Claude发布新的RAG方法 --- 通过上下文嵌入与BM25结合显著降低数据块检索失败率
2024-11-05
【大模型】深度解析:智能体如何突破 RAG 的三大技术瓶颈
2024-11-05
RAG 系统的分块难题:小型语言模型如何找到最佳断点?
2024-11-05
Adaptive-RAG:通过问题复杂性学习自适应检索增强LLM
2024-11-05
打造自己的RAG解析大模型:Labelme版面标注并顺利完成训练
2024-11-04
实操|如何优雅的实现RAG与GraphRAG应用中的知识文档增量更新?
2024-11-04
DSPy还能整RAG的活?LeReT: 用强化学习实现LLM智能检索
2024-07-18
2024-07-09
2024-07-09
2024-05-19
2024-05-05
2024-07-07
2024-07-07
2024-06-20
2024-07-08
2024-07-09
2024-11-05
2024-11-04
2024-10-27
2024-10-25
2024-10-21
2024-10-21
2024-10-15
2024-10-15