我要投稿

当RAG遇上PDF表格，如何实现索引内容的精准回答

发布日期：2024-06-19 12:20:54 浏览次数： 2493

作者：玄姐聊AGI

微信搜一搜，关注“玄姐聊AGI”

解析和理解非结构化文档尤其是图片格式表格（比如：扫描文件中的表格）时，优化 RAG 方案面临重大挑战。难点涉及：

扫描图像的复杂性，包括多变结构、非文本元素及手写与打印文本的混合，这些都阻碍了准确自动提取表格信息，可能导致结构损坏，影响 RAG 输出的完整性和语义理解。
表格标题的精确抽取及其与对应表格的有效关联，这对于正确理解表格意义至关重要。
开发高效索引结构以储存和检索表格的深层语义信息。

本文首先讲述 RAG 表格处理的核心技术，继而评估现有开源解决方案，并进一步提出及实践一种解决方案策略。

—1—

RAG 的关键技术

第一、Table Parsing（表格解析）

该模块核心职责是从非结构化文档及图像中高精度抽取表格结构，强调表格标题的准确提取及与表格本身的便捷绑定。现有方法概览：

1. 多模态 LLM 应用：运用GPT-4V等工具，识别并提取PDF页面中的表格信息。

2. 专用表格检测模型：比如：Table Transformer，专门用于解析表结构。

3. 开源框架利用：采用 unstructured 等框架进行全面文档解析，提取表格相关内容。

4. 端到端模型解决方案：Nougat、Donut 模型直接解析文档并提取表格信息，无需独立OCR，且便于表格标题的自动识别与关联，因表格标题常为内容精要，对理解表格内容至关重要。

第二、Index Structure

索引表格方法概括：

图像表格索引：专对图片格式表格。
文本/JSON 表格索引：针对纯文本和 JSON 结构表格。
LaTeX 表格索引：专门处理 LaTeX 格式。
表格摘要索引：利用 LLM 或多模态模型生成表摘要。
结构化层级索引：按内容从小到大或依文档摘要，涵盖表格各部分（比如：行）至整体（图像、文本、LaTeX 表）。

同时，可直接向多模态 LLM 提交图片、文本及查询，以获取即时答案。

需留意，并非所有策略依托 RAG：

针对性数据训练，运用 BERT-like 模型，比如：TAPAS，专项处理表格理解。
利用 LLM，经预训练、微调或提示调整，执行表格理解任务，参考GPT4Table 方法。

—2—

现有开源解决方案

LlamaIndex 提供四种方式，前三者运用多模态模型：

1. 图像检索后，由 GPT-4V 回应。

2. PDF 页面转图像，GPT-4V 分析建立索引，通过 Image Reasoning Vector Store 查询。

3. 从图中裁剪表格，GPT-4V 处理作答。

4. 表格图像 OCR转文本，送入 LLM 回答。

Langchain解决方案涵盖：

- 半结构化 RAG：Unstructured 解析 PDF 内容，多向量检索器存储，LCEL 实现问答，非多模态 LLM 参与。

- 半结构化+多模态 RAG 方案多样，例如：

- 选项1：CLIP 等嵌入图像和文本，送多模态 LLM 直接回答。

- 选项2：多模态 LLM 生成图像文本摘要，传统 RAG 链路处理 QA。

- 选项3：生成摘要、embedding，根据之找到原图，多模态 LLM 完成问答。

—3—

建议的解决方案

本文概括、分类并探讨了关键技术与现有方案，据此我们提出一项解决方案，如下图示。为清晰起见，简化说明，未展示RAG模块中的重排序和查询改写环节。

表格解析采用 Nougat，据称其表格检测优于 unstructured，擅长提取标题，便于标题与表格关联。

文档索引策略：小块含表格摘要，大块含 LaTeX 表格及标题，应用 Multi-Vector Retriever 存储方法。

表格内容汇总：表格及标题送入 LLM 生成摘要。

Nougat 源于 Donut，无需 OCR，整体架构请参考 Nougat 相关资料。

Nougat 解析公式表格的能力令人印象深刻，也能对表格标题进行关联（解析出来的表格式 LaTeX 格式），比如下面这个例子：

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-05

Ollama新版功能：AI思维链控制

2025-07-05

炸裂！AI“读心术”被破解，我们终于能亲眼看见它的思考过程了！

2025-07-05

智谱新出的模型，做PPT太会整活了

2025-07-05

微软裁员9000人！给员工整不会了：用不用AI都要被裁？

2025-07-04

Karpathy：我不是要造新词，是「上下文工程」对 Agent 来说太重要了

2025-07-04

AI Agent的核心：Context Engineering（上下文工程）

2025-07-04

AI Agent与AI Workflow：“对决”与“共生”，未来属于“混血儿”！

2025-07-04

破局AI内卷：揭秘驱动10倍效能的AI工作流三大核心技术支柱

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

教你解决GPT4o无法使用新版生图功能的教程

2025-04-11

AI法规-《生成式人工智能服务管理暂行办法》（中国）（2023.7）

2025-04-12

分而治之：全面解析分布式分离 Inference 系统

2025-04-29

微软突发“封杀令”！全面禁止Cursor使用C、C++、C# 扩展，开发者被迫回退版本

2025-04-12

Qwen3发布: 4B干掉旧代 72B / Windsurf又增加新的免费计划

2025-04-29

CAG 与 RAG：哪种方法能带来性能更好的人工智能

2025-05-07

高效 Agents 构建指南

2025-05-23

忽视小模型和知识库，企业AI应用必将是死路一条

2025-05-07

豆包，让有独立显卡的电脑都能部署本地大模型，语料库就是电脑里的文件

2025-04-17

大家都在问

微软裁员9000人！给员工整不会了：用不用AI都要被裁？

2025-07-05

智能体（Agent）是怎么知道什么时候要调用 Tool 的？

2025-07-04

AI狂潮下：大公司如何破解"创新者窘境"？

2025-07-04

Anthropic多智能体如何破解企业级任务并行处理瓶颈？

2025-07-03

AI 商业化，Salesforce 做对了什么？

2025-07-03

AI 编程如何在团队中真正落地？

2025-07-02

AI 如何成为认知导航仪？

2025-07-02

巨头混战Agent，押注背后是真未来还是新泡沫？

2025-07-01

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB