我要投稿

MinerU的magic pdf部署: 高质量pdf转markdown 布局,公式,结构检测(MacOS)

发布日期：2024-07-31 07:20:44 浏览次数： 1893

我用 Macbook Pro 96G+8T 部署, 把部署过程一步步梳理到下文, 部署中遇到的bug也做了记录

整体部署结果不理想, 部署 magic pdf该项目还需要另一个项目PDF-Extract-Kit运转后生成 model.json文件, 并且目前不支持识别表格, 只是结构解析和公式, 开发者表示, 现在也开源一部分功能出来, 后续还在完善

01

minerU

支持多种前端模型输入
删除页眉、页脚、脚注、页码等元素
符合人类阅读顺序的排版格式
保留原文档的结构和格式，包括标题、段落、列表等
提取图像和表格并在markdown中展示
将公式转换成latex
乱码PDF自动识别并转换
支持cpu和gpu环境
支持windows/linux/mac平台

table的解析能力目前还没达到开放的标准，还在开发中

magic-pdf.template.json 我是直接去 Github 下载的,更改名称复制到 json

使用的是最简单的命令行指令, pdf_path 写 pdf 文档本地路径, 需要是文件,不是文件夹, 所以命令行更适合一个文件一个文件转换, model_json_path, 模型文件的本地路径,需要由另外一个项目PDF-Extract-Kit 来生成, 这两个项目是同一个团队打造的, 后期会准备集合,现在先初步开源方便一些有需要的人使用

pip install magic-pdf
cp magic-pdf.template.json ~/magic-pdf.json
magic-pdf pdf-command --pdf "pdf_path" --model "model_json_path"

如果没有 model_json,在转换过程中出现以下解析错误

pdf extract kit 包括 :

布局检测：使用LayoutLMv3模型进行区域检测，如图像，表格,标题,文本等；
公式检测：使用YOLOv8进行公式检测，包含行内公式和行间公式；
公式识别：使用UniMERNet进行公式识别；
光学字符识别：使用PaddleOCR进行文本识别

部署 pdf extract kit, 同时把上面 magic-pdf 环境也重新安装到这个虚拟环境中,避免版本冲突conda create -n pdfpipeline python=3.10

下载 Github 文件

git clone https://github.com/opendatalab/PDF-Extract-Kit.git

下一步安装依赖项就根据自己电脑环境选择, readme 文件有专门说明 ,我这里是 M 芯片的 MBP,安装以下命令


pip3 install -r requirements+cpu.txt

pip install https://github.com/opendatalab/PDF-Extract-Kit/raw/main/assets/whl/detectron2-0.6-cp310-cp310-macosx_11_0_arm64.whl

安装完成后,改两个配置文件, 把这两处的 device 从默认 cuda改成mps(MacOS,M 芯片环境)

PDF-Extract-Kit/configs/model_configs.yaml:2PDF-Extract-Kit/modules/layoutlmv3/layoutlmv3_base_inference.yaml:72

去 huggingface的 pdf extract kit 下载需要用到的布局等模型,不然会报错:No such file or directory: 'models/MFD/weights.pt'

git lfs clone https://huggingface.co/wanderkid/PDF-Extract-Kit

我是自己手动下的, 就 MBF 有个 pytorch bin 的文件有 3G,其他都不到 1G, 下载下来放到之前拉取的 github 文件目录中

下载后注意要重新更改文件名, 下载下来会在文件名前面添加文件夹名, 要把文件夹名删除, 不然运行程序会显示文件找不到

文件结构按照 Huggingface 库里的结构

Layout 是布局识别模型, 布局检测模型基于微软的layoutlmv3-base-chinese微调

MFD 和 MFR 是数学公式识别模型,分别是 math formula detection 和 formula recognition, detection 使用的是YOLOv8-Trained, 识别使用的Unimernet,并没有做多大监督微调SFT

模型下载完后运行, 各个电脑都是下面的命令

python pdf_extract.py --pdf data/pdfs/ocr_1.pdf

在苹果电脑运行还需要配置 MPS, 直接执行上面命令会显示aten::upsample_bicubic2d.out 操作在 MPS (Metal Performance Shaders) 设备上尚未实现

 File "/Users/linyu/ai/PDF-Extract-Kit/modules/layoutlmv3/layoutlmft/models/layoutlmv3/modeling_layoutlmv3.py", line 71, in forward
    position_embedding = F.interpolate(position_embedding, size=(Hp, Wp), mode='bicubic')

NotImplementedError: The operator 'aten::upsample_bicubic2d.out' is not currently implemented for the MPS device. If you want this op to be added in priority during the prototype phase of this feature, please comment on https://github.com/pytorch/pytorch/issues/77764. As a temporary fix, you can set the environment variable `PYTORCH_ENABLE_MPS_FALLBACK=1` to use the CPU as a fallback for this op. WARNING: this will be slower than running natively on MPS.

需要临时在终端输入export PYTORCH_ENABLE_MPS_FALLBACK=1 或者在py 运行文件中加

import os
os.environ['PYTORCH_ENABLE_MPS_FALLBACK'] = '1'

但是又会出现RuntimeError: Expected repeatBuffer && cumsumBuffer && resultBuffer to be true, but got false.

结果只有把 MPS设备换成CPU, 还是在上面提过的 2 个配置位置修改

出现以下结果就是在处理了

0: 1888x1344 (no detections), 3089.3ms表示模型处理了一张 1888x1344 尺寸的图像，处理时间为 3089.3 毫秒，但未能检测到任何目标

• 24.7ms preprocess: 图像预处理时间为 24.7 毫秒

• 3089.3ms inference: 模型推理时间为 3089.3 毫秒。这是主要的耗时部分。

• 0.3ms postprocess: 结果后处理时间为 0.3 毫秒

结果出现 timeout , 准备放弃部署, 等这个项目成熟些,有功能更新再部署试试

运行完成后会生成一个 model.json 的模型解析文件,应该就是前面 magic pdf 需要的

magic-pdf pdf-command --pdf "/Users/linyu/ai/pdf储能政策知识库/《“十四五”能源领域科技创新规划》2021.pdf" --model ""

02

后续可能会再试试其他 pdf 转格式的工具, 比如 gptpdf,使用 GPT-4V 这种多模态模型识别 pdf,平均每页消耗成本: $0.013

整体原知识库是哪个格式是个问题, 不同 RAG 对格式支持都不同, 准备都转成 markdown 试试,最近微软的 GraphRAG 开源, 先初步了解了解技术, 要实际上手部署还有些距离, 太新的开源技术,试错成本稍稍有点高 ,相关社区也不太成熟

大家是怎么处理知识库的数据的呢, 欢迎交流

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

太强了！10大开源大模型！

2024-05-06

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

2023-07-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

2024-07-08

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

Coze收费了，我还用吗？

2024-07-18

教你使用Ollama在本地跑Llama3.1

2024-07-25

中医大模型，开源！

2024-06-16

大家都在问

疯狂24h后，openai o1有哪些新的秘密？

2024-09-14

OpenAI的o1模型会带来哪些影响和机会？

2024-09-14

LLM 基础知识 | WaterMarking，你搞懂了吗？

2024-09-12

清华开源LongCite，如何提高大模型的溯源能力？

2024-09-07

大模型的泡沫什么时候破灭？

2024-08-06

大模型的泡沫什么时候破灭？

2024-08-04

微调Llama 3.1，用神器Unsloth

2024-08-03

AGI｜如何在本地运行大型语言模型？

2024-07-30

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

01

02

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

开源项目Composio：突破 AI 智能体开发的边界

太强了！10大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

如何免费使用 Claude AI？Claude使用指南！

Coze收费了，我还用吗？

教你使用Ollama在本地跑Llama3.1

中医大模型，开源！

大家都在问

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

LLM 基础知识 | WaterMarking，你搞懂了吗？

清华开源LongCite，如何提高大模型的溯源能力？

大模型的泡沫什么时候破灭？

大模型的泡沫什么时候破灭？

微调Llama 3.1，用神器Unsloth

AGI｜如何在本地运行大型语言模型？

热门标签

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

01

02

相关资讯

160+中大型企业正在使用53AI

百度智能云邀53AI：共创AI新纪元，启航智能新时代

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

热点资讯

开源项目Composio：突破 AI 智能体开发的边界

太强了！10​大开源大模型！

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

HealthGPT：华工数字孪生人实验室发布主动健康大模型基座

Ollama 本地运行大模型(LLM)完全指南

GraphRAG：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等等！

如何免费使用 Claude AI？Claude使用指南！

Coze收费了，我还用吗？

教你使用Ollama在本地跑Llama3.1

中医大模型 ，开源！

大家都在问

疯狂24h后，openai o1有哪些新的秘密？

OpenAI的o1模型会带来哪些影响和机会？

LLM 基础知识 | WaterMarking，你搞懂了吗？

清华开源LongCite，如何提高大模型的溯源能力？

大模型的泡沫什么时候破灭？

大模型的泡沫什么时候破灭？

微调Llama 3.1，用神器Unsloth

AGI｜如何在本地运行大型语言模型？

热门标签

太强了！10大开源大模型！

中医大模型，开源！