我要投稿

MinerU使用教程

发布日期：2024-12-17 15:44:04 浏览次数： 1618 来源：吾想

MinerU是开源、高质量的数据提取工具，支持多源数据、深度挖掘、自定义规则、快速提取等。含数据采集、处理、存储模块及用户界面，适用于学术、商业、金融、法律等多领域，提高数据获取效率。MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。

主要功能

删除页眉、页脚、脚注、页码等元素，确保语义连贯
输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
保留原文档的结构，包括标题、段落、列表等
提取图像、图片描述、表格、表格标题及脚注
自动识别并转换文档中的公式为LaTeX格式
自动识别并转换文档中的表格为HTML格式
自动检测扫描版PDF和乱码PDF，并启用OCR功能
OCR支持84种语言的检测与识别
支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检

MinerU官网如下：

https://github.com/opendatalab/MinerU/tree/master

在GPU上的使用教程：

1、选用服务器

租用AutoDL服务器

选用RTX3090

PyTorch 2.1.0 Python 3.10(ubuntu22.04) Cuda 12.1

2、安装环境

1、安装magic-pdf项目（/root/autodl-tmp数据盘下）

--no-cache-dir 不用缓存

选用清华源，官网的阿里云检索不到magic-pdf[full]

conda creat -n MinerU python=3.10.0conda activate MinerUpip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple --no-cache-dir

查看是否安装成功

magic-pdf --version

2、下载模型

https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_zh_cn.md

从 ModelScope 下载模型

pip install modelscopewget https://gitee.com/myhloli/MinerU/raw/master/scripts/download_models.py -O download_models.pypython download_models.py

python脚本会自动下载模型文件并配置好配置文件中的模型目录

配置文件可以在用户目录中找到，文件名为magic-pdf.json

下载模型后移动models 和layoutreader到autodl-tmp文件夹中（任意文件夹中都行）

# 移动modelsmv /root/.cache/modelscope/hub/opendatalab/PDF-Extract-Kit-1.0 /root/autodl-tmp/models# 移动layoutreadermv /root/.cache/modelscope/hub/ppaanngggg/layoutreader /root/autodl-tmp/layoutreader

修改生成的magic-pdf.json中的“models-dir”和“layoutreader-model-dir”参数

{"bucket_info": {"bucket-name-1": ["ak","sk","endpoint"],"bucket-name-2": ["ak","sk","endpoint"]},"models-dir": "/root/autodl-tmp/models","layoutreader-model-dir": "/root/autodl-tmp/layoutreader","device-mode": "cuda","layout-config": {"model": "layoutlmv3"},"formula-config": {"mfd_model": "yolo_v8_mfd","mfr_model": "unimernet_small","enable": true},"table-config": {"model": "rapid_table","enable": false,"max_time": 400},"config_version": "1.0.0"}

3、为OCR开启cuda加速

python -m pip install paddlepaddle-gpu==3.0.0b1 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/

4、使用命令将PDF转为md格式

在MinerU虚拟环境下运行

magic-pdf -p PDF的地址 -o 输出位置

举例：将root文件下的small_ocr.pdf文件转换完后，保存在/root/autodl-tmp/output

magic-pdf -p /root/small_ocr.pdf -o /root/autodl-tmp/output

输出结果为：

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

太强了！10大开源大模型！

2024-05-06

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

中医大模型，开源！

2024-06-16

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

开源医疗大模型Llama3-Aloe-8B-Alpha，性能超越 MedAlpaca 和 PMC-LLaMA

2024-06-15

教你使用Ollama在本地跑Llama3.1

2024-07-25

大家都在问

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？