我要投稿

MinerU一款全能、开源的文档与网页数据提取工具

发布日期：2024-09-13 12:43:55 浏览次数： 2197 来源：顶层架构领域

MinerU 是一款由上海人工智能实验室OpenDataLab团队发布的全能、开源的文档与网页数据提取工具。它能够将包含图片、表格、公式等元素的多模态PDF文档转化为清晰、易于分析的Markdown格式，同时也支持从包含广告等干扰信息的网页中快速解析、抽取正式内容，并将其批量转化为Markdown格式。

一、主要特点

多功能性：MinerU 包含两个主要部分：Magic-PDF和Magic-Doc，分别负责PDF文档提取和网页与电子书提取。

多模态处理：Magic-PDF能够处理PDF中的图像、表格、公式等多种内容类型，并保留原文档的结构和格式。

高质量解析：MinerU使用了先进的模型，如LayoutLMv3、YOLOv8、UniMERNet和PaddleOCR，以确保数据提取的高准确度。

广泛的应用场景：适用于学术、财务、法律等多个领域，并支持多达176种语言的准确识别。

跨平台支持：能够在Windows、Linux和Mac平台上运行，并支持CPU和GPU环境。

二、使用场景

MinerU 适用于需要从复杂格式的文档中提取数据的场景，尤其适合于AI研究和大模型训练中处理大量非结构化数据的需求。

三、技术细节

PDF文档提取：MinerU的PDF提取过程包括PDF文档分类预处理、模型解析和管线处理等环节。它能够识别和处理文本型、图层型和扫描版的PDF文档，并通过一系列深度学习模型进行版面分析、OCR和公式识别。

网页与电子书提取：Magic-Doc能够从多种类型的网页和电子书中提取信息，支持包括epub、mobi在内的多种格式，并能够处理文章、论坛、音乐、视频等内容类型。

四、快速安装与使用

CPU Demo

# 1. 安装依赖conda create -n MinerU python=3.10conda activate MinerUpip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
# 2. 下载模型权重文件# 根据官方文档（https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_en.md）指示操作
# 3. 配置Magic-PDFcp magic-pdf.template.json ~/magic-pdf.json# 编辑 ~/magic-pdf.json，设置正确的模型文件路径
# 4. 开始使用magic-pdf --helpmagic-pdf -p {some_pdf} -o {some_output_dir} -m auto

‍

Docker 快速部署

# 检查您的设备是否支持Docker上的CUDA加速。docker run --rm --gpus=all nvidia/cuda:12.1.0-base-ubuntu22.04 nvidia-smi
# 运行 docker 部署wget https://github.com/opendatalab/MinerU/raw/master/Dockerfiledocker build -t mineru:latest .docker run --rm -it --gpus=all mineru:latest /bin/bashmagic-pdf --help

更多使用方式，请查阅如下提供地址

总结

MinerU 是一款强大且多功能的数据提取工具，它能够帮助用户从各种文档中提取高质量的数据，特别适合于AI研究和大数据模型训练。尽管存在一些局限性，但其开源特性和持续的社区支持使其成为一个值得关注和尝试的工具。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

2025-01-01

Ollama 本地运行大模型(LLM)完全指南

2024-07-25

太强了！10大开源大模型！

2024-05-06

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

2025-01-21

开源项目Composio：突破 AI 智能体开发的边界

2024-08-13

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

2024-06-12

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

2024-09-20

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

2024-07-20

如何免费使用 Claude AI？Claude使用指南！

2024-07-11

DeepSeek-V3 正式发布

2024-12-26

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

2025-01-22

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

2025-01-16

大模型的泡沫什么时候破灭？

2024-12-24

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

2024-12-20

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

2024-12-19

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

2024-11-22

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

2024-11-19

这家小公司的700 亿参数模型竟然比Open o1还强？

2024-11-13

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制

场景解决方案

【智能问答】解决方案

【应用智改】解决方案

【智能工单】解决方案

一、主要特点

二、使用场景

三、技术细节

四、快速安装与使用

CPU Demo

总结

MinerU 是一款强大且多功能的数据提取工具，它能够帮助用户从各种文档中提取高质量的数据，特别适合于AI研究和大数据模型训练。尽管存在一些局限性，但其开源特性和持续的社区支持使其成为一个值得关注和尝试的工具。

相关资讯

160+中大型企业正在使用53AI

把握AI发展的机遇，共同探索、共同进步

如何打造基于GenAI的员工服务机器人

热点资讯

我把最近爆火的 DeepSeek-V3 接到了 Cursor！

Ollama 本地运行大模型(LLM)完全指南

太强了！10​大开源大模型！

万字详解DeepSeek-R1，引爆AI圈的又一力作，大模型爆发势不可挡！

开源项目Composio：突破 AI 智能体开发的边界

Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人

QWEN2.5开源上新，14B/32B回归实测：这就是最强单卡本地模型！

全民进入GPT-4时代：OpenAI强势推出GPT-4o mini！彻底取代GPT-3.5！

如何免费使用 Claude AI？Claude使用指南！

DeepSeek-V3 正式发布

大家都在问

DeepSeek v3为何爆火？如何用其集成Milvus搭建RAG？

构建企业私有RAG大模型: (可商用)DeepSeek-V3开源部署，真的强吗？

大模型的泡沫什么时候破灭？

微软开源的 Markitdown 可将任意文件转换为 Markdown 格式，PDF 解析咋样？

开源！轻量！AI 代码助手插件 Continue 使用体验如何？

不可思议！AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理？

从浏览器自动化到个人助手，Skyvern又悄悄占据了AI市场的一席之地？

这家小公司的700 亿参数模型竟然比Open o1还强？

热门标签

太强了！10大开源大模型！