微信扫码
添加专属顾问
我要投稿
我们每天都要和各种文档打交道,PDF文档、网页、电子书……这些格式各异的文档让我们既爱又恨。爱的是它们携带的丰富信息,恨的是处理和提取这些信息时的繁琐与不便。
今天开源君来和大家聊聊一个超级给力的开源项目 - MinerU
,别看它名字听起来像挖矿的,实际上,它可是文档处理和提取的“神器”!
MinerU
一个由opendatalab团队打造的一站式开源数据提取工具,旨在帮助研究人员和开发者更方便地获取、处理、分析数据。它支持多种数据集的管理,自动化的数据清洗,并且还有强大的模型库,简直就是文档处理界的“瑞士军刀”!
它主要由两个组件构成:Magic-PDF和Magic-Doc。Magic-PDF专攻PDF文档的提取,而Magic-Doc则负责网页和电子书的提取工作。有了它们俩,无论是学术研究、技术写作还是日常办公,文档处理都变得轻松愉快。
目前在Github上收获了11K star!
想要快速上手MinerU,可以直接使用官方9月份刚刚上线的online Demo,在OpenDataLab、HuggingFace、ModelScope上面均有部署,可以直接使用。
想本地部署的话,也是可以的。安装前注意看软硬件环境支持说明。
使用CPU的快速部署:
# 1. 安装依赖
conda create -n MinerU python=3.10
conda activate MinerU
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
# 2. 下载模型权重文件
# 根据官方文档(https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_en.md)指示操作
# 3. 配置Magic-PDF
cp magic-pdf.template.json ~/magic-pdf.json
# 编辑 ~/magic-pdf.json,设置正确的模型文件路径
# 4. 开始使用
magic-pdf --help
magic-pdf -p {some_pdf} -o {some_output_dir} -m auto
使用GPU的快速部署:
官方介绍了Ubuntu 22.04 LTS + GPU、Windows 10/11 + GPU和Docker(需要有16GB 的 VRAM)的三种情况,需要的可以去详细查看。
MinerU
是一款功能强大、易于上手的开源数据提取工具。它不仅能帮助我们提高文档处理效率,还能让我们更加便捷地分享和利用信息。无论你是学生党、研究者还是工作党,只要你需要处理文档,MinerU都能成为你的得力助手。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-07-29
一手实测GLM4.5满血版Claude Code,可算有将推理/代码/Agent融为一体的大模型了!
2025-07-29
PPIO上线智谱GLM-4.5:面向推理、代码与智能体的开源SOTA模型
2025-07-29
GLM-4.5详测,这次智谱真的重回巅峰了
2025-07-29
Claude Code 绝对是当下最强AI编程神器,拉爆CC性能的使用指南来了!
2025-07-28
AI Agent 新选择:Coze Studio 开源上手实录,能替代 Dify 吗?
2025-07-28
15 分钟,本地零成本跑一个 Coze Studio,我是这么玩的
2025-07-28
拆箱开源版Coze:Agent核心三件套大公开,48小时揽下9K Star
2025-07-28
扣子官宣开源,掀桌大动作背后如何决策?扣子负责人独家披露
2025-07-23
2025-06-17
2025-06-17
2025-07-23
2025-07-14
2025-07-12
2025-05-29
2025-05-12
2025-05-14
2025-05-20
2025-07-28
2025-07-28
2025-07-27
2025-07-27
2025-07-27
2025-07-26
2025-07-26
2025-07-26