微信扫码
与创始人交个朋友
我要投稿
我们每天都要和各种文档打交道,PDF文档、网页、电子书……这些格式各异的文档让我们既爱又恨。爱的是它们携带的丰富信息,恨的是处理和提取这些信息时的繁琐与不便。
今天开源君来和大家聊聊一个超级给力的开源项目 - MinerU
,别看它名字听起来像挖矿的,实际上,它可是文档处理和提取的“神器”!
MinerU
一个由opendatalab团队打造的一站式开源数据提取工具,旨在帮助研究人员和开发者更方便地获取、处理、分析数据。它支持多种数据集的管理,自动化的数据清洗,并且还有强大的模型库,简直就是文档处理界的“瑞士军刀”!
它主要由两个组件构成:Magic-PDF和Magic-Doc。Magic-PDF专攻PDF文档的提取,而Magic-Doc则负责网页和电子书的提取工作。有了它们俩,无论是学术研究、技术写作还是日常办公,文档处理都变得轻松愉快。
目前在Github上收获了11K star!
想要快速上手MinerU,可以直接使用官方9月份刚刚上线的online Demo,在OpenDataLab、HuggingFace、ModelScope上面均有部署,可以直接使用。
想本地部署的话,也是可以的。安装前注意看软硬件环境支持说明。
使用CPU的快速部署:
# 1. 安装依赖
conda create -n MinerU python=3.10
conda activate MinerU
pip install -U magic-pdf[full] --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
# 2. 下载模型权重文件
# 根据官方文档(https://github.com/opendatalab/MinerU/blob/master/docs/how_to_download_models_en.md)指示操作
# 3. 配置Magic-PDF
cp magic-pdf.template.json ~/magic-pdf.json
# 编辑 ~/magic-pdf.json,设置正确的模型文件路径
# 4. 开始使用
magic-pdf --help
magic-pdf -p {some_pdf} -o {some_output_dir} -m auto
使用GPU的快速部署:
官方介绍了Ubuntu 22.04 LTS + GPU、Windows 10/11 + GPU和Docker(需要有16GB 的 VRAM)的三种情况,需要的可以去详细查看。
MinerU
是一款功能强大、易于上手的开源数据提取工具。它不仅能帮助我们提高文档处理效率,还能让我们更加便捷地分享和利用信息。无论你是学生党、研究者还是工作党,只要你需要处理文档,MinerU都能成为你的得力助手。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-19
突发!GPT-4o 级语音 Moshi 开源!
2024-09-19
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
2024-09-19
通义千问Qwen2.5开源,媲美Llama3.1-405B
2024-09-19
Qwen 2.5 开源,API 打一折
2024-09-18
OpenAI o1的开源平替版self-replay RL来了!
2024-09-18
Y Combinator 投资的开源 Cursor 替代品来了!
2024-09-18
OpenAI o1式思维链,开源模型也可以有,成功案例来了
2024-09-17
国外Agent产品如何?全面比较AutoGPT与AI Agent
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-08
2024-07-25
2024-07-11
2024-07-18
2024-07-25
2024-06-16