微信扫码
与创始人交个朋友
我要投稿
MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能:
Magic-PDF PDF文档提取
Magic-Doc 网页与电子书提取
Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。
Magic-PDF框架示意图
主要功能包含
支持多种前端模型输入
删除页眉、页脚、脚注、页码等元素
符合人类阅读顺序的排版格式
保留原文档的结构和格式,包括标题、段落、列表等
提取图像和表格并在markdown中展示
将公式转换成latex
乱码PDF自动识别并转换
支持cpu和gpu环境
支持windows/linux/mac平台
而根据官方链接介绍的PDF-Extract-Kit包括以下几个模块:
布局检测:使用LayoutLMv3模型进行区域检测,如图像
,表格
,标题
,文本
等,由于文档类型的多样性,现有开源的布局检测和公式检测很难处理多样性的PDF文档,为此作者团队采集多样性数据进行标注和训练,使得在各类文档上取得精准的检测效果;
公式检测:使用YOLOv8进行公式检测,包含行内公式
和行间公式
;
公式识别:使用UniMERNet进行公式识别,这个方法是上海AI lab前段时间开源的公式识别模型,作者自己说法是可以媲美商业软件,在各种类型公式识别上均匀很高的质量,实际体验效果确实不错,;
光学字符识别:使用PaddleOCR进行文本识别;
PDF-Extract-Kit流程图
Magic-Doc 是一款支持将网页或多格式电子书转换为 markdown 格式的工具。
主要功能包含
Web网页提取
跨模态精准解析图文、表格、公式信息
电子书文献提取
支持 epub,mobi等多格式文献,文本图片全适配
语言类型鉴定
支持176种语言的准确识别
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-25
【开源】基于AI的数据建设平台
2024-11-23
人生搜索引擎免费用,开源版哈利波特“冥想盆”登GitHub热榜,支持中文
2024-11-23
o1圈杀疯了,阿里又开源Marco-o1
2024-11-22
Kotaemon:开源基于文档检索的聊天系统(RAG Chat)
2024-11-22
不可思议!AirLLM 如何让 70B 大模型在 4GB GPU 上顺利推理?
2024-11-22
刚刚,OpenAI公开o1模型测试方法,人机协作时代!
2024-11-21
22.4K+ Star!Chatbox:你的终极AI桌面助手
2024-11-21
Magentic-One:微软开源多智能体系统,让 AI 自己动手解决问题
2024-05-06
2024-07-25
2024-08-13
2024-06-12
2024-07-11
2024-06-16
2024-07-20
2024-06-15
2024-07-25
2024-07-25
2024-11-22
2024-11-19
2024-11-13
2024-11-13
2024-10-07
2024-09-22
2024-09-20
2024-09-14