微信扫码
与创始人交个朋友
MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能:
Magic-PDF PDF文档提取
Magic-Doc 网页与电子书提取
Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。
Magic-PDF框架示意图
主要功能包含
支持多种前端模型输入
删除页眉、页脚、脚注、页码等元素
符合人类阅读顺序的排版格式
保留原文档的结构和格式,包括标题、段落、列表等
提取图像和表格并在markdown中展示
将公式转换成latex
乱码PDF自动识别并转换
支持cpu和gpu环境
支持windows/linux/mac平台
而根据官方链接介绍的PDF-Extract-Kit包括以下几个模块:
布局检测:使用LayoutLMv3模型进行区域检测,如图像
,表格
,标题
,文本
等,由于文档类型的多样性,现有开源的布局检测和公式检测很难处理多样性的PDF文档,为此作者团队采集多样性数据进行标注和训练,使得在各类文档上取得精准的检测效果;
公式检测:使用YOLOv8进行公式检测,包含行内公式
和行间公式
;
公式识别:使用UniMERNet进行公式识别,这个方法是上海AI lab前段时间开源的公式识别模型,作者自己说法是可以媲美商业软件,在各种类型公式识别上均匀很高的质量,实际体验效果确实不错,;
光学字符识别:使用PaddleOCR进行文本识别;
PDF-Extract-Kit流程图
Magic-Doc 是一款支持将网页或多格式电子书转换为 markdown 格式的工具。
主要功能包含
Web网页提取
跨模态精准解析图文、表格、公式信息
电子书文献提取
支持 epub,mobi等多格式文献,文本图片全适配
语言类型鉴定
支持176种语言的准确识别
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-16
多图理解,更懂中文,支持function call的Phi-3.5来了!
2024-09-16
自建AI编程助手 | 本地 Yi-Coder模型 + Cursor 5分钟写一个网页
2024-09-16
免费还超快,我用 Cursor 做的“汉语新解”插件开源了
2024-09-15
通用端到端OCR模型开源,拒绝多模态大模型降维打击
2024-09-14
Pixtral 12B:本地部署、图像分析和OCR功能全解析
2024-09-14
疯狂24h后,openai o1有哪些新的秘密?
2024-09-14
OpenAI的o1模型会带来哪些影响和机会?
2024-09-14
一文彻底搞懂大模型 - 开源数据标注平台Label Studio
2024-08-13
2024-05-06
2024-06-12
2023-07-01
2024-07-08
2024-07-25
2024-07-11
2024-07-25
2024-07-18
2024-06-16