微信扫码
与创始人交个朋友
我要投稿
MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能:
Magic-PDF PDF文档提取
Magic-Doc 网页与电子书提取
Magic-PDF 是一款将 PDF 转化为 markdown 格式的工具。支持转换本地文档或者位于支持S3协议对象存储上的文件。
Magic-PDF框架示意图
主要功能包含
支持多种前端模型输入
删除页眉、页脚、脚注、页码等元素
符合人类阅读顺序的排版格式
保留原文档的结构和格式,包括标题、段落、列表等
提取图像和表格并在markdown中展示
将公式转换成latex
乱码PDF自动识别并转换
支持cpu和gpu环境
支持windows/linux/mac平台
而根据官方链接介绍的PDF-Extract-Kit包括以下几个模块:
布局检测:使用LayoutLMv3模型进行区域检测,如图像
,表格
,标题
,文本
等,由于文档类型的多样性,现有开源的布局检测和公式检测很难处理多样性的PDF文档,为此作者团队采集多样性数据进行标注和训练,使得在各类文档上取得精准的检测效果;
公式检测:使用YOLOv8进行公式检测,包含行内公式
和行间公式
;
公式识别:使用UniMERNet进行公式识别,这个方法是上海AI lab前段时间开源的公式识别模型,作者自己说法是可以媲美商业软件,在各种类型公式识别上均匀很高的质量,实际体验效果确实不错,;
光学字符识别:使用PaddleOCR进行文本识别;
PDF-Extract-Kit流程图
Magic-Doc 是一款支持将网页或多格式电子书转换为 markdown 格式的工具。
主要功能包含
Web网页提取
跨模态精准解析图文、表格、公式信息
电子书文献提取
支持 epub,mobi等多格式文献,文本图片全适配
语言类型鉴定
支持176种语言的准确识别
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-07
解密o1,六大推理秘诀大曝光!
2024-11-07
Ollama 0.4 版本发布,支持 Llama 3.2 Vision 视觉模型,实测满足个人使用
2024-11-07
Chat2DB:智能数据库查询工具,一款强大的数据库聊天机器人工具
2024-11-06
分步拆解,使用Qwen大模型创建多语言聊天和翻译应用
2024-11-06
Neolink.AI 集成 Ollama ,简化本地AI模型部署
2024-11-06
一个很酷的想法,基于llm的浏览器自动化,这个开源项目有前途
2024-11-06
刚刚,腾讯混元开源两大核心模型!
2024-11-06
Standard Intelligence Lab 推出 Hertz-Dev 实现AI实时对话了
2024-05-06
2024-08-13
2024-07-25
2024-06-12
2024-06-16
2024-07-11
2024-06-15
2024-07-20
2024-07-25
2024-07-25