微信扫码
与创始人交个朋友
github:https://github.com/360AILAB-NLP/360LayoutAnalysis
权重下载地址:https://huggingface.co/qihoo360/360LayoutAnalysis
在当今数字化时代,文档版式分析是信息提取和文档理解的关键步骤之一。文档版式分析,也称为文档图像分析或文档布局分析,是指从扫描的文档图像中识别和提取文本、图像、表格和其他元素的过程。这项技术在自动化文档处理、电子数据交换、历史文档数字化等领域有着广泛的应用。
传统的文档版式分析模型往往难以准确区分文档中的段落和其他布局元素,这限制了文档信息的进一步处理和利用,而深度学习和模式识别技术的发展为文档版式分析带来了新的机遇,通过训练数据集,可以提高模型对文档结构的理解能力,但高质量的标注数据集是训练有效模型的基础。
在文档版式分析中,精细化的标注非常有必要,其中:段落的标注尤其关键,因为它直接影响到文本的语义理解和信息提取。当前,在版式分析领域,据我们了解,在论文场景中,以往的开源数据集如:CDLA(A Chinese document layout analysis),缺乏对段落信息的标注;在研报场景中的版式分析模型还相对空缺。
因此,为了解决这一问题,我们通过人工标注的方式对论文文档进行细粒度标签改造以及数据优化,并构建起研报场景细粒度版式分析数据集,最好利用这些标注数据集,训练了多个全新的中文文档版式分析模型,在封闭测试集上表现优异。
本次开源,我们优先开源了面向论文和研报两个场景的版面分析轻量化模型权重及相应的标签体系,旨在能够识别文档中的段落边界等信息,并准确区分文本、图像、表格、公式等其他元素,最终推动产业发展。
权重下载地址:?LINK
使用方式:
开源权重使用yolov8
进行训练,预测方式如下:
from ultralytics import YOLO
image_path = '' # 待预测图片路径
model_path = '' # 权重路径
model = YOLO(model_path)
result = model(image_path, save=True, conf=0.5, save_crop=False, line_width=2)
print(result)
print(result[0].names) # 输出id2label map
print(result[0].boxes) # 输出所有的检测到的bounding box
print(result[0].boxes.xyxy) # 输出所有的检测到的bounding box的左上和右下坐标
print(result[0].boxes.cls) # 输出所有的检测到的bounding box类别对应的id
print(result[0].boxes.conf) # 输出所有的检测到的bounding box的置信度
标签类别
元素 | 名称 |
---|---|
Text | 正文(段落) |
Title | 标题 |
Figure | 图片 |
Figure caption | 图片标题 |
Table | 表格 |
Table caption | 表格标题 |
Header | 页眉 |
Footer | 页脚 |
Reference | 注释 |
Equation | 公式 |
示例
标签类别
元素 | 名称 |
---|---|
Text | 正文(段落) |
Title | 标题 |
Figure | 图片 |
Figure caption | 图片标题 |
Table | 表格 |
Table caption | 表格标题 |
Header | 页眉 |
Footer | 页脚 |
Toc | 目录 |
示例
53AI,大模型落地应用首选服务商
定位:开箱即用的大模型落地应用平台
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
如果你看见AI对商业世界的变革,欢迎来和我们一起探索~
2024-07-04
用coze零代码搭建一个知识库助手
2024-07-04
下一代 RAG 技术来了!微软正式开源 GraphRAG:大模型行业将迎来新的升级?
2024-07-04
什么是知识图谱?与大模型有什么关系
2024-07-04
检索生成(RAG) vs 长文本大模型:实际应用中如何选择?
2024-07-04
用腾讯星脉,给AI网络诊脉
2024-07-04
代码 | 使用本地大模型从文本中提取结构化信息
2024-07-04
Karpor 开源了!打造 AI 时代的 Kubernetes 可视化工具
2024-07-04
普林斯顿大学重磅 | 关键的AI Agent,你遇到过这4大Agent评估陷阱吗
2024-04-24
2024-05-14
2024-04-24
2024-04-23
2024-04-11
2024-04-26
2024-03-22
2024-03-29
2024-04-12
2024-04-25
2024-07-04
2024-07-04
2024-07-03
2024-07-02
2024-07-02
2024-07-01
2024-07-01
2024-07-01