微信扫码
添加专属顾问
我要投稿
本公众号主要关注NLP、CV、LLM、RAG、Agent等AI前言技术,免费分享业界实战案例与课程,助力您全面拥抱AIGC。
文本识别
关键信息提取
表格识别
作者采用基于文本中心点的连贯输入和输出模式,在两个阶段,将同一文本划分为三个部分:
在stage1阶段:
在stage2阶段:
多边形区域序列化(Polygon):定位Structured points,得到文本的多边形区域
文本内容序列化(content):定位Structured points,得到文本内容
通过两阶段、三种序列方式可以有效地压缩原始的长序列。
此外,该框架使用空间和字符导向的窗口提示,增强对文本空间排列和单词语义的理解。
通过上图表格解析任务,我们可以知道omniparser的OCR解析流程。
首先,对图片进行编码(image encoder)
然后,在stage1,利用视觉模型对表格、文本内容、重要信息进行中心点定位
接着,在stage2,将定位的区域,经过区域解码(region decoder),得到polygon Sequence
同时,在stage2, 将定位的重要信息,进行文本内容序列化解码(content decoder),得到文本内容content sequence
最后,综合polygon Sequence和content sequence二者的信息,生成文本的定位信息(text spotting)、表格的序列信息(table recognition)和重要信息(key information extraction)
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-09-12
2024-06-14
2024-08-06
2024-06-17
2024-08-30
2024-05-30
2024-11-28
2024-10-07
2024-10-16
2024-04-21
2025-04-08
2025-04-05
2025-03-30
2025-03-26
2025-03-05
2025-03-02
2025-01-08
2024-12-13