我要投稿

Alibaba出品:OmniParser通用文档复杂场景下OCR抽取

发布日期：2024-12-17 12:33:03 浏览次数： 1578 来源：CourseAI

本公众号主要关注NLP、CV、LLM、RAG、Agent等AI前言技术，免费分享业界实战案例与课程，助力您全面拥抱AIGC。

三大OCR任务统一抽取

文本识别
关键信息提取
表格识别

Omniparser框架以及核心思想

作者采用基于文本中心点的连贯输入和输出模式，在两个阶段，将同一文本划分为三个部分：

在stage1阶段：

结构中心点序列化（Structured points）:即标记重要信息区域的中心位置，并打上标签

在stage2阶段：

多边形区域序列化（Polygon）：定位Structured points，得到文本的多边形区域
文本内容序列化（content）：定位Structured points，得到文本内容

通过两阶段、三种序列方式可以有效地压缩原始的长序列。

此外，该框架使用空间和字符导向的窗口提示，增强对文本空间排列和单词语义的理解。

通过上图表格解析任务，我们可以知道omniparser的OCR解析流程。

首先，对图片进行编码(image encoder)
然后，在stage1，利用视觉模型对表格、文本内容、重要信息进行中心点定位
接着，在stage2，将定位的区域，经过区域解码（region decoder），得到polygon Sequence
同时，在stage2, 将定位的重要信息，进行文本内容序列化解码（content decoder），得到文本内容content sequence
最后，综合polygon Sequence和content sequence二者的信息，生成文本的定位信息（text spotting）、表格的序列信息（table recognition）和重要信息（key information extraction）

53AI，企业落地应用大模型首选服务商

产品：大模型应用平台+智能体定制开发+落地咨询服务

承诺：先做场景POC验证，看到效果再签署服务协议。零风险落地应用大模型，已交付160+中大型企业

160+中大型企业正在使用53AI

立即咨询预约演示

百度智能云邀53AI：共创AI新纪元，启航智能新时代

2024-05-27

钉钉恒星计划：53AI与百余位企业家及钉钉生态伙伴，共议“AI 浪潮下的新机遇”

2024-05-22

热点资讯

GPT-4 和 GPT-4o的主要区别

2024-09-12

智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

2024-05-30

Flowise AI 工作流进阶: 常用组件介绍+连 Notion 做知识库

2024-06-17

面壁小钢炮 MiniCPM-V 2.6 部署指南

2024-08-06

Qwen2-VL 全链路模型体验、下载、推理、微调实战！

2024-08-30

ChatGPT记忆功能全解析：实用场景与操作指南

2024-06-14

深入解析Llama 3：开发者如何充分利用这一开源大模型

2024-04-21

作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风

2024-06-26

AGI｜基于Joint BERT模型的意图识别技术实践

2024-07-21

企业如何构建大模型营销体系：架构与实战

2024-07-07

大家都在问

为什么生成式AI不擅长同时做两件事？

2024-12-13

如何提取手写票据信息？

2024-12-09

Encord全球首发多模态数据标注编辑器，AI数据开发技术有哪些新趋势？

2024-11-25

大模型能做对数学题吗？

2024-09-26

实测豆包AI视频模型Seaweed，击败Sora的含金量到底有多少？

2024-09-26

多模态大模型中，多模态融合后怎样知道最终结果受哪种模态影响更大？

2024-09-01

从AIGC短剧到金融、零售应用，视频生成大模型价值几何？

2024-07-15

Stable Diffusion中CFG有啥用？

2024-07-14

开箱即用的企业大模型应用平台

工作+AI

业务+AI

AIx业务

大模型咨询

大模型定制