微信扫码
添加专属顾问
我要投稿
综合性理解挑战:信息图表和用户界面(UI)在视觉和语义上的复杂性,需要一个统一的模型来理解、推理和交互。
跨媒体理解:需要处理包括图表、插图、地图、表格、文档布局等在内的多种视觉和文本元素。
丰富的用户交互:在数字时代,移动和桌面 UI 需要提供丰富和交互性强的用户体验。
视觉-语言模型(VLM):提出了 ScreenAI,结合了 PaLI 架构和 Pix2struct 的灵活 patching 机制,将视觉任务转化为(文本,图像)到文本的问题
自动数据生成:利用大型语言模型(LLMs)和新的 UI 表示,实现了大规模自动生成训练数据。
预训练和微调任务混合:定义了一系列预训练和微调任务,这些任务覆盖了 UI 和信息图表理解的广泛领域。
# 训练任务
屏幕标注:模型的任务是检测和识别屏幕上存在的用户界面元素。这包括执行光学字符识别(OCR)和图像字幕以理解和解释文本和非文本内容。为了增强模型的上下文理解能力,一些文本元素被故意遮蔽,鼓励模型根据周围上下文和布局推断信息。
屏幕问答:在这个任务中,模型被要求回答与用户界面和计算机生成图像(如信息图表)相关的问题。经过初步实验,我们发现在算术、计数、理解包含复杂信息图表的图像等属性上存在性能差距。为了增强模型的能力,我们创建了专门针对这些差距的数据,例如涉及计数、算术运算和包含信息图表的复杂数据的问答。为了更好地理解图表示例,我们包括了大量的图表到表格转换示例
屏幕导航:这个任务涉及解释导航指令(例如,“返回”)并识别要交互的适当用户界面元素。预期的输出是目标元素的边界框坐标,范围在 0 到 999 之间,展示了模型准确理解用户意图并通过界面导航的能力。
屏幕摘要:模型的任务是用一两句话简洁地总结屏幕内容。这个任务评估了模型提炼和描述屏幕内容本质的能力。为确保全面训练,能够适应不同的纵横比,每个任务都以多种格式(移动和桌面)提供,并包括几种纵横比。
3. 在预训练数据中添加 LLM 生成的数据将综合得分提高了 4.6 个百分点。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费场景POC验证,效果验证后签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2025-04-03
OpenAI 发布新型音频模型,听起来比以往任何时候都更像人类
2025-04-03
工作流(Workflow)VS 智能体(Agent)
2025-04-03
中国AI应用们,正在苦等一个国产Claude
2025-04-03
MCP:AI世界的万能连接器,专家都在关注的下一代标准
2025-04-03
Open R1 项目进展第三期
2025-04-03
最好用的OCR来了?Mistral AI OCR介绍
2025-04-03
2个百度T11推出超级智能体火爆硅谷!免费使用无需邀请码,靠AI搜索功底估值已破38亿
2025-04-02
Transformer到底解决什么问题?
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-02
2025-04-02
2025-04-01
2025-04-01
2025-04-01
2025-03-30
2025-03-30
2025-03-28