随着移动设备的普及，手机UI屏幕成为用户与设备交互的主要界面。然而，现有的通用领域MLLM在理解和交互UI屏幕方面存在不足，难以提供精确的元素引用、定位和推理能力。本文旨在通过提出新的MLLM——Ferret-UI，来增强对移动UI屏幕的理解能力，提供指代、锚定和推理功能，以解决一般领域MLLM在UI屏幕互动上的不足。

《Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs》

全文摘要

本文介绍了一种名为Ferret-UI的新模型，旨在提高对移动用户界面屏幕的理解能力。该模型基于多模态大型语言模型（MLLM），并具有指代、定位和推理功能。由于移动设备屏幕通常具有较长的宽高比，并包含较小的兴趣对象（如图标和文本），因此在Ferret-UI中使用了“任意分辨率”的技术来放大细节并利用增强的视觉特征。此外，为了增强模型的推理能力，作者还编制了一个包括详细描述、感知/交互对话和功能推断等高级任务的数据集。实验结果表明，Ferret-UI不仅在所有基础UI任务上表现优异，而且超越了GPT-4V。

方法描述

该研究旨在开发一个名为Ferret-UI的模型，用于处理移动设备屏幕上的交互任务。Ferret-UI基于Ferret，这是一个在自然图像中具有出色表现的多模态语言学习器（MLLM）。Ferret包含预训练的视觉编码器和解码器语言模型，并且可以解释和交互指定区域内的对象或物体。为了将UI专家知识注入到Ferret中，研究人员进行了两个扩展：定义和构建UI引用和定位任务以及调整模型架构以更好地处理屏幕数据。Ferret-UI包括广泛的UI引用任务和定位任务，为高级UI交互建立了强大的基础。此外，通过使用“任何分辨率”技术，该模型能够适应不同大小和形状的屏幕。

方法改进

为了提高模型性能并解决现有MLLM无法处理特定任务的问题，研究人员采用了以下方法：定义和构建UI引用和定位任务。调整模型架构以更好地处理屏幕数据。使用“任何分辨率”技术来适应不同大小和形状的屏幕。

解决的问题

通过引入Ferret-UI模型，研究人员解决了以下问题：现有MLLM不能很好地处理特定的UI交互任务。模型需要适应不同大小和形状的屏幕。需要建立强大的UI理解基础以支持高级UI交互。

论文实验

本文主要介绍了对基于Transformer架构的视觉语言模型Ferret-UI在不同任务上的性能表现和影响因素的研究。具体来说，作者进行了以下对比实验：对比了Ferret-UI和其他模型在公开数据集上的性能表现；对比了Ferret-UI和其他模型在Android和iPhone平台上的性能表现；对比了Ferret-UI和其他模型在小学任务和高级任务上的性能表现；对比了Ferret-UI和其他模型在不同数据配置下的性能表现。

对于第一个实验，作者使用了Spotlight数据集来评估模型的性能，并发现Ferret-UI在该数据集上具有较好的性能表现。对于第二个实验，作者将Ferret-UI与其他模型在Android和iPhone平台上进行了比较，并发现Ferret-UI在iPhone平台上具有更好的性能表现。对于第三个实验，作者将Ferret-UI与其他模型在小学任务和高级任务上进行了比较，并发现Ferret-UI在大多数任务中都表现出色。对于第四个实验，作者将Ferret-UI与其他模型在不同的数据配置下进行了比较，并发现Ferret-UI在加入小学任务数据后可以提高其在Android平台上的性能表现。

文章优点

论文提出了一种名为Ferret-UI的设计，能够增强计算机对于移动UI屏幕的理解能力。通过收集大量的数据样本，并使用机器学习技术对其进行训练，使得Ferret-UI在各种测试中表现出了很高的准确性和效率。论文提供了详细的实验结果和对比分析，证明了Ferret-UI相较于其他相关设计具有更高的性能和实用性。

方法创新点

Ferret-UI采用了多种技术手段，包括视觉元素识别、语义解析等，来实现对移动UI屏幕的理解和交互。在数据采集方面，论文使用了多台设备和不同类型的APP来进行测试，从而增加了数据的多样性和代表性。在模型训练方面，论文采用了大规模预训练技术和领域自适应技术，提高了模型的泛化能力和效果。

未来展望

论文提出的Ferret-UI设计可以为未来的智能移动设备提供更加智能化和人性化的用户体验。可以进一步探索如何将Ferret-UI与其他人工智能技术相结合，例如自然语言处理、语音识别等，以实现更加全面和复杂的交互功能。同时也可以考虑如何应对不同类型和风格的移动UI界面，以及如何解决隐私保护等问题。