字节开源的UI-TARS：原理与使用详解

推荐语

字节跳动开源的UI-TARS，引领GUI自动化新趋势。

核心内容：
1. UI-TARS技术原理与架构设计
2. 多模态AI智能体模型的功能特点
3. UI-TARS Desktop应用程序的使用指南

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

UI-TARS是由字节跳动开发的一款多模态AI智能体模型，旨在通过纯视觉驱动的方式实现对图形用户界面的自动化交互。它能够基于视觉理解网页内容，并与浏览器、命令行和文件系统无缝集成，实现复杂任务的规划与执行。UI-TARS的设计目标是为用户提供高效、便捷的自动化体验，具有多模态交互能力、强大的任务规划与执行功能，以及高度的可扩展性和灵活性。

与传统的GUI自动化工具（如脚本化的RPA）不同，UI-TARS不需要预定义的工作流或手动规则。它将感知（Perception）、推理（Reasoning）、定位（Grounding）和记忆（Memory）等能力整合到一个统一的视觉语言模型（VLM）中，实现了端到端的任务处理。

整体架构设计

UI-TARS采用端到端的架构设计，将感知、推理、定位和记忆整合到一个统一的视觉语言模型中。这种设计使其能够直接处理原始的屏幕截图，避免了对文本信息的依赖。同时，系统2（System 2）的推理能力使其能够执行复杂的、多步骤的任务，而不是仅仅执行简单的操作。

UI-TARS的核心技术特点包括：

1. 增强感知能力：UI-TARS使用大规模的GUI截图数据集进行训练，能够对界面元素进行上下文感知和精准描述。

2. 统一行动建模：UI-TARS将跨平台操作标准化，定义了统一的行动空间，使得它能够支持桌面、移动设备和网页界面的自动化交互。

3. 系统2推理：UI-TARS不仅具备快速、直观的系统1响应能力，还支持针对复杂任务的深思熟虑的系统2推理，包括任务分解、反思和错误纠正。

4. 迭代训练：通过反思性在线轨迹（Reflective Online Trajectories）进行迭代训练，UI-TARS能够从真实世界交互中学习并持续改进其性能。

底层视觉语言模型

UI-TARS基于大规模的视觉语言模型（VLM）构建，该模型在一个包含约500亿个token的语料库上进行了训练。UI-TARS有三种变体：UI-TARS-2B、UI-TARS-7B和UI-TARS-72B，分别具有20亿、70亿和720亿参数。这些模型在Hugging Face上可以找到，为不同计算资源需求的用户提供了选择。

UI-TARS-desktop应用程序

为了方便用户使用，字节跳动提供了UI-TARS的桌面应用程序版本，称为UI-TARS Desktop。该应用程序允许用户通过自然语言控制电脑操作，具有以下特点：

1. 自然语言控制：支持通过自然语言指令控制电脑操作
2. 屏幕截图和视觉识别支持：基于屏幕截图进行视觉识别
3. 精确的鼠标和键盘控制：能够精确模拟鼠标和键盘操作
4. 跨平台支持：目前支持Windows和MacOS平台
5. 实时反馈和状态显示：提供实时反馈和状态显示
6. 私密和安全：处理过程在本地完成，确保数据私密和安全

UI-TARS的设计包含了四个核心组件，每个组件负责不同的功能：

感知

UI-TARS处理多模态输入（文本、图像、交互）以构建对界面的连贯理解。它利用大规模的GUI屏幕截图数据集，通过精确标注界面元素来实现全面的GUI理解。该模型能够持续监控动态GUI，并准确响应实时变化。其功能包括屏幕截图收集、元素描述、密集标注、状态转换标注和问答。

处理多模态输入的能力对于与包含各种信息类型的复杂GUI进行交互至关重要。GUI不仅仅是视觉元素的集合，还包括文本标签、图标和交互式组件。UI-TARS处理所有这些模态的能力使其能够更丰富地理解界面。实时交互对于用户体验至关重要，使代理能够适应GUI中的动态变化，而无需手动干预或重新加载。

行动

UI-TARS采用统一的行动空间，在桌面、移动和Web平台之间使用标准化的行动定义。它支持特定于平台的行动，例如热键、长按和手势。根据任务的不同，它可以生成诸如单击、双击、键入和保存等可能的行动。

统一的行动空间简化了UI-TARS在不同操作系统和设备上的开发和部署。通过抽象用户输入（例如，鼠标点击与触摸手势）的平台特定细节，UI-TARS可以更轻松地跨各种环境进行训练和应用。包含特定于平台的行动表明该模型了解不同用户界面的细微差别，并允许进行更自然和有效的交互。

推理

UI-TARS结合了快速、直观的（系统1）响应和针对复杂任务的深思熟虑的高级规划（系统2）。它支持任务分解、反思和错误纠正，以实现稳健的任务执行。系统2推理已被证明在各种真实世界场景中有益。

系统1和系统2推理的集成表明了一种复杂的任务执行方法，使UI-TARS能够有效地处理简单和复杂的场景。系统1推理能够对常规任务做出快速有效的响应，而系统2推理则允许在更具挑战性的情况下进行更周密的规划和问题解决。分解任务和反思过去行动的能力对于处理多步骤工作流程和从错误中恢复至关重要，这使得UI-TARS在实际应用中更加可靠。

记忆

UI-TARS利用短期记忆来捕获特定于任务的上下文以实现情境感知。它采用长期记忆来保留历史交互和知识，以改进决策。短期记忆使UI-TARS能够在特定任务中保持上下文，而长期记忆则使其能够从过去的经验中学习并提高其在未来任务中的表现。

与人类认知类似，UI-TARS使用记忆来理解当前情况并利用过去的知识来做出更好的决策并更有效地执行任务。这种记忆机制使UI-TARS能够从过去的经验中学习，并随着时间的推移提高其性能。

UI-TARS的应用场景非常广泛，涵盖了多个领域：

1. 日常生产力：自动化文件管理、电子邮件、表格等操作，提高工作效率。

2. 软件测试和质量保证：自动化UI测试，帮助开发者发现和修复问题。

3. 教育和无障碍支持：为残疾用户提供自然语言控制，增强计算机的可访问性。

4. 跨平台自动化：集成桌面和Web应用程序，实现无缝的自动化工作流程。

5. 软件开发：自动化编码和调试，加速开发过程。

6. 研究自动化：自动化数据收集和报告生成，提高研究效率。

7. 一般计算任务：日程安排、电子邮件管理等日常计算任务的自动化。

UI-TARS的跨平台能力是一个显著的优势，因为它允许用户使用一致的方法跨各种设备和操作系统自动化任务。在当今多设备的世界中，能够跨不同平台无缝自动化任务对于提高生产力和便利性非常有价值。多步骤任务执行方面的熟练程度表明UI-TARS能够处理通常涉及一系列操作的复杂现实世界场景。

UI-TARS在多个GUI代理基准测试中进行了评估，包括VisualWebBench、WebSRC、ScreenSpot Pro、OSWorld、AndroidWorld、Multimodal Mind2Web和Android Control等。实验结果表明，UI-TARS在各种GUI相关任务中的性能优于GPT-4o和Claude等现有模型。

具体来说：

• 在VisualWebBench上，UI-TARS-72B取得了82.8的分数，高于GPT-4o的78.5。
• 在ScreenSpot Pro上，UI-TARS获得了38.1的最高分数。
• 在OSWorld中，UI-TARS-72B在50步时取得了24.6的分数，在15步时取得了22.7的分数，优于Claude的22.0和14.9。
• 在AndroidWorld中，UI-TARS取得了46.6的分数，超过了GPT-4o的34.5。
• 在所有基准测试中，UI-TARS-72B的性能始终优于之前的最先进模型，提升高达+42.9%（例如，在GUI-Odyssey中）。

这些结果突出了系统1和系统2推理的重要性。系统2推理在各种真实世界场景中是有益的。扩大模型尺寸提高了推理和决策能力，尤其是在在线任务中。

UI-TARS是由字节跳动开发的一款多模态AI智能体模型，旨在通过纯视觉驱动的方式实现对图形用户界面的自动化交互。它能够基于视觉理解网页内容，并与浏览器、命令行和文件系统无缝集成，实现复杂任务的规划与执行。UI-TARS的设计目标是为用户提供高效、便捷的自动化体验，具有多模态交互能力、强大的任务规划与执行功能，以及高度的可扩展性和灵活性。

安装和配置

UI-TARS提供了多种部署选项，包括云端和本地部署。对于个人用户，推荐使用UI-TARS Desktop桌面应用程序。

桌面应用程序安装（以MacOS为例）

1. 下载：从GitHub仓库下载最新版本的UI-TARS Desktop。下载地址：https://github.com/bytedance/UI-TARS-desktop/releases

2. 安装（MacOS）：

• 将UI-TARS Desktop应用程序拖到"应用程序"文件夹中
• 打开"系统偏好设置"，进入"安全性与隐私"，确保允许UI-TARS Desktop运行
• 打开UI-TARS Desktop应用程序，按照提示完成初始设置

• 配置：

• 设置API密钥（可选）：如果需要使用某些高级功能，可能需要配置API密钥
• 设置模型路径：指定本地存储的模型路径
• 配置代理设置（如果需要）：如果你的网络需要通过代理访问互联网，需要配置代理设置

云端部署

UI-TARS也提供了云端部署选项，详细信息可以在ModelScope上的中文指南中找到。云端部署提供了可扩展性和易用性，适合需要处理大量请求的场景。

使用示例

使用UI-TARS Desktop非常简单，用户可以通过自然语言指令控制电脑操作。以下是一些使用示例：

1. 获取天气信息：

• 指令：获取北京的天气
• 功能：UI-TARS将自动打开浏览器，搜索北京的天气信息，并将结果展示给用户

• 社交媒体互动：

• 指令：在Twitter上发布一条状态"今天天气真好"
• 功能：UI-TARS将自动打开Twitter应用，登录用户账户，并发布指定的状态

• 文件管理：

• 指令：将下载文件夹中的所有PDF文件移动到文档文件夹
• 功能：UI-TARS将自动打开文件资源管理器，找到下载文件夹中的PDF文件，并将它们移动到文档文件夹

• 多步骤任务：

• 指令：搜索最新的Python教程，并将其保存为书签
• 功能：UI-TARS将首先打开浏览器，搜索最新的Python教程，然后找到合适的教程页面，最后将其保存为书签

这些示例展示了UI-TARS如何通过自然语言指令自动化各种任务，从简单的文件管理到复杂的多步骤操作。用户可以根据自己的需求，使用自然语言指令来控制电脑执行各种操作。




未来发展方向







UI-TARS代表了GUI自动化领域的重大进展，但仍然有一些方面可以进一步改进和发展：

1. 增强长期记忆能力：目前UI-TARS的长期记忆能力还处于初步阶段，未来可以进一步增强其从过去经验中学习和改进的能力。

2. 提高处理高度动态和复杂界面的鲁棒性：虽然UI-TARS在处理复杂界面方面表现出色，但面对高度动态和复杂的界面时，仍然可能存在挑战。

3. 与其他AI模态的集成：将UI-TARS与其他AI模态（如语音识别、自然语言处理等）集成，可以创造出更全面的AI交互体验。

4. 解决伦理和社会影响：随着UI-TARS等自动化技术的普及，需要考虑其对就业市场和社会的影响，并制定相应的政策和措施。

5. 主动学习和终身学习：未来的研究可以侧重于增强UI-TARS的主动学习和终身学习能力，使其能够自主地从环境中学习并不断改进。

6. 模型缩放：随着模型规模的增大，性能持续提升，这表明增加模型的容量使其能够学习更复杂的模式，并在具有挑战性的GUI任务中取得更好的结果。







总结







UI-TARS作为字节跳动开源的原生图形用户界面代理模型，代表了GUI自动化领域的重大突破。它通过将感知、行动、推理和记忆整合到一个统一的视觉语言模型中，实现了端到端的GUI自动化交互。与传统模块化方法相比，UI-TARS的统一架构允许更直接和优化的学习与执行，其在各种GUI相关任务中的性能优于现有的先进模型。

UI-TARS的应用场景非常广泛，涵盖了日常生产力、软件测试、教育、软件开发、研究自动化等多个领域。它支持跨平台操作，能够处理复杂的多步骤任务，为用户提供了高效、便捷的自动化体验。

虽然UI-TARS已经表现出色，但仍然有一些方面可以进一步改进和发展，如增强长期记忆能力、提高处理高度动态和复杂界面的鲁棒性、与其他AI模态的集成等。随着技术的不断发展，UI-TARS有望在未来的AI交互和自动化领域发挥越来越重要的作用。