02-设备端GUI Agent发展历程
2023年，Zhuosheng Zhang and Aston Zhang等人提出“You only look at screens: Multimodal chain-of-action
agents”算法。本文提出Auto GUI，这是一种直接与接口交互的多模式解决方案，无需进行环境解析或依赖于应用程序的API。此外，作者提出了一种行动链技术，利用一系列中间的先前行动历史和未来行动计划来帮助代理决定执行什么行动。作者在新的设备控制基准AITW上评估了该方法，AITW具有30K独特的指令，涵盖了应用程序操作、网络搜索和网络购物等多步骤任务。大量的实验结果表明，Auto GUI实现了最先进的性能，动作类型预测准确率为90%，整体动作成功率为74%。2023年，Wenyi Hong, Weihan Wang等人提出“Cogagent: A visual language model for gui agents”算法。本文介绍了CogAgent，这是一个180亿参数的可视化语言模型（VLM），专门用于GUI理解和导航。通过利用低分辨率和高分辨率图像编码器，CogAgent支持1120*1120分辨率的输入，使其能够识别微小的页面元素和文本。作为一个通用的视觉语言模型，CogAgent在五个文本丰富的和四个通用的VQA基准上达到了最先进的水平，包括VQAv2、OK-VQA、text VQA、ST-VQA、ChartQA、infoVQA、DocVQA、MM Vet和POPE。CogAgent仅使用屏幕截图作为输入，其性能优于在PC和Android GUI导航任务上使用提取HTML文本的基于LLM的方法Mind2Web和AITW，提高了技术水平。2024年1月，Junyang Wang, Haiyang Xu等人提出"Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception"算法。Mobile Agent是一种自主的多模式移动设备代理。Mobile Agent首先利用视觉感知工具准确识别和定位应用程序前端界面中的视觉和文本元素。基于感知的视觉上下文，它自主规划和分解复杂的操作任务，并逐步导航移动应用程序进行操作。与以前依赖应用程序的XML文件或移动系统元数据的解决方案不同，mobile Agent以视觉为中心，在不同的移动操作环境中提供了更大的适应性，从而消除了系统特定定制的必要性。Mobile Agent利用视觉感知工具进行操作本地化。它可以自我规划每一步，完成自我反思。Mobile Agent完全依赖于设备屏幕截图，而不需要任何系统代码，这是一个纯粹基于视觉的解决方案。2024年6月，Junyang Wang, Haiyang Xu等人提出“Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration”算法。本文提出Mobile-Agent-v2，这是一种用于移动设备操作辅助的多智能体架构。该体系结构包括三个agent：规划agent、决策agent和纠错agent。规划agent将冗长的、交错的图像-文本历史操作和屏幕摘要浓缩为纯文本任务进度，然后将其传递给决策代理。上下文长度的减少使得决策agent更容易导航任务进度。为了保留焦点内容，作者设计了一个内存单元，通过决策agent随任务进度进行更新。此外，为了纠正错误的操作，纠错agent会观察每个操作的结果，并快速处理任何错误。大量的实验结果表明，与单agent架构的移动代理相比，Mobile-Agent-v2的任务完成率提高了30%以上。
视觉语言模型VLM的训练过程中通常缺乏足够数量的以决策为中心的数据。这使得现有的VLM对于决策任务（例如通过图形用户界面（GUI）的现场设备控制）来说是次优的。虽然利用静态演示进行训练的方法已经显示出一些应用前景，但是这种方法在控制真实GUI时是不满足需求的，因为它们无法处理静态观测数据中没有捕捉到的真实世界的随机性信息。 本文介绍了一种新的自主RL方法，称为DigiRL。它通过分两个阶段微调预先训练的VLM来训练设备控制代理：即初始化离线RL模型和离线到在线RL。为此，作者构建了一个可扩展且可并行的安卓学习环境，配备了一个基于VLM的评估器，并开发了一种简单有效的RL方法来进行该领域的学习。 作者使用Android in the Wild（AitW）数据集展示了DigiRL的有效性，在该数据集中，作者利用RL训练的1.5B VLM实现了49.5%的绝对改进，使得成功率从17.7%提高到67.2%，超过了使用静态人体演示数据进行监督微调的方法。 这些结果不仅显著超过了先前的最佳代理，包括具有GPT-4V的AppAgent（8.3%的成功率）和使用AitW数据训练的17B-CogAgent（14.4%），而且还显著超过了基于过滤行为克隆的先前最佳自主RL方法（57.8%），从而建立了一种用于设备控制的数字代理的新方法。
上图展示了DigiRL算法的整体训练流程。详细的步骤如下所述： 上图展示了环境细节信息。顶部表示的是动作空间和环境动力学。底部表示的是阅读世界环境的非平稳性和动态性案例。真实世界的设备控制带来了模拟环境中不存在的随机性的挑战，例如：1）网站和应用程序的非平稳性，它们会频繁更新，导致在线观察与过时的离线数据不同；2）各种不可预测的干扰因素，如弹出广告、登录请求和搜索结果的随机顺序；3） 技术挑战和故障，如网页加载不完整或对某些网站的临时访问限制。通过观察与分析上图，我们可以发现：这些随机元素对预先训练的VLM构成了重大挑战，甚至包括那些对设备控制数据进行微调的VLM。
作为一个具体的例子，下图显示了一个实验结果，说明了不断调整模型以适应网站和应用程序的非平稳性的必要性。在使用我们的方法（DigiRL）获得一个良好的检查点后，并使用6月1日至6月3日的自主数据，比较冻结策略和持续更新策略在6月7日至6日11日期间的性能。我们可以发现：事实上，由于网站和应用程序的变化，冻结策略的性能会随着时间的推移而逐渐下降，而持续的在线更新在防止这种下降方面发挥着关键作用。 受到最近一些工作的启发，像transformer这样的现代深度学习架构可以更好地使用交叉熵损失而不是均方损失进行训练，作者利用基于轨迹奖励的蒙特卡罗估计的交叉熵目标来训练两个值函数。DigiRL由两个步骤组成：
DigiRL为设备控制代理问题确定了最简单但有效的RL设计选择策略。与最先进的替代方案（如拒绝采样（或过滤行为克隆））相比，RL算法框架具有以下优势：作者利用指令级值函数隐式构建自动课程，优先考虑对代理信息最丰富的任务。作者使用阶跃值函数来挑选轨迹中的有利动作（标记朝着目标前进的动作），同时留下有噪声的动作（对目标没有贡献的动作）。
05.03-创建并行环境
并行运行多个模拟器具有很大的挑战性，因为当一个模拟器遇到未知错误时，线程同步效率低下，故障传播频繁。为了解决这个挑战，作者设置了一个服务器-客户端系统，其中所有模拟器进程都在独立的服务器进程中运行。每个模拟器进程通过不同的UIAutomotor服务器与主训练进程进行通信。主训练过程向UIAutomotor服务器发送高级指令（如重置和步进），而UIAutomoto服务器将高级指令解析为低级UI命令（如键入字符和敲击坐标），这些UI命令由模拟器过程执行。当在模拟器中引发异常时，UIAutomotor会检查它是否可以恢复（例如，UI命令在模拟器中执行的时间过长），如果不能恢复，则会重置模拟器进程。当UIAutomotor服务器中引发异常时，主训练过程会停止并重置UIAutomoto服务器，以确保数据的正确性。 整体的设计架构如上图所示，这种设计可以很容易地放大到多机设置。一台配备GPU加速器的主机具有当前策略πt的本地副本，并将该策略分发给所有仅配备一个GPU和多个CPU的工作机。然后，每个工作机器将使用πt收集不同任务的轨迹。在所有收集过程同步后，主机将所有轨迹收集在一起，将策略更新为πt+1。这个过程不断迭代，直到策略收敛。
上图展示了DigiRL与其它方法（AutoUI、GPT-4V）之间的定性比较结果。通过观察与分析，我们可以发现：从静态人体演示中训练的AutoUI很容易陷入分发外的状态，而GPT-4V往往会达到错误的目标（在谷歌搜索“logitech g933bestbuy .com”而不是bestbuy.com）。相比之下，DigiRL可以从这种状态中恢复，并根据要求完成复杂的指令。
在上图的这些图片中，作者展示了从测试集中随机采样的DigiRL、AutoUI和GPT-4V的轨迹，用来提供对Agent性能的定性理解。通过仔细观察与分析，我们可以发现：与AutoUI和GPT-4V相比，DigiRL可以有效地执行野外设备控制任务，并且不太可能陷入困境或进入错误页面。
上表展示了DigiRL与多个算法在AitW上面的成功率。它包括两个子集的性能：AitW General和AitW Web Shopping。作者使用的GPT-4V的代号是GPT-4-vision-preview，Gemini-1.5-Pro的代号是Gemini-1.5pro-latest。通过观察与分析，我们可以发现：增加了DigRL之后的算法在训练集和测试集上面的成功率都得到了较大的提升，DigiRL通过一种具有自主VLM评估器的新型在线强化学习算法解决了开放式现实Android任务。 除了论文中提到的收敛性能外，作者还介绍了DigiRL与最先进的替代过滤行为克隆（或拒绝采样）的样本复杂性比较。通过比较与分析，我们可以发现：DigiRL不仅能够收敛到最佳的性能，而且学习效率更高。 上图展示了在自动评估器和人类判断间的关联性。主要结果是用Gemini-1.5-Pro自主评估的。除此之外，作者还对一些子集进行了手动评估，发现自主评估结果与手动评估高度一致，平均差异小于3%。
粤ICP备14082021号
免费POC，
零成本试错
