1. 训练任务不足：离线数据集通常提供了人类注释的轨迹，便于在预定义任务上训练和评估智能体。但像WebArena这样的在线网页环境通常只提供有限的测试集用于评估。这种缺乏预定义训练任务和训练数据的情况显著阻碍了在这些环境中对智能体的有效训练。

2. 反馈信号的稀疏性：在没有任务特定评估函数的情况下，评估任意网页浏览任务的成功与否较为困难。此外，不同于某些图形用户界面数据集中的任务（如 AITW 和 WebShop），WebArena中的任务通常具有较长的步骤序列，最优解平均需要约10步。这一特点在在线探索过程中导致了反馈信号的严重稀疏性。

3. 在线学习中的策略分布漂移：由于缺乏预定义的训练集，在线探索成为必要，然而这不可避免地导致智能体策略的分布漂移。这一现象可能会引发灾难性遗忘，并导致性能随时间下降。

WebRL 算法流程

除了在算法层面通过 KL 控制策略分布漂移外，我们还实施了自适应重放缓冲区，以减轻数据层面的知识遗忘。具体来说，我们只将每个阶段的成功轨迹（可能是稀疏的）存储到重放缓冲区中。　

在第 i 阶段，我们使用上一阶段的行动者来计算缓冲区中所有行动的复杂度。困惑度在 1/0.95 到 1/0.5 范围内的动作及其相应的状态会被添加到当前阶段的训练数据中。这一筛选过程既能排除过于熟悉的数据，也能排除对智能体来说难度过高的数据。　

实验与结果

主实验结果

• Llama3.1-8B 在 WebRL 训练下，平均准确率达到 42.4%，超越所有基线方法，尤其在Gitlab（46.7%）和CMS（54.3%）等复杂任务上表现出色。

• WebRL 在不同模型架构中效果一致，如 GLM-4-9B 也展现了相似的性能提升，达到了 43% 的平均准确率，证明了 WebRL 的鲁棒性和适应性。

• WebRL 在更大规模模型上仍具有有效性。Llama3.1-70B 在 WebRL 训练后的平均准确率达到了 49.1%。

在不同难度任务的表现

• 在具有各种数量的步骤需求的任务上，WebRL 都有优秀的表现。尤其在需要更长步骤数量的任务上（步骤数 >= 6），WebRL 的表现明显优于其他方法。WebRL 通过课程学习逐步增加任务难度，提高了对复杂任务的处理能力，在需要长期规划的任务上表现优于其他方法。

• WebRL 在不同复杂度的指令上表现良好，尤其在更复杂的指令上表现出色。WebRL 采用的自我进化课程学习策略能够基于模型能力逐步提升任务复杂度，从而在复杂任务上表现更佳，展现了其适应不同复杂度指令的有效性。

错误类型分析

• 相比基线方法，使用 WebRL 训练的模型在“中途卡住（Get Stuck Midway）”错误上表现更好，成功减少了陷入重复操作的循环的情况。

• WebRL 通过课程学习提升了模型应对“无法恢复错误（Fail to Recover）”的能力，使其在遭遇失败时能更灵活地调整操作。

• WebRL 训练的模型在“错误页面停留”和“未尝试合理行动”错误上表现最优，表现出对任务与网页之间关系的更深层理解。这使模型能够更准确地识别完成特定任务所需的正确页面，从而减少误停错误页面或导航至不相关页面的概率。

消融实验

• WebRL 与 DigiRL 对比，证明了通过自我进化的课程学习策略可以实现更加持续的性能提升。

• WebRL w/o replay buffer 与 WebRL w/o KL & replay buffer 对比，证明了 KL 散度约束的策略更新算法在减轻知识遗忘上的有效性。

• WebRL 与 WebRL w/o replay buffer 对比，证明了重放缓冲区在实现模型能力稳定提升上的有效性。

结论