轨迹级 GRPO 是训练多步 GUI 代理的常用方法，但从任务根节点反复滚动完整轨迹会导致低效：任务级奖励只能提供粗粒度的监督，难以指明哪些中间决策需要改进，而已经掌握的前缀会被重复执行，浪费算力。为此我们提出了一个两阶段自适应训练框架，统一考虑学习位置和滚动范围。首先，从成功的专家轨迹中构建可复用的中间检查点，并利用 动作分歧（action disagreement）挑选信息量大的枢纽点——该指标直接衡量采样 GUI 动作的不确定性。
阶段 I 在这些枢纽点上执行一步强化学习，专注于提升不确定的局部决策。阶段 II 则根据任务进度，逐步扩展策略的责任范围，分别进行 Local、Suffix 和 Root 训练。可恢复的检查点使得训练可以从中间状态重新开始，无需重新回放前置轨迹。
在 MobileGym 与 CUA‑Gym‑Hub 两套基准上，本文方法相比 Vanilla GRPO 将环境交互次数降低了 56%–61%，同时提升了任务成功率，验证了在状态和滚动范围上联合分配训练资源能够显著提升 GUI 代理的学习效率。
点评