摘要
计算机使用代理必须通过与部分可观察的多模态桌面环境的反复交互来解决长期任务。尽管模仿学习和离线轨迹优化提供了强有力的先验，但静态轨迹无法覆盖真实计算机使用的因果反馈循环：每个动作都会改变屏幕状态、未来的动作空间以及恢复选项。
EvoCUA-1.5 将自我演化的计算机使用代理从离线经验学习扩展到在线强化学习，在此过程中，策略与可执行的沙盒环境进行交互，并通过可验证的任务结果进行改进。在这种情况下，在线强化学习需要的不仅仅是直接重用单轮语言强化学习的配方。多轮交互引入了上下文管理的观察、稀疏的终端奖励、可变长度的轨迹和缓慢的环境反馈。
EvoCUA-1.5 通过以下方法解决这些挑战：
- 步骤级策略优化（STEPO）：在分解为步骤级样本后，保持轨迹级优势平衡。
- 策略感知过滤和通过率校准：在可验证的合成任务上进行。
- 动态三重自适应课程（DTAC）：结合可学习的任务、困难的正回放和受控的不可行任务暴露。
- 完全异步的强化学习基础设施：具有过时控制和小组批处理的能力。
实验结果表明，这些组件提高了训练稳定性和下游性能。EvoCUA-1.5 在 OSWorld-Verified 上实现了 63.2% 的成功率，超越了可比的 32B/35B 规模的开放权重基线，甚至接近具有显著更大参数数量的模型。总体而言，EvoCUA-1.5 提供了一个实用的框架，用于扩展多轮计算机使用代理的在线强化学习。
博主点评： EvoCUA-1.5 的提出在在线强化学习领域具有重要意义，尤其是在处理复杂的多轮交互和动态环境反馈方面。其创新的策略优化和课程学习方法为未来的研究指明了方向，值得进一步探索和应用。