在线强化学习（RL）凭借可验证奖励在数学、代码和工具使用上取得快速进展，但将这种成功扩展到 GUI 代理仍面临交互环境成本高、真实训练任务稀缺等挑战。我们推出 MAI-Gym，一个统一的开源平台，涵盖 GUI 代理的评估、数据收集和在线 RL 训练，支持移动、电脑和网页三类环境。
MAI-Gym 通过共享 rollout 流水线，保证评估与训练期间代理行为一致，内置十个成熟基准，并可横向扩展至 20,000 个并行环境实例。平台还能自动合成多样化的 GUI 应用和高难度任务，包括可重置的模拟应用、跨应用的连贯世界以及基于执行验证的任务判定器。
利用 MAI-Gym，我们训练出 MAI-Gym-9B——一个统一的 9B 参数模型，能够在移动端和电脑端使用，在公开 GUI 代理中（参数 <10B）实现最新水平：MobileWorld 78.4% 和 OSWorld‑Verified 76.2%。更重要的是，在模拟的火车票务应用上进行的 RL 训练能够迁移到真实手机上的同类应用，任务成功率从 28.8% 提升至 48.1%。
我们开源了完整框架、合成技能、模拟应用、2000 条已验证任务以及模型检查点，旨在促进可复现研究并推动可扩展的 GUI 代理训练。
点评