计算机使用代理(computer‑using agents)在数字世界中完成复杂任务的能力日益提升,但在专业桌面应用上仍缺乏高质量的交互轨迹。主要原因包括:对应用的内部知识不足、GUI 工作流繁琐以及探索不完整。为此我们提出 OS‑Wizard,一个自动化轨迹收集框架。
OS‑Wizard 将 教程引导探索 与 混合 GUI‑Code 动作空间 相结合。框架在 GUI 层面提供应用特定的知识,引入直接执行应用原生命令的代码动作,从而简化繁琐的点击序列。探索过程中,框架会对关键状态进行 checkpoint,并在后续重新访问这些状态,以尝试不同的工作流,这种树形探索补足了线性 rollout 的覆盖不足。
实验中我们收集了 10.9K 条轨迹,共计 54.9K 条状态‑动作样本。在此数据上对开源基础模型进行微调,得到的最佳模型在专用桌面工作流基准上提升了 58.2 个百分点,达到 64.1%,超过已报告的人类表现 59.8%,创下新纪录。该模型在仅使用 GUI 动作的通用桌面工作流上同样表现提升,说明收集的监督信息对通用任务也有帮助。对比实验和消融研究进一步验证了轨迹收集的高效性以及代码动作的重要性。
点评:OS‑Wizard 通过融合教程知识与代码层面的直接控制,实现了对专业软件的高效轨迹采集,为提升代理在复杂桌面环境中的表现提供了可复制的路径。