在本文中，我们提出了 CUA-Universe，一个将真实桌面软件转化为混合 GUI+CLI 环境的可扩展管线。App-Forge 负责将应用封装进可复现的虚拟机，并自动发现、包装或生成对应的命令行接口，已支持 16 种软件。Task-Weave 基于种子文件的可复用操作，合成难度可控的混合任务，覆盖界面检查、文件操作、系统配置等场景。Path-Steer 在采集阶段引导轨迹沿高效的 GUI+CLI 路径展开，并对生成的轨迹进行验证，以供后续训练使用。通过在这些数据上训练，模型能够从仅使用 GUI 的低效交互或脆弱的 CLI 脚本，转向有效的双模协同。我们使用 9B 参数的模型在 CUA-Verse 上提升得分 39.3 分，步骤减少 37%，令牌消耗下降 60%；在 OSWorld 上成功率提升 16.8 分，步骤减少 57%，令牌下降 44%；在 OSWorld‑MCP 上得分提升 7.84 分，步骤减少 27%，令牌下降 30%。实验表明，混合路径的学习显著提升了代理的成功率和效率。CUA-Universe 为构建更强大、更高效的计算机使用代理提供了可扩展的路径。
点评