近期多模态基础模型在通过视觉观察和自然语言指令操作图形用户界面（GUI）方面取得显著进展，但在未见过的应用上仍难以保持高性能，因为实际任务往往需要长时程的过程知识和特定的操作模式。构建可执行任务并收集对应轨迹仍高度依赖人工标注，成本不菲。为此我们提出 MAGE（Manual‑augmented computer use AGent Execution and learning）框架，利用用户手册作为可扩展的过程知识来源，提升推理与训练效果。执行阶段，MAGE 根据当前任务检索手册中相关章节，并通过规划器生成明确的步骤指导计算机使用代理（CUA）。为弥合手册与实际 GUI 环境之间的差异（如版本或设置不同），MAGE 进一步通过与环境交互对策略进行自适应调整。训练阶段，MAGE 将手册转化为可执行的任务‑计划对，利用这些计划引导环境滚动至任务相关状态，生成的轨迹随后用于在无需人工示例的情况下优化策略。该统一设计实现了手册在任务执行和策略学习中的双重价值，显著降低了对人工训练数据的依赖。实验在六个不同软件上进行，对比强基线模型，任务成功率均有提升，验证了手册引导的规划与策略适应在新软件环境中的有效性。代码与复现脚本已开源于 https://github.com/ku-autoai/MAGE。
点评