在数字化采用平台（DAPs）中，网页系统通常会嵌入覆盖层，以引导用户快速熟悉不熟悉的界面。然而，完成实际任务往往并不是简单地在单一页面上点击几下按钮，而是需要在不断变化的页面状态中执行一系列操作。
以往研究将自动网页代理的动作生成和指导文本的生成视为两个独立的问题，大多数模型使用的是文本页面表示（如 DOM 或可访问性树），而非人类实际操作的渲染屏幕。
在本研究中，我们推出了 MAG，这是第一个将任务执行与指导写作统一为单一多模态动作与指导任务的基准，采用两种基于截图的基础方案：元素选择集和原始像素坐标。
我们进一步构建了一个完整的任务工具，涵盖了使用 LLM 辅助的注释和人工验证、训练、在实时环境中的评估，以及针对动作和指导的联合指标。
通过这个工具，我们对前沿 API 模型和开放多模态模型进行了评估，并报告了详细分析。最后，我们设计了一种增强专家轨迹的 GRPO 训练方法，几乎将监督下 9B 代理的成功率翻倍（从 6.9% 提高到 13.2%），同时提升了指导质量。即使是最强的模型也仅完成不到 40% 的任务，未来的研究还有很大的空间。
博主点评： MAG 的提出有效解决了多模态任务执行与指导文本生成的分离问题，为复杂网页操作提供了新思路。通过引入 LLM 的辅助和专家轨迹，成功提升了模型的性能，显示了在这一领域的广阔发展潜力。未来，进一步优化模型以提升任务完成率将是重要的研究方向。