在真实环境中，图形用户界面（GUI）自动化仍然面临挑战，动态布局、意外对话框和不断变化的界面状态可能导致自主代理偏离用户意图。最近的基于视觉的多模态代理通过直接操作屏幕截图和自然语言指令提升了灵活性，但规划和适应通常仍然是内部过程，限制了用户检查、监督或纠正系统行为的能力。
我们提出了Plover，一种以计划为中心的基于视觉的GUI自动化系统，它将任务计划和重新规划外部化为持久的、可检查的和可修订的工件。通过规划者-执行者架构，Plover支持对演变执行的显式监督，通过可编辑的计划进行局部修正，提供自然语言指导，并支持基于屏幕截图的干预，同时在修复过程中保留先前的进展。
对六名参与者进行的初步研究为交互设计提供了参考。随后，我们通过基准失败案例修复和基于场景的工作流分析来评估Plover。我们的结果表明，当计划保持可见且干预局部化时，许多自主GUI代理的失败是结构上可修复的，而显式的重新规划有助于使GUI自动化更加透明、可控和适应性强。
博主点评： Plover系统通过将任务计划可视化，显著提升了用户对GUI自动化的控制能力。这种设计不仅提升了透明度，还允许用户在系统执行过程中进行实时干预，展示了未来GUI自动化的潜力和方向。通过引入自然语言指导，Plover打破了传统的界面交互方式，为用户提供了更为直观的操作体验。