摘要
图形用户界面（GUI）代理是由大型多模态模型（LMMs）驱动的系统。它们通过点击、输入和滚动等GUI操作感知屏幕状态并执行用户指令。然而，当前的代理在处理长时间任务时表现不佳：操作会导致昂贵的LMM推理，并且随着上下文的增长，性能会下降。人类通常将此类工作负载分配给多个协作者，进行并行子任务的完成。然而，GUI代理之间的并行协调尚未受到足够关注。为了解决这一问题，我们引入了ParaGUIBench，这是目前为止首个专门针对多个GUI代理在不同桌面实例上进行并行执行和协调的基准。它包含三个组成部分：
- 多设备Docker基础设施，具有共享文件系统；
- 涵盖六个任务类别的233个任务的数据集；
- 包含效率指标的评估系统，包括步骤减少比和令牌费用。
我们还介绍了ParaGUI，这是一种规划-工作者代理，能够分解GUI任务并将子任务分派给并行工作者在不同桌面实例上执行。在ParaGUIBench上，ParaGUI达到了46.4%的成功率，超过了最强的串行基线（Claude Sonnet 4.6）12.9个百分点，同时使用的步骤大约减少了一半，令牌使用量也不到一半。这些结果表明，针对可分解的长时间GUI任务，采用并行执行可以提高成功率和效率，指向值得进一步研究的方向。
博主点评： 该研究揭示了GUI代理在并行处理任务中的潜力，尤其是在长时间任务的执行上。通过ParaGUIBench的建立，未来在多代理协调方面的研究将更具方向性，值得关注。