摘要
移动图形用户界面（GUI）代理在自动化复杂任务方面展现出了显著的能力，但同时也引入了关键的安全风险，单个错误操作可能导致不可逆转的后果。现有的安全机制主要是反应性的，缺乏在执行前评估风险的能力。本文介绍了SeerGuard，这是一种具有后果意识的安全框架，旨在通过执行前的指令级筛选和动作级风险评估来减轻这些风险。
具体而言，动作级评估分析代理提出的动作与当前GUI状态，预测可能的结果以识别执行前的风险。为实现这些能力，我们通过多任务学习构建了统一的安全增强世界模型（SAWM），将语义下一个状态预测与安全风险评估相结合。广泛的实验表明，SeerGuard在多种移动GUI代理中有效泛化。在Qwen3-VL-8B-Instruct上，它将安全效用分数从 $0.191$ 提升至 $0.596$，并将风险成本分数从 $0.347$ 降低至 $0.130$。对我们的SAWM的进一步分析验证了指令级筛选的有效性，以及动作风险评估和下一个状态预测的能力。
博主点评： SeerGuard通过引入前瞻性的风险评估机制，显著提升了移动GUI代理的安全性。这一框架的创新点在于将多任务学习与安全风险评估结合，不仅提高了实用性，还为未来的自动化代理提供了强有力的安全保障。其在不同代理中的有效性也显示了其广泛应用的潜力。