摘要
多模态GUI代理通过两条冗余通道读取界面：屏幕截图的渲染像素和序列化结构（如DOM或可访问性树）。在采取行动之前，代理会对当前界面状态形成信念，但现有基准只评估任务成功率、元素定位或抗攻击能力，并未询问该信念是否来源于像素。我们正式定义了视觉状态依赖，即将状态信念归因于像素、结构或先验，并通过对310个真实网页、移动和桌面探针进行成对单通道干预来进行测量。每个探针通过确定性强制选择进行评分，不涉及模型生成的项目和判定。
我们的核心指标是感知融合差距（Perception-Fusion Gap），即模型正确感知但在冲突情况下更倾向于结构的探针比例。在来自三个供应商的五个模型中，文本状态信念往往依赖于结构，而仅图像的准确率接近上限，每个模型的感知融合差距均为正值；而非文本身份则主要依赖于像素。替代特性特定于序列化文本和索引行动通道，坐标行动代理基本免疫。对于文本冲突，白盒消融追踪效果至单个复制的结构值，并且在两个实时环境中，冲突导致错误行动和实际任务失败。因此，视觉状态依赖提供了一个可测量的诊断工具，用于判断代理状态信念是否在视觉上有据可依，而它所暴露的错误会传递到行动中。
博主点评： 本文深入探讨了GUI代理在决策过程中对视觉信息的依赖问题，尤其是像素与结构信息的对比，提供了重要的理论和实践参考，尤其适用于提高多模态系统的可靠性与准确性。其提出的“感知融合差距”指标为未来的研究提供了新的视角与思路。