IGG 是一个交互式 GUI 定位基准,旨在评估在可见性受限情况下让目标出现并点击的能力。任务要求先通过交互使目标可见,再执行点击。基准包含 601 条任务,覆盖 16 种可控 GUI 环境,细分为七类可见性约束。动作空间仅包括滚动、移动、拖拽、等待和点击。人类实验得到 94.6% 的成功率,GPT‑5.5 达到 79.4%,最强的开源视觉语言模型仅为 31.6%。为探究差距来源,进行两项干预:告知 Qwen3‑VL 需要执行的交互操作,准确率从 30.8% 提升至 33.9%;由外部系统替模型完成交互,准确率升至 81.9%。结果表明瓶颈在于执行揭示交互,而非目标识别。进一步实验显示,可见性恢复能力可以通过训练在不同模型族中持续提升。
点评