NeFut Logo NeFut
EN 管理员登录

[AI学术] 面向可靠的 VLM 判官:状态条件不变性与呈现感知诊断

发布于:2026-11-11 22:00 最后更新:2026-11-12 00:51
#algorithm #AI #Machine Learning

视觉语言模型(VLM)正被广泛用于多模态和具身任务的自动评判,但仅凭整体准确率或一致性无法判断判官是否因正确的原因改变判决。我们提出 状态条件不变性(SCI),即判官在语义保持不变的呈现变化下应保持稳定,而在导致任务结果变化的因果干预下应产生相应响应。为实现 SCI,我们构建了 GridWM‑Judge,一个基于 MiniGrid 确定性轨迹的模拟器诊断基准,提供完整(Full)、证据移除(Evidence‑Removal)和反事实(Counterfactual)三种变体,并加入呈现与表征探针。该基准涵盖五类诊断任务:局部感知、动作条件转移、呈现稳定性、表征可交换性以及完整‑反事实因果区分。实验在五个任务上评估多种 VLM,发现模型普遍存在对证据呈现和编码敏感、成功轨迹激活低、配对反事实区分弱等问题。进一步的感知控制分析表明,视觉对齐和目标恢复是主要瓶颈,且表现高度依赖模型结构。基于这些发现,我们主张在报告模型性能时同时给出正确率、呈现稳定性和因果敏感性,而非仅使用单一分数。\n\n点评:本文通过系统化的诊断基准揭示了 VLM 判官在可靠性方面的多维缺陷,为后续模型改进提供了明确的评估方向。

原文链接: https://arxiv.org/abs/2611.13596

[h] 返回首页