NeFut Logo NeFut
EN 管理员登录

[AI学术] 给模型一根手指:面向发展阶段的视觉语言模型计数评估

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #Machine Learning

Vision-language模型在小集合上能够精确计数,但在更大集合上会转向估计,这类似于儿童在掌握计数前的表现。儿童通过指向每个对象并念数词、把已计数的物体移开、划分阵列等认知动作跨越计数壁垒。我们在没有视觉智能的普通图像工具上,以训练无关的智能体循环为模型提供相同的指向动作。核心主张是测量而非干预:模型通过标记实现计数时,会在图像上留下本应隐藏的序列过程;计数的发育原则将这些标记转化为可解释的序列视觉推理审计:每个标记相对于点级真值被分类为命中、重复、幻影或遗漏,答案与标记数量对比,且通过强制相反遍历顺序检验顺序无关性。

对9个模型、682张图像、7种使用条件的实验表明:(i) 精确计数范围是模型特有的签名,R80 从 3 到 150 点跨近两个数量级;(ii) 作为干预手段,指指大多失效:标记仅在4个模型的小计数照片上有帮助,误导不精确的指针,且很少超越语言套路或盲点列表;循环提供的是可审计的痕迹而非准确性;(iii) 作为测量手段,它成功:标签扰动探针显示精确指针从标签读取答案,指向精度决定受益模型,密集场景因遗漏而失效,模型很少在看到自身标签后修正;(iv) 能力出现分离:模型遵循指示的遍历顺序,却在顺序反转时常改变答案,儿童在常规对散乱优势仅在例程下出现,并在击败行列乘积捷径的格子中仍保持优势。

点评

原文链接: https://arxiv.org/abs/2610.27756

[h] 返回首页