在本文中,作者使用比较心理学中的关系匹配‑样本(RMTS)范式,系统评估了前沿视觉语言模型(VLM)在抽象推理任务上的表现。实验在参数化控制的刺激集合上进行,覆盖了三大商业 API(GPT、Claude、Gemini)以及三类开源模型(Qwen3.5、Gemma‑4、InternVL3)。结果揭示了四个关键因素能够推动模型从“匹配对象”向“匹配关系”转变:模型的能力层级、规模、场景中的对象数量以及是否存在每对象的噪声。随着这些因素的变化,模型表现出类似人类“关系转移”的发展轨迹。
为了探究内部机制,作者对每一层的表征相似性进行分析,并结合因果中介分析,发现 VLM 的抽象推理由两条竞争回路实现:早期回路依据表面对象特征组织图像,后期回路依据抽象关系组织图像。进一步在 ARC‑AGI‑1 数据集上验证,去除在 RMTS 中识别出的关系头比随机去除头部对性能的影响更大,说明该关系回路在更广泛的任务中被调用。
本文提供的机制层面视角,为理解 VLM 如何实现抽象推理奠定了基础。
点评