本文通过系统实验揭示了视觉语言模型（VLM）在子任务层面出现逆向缩放的现象，即在同一家族中更大的模型在某些问题类别上的表现反而低于更小的模型。研究对象包括四个模型家族的 19 种模型，覆盖八个多模态基准（共九个评估切分），对每个模型回答 29,386 条问题，累计完成 558,334 次模型‑问题评估。
采用逐题配对分析，对每个家族内部的所有模型对进行比较，发现 375 组子任务‑模型‑配对呈现逆向缩放，其中涉及 4,342 条独立查询：这些查询在小模型上得到正确答案，而在大模型上出现错误。该现象在不同架构之间具有高度复现性。进一步筛选出 13 对子任务‑数据集在多个模型家族中均表现出逆向缩放，说明该现象更多源于任务本身而非特定模型。
受影响最严重的领域包括多图像空间推理、视觉感知以及大学层次的 STEM 知识，部分情况下准确率差距超过 20%。相比之下，图表理解的逆向缩放现象相对较弱。研究结果挑战了“模型规模越大，多模态能力越强”的普遍假设，提示在实际应用中应根据具体任务选择合适规模的模型。
点评