近年来，视觉语言模型（VLMs）在视觉推理方面取得了显著进展。然而，现有评估大多基于简单场景（如MS-COCO），未能展示复杂的人类互动或行为，仅依赖少量非整理的人类描述作为基准，并且缺乏对模型错误类型的深入理解。为了弥补这一空白，我们引入了复杂社会行为（CSB）数据集，该数据集包含100幅描绘复杂社会互动/行为的图像。
我们分析了2017年至2025年间VLMs的场景描述发展，涵盖四个前多模态大型语言模型（MLLMs）和五个MLLMs。我们在CSB数据集和MS-COCO样本上，评估了模型的准确性以及20个人类描述相对于黄金标准的表现。我们分析了五种视觉认知错误类型：物体检测、识别、幻觉、场景理解和空间依赖性。
研究发现，CSB数据集在场景描述准确性上表现出更显著的改进。相较于MS-COCO，前MLLMs的准确性远低于排名最低的人类描述，而MLLMs的准确性则接近排名最高的人类描述。我们还发现，MLLMs在描述简单MS-COCO场景与描绘复杂行为场景（CSB）之间的准确性差距几乎消失。
尽管MLLMs在测试的数据集中几乎消除了所有错误类型，但仍偶尔在场景描述中依赖于与人类不同的图像区域（空间依赖性错误）。此外，检测、识别和幻觉错误对场景描述准确性影响最大。综上所述，我们的研究提供了对视觉语言模型在过去十年进步的更全面评估。
博主点评： 该研究通过引入CSB数据集，弥补了传统评估的不足，清晰展示了视觉语言模型在处理复杂场景时的真实表现。MLLMs的进步令人瞩目，但仍需关注空间依赖性错误的影响，以进一步提升模型的实用性和准确性。