摘要
近期的视觉语言模型（VLM）基准主要评估单一或有限视角的感知能力，未能测试将不同视角观察整合为一致的世界中心（外部）3D心理模型的核心认知能力。我们推出了MultiView-Bench，一个专门设计用于评估多视角集成以实现整体3D场景理解的诊断基准。
与现有的数据集不同，后者关注于像素级映射或相机相对导航，MultiView-Bench要求模型将物体定位与瞬时视角解耦，并将其固定在全球坐标系统中。这种能力是VLM在进行机械部件装配等下游任务前的先决条件。
我们对前沿VLM的系统评估揭示了一致的失效模式：在单幅图像的2D平面关系上表现强劲，但在3D空间关系和跨视角信息聚合方面存在显著困难。我们进一步识别出VLM中的偏差，例如对非常规轴向方向的挣扎，以及对物体颜色和纹理变化的敏感性。
意识到这些局限性，我们提出了ViewNavigator，一个多代理框架，主动选择信息丰富的视角，感知并融合多视角证据，在严格的预算匹配比较下，提高了多种基础模型在MultiView-Bench上的表现（整体代理提高了3-5倍）。
博主点评： MultiView-Bench的引入为评估VLM在复杂场景中的多视角集成能力提供了新的视角，特别是它揭示了当前模型在3D理解中的局限性。ViewNavigator的提出则为解决这些问题提供了创新的思路，值得深入探索其在实际应用中的有效性。