理解和操作空间关系是 AI 系统构建基于物理环境的世界模型的核心。现有对多模态大语言模型(MLLM)空间推理的评估主要是基于小规模或合成场景的静态问答,几乎不涉及模型在满足几何约束的前提下修改空间布局。为此我们推出 GeoSpatialBench,覆盖从空间关系理解、几何推理到受约束的空间编辑的递进认知层级。数据来源于六座不同城市的真实城市数据,提供结构化 GeoJSON 与地图图像两种模态,涵盖 28 种拓扑、方向、度量和序关系,并通过 GIS 操作得到真实标签和约束。实验在多种前沿 MLLM 上进行,发现显著的空间差距:GeoJSON 的表现始终优于地图图像,二者的多模态组合并未带来可靠提升;模型在定性拓扑和序关系上还能取得可接受成绩,但在定量度量关系上表现急剧下降。更重要的是,编辑任务的序关系准确率低于问答,且大多数错误编辑都会违背至少一个给定约束。该基准揭示了被动识别空间关系与主动几何操作之间的鸿沟,为构建具备物理落地能力的世界模型和具身空间 AI 提供了必要的实验基石。
点评