摘要
空间理解对于基础模型(FMs)至关重要,而地图长期以来帮助人类组织和推理地理信息。本研究考察了在模型可以直接处理结构化地理数据的情况下,色斑图是否仍然对机器的空间理解有用。
我们引入了 ChoroplethMap-Bench,一个包含2400个合成色斑图、相应的 GeoJSON 数据和12000个问题的受控基准,涵盖五个认知维度:识别、空间识别、比较、排序和划定。我们在三种输入条件下评估了22个开源和专有模型:仅数据、仅地图、数据 + 地图。
结果表明,地图显著提升了空间推理能力,尤其是在结合符号数据和需要更高层次空间模式理解的任务时。我们进一步分析了地图类型、颜色色调和空间结构的影响,以及提示策略、语言、地理上下文、解码设置、分类方法和响应稳定性。
总体而言,数据 + 地图条件下的表现最强,证明地图作为基础模型空间推理的外部表示仍然具有重要价值。
博主点评: 本研究深入探讨了色斑图在机器空间理解中的角色,强调了地图与数据结合的潜力。尤其是在复杂的空间推理任务中,这种结合显著提升了模型的表现,显示出地图在现代机器学习中的不可或缺性。未来的研究可进一步探索不同类型地图的影响。