摘要
近期大规模视觉语言模型（LVLMs）的进展需要强大的基准来评估复杂的视觉基础推理。许多文档理解基准的一个关键限制是：视觉内容往往可以简化为文本，从而使得模型在没有真正视觉基础的情况下表现出色。为了解决这一限制，OmniMapBench应运而生，旨在促进地图文档的视觉中心推理。
该基准包含2,096对手动注释的问题-答案对，覆盖来自九个类别的1,603个地图文档。它旨在探测一系列技能，从感知到多步骤视觉推理。
为了量化基准特性，提出了一种简单而有效的基准级别指标：视觉依赖指数（VDI），其定义为在图像被替换为与问题无关的描述时的准确率下降。OmniMapBench的VDI高于现有基准，定量验证了其对不可简化视觉推理的关注。
对25个领先的LVLMs在OmniMapBench上的全面评估显示出显著的性能差距，表现最好的模型仅达到75.03%的准确率。这一结果突显了OmniMapBench对当前LVLMs所带来的挑战。该工作旨在促进LVLMs在文档理解中的视觉中心推理的进展。数据集和代码已在GitHub上公开。
博主点评：OmniMapBench通过引入视觉依赖指数，显著提升了对视觉推理能力的评估标准，为未来视觉语言模型的研究提供了新方向。其挑战性的数据集将推动更深入的文档理解研究，值得关注。