本文研究模型对时间持续性的常识推理。我们构建了一个包含地理标记推特的语料库,由人工和大语言模型共同标注,用于评估模型在从文本、图像和上下文线索推断停留时长的能力。实验表明,即使使用多轮思考链提示,最先进的视觉语言模型在时长推断上仍表现不佳。错误分析显示,模型常未能融合关键上下文信息,或过度依赖显著的视觉细节而忽视细微的标签和语义差异。这凸显了在情境感知多模态理解方面仍存在重大挑战。
点评
本文研究模型对时间持续性的常识推理。我们构建了一个包含地理标记推特的语料库,由人工和大语言模型共同标注,用于评估模型在从文本、图像和上下文线索推断停留时长的能力。实验表明,即使使用多轮思考链提示,最先进的视觉语言模型在时长推断上仍表现不佳。错误分析显示,模型常未能融合关键上下文信息,或过度依赖显著的视觉细节而忽视细微的标签和语义差异。这凸显了在情境感知多模态理解方面仍存在重大挑战。
点评