摘要
近年来，视觉语言模型、大型语言模型和多模态大型语言模型的进步提升了自动驾驶任务的能力，如场景理解、决策制定、轨迹预测和视觉问答。然而，评估这些模型是否能可靠地推理安全关键事件仍然充满挑战。为了解决这一问题，我们提出了AUTOPILOT-VQA，这是一个针对事故中心的视觉问答基准，旨在理解行车记录仪视频。
该数据集通过围绕真实驾驶事件和近事故设计的结构化问题来评估不同系统。基准涵盖多种与安全相关的类别，包括天气和光照条件、交通环境、道路布局、路面状态、标志、涉事实体、事故发生、影响位置和可避免性相关推理。通过要求模型回答关于上下文场景属性和事件级事故细节的具体问题，AUTOPILOT-VQA超越了对象识别，朝着时间上有依据的、安全意识的推理迈进。
该数据集作为AUTOPILOT CVPR 2026竞赛的一部分发布，为评估不同场景下自动驾驶系统的可靠性提供了标准化基准。我们的基准支持开发更具可解释性、鲁棒性和安全意识的视觉语言系统，以应对现实世界中的自动驾驶挑战。
博主点评： AUTOPILOT VQA的推出为自动驾驶领域提供了新的评估标准，强调了在复杂驾驶场景中对安全的关注。这种基准不仅推动了视觉语言模型的研究，也为未来的自动驾驶系统的可靠性提供了重要参考。