在篮球视频理解中,全面解析不仅需要确定发生了什么事件,还需明确责任人及关键证据的出现时间。然而,现有方法通常将空间感知与语义识别视为孤立任务,未能将事件与个别球员关联,或准确确定其在复杂集体动态中的时间边界。
为了解决这一问题,我们引入了BasketEvent,一个以球员为中心的篮球事件理解数据集,来源于真实的NBA转播。该数据集中,事件标签与负责球员相对应,并提供了1,000个样本的手动标注子集,以评估时间证据的定位。
基于该数据集,我们提出了PlayNet,一个球员中心的推理框架,能够将篮球视频映射到球员级别的事件预测及时间证据。具体而言,PlayNet跟踪关键实体,关联球员身份,并通过建模球员与球员、球员与球、以及场地全局互动来推理事件,同时通过门控池化聚合稀疏的时间证据。
大量实验表明,PlayNet显著优于代表性的视频级别和裁剪基础线,证明了以球员为中心的建模在细粒度体育视频理解中的优势。我们的数据、代码和模型将公开提供。
博主点评: 本文提出的BasketEvent数据集和PlayNet框架为篮球视频分析提供了新的视角,强调了球员在事件理解中的重要性。这种方法不仅提升了事件识别的准确性,也为未来的体育视频分析奠定了基础。通过关注个体球员的行为和互动,研究者能够更深入地理解比赛的动态。