视频异常检测（VAD）在自动监控中至关重要，但在光照变化、快速运动和复杂背景等挑战条件下仍然脆弱。为了解决这些局限性，我们提出了EVAD，一个事件增强的VAD框架，联合利用传统视频和由生物启发的事件相机捕获的事件流。
事件传感器以高时间分辨率异步捕获亮度变化，提供对运动模糊和极端光照的鲁棒性，并为基于视频的视觉信息提供互补的运动显著线索。
为了支持多模态VAD研究，我们构建了一个大规模的可见事件基准数据集，包含63亿个事件和376,368帧视频，在不同的光照水平、运动模式和背景复杂性下收集，填补了事件驱动异常检测的现实和可扩展数据集的空白。
基于该数据集，我们设计了一个对比多模态预训练框架，通过对齐事件流、可见视频和文本描述的语义嵌入来学习判别性事件表示。一个自适应融合模块动态整合基于事件的时间线索与基于视频的空间语义，提高了对环境干扰的鲁棒性。
在基准测试和所提出的TJUTCM Pha数据集上的实验表明，EVAD始终优于现有方法，验证了事件驱动传感在现实场景中进行VAD的有效性。
博主点评： EVAD框架通过结合传统视频和事件流，展示了在复杂环境下进行视频异常检测的巨大潜力。这一创新不仅提升了检测的准确性，同时也为多模态数据的研究开辟了新思路。