摘要
视频多模态大语言模型在开放式视频理解方面取得了显著进展，但在精确的局部时空感知上仍显不足。当两个视频几乎共享相同的全局语义，仅在短时间跨度或小区域内存在差异时，当前模型往往无法发现变化并提供可靠的证据。
我们提出了DELTAVID，一个可验证的代理任务框架，通过视频间差异增强细粒度的时空感知。其核心思想是将跨视频的“找不同”转化为可训练的感知信号，模型通过比较相似视频来识别局部变化、判断时间边界并组织空间证据。
为了使这一信号可扩展以进行训练并可靠地进行评估，我们进一步引入了DELTAVID-10K和DELTAVID-Bench，将真实视频中可控的局部差异转换为带有证据标签的训练和测试样本。
实验表明，DELTAVID在跨视频差异理解方面显著提高了性能，并将所学的局部证据能力迁移到包括MMVU、MLVU、Video-MME、VideoHolmes、VideoMMMU、LVBench、TempCompass和LongVideoBench等在内的一般视频理解基准上。
这些结果表明，跨视频差异不仅是诊断细粒度感知失败的有效方式，也是推动视频多模态大语言模型从粗略的语义理解向细粒度时空证据推理的可扩展代理监督。
博主点评： DELTAVID框架通过创新的跨视频分析方法，显著提升了模型在时空感知上的能力，展现了细粒度理解在视频处理中的重要性。这一进展不仅有助于提高视频理解的准确性，也为未来的多模态模型提供了新的研究方向。