在自然语言处理(NLP)的推动下,传统的任务特定模型逐渐演变为强大的通用基础模型。那么,计算机视觉领域需要什么样的催化剂来实现通用模型呢?本文认为,大规模的文本到视频生成是计算机视觉强有力的预训练范式,为通用视觉智能提供了必要的时空先验、视觉语言对齐和可扩展性。
我们提出了 GenCeption,它利用预训练的视频生成扩散骨干网络定义了一个前馈感知模型,能够根据文本指令执行各种视觉任务。实证结果表明,GenCeption 在深度、表面法线、相机姿态估计、表达关联分割和 3D 关键点预测等多种任务中达到最先进的性能,常常超越专门化模型(如 DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo 和 Lotus-2)。
此外,视频生成预训练的骨干网络在可比设置下超越了其他预训练范式(如 V-JEPA 和 Video MAE)。重要的是,GenCeption 展现出初步的数据和模型扩展特性,以及卓越的数据效率,在训练数据少至 7 到 500 倍的情况下,仍能与 D4RT 和 VGGT-Omega 等领先模型达到相当的性能。
最后,GenCeption 还展现出有趣的涌现行为:一个仅在合成的人类视频上训练的模型能够泛化到真实世界的素材和分布外的物体类别(如动物和机器人)。这些发现表明,视频生成不仅仅是合成工具,更是通向物理世界通用视觉智能的基础路径。
项目页面:GenCeption
博主点评: 该研究通过视频生成模型的预训练,展示了计算机视觉领域的巨大潜力,表明在合成与现实之间建立联系的可能性,尤其是在数据稀缺的情况下。未来,视频生成或将成为实现更广泛视觉智能的关键技术。