NeFut Logo NeFut
EN 管理员登录

[AI学术] 时空多阶交互用于视频识别

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#Machine Learning #optimization #Neural

许多视频识别的时序方法依赖显式的跨通道聚合投影,计算复杂度随通道数呈二次增长,导致开销巨大。与此同时,现有的时空表征要么偏向局部顺序交互(CNN),要么偏向全局顺序交互(Transformer),难以兼顾两者。基于 MogaNet 的多阶空间表征,我们提出两项互补改进。第一,针对时序建模,引入仅使用 depthwise 卷积的并行多阶处理,并通过隐式门控聚合实现跨通道聚合,复杂度仅随通道数线性增长,显著降低计算。第二,设计空间‑时间双向交互,使空间和时间维度相互强化,提升时空表征而不增加额外开销。将两者结合后,VideoMogaNet 在 UCF101、HMDB51、Kinetics‑400、Diving48 等多项基准上达到或超越最先进的动作识别性能,同时大幅削减时序分支的计算成本。

点评:该工作通过线性复杂度的时序模块和空间‑时间双向交互,在保持或提升精度的同时显著降低算力,是视频识别领域一次实用性与效率兼顾的突破。

原文链接: https://arxiv.org/abs/2611.05633

[h] 返回首页