类增量学习(CIL)旨在在不断加入新类别的同时保持对已有类别的识别能力。近年来,CIL 在单一模态(如图像、文本)上取得了显著进展,但在音视频交叉模态下仍缺乏系统研究。我们发现,直接使用多模态基础模型(MFM)冻结的特征在增量场景中表现不佳,主要因为缺乏跨任务的稳定上下文信息。\ \ 为了解决这一问题,我们提出了一套基于冻结 MFM 的音视频 CIL 框架。框架核心包括两部分:\
- 密集音频‑视觉特征提取:利用 MFM 的音频编码器和视觉编码器分别获得高维音频特征 $\mathbf{a}$ 与视觉特征 $\mathbf{v}$。\
- 注意力驱动的上下文引导模块:将音频特征视为任务稳定的上下文向量 $\mathbf{c}$,通过多头注意力机制对视觉特征进行加权,得到上下文感知的视觉表示 $\mathbf{\hat{v}} = \text{Attention}(\mathbf{v}, \mathbf{c})$。该过程在每个增量任务中保持不变,从而为视觉分类器提供一致的参考。\ \ 为了进一步抑制灾难性遗忘,我们在特征层面和 logits 层面引入蒸馏损失:\ $$\mathcal{L}_{\text{distill}} = \|\mathbf{v}^{t} - \mathbf{v}^{t-1}\|_2^2 + \text{KL}(\mathbf{z}^{t}\|\mathbf{z}^{t-1})$$\ 其中 $\mathbf{v}^{t}$、$\mathbf{z}^{t}$ 分别为当前任务的特征和 logits,$t$ 为任务索引。实验在多个公开的音视频 CIL 基准上进行,对比了最新的 CIL 方法,结果显示本方法在所有指标上均实现了显著提升。代码已开源: https://github.com/avigupta2798/MFM-CIL。\ \ 点评:该工作通过将音频特征作为跨任务的上下文,引入注意力机制实现了视觉特征的稳健增量学习,并结合特征与 logits 蒸馏有效缓解遗忘,提供了一个在多模态增量场景下可复用的通用框架。