深度神经网络在视觉基准上取得显著成绩,但在分布迁移、伪相关、纹理偏差、对抗扰动和连续学习遗忘等方面仍表现脆弱。传统监督依赖独热标签,缺乏类间语义结构信息。我们探索使用预训练语言模型作为轻量级辅助监督,既不需要图文配对,也不依赖提示工程或对比学习。
提出两种语言引导方式:显式语言引导(ExLG)和隐式语言引导(ImLG)。在六类通用性场景——同分布、跨分布、快捷方式与伪相关抵抗、纹理与形状偏差、对抗鲁棒性以及持续学习——进行系统评估。结果表明,两者互补:显式引导在同分布、少样本和持续学习保持方面持续提升;隐式引导在快捷方式敏感和强对抗扰动下表现更佳。两种方法均参数少、训练开销低。研究阐明了语言衍生结构何时有助于监督视觉训练,并提供了使用跨模态预训练模型的实用指南。
点评:该工作展示了跨模态语言信息在提升视觉模型通用性方面的潜力,为无需大规模图文配对的轻量化方案提供了有价值的参考。