NeFut Logo NeFut
EN 管理员登录

[AI学术] 语言指导用于监督视觉训练的通用性实证研究

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #Neural

深度神经网络在视觉基准上取得显著成绩,但在分布迁移、伪相关、纹理偏差、对抗扰动和连续学习遗忘等方面仍表现脆弱。传统监督依赖独热标签,缺乏类间语义结构信息。我们探索使用预训练语言模型作为轻量级辅助监督,既不需要图文配对,也不依赖提示工程或对比学习。

提出两种语言引导方式:显式语言引导(ExLG)和隐式语言引导(ImLG)。在六类通用性场景——同分布、跨分布、快捷方式与伪相关抵抗、纹理与形状偏差、对抗鲁棒性以及持续学习——进行系统评估。结果表明,两者互补:显式引导在同分布、少样本和持续学习保持方面持续提升;隐式引导在快捷方式敏感和强对抗扰动下表现更佳。两种方法均参数少、训练开销低。研究阐明了语言衍生结构何时有助于监督视觉训练,并提供了使用跨模态预训练模型的实用指南。

点评:该工作展示了跨模态语言信息在提升视觉模型通用性方面的潜力,为无需大规模图文配对的轻量化方案提供了有价值的参考。

原文链接: https://arxiv.org/abs/2610.27208

[h] 返回首页