摘要
传统的持续学习通常假设能够访问带标签的数据，然而许多实际应用（如终身机器人技术）需要模型能够从无标签的数据流中持续适应。这促使了持续自监督学习（CSSL）的发展，这是一个快速增长的领域，但缺乏专门的系统性评审。
在本工作中，我们对视觉领域的CSSL进行了全面的综述，并与新兴的视觉-语言设置建立了联系。首先，我们分析现有的评估协议，并强调阻碍公平比较的不一致性。接着，我们探讨了自监督目标为何在抵抗灾难性遗忘方面表现出更强的鲁棒性，将其与任务无关的表征和更平滑的损失曲线联系起来。
然后，我们根据遗忘缓解策略将现有方法组织成统一的分类，包括蒸馏、重放、正则化、结构方法、模型合并和目标级适应。最后，我们识别出开放的挑战，例如可扩展性和快速适应的需求。我们认为，推动CSSL的发展需要超越小规模基准，朝着大规模系统的持续预训练范式迈进。
博主点评： 该综述全面分析了持续自监督学习的最新进展，强调了在视觉模型中应用的重要性及其面临的挑战，尤其是在无标签数据环境下的适应能力。未来的研究应聚焦于如何有效地解决这些挑战，以推动这一领域的发展。