深度学习模型在图像分类中已达到最先进的水平，但由于计算成本和能耗的挑战，部署面临困难。我们提出了一种轻量级的训练策略，该策略通过适应模型的归一化层到新领域，并将特征提取与分类器优化解耦，减少了通过仅一次预计算特征所带来的开销。重构的分类器头结合基于边际的加权损失，进一步降低了歧义性，而无需进行端到端的反向传播。
我们在四种CNN架构（ResNet18、ResNet50、MobileNet、DenseNet121）、三种Transformer模型（ViT、Swin和DeiT）以及三个医学数据集（脑癌MRI、BreakHis和PatchCamelyon）上进行了评估。结果表明，我们的方法显著减少了所需的训练时间，且仅有轻微的准确性折衷，通常能够匹配或超越基线性能。这种效率转化为减少二氧化碳排放的数量级，为资源有限的临床或原型环境提供了一种实用且环保的解决方案。
博主点评： 该研究通过解耦特征提取与分类器优化，展示了迁移学习中如何有效降低训练时间和资源消耗，同时保持模型性能，具有重要的实际应用价值，尤其在医疗领域的资源有限情况下更显得尤为珍贵。