摘要
多实例学习（MIL）已成为计算病理学中全切片图像（WSI）分析的主要范式。现有的MIL聚合器通常针对每个下游任务从头开始训练，依赖有限的切片级标签同时学习聚合机制和下游判别表示。这导致它们通常面临优化不稳定、过拟合和迁移能力有限的问题。
与自然图像学习中的预训练ResNet和Vision Transformer模型类似，MIL也需要可重用的预训练初始化。然而，高质量的切片级预训练数据依然稀缺，且MIL模型通常轻量且弱监督，这使得大规模预训练在实践中变得困难。
为了解决这一挑战，我们提出了一种基于蒸馏的MIL预训练框架，利用两个切片级基础模型TITAN和CARE作为教师，将其表征知识转移到多种MIL架构中。为了有效平衡来自不同教师的监督，我们进一步引入了一个角度分散归一化蒸馏损失。
蒸馏后的权重被用作下游适应的初始化。我们在15个基准数据集上进行了系统评估，涵盖线性探测和全参数微调，并进一步验证了其在少量样本场景中的优势。实验结果表明，预训练通常能改善MIL聚合器的表现，尤其是在线性探测和少样本设置中，同时保持轻量MIL模型的计算效率。
代码可在 GitHub 获取。
博主点评： 该研究通过引入多教师蒸馏机制，为多实例学习提供了一种创新的预训练方法，显著提升了模型在不同任务中的表现，尤其是在数据稀缺的情况下，展示了良好的迁移能力与效率。