摘要
核心集选择旨在从庞大的数据集中识别出一个小而高度代表性的子集，以实现高效的模型训练。即使在少样本知识蒸馏（KD）设置中，这一问题依然具有挑战性，其中全规模的预训练教师网络为学生网络提供指导。典型的样本选择策略常常难以超越随机选择的基线。
在本文中，我们展示了一种名为few-medoids的简单核心集选择策略，该策略选择每个类别最接近质心（平均图像）的样本。我们在四个数据集上进行了广泛的KD实验，涵盖了多种图像分类问题，以及三个教师-学生模型对，包括卷积网络和变换器网络。尽管所提出的方法极其简单，但我们的实证结果表明，few-medoids能够持续超越随机选择基线，以及其他核心集选择策略。
因此，我们认为few-medoids可以作为未来核心集选择研究中常用基线（如herding或k-center Greedy）的替代品。为了重现报告的结果，我们公开发布了代码，链接为 GitHub。
博主点评： few-medoids方法的简单性和有效性为少样本学习提供了新的视角，尤其是在核心集选择领域。通过选择最接近类质心的样本，该方法有效地提升了模型性能，值得在实际应用中进一步探索和推广。