在跨示例关系蒸馏中,教师模型的表示几何通过匹配小批量内样本之间的关系进行传递。计算所有样本对的复杂度随批量大小呈二次增长,均匀子抽样虽能降低开销,却会在有限的关系预算下使用效率低下。为此我们提出可靠性感知的对重要性蒸馏(RAPID),将完整的自适应对提议与可靠性门控的关系目标分离。可靠性决定教师关系的强调程度,经过校准的教师熵和分离的学生‑教师残差决定哪些关系被评估。通过精确的逆提议校正,损失和梯度估计在条件上对门控的小批量目标保持无偏。我们在两个文本分类任务上评估 RAPID:AG News 使用 BERT→DistilBERT 蒸馏,关系预算 256;SST‑2 使用 DistilBERT→DistilBERT 蒸馏,关系预算 64,均采用三组配对随机种子。RAPID 的可靠性门控蒸馏在两数据集上取得最高平均学生准确率,分别为 94.285 ± 0.054% 和 88.800 ± 0.532%。在整体排名中位列第二,分别为 94.241 ± 0.025% 和 88.685 ± 0.462%,而交叉熵基线为 94.154 ± 0.124% 和 87.271 ± 0.162%。试点评估计入与主评估相同的总预算。实验表明,门控目标始终提供最高均值准确率,而自适应提议的表现仅在种子间波动。该结果支持目标可靠性与评估优先级是可分离的设计维度的模块化观点。
点评:RAPID 在可靠性与评估优先级分离的设计上表现出色,显著提升了蒸馏效果。