在在线策略蒸馏（OPD）中，如何从教师模型中提取高效的监督信息是核心难题。直接使用 token 概率往往只能利用表层信息，而强行匹配教师的隐藏状态会迫使学生模型进入教师的特征空间，导致跨架构迁移困难。\ \ 受对比学习中实例间关系的启发，SimOPD 通过响应相似度来传递教师的内部知识。具体做法是为学生生成的响应维护一对记忆库（student‑generated response banks），利用这些库从教师的内部表征中计算相似度分布。学生模型随后在自己的表征空间内匹配这些相似度分布，从而保持自身的表示自由度，且无需跨模型的投影层。\ \ 大量实验表明，SimOPD 在相同架构和跨架构两种设置下，分别比最强基线提升了最高 2.6% 和 3.1% 的整体平均性能。\ \ 点评