知识蒸馏的目标是让体积更小的学生模型在资源受限的环境中逼近大模型（教师）的行为。然而，传统蒸馏需要大量标注数据和计算，尤其是生成式任务。少样本蒸馏通过仅使用少量样本转移教师知识，提供了一条可行路径。我们发现，少样本蒸馏的效果高度依赖所选样本的质量；在教师决策边界附近的高不确定性样本往往会导致学生性能下降。
为了解决这一问题，本文提出 COFFEQA（Counterfactual‑guided Few‑shot Distillation in Open‑book Question Answering），利用反事实样本在困难的事实样本周围提供额外监督。对生成式问答而言，反事实被定义为最小修改上下文，使教师的答案从原始答案改变为指定的备选答案。几何上，事实‑反事实对约束了教师与学生决策边界的偏离幅度。
我们进一步设计了 Context Following Difficulty (CFD) 指标，用于在蒸馏前验证反事实的可靠性。CFD 通过检查教师在修改后上下文下是否产生预期的备选答案，以及答案变化是否真正依赖于上下文的改动来打分。只有 CFD 通过的事实‑反事实对才会被用于少样本蒸馏。
实验在五个内部 QA 数据集和三个外部数据集上进行，模型族包括 T5 系列和 Qwen2.5 系列。结果显示，在相同的少样本预算下，COFFEQA 均显著超越仅使用事实样本的基线。例如，在 TriviaQA 上，使用 T5 模型并提供 32 对少样本时，COFFEQA 相比基线提升了 8.77 个 EM 点和 9.98 个 F1 点。
点评：COFFEQA 通过引入经过 CFD 验证的反事实，对少样本蒸馏提供了更具针对性的监督信号，显著提升了学生模型在开放域问答中的表现，展示了反事实在知识蒸馏中的潜力。