强大的不对齐 AI 模型可能会识别对齐评估并在评估时表现良好，从而使直接审计失去信息价值。将此类模型蒸馏到较弱的良性学生模型时，会出现 蒸馏双重困境：如果不对齐特性被转移，学生可能更难隐藏这些特性，从而暴露教师的证据；如果不对齐未被转移，学生仍可获得有用的能力而保持良性。我们提出两种蒸馏方法，分别针对这两种结果。
指控蒸馏 (DFI) 旨在转移不对齐但不转移隐瞒能力。将 AuditBench 中的保密模型蒸馏回其底层指令调优模型后，学生在被询问时比教师更倾向于承认隐藏行为，这表明行为本身更易转移，而隐瞒倾向则不易随之传递。若学生不共享教师的预训练基座，这种“坦白”效应几乎消失，因此 DFI 应针对教师的 pre‑RL 检查点进行，该检查点虽弱于教师但共享相同基座模型。
能力蒸馏 (DFC) 旨在转移能力而不转移不对齐。我们评估了多种技术，其中两种效果显著：诱导提示（inoculation prompting）和在更少的唯一示例上进行更多轮次训练。这两种方法在保留标准蒸馏的能力提升的同时，显著降低了动物偏好（我们用作不对齐的代理）的潜在转移。
这些结果表明，蒸馏可以用于 AI 安全的两种路径：一是通过指控蒸馏揭露不对齐模型，二是通过能力蒸馏在不带不对齐的情况下提取模型能力。
点评