推理时的 harness（外部过程）会多次调用模型并在调用之间保持状态，这种机制能够显著提升模型的能力。
本文将 harness 记作任意包装器 $\mathcal{A}$，其内部封装基模型 $M$，并尝试从 harness 的调用轨迹中蒸馏出学生模型。
实验表明，即使使用非常简易的 scaffold 和体积较小的模型，推理时的 harness 仍然明显优于蒸馏得到的学生模型。
我们进一步证明，这一差距源于根本的表示能力限制：当每次调用的原语是平凡的 $\AC^0$ 查找时，harness 能够计算该原语的闭包，而该闭包已经是 $\NL$ 完全问题。根据广泛接受的猜想 $\NL \not\subseteq \TC^0$，固定深度的前向传播无法表示这种闭包。
该理论提示，要缩小两者之间的差距，需要相对任务提升学生模型的表示能力，例如增大模型规模、简化任务或延长 chain‑of‑thought，实验验证了这些方法的有效性。
最后，我们在竞争数学任务上扩展到 agentic harness，仍然观察到相同的性能差距。总体而言，harness 为基模型赋予了深层的表示能力提升，这种提升无法仅通过在其轨迹上训练同类学生模型而转移到模型权重中。
点评