我们提出机制塑形（Mechanistic Shaping），在模型训练期间约束其内部表征，使模型遵循关于表达概念的规则（如不产生有害内容）以及决策依据的规则（如不使用性别信息）。在视觉、医学影像、语言等多个任务、规模最高 32 B 参数、以及分类、SFT、DPO、GRPO 等训练方式下，机制塑形显著削弱了目标行为，同时保持了任务性能。
因为对表征的约束本身会改变表征，我们进一步探讨塑形后的概念是否仍可被监测。为此我们构建了监测器类别层次，将“概念逃离探针”和“概念真正消失”区分开来。我们发现三种几何规避机制：概念在层中漂移、在层中被抹除、以非线性高阶统计形式保留（通过乘积码构造解释）。每种机制都有对应的监测器能够检测。
实证上，重新训练的线性探针在大多数设置下仍能恢复概念；当梯度不通过原探针时，原探针保持可靠。总体来看，解释性方法可作为训练工具，但需要建立严格的解释性训练科学。点评