摘要
本研究探讨了部分训练网络的哪些属性可以因果转移到不同的独立训练网络中。单轨迹干预显示了在单次运行内的必要性，但无法跨运行转移。我们引入交叉轨迹奇美拉干预：给定来自不同种子的两次运行，我们将每个权重向量分割为范数和单位方向，重新组合一个运行的范数与另一个的方向，并继续训练。
在两个具有模块算术任务的Grokking实验中，这些组件表现出明显的分离。方向携带可转移的、特定于捐赠者的电路身份：将捐赠者的方向植入接收者的范数，能在40个案例中驱动运行至捐赠者的电路，而角度匹配的随机控制则没有任何偏移。这种转移表现为阈值特性，其位置由接收者的范数预测，所有20对的范数类别完美分离（联合排列概率为1.9e-4）。
范数仅表现出适度的、分布式的延迟效应，没有身份信号。自适应二分法程序将阈值局限在+/-1/64。方向指示了轨迹接近哪个解决方案；而范数则决定了该身份被覆盖的易感性。
博主点评： 这项研究通过交叉轨迹奇美拉干预的创新方法，深入探讨了权重方向和大小的不同作用，揭示了深度学习中模型训练过程的复杂性，对未来的网络设计和优化具有重要启示。