[AI学术] 提升技能水平会在冻结的棋类 Transformer 中招募更深层的注意力

棋类游戏在确定性环境中需要复杂推理，是研究 Transformer 内部计算机制的理想平台。Maia-3 棋类 Transformer 将 Elo（棋手等级分）作为输入条件，权重保持不变，可在 700 到 2500 的 Elo 范围内调节网络的“技能”。

我们系统性地在每个 Elo 上对所有注意力头进行消融实验，得到以下结论：

1. 随着 Elo 提升，计算的因果质心在所有棋子和走法上均单调向更深层迁移；
2. 对特定战术（尤其是马叉）这种迁移更为显著；
3. 迁移表现为深层注意力头被招募执行更专门的计算，而一个共享的浅层头贡献保持相对恒定。

这些发现表明，条件输入可以在更大的 Transformer 中重新分配计算资源，从而影响模型的推理深度和专门化程度。

点评