在这项研究中，我们探讨了变压器如何学习模整数乘法，特别是在复合模数下的非可逆操作。我们提出了幺半群扩展：一种通过表示的群体组合（GCR）的局部推广，表明学习的计算并不依赖于单一的全局表示空间。
相反，模型将输入空间划分为局部的分层代数区域，在这些区域中，类群结构得以存续并可应用傅里叶机制。我们发现，在针对平方无因子模乘法训练的变压器中，嵌入围绕这些区域组织，注意力展现出类敏感的路由和低秩写入方向，局部字符特征解释了模型输出 logits 的大部分。
我们的结果表明，先前为群体操作识别的表示理论机制可以扩展到更一般的结构。
博主点评： 本文揭示了变压器在处理复杂数学运算时的潜力，尤其是对于非可逆操作的适应性。通过引入局部代数结构，研究为理解深度学习模型的内部机制提供了新的视角，推动了对变压器架构的更深入分析。