在小型变压器模型理解模乘运算时，之前的研究指出所学习的嵌入具有“密集”的傅里叶谱，需用到所有频率。这与模加运算形成对比，模加只需一组稀疏的关键频率。我们证明，这种密度是因在错误的基底上分析所致。乘法的自然傅里叶变换并非标准的加法离散傅里叶变换，而是乘法特征变换，能够将 $(\mathbb{Z}/p\mathbb{Z})^*$ 上的函数分解为其不可约表示。应用此变换于一个经过训练的变压器，计算 $a \cdot b \bmod 113$，我们发现嵌入谱变得高度稀疏（基尼系数 0.58 对比加法基底的 0.07），仅有 4 个关键频率携带显著能量。此外，96.9% 的多层感知机（MLP）神经元被精确调谐到一个单一的乘法频率，神经元激活热图在按离散对数重新排序时显示出二维周期结构。这些结果表明，变压器在离散对数空间中将乘法简化为加法，实现了一种类似于 Nanda 等人的加法时钟算法的“离散对数时钟”算法。该方法具有普遍性：将分析基底与任务的代数结构匹配能够揭示可解释的结构，而标准工具则将其视为噪声。
博主点评： 本文通过引入乘法特征变换，揭示了变压器在模乘运算中潜在的稀疏性，提供了新的视角来理解神经网络的学习机制。这一发现不仅丰富了变压器的应用场景，还为后续研究提供了重要的理论框架，值得深入探讨与研究。