在模数算术下，网络的嵌入在已经泛化后仍然会压缩数万步。读取grokking过渡时的有效秩会高估收敛值，MLP模型高出3-5倍，而在收敛的变换器上则高出1.3-1.5倍。对于MLP，这还抹去了哪些单元是有压缩的。压缩滞后于准确性过渡，滞后时间大约为grok所需的时间，至少需要10,000步，而不是与之重合。通过单变量消融实验，我们发现了滞后大小的决定因素：在一个相同的变换器中添加LayerNorm会将grok步骤完成的压缩比例从0.87降到0.25，并且预先注册的控制实验排除了尺度不变性作为机制。我们将此打包为一个审计，分离开始与压缩，标记审查，排除那些从未完全泛化的边界单元，并检查参考底线是否已达到平台，最终通过对抗性测试捕获了我们自己分支中的一个错误自信的bug。此外，针对MLP的特定深度法则将规范预算与收敛底线联系起来，但在变换器上未通过一般性测试，并在自由权重衰减下翻转符号。代码和工具包已发布。