Muon 将当前和过去的梯度合并为矩阵动量。对 $M=U\Sigma V^\top$，理想的极化更新 $Q=UV^\top$ 为每个奇异方向赋予相同权重，称为平坦谱。近期一些优化器用细粒度光谱映射为每个方向单独设增益。本文探讨 Muon 更新到底需要多少光谱细节。
通过光谱诊断发现约 $94\%$–$97\%$ 的奇异模位于噪声边缘以下，但整体上与参考梯度正相关。我们提出 BulkBoost——一种两带光谱再加权框架，包含固定秩和噪声校准两种变体。后者利用拆分小批量梯度差估计 Marchenko–Pastur 边缘，将 Muon 的 Nesterov 输入的 bulk 与 spike 分离。两种变体通过共享增益提升 bulk 的相对权重，同时保持每个未加权方向的 Frobenius 范数不变。
对于固定划分，理论给出将权重向 bulk 转移可降低损失的一阶条件，并量化两带能捕获的最大一阶改进率的比例。实验在 30 种继续预训练设置（模型规模 14M–410M，六个语料）中，两带再加权的表现与 Freon 的细粒度幂律谱相当，并优于 Spectra。相对于 Muon 的平坦谱，Freon 平均将最终损失降低 $0.022\%$（相对预适应损失），而两带变体降低 $0.073\%$–$0.147\%$。这些结果表明，有用的偏离平坦谱的维度极低：单一的 bulk‑to‑spike 增益已能捕获至少与细粒度光谱相同的收益。
点评