我们在 MXFP4 微缩格式下，对 20 B 参数的 MoE 模型 GPT‑OSS‑20B 进行训练，使用了 ALTO 开源配方。配方融合了 Abecassis 等人的混合 1D/2D 块量化、随机 Hadamard 变换（RHT）和随机舍入（SR），并加入了来自 TetraJet‑v2 的简化权重去振荡（de‑oscillation）方案。
在 C4 验证集上，使用全局批量大小 16，MXFP4 + RHT + SR + 去振荡在 16 128 步达到验证损失 3.3350，仅比 BF16 基线（3.3283）高 0.007，弥补了未使用去振荡时的 0.013 差距（3.3418），约缩小 50%。以达到 MLPerf 质量目标（验证损失 3.34）所需步数计，去振荡将 FP4 相对 BF16 的收敛开销从 +20.0% 降至 +5.0%。
我们还尝试了差分梯度估计、异常值裁剪和宏块缩放等方法，虽然在算子层面提升了信噪比，却未能带来整体收敛收益。所有实验均在 AMD MI300 上使用模拟 MXFP4 内核，实际墙时未做优化。
点评