张量并行在每层结束时会执行一次 all‑reduce，位于两个相互依赖的矩阵乘之间，导致其开销无法被隐藏，且随着计算速度超过互连带宽而增长。将 16 位数值压缩为 4 位可以将该开销降低约 4 倍，但 all‑reduce 必须对携带的数值求和，量化求和会在每次调用时引入误差。模型质量取决于这些误差在层间的累积方式，现有方法仅把每次调用视为独立处理。
Echo 提出一种针对训练和推理的 4 位 all‑reduce，能够控制累计误差。它在传输阶段使用 4 位表示，在求和阶段使用高精度计算，使得每个数值在一次调用中最多被量化两次，无论使用多少 GPU。求和过程会显式产生的误差，Echo 将这些误差反馈到后续的 all‑reduce 中，使得旧误差被抵消而不是累积。我们证明累计误差在深度上保持有界，与网络层数无关。
在 A100 GPU 上，Echo 对 1 GB 消息的 16 位 NCCL all‑reduce 提速 2.09 倍。实际运行中，首 token 的生成时间提升最高 1.16 倍，训练步长提升最高 1.09 倍（在互连空闲时），在背景流量增大时分别提升 1.44 倍和 1.38 倍。七个基准测试的平均准确率与 16 位推理相差不超过 0.4 分。10 B token 预训练的最终损失仅比 16 位训练高 0.9%。Echo 不依赖 FP8 或 FP4 硬件。
点评：Echo 通过误差反馈实现了低位宽通信与高精度训练的兼容，在保持模型质量的同时显著降低了通信瓶颈，适用于大规模 LLM 的训练与推理。