[AI学术] 基于 HiFloat4 格式的大模型量化校准

量化是降低大语言模型（LLM）计算成本和资源需求的关键技术。随着对更低位宽的需求增长，社区已从 8 位量化转向 4 位，并提出了 MXFP4、NVFP4 等自定义格式。HiFloat4（HiF4）采用块浮点（BFP）结构，具备三层缩放层级，显著扩大了动态范围。虽然量化能大幅压缩模型体积并加速推理，但常伴随精度下降，因而校准成为弥合低精度模型与全精度模型性能差距的必要手段。现有校准方法主要针对整数格式（如 INT4），无法直接适用于 HiF4 的层级 BFP 结构。本文研究了三种针对 HiF4 的校准方案：HiGPTQ、HiAutoRound 和 HiFlatQuant。实验在多种模型和下游任务上进行，结果显示三种方法均能提升直接 HiF4 转换的推理精度，将 HiF4 与 BF16 的性能差距压缩至不足 1%，并在多数场景下超越最新的 NVFP4 格式。\n\n点评