权重量化后训练（PTQ）仅依赖于最小化重构损失来在低位宽下保持模型质量。我们发现，最小化该损失得到的权重并不一定在新任务上提升性能，甚至在相同的校准数据上，降低重构损失也可能导致模型性能下降。进一步分析表明，当输入激活的分布发生变化时，校准数据上重构损失更低的权重在新分布上可能出现更高的损失。基于这些观察，我们提出了分布鲁棒量化（DRQ），它在受约束的激活分布集合上最小化最坏情况的重构损失。DRQ 只在已有的量化网格内细化表示量化权重的整数码，不改变量化参数和推理算子，从而保持推理开销不变。大量实验表明，DRQ 能提升六种代表性 PTQ 方法（包括 AWQ、GPTQ、ParoQuant）的量化效果，并在密集模型和混合专家（MoE）大语言模型上均取得显著增益。该结果证明 DRQ 是一种通用的后置细化框架，能够在不增加推理成本的前提下提升下游任务性能。
点评