摘要
在 signed 整数字母表中，负数可表示值比正数多一个。然而，传统的对称整数量化器通常将其比例固定为严格正值，这导致额外的可表示值被分配到负尾部，从而可能强制剪切正外部值。本文指出，在少比特精度下，这种剪切是量化误差的重要来源。非对称量化通过引入零点来解决这个问题，能够将网格向观察到的数据范围移动；然而，这种灵活性通常会带来运行时的性能损失。例如，在 llama.cpp 中，基于 AMD EPYC(TM) "Turin" CPU 的 4 位对称格式比其非对称对应物使用高达 9% 更少的内存，并且吞吐量提高了 2.45 倍。我们提出了签名对称量化作为第三种选择，它在保持对称量化的运行时特征的同时，避免了非对称格式的性能损失：我们的签名绝对最大网格通过一个原则性和轻量的符号选择规则，将额外的可表示值放置在主导外部值尾部，同时保持零点为零。
我们的理论分析提供了两个主要结果。首先，我们确立了签名绝对最大网格在 $\ell_2$ 量化误差上的条件最优性，并展示这一条件在低比特宽度下适用于 88-99% 的预训练大型语言模型（LLM）中的权重组。其次，我们表明，否定标准对称量化器的比例在分析上等同于在相同的签名整数字母表上的单位零点偏移。我们在 Qwen3、Qwen3.5 和 Llama3 系列模型上进行了实证验证，观察到相较于标准无符号对称量化器在困惑度和下游少样本精度上有所改善，而没有额外的推理成本。
博主点评： 本文通过引入签名对称量化，巧妙地解决了少比特整数量化中常见的剪切问题，保持了性能的同时降低了量化误差。这一方法在大型语言模型的实际应用中展现出良好的潜力，值得进一步探索与应用。