我们在两款小型本地语言模型 Qwen3-0.6B 与 Qwen3-1.7B 上，使用模拟的最近偶数舍入量化（8、6、4、3 位，fp16 为参考），评估两种降低推理成本的手段：降低权重量化位宽和对答案选项进行多次循环排序后取平均。实验在 ARC‑Easy、ARC‑Challenge、MMLU 与 HellaSwag 四个基准的 300 条样本上，以 A‑D 四个字母的 logits 为评估对象。\n\n结果显示，6 位量化在所有数据集上与 fp16 基准无显著差距，整体得分分别比 fp16 高出 +1.8（区间 +1.0~+2.5）和 +0.9（+0.3~+1.5）分，原因尚未解释；8 位量化则略有下降，分别为 -0.7（-1.1~ -0.3）和 -0.4（-0.7~ -0.2）分。\n\n在 4 位量化时，答案槽偏差（slot skew）从 0.15 上升至 0.53（0.6B）和从 0.07 上升至 0.12（1.7B）。相同权重信噪比下加入高斯噪声的对照实验得到的偏差分别为 0.15、0.37（两次抽样）和 0.19（一次抽样），因此尚不能确定舍入本身是否比等功率噪声产生更大偏差。错误翻转率虽有上升，但仍低于与相同准确率的独立均匀错误基线。\n\n对四种循环排序进行平均可在 4 位量化下恢复 +12.6 分（0.6B），在 fp16 下恢复 +5.3 分。我们采用机器无关的成本度量——权重读取字节数乘以遍数（passes），在成本相等的配对实验中，额外的排序次数仅在权重量化达到 6 位或以上时才优于额外的位宽。由此得到的决策表简化为：使用 6 位权重，其余预算用于最多四次不同排序的单遍推理。\n\n所有实验均在两款小模型上使用最简量化器进行模拟，文献检索未发现此前同时研究量化与选项顺序的工作。\n\n点评：在资源受限的本地部署场景，6 位量化配合少量排序平均提供了最佳的精度‑成本折中，尤其适用于需要多选题答案稳健性的任务。