低位量化能够显著降低大语言模型的显存占用，但在保持精度的同时实现高效训练仍具挑战。标量量化对每个权重独立编码，显式码本向量量化则在训练时需要代价高昂的搜索。为此我们提出 E8‑QAT——一种 2 位量化感知训练框架，利用 $E_8$ 格子作为隐式的八维码本。该方法通过算术投影对权重组进行联合量化，前向传播过程中既不存储也不搜索显式码本。核心采用 2 位编码，并通过稀疏扩展精确保留所选格点，额外存储不足 0.1%。在 Qwen3.6‑35B‑A3B 上，E8‑QAT 在四项任务的平均得分上与全精度模型持平，并在相同数据、调度和位宽下，分别比最先进基线提升 2.03%（IFEval）和 1.51%（LiveCodeBench）。2 位表示将峰值显存降低 80%，支持 4 倍更大的批次；在每种表示的最大可行批次下，E8‑QAT 的解码吞吐率达到 BF16 的 1.97 倍。
点评：该工作展示了格子结构在低位量化中的潜力，为大模型训练提供了高效路径。