极低位仅权重量化是降低大语言模型部署成本的有效手段。标量量化在低于 3 位时常出现显著精度下降，而向量量化（VQ）通过更丰富的联合编码能够更好地保持精度。但现有 VQ 方法在真实任务上仍有较大退化，主要有两个未充分研究的设计难点：① 在联合编码的向量中保护敏感的权重通道；② 在方向码本和半径精度等表示成分之间分配固定的比特预算，以适配不同的权重矩阵。为了解决这些问题，本文提出 SAGE（Split Adaptation and Grouping by Energy），一种仅针对权重的向量量化方案。首先，能量分层分组（ESG）将通道分组与激活加权拟合相耦合，在每个子向量内部跨能量层次混合通道，从而优先保留敏感通道。其次，自适应比特拆分（ABS）在固定预算下为每个矩阵平衡方向码本容量和半径精度，选择使激活加权重构误差最小的拆分方式。实验覆盖知识问答、数学推理、代码生成、指令遵循和工具使用等基准，在 2 位量化设置下实现了最新水平的性能。以 Qwen3‑30B‑A3B 为例，SAGE 保留了 BF16 模型平均基准得分的 95.3%。配合自行设计的 CUDA 核心，SAGE 在非流式推理中相较 FP16 提供最高 2.55 倍的端到端加速。代码已开源：https://github.com/Zincwolf/sage。
点评：SAGE 通过能量感知的分组和自适应比特分配，有效缓解了极低位向量量化的精度损失，在保持高吞吐的同时实现了接近原始模型的表现，展示了低比特部署的可行路径。