Weight 量化低于 4 位可以显著压缩内存和带宽，困惑度仍可接受，但往往牺牲事实知识和任务准确率。传统的三值化权重多数通过从头训练或长时间微调获得。RoleQ 提出一种量化框架，依据 Transformer 单元的功能角色而非权重矩阵的布局来放置尺度。读取残差流的向量为每个输出单元使用一个尺度，写入残差流的向量为每个输入单元使用一个尺度。该规则是结构性的，无需搜索、校准或额外状态，且在整数和三值网格上均成立。经过旋转基后，它相当于每层轴搜索，只需一半的求解工作；在三值化时，相比基于布局的尺度放置，可将困惑度降低至原来的一半，覆盖从 0.6B 到 14B 的所有模型规模，而逐行尺度会使 MMLU 降至随机水平。轻量的后训练流水线可在数小时 GPU 时间内将已有检查点转换为 $1.59$ 位/权重，成本仅为学习式三值化的几分之一，并在困惑度、零样本准确率和 MMLU（尤其是知识）上领先所有同等或更低内存位宽的后训练三值化方法。进一步引入稀疏的第二层三值平面，依据每单元 Fisher 显著性放置，使矩阵乘法保持免除，并恢复三值化首先损失的性能：在 8B 模型上，仅增加不到一位即可恢复约一半的 MMLU，远超随机或基于 Hessian 的等比位宽放置。
点评：RoleQ 在保持极低位宽的同时，通过结构化尺度分配显著提升了模型的推理质量，展示了后训练三值化的实用路径。