Mixture‑of‑experts（MoE）模型在每个 token 上都会稀疏选择要使用的专家。我们探讨是否可以让稀疏字典复用这一选择。NR‑SAE 为每个被路由的专家配备一个小字典，仅打开路由器冻结后选中的部分。
在 Gemma 4 26B‑A4B 的第 15 层，经过一千万个 C4 训练 token 并使用三组随机种子后，专家对齐的自编码器在固定评估捕获上解释了路由加权专家输出方差的 0.518。相同参数但候选数量多十六倍的秩地址控制得到 0.481，候选匹配控制得到 0.458，架构匹配且专家身份随机化的控制得到 0.387。跨码器变体同样优于所有三种对照：0.432 对比 0.347、0.371 和 0.118。
优势部分来源于架构：每个专家只写入模型宽度最多四分之一的子空间，因此给专家命名等同于命名子空间。我们尚未测量其解释比例。在该层和预算下，路由器已经掌握了字典本应学习的部分信息。实现并未加速训练，语义可解释性、下游损失和因果忠实度仍未验证。
点评