线性注意力的计算复杂度随序列长度线性增长，但其有限状态记忆会限制对长上下文的检索。\n在门控线性递归中，记忆保持受状态衰减影响，而衰减由门参数 $A_{\log}$、$dt_{bias}$ 与输入激活共同决定。受控的 Gated DeltaNet（GDN）实验表明，这些参数在训练后仍高度保持初始值，凸显初始化的重要性。\n为此我们提出双轴记忆初始化（DAMI），在训练前统一配置上述参数。DAMI 在不同注意头上分配几何时间尺度，以覆盖多样的检索距离；在层间采用低‑高‑低的输入敏感度分布。仅使用少量激活样本即可校准 GDN 系列实现，使其同时满足行为目标，而无需额外可训练参数。\n在 GDN、KDA、GDN2、Mamba‑2 与 RWKV‑7 等模型上，DAMI 将 RULER 风格的检索准确率提升 $5.29\sim16.71$ 个百分点，显著优于随机初始化基线。语言建模、常识推理以及 2K 实际检索任务的整体性能与基线保持大致相当。\n代码已公开：https://speedai.com/research/dami\n\n点评