Transformers 能直接在注意力机制中检索过去的表示，因为它们显式保存序列的历史。然而，KV‑Cache 的规模以及对新 token 的计算成本都会随上下文长度线性增长。状态空间模型（State Space Models）通过固定大小的递归状态压缩过去信息，但会牺牲可寻址性。\n\n我们提出 动态记忆 Transformer（DMT），一种将序列编码与信息读取解耦的混合架构。编码器由若干记忆单元组成，每个单元实现为具有复数对角递归矩阵的动力系统，更新速率由输入决定的泄漏率控制。解码器则通过注意力直接读取并组合这些单元的输出，无需遍历完整的 token 历史。\n\n递归公式的设计支持关联扫描（associative scan），整体工作量为 $O(T)$，并行深度为 $O(\log T)$，且维度保持固定。在自回归推理阶段，递归状态和卷积缓存的大小保持不变，从而实现常数代价的注意力。\n\n实验上，我们将 DMT 与 Mamba 与传统 Transformer 在认知任务和语言建模任务上进行比较。结果显示：\n- 在多个认知基准上，DMT 取得最佳成绩；\n- 语言建模性能接近 Transformer，但仍落后于 Mamba；\n- 在选择性复制任务上，DMT 的长度外推能力优于 Mamba 与 Transformer。\n\n这些发现表明，平行的动力记忆单元是一种有前景的机制，能够在长序列上高效保留并利用信息。\n\n点评：DMT 通过将递归记忆与注意力解耦，实现了固定成本的长序列处理，展示了在认知推理上的优势，但在大规模语言建模上仍需进一步提升。