连续记忆机器（Continuous Memory Machine，CMM）是一种递归网络结构，它使用矩阵形式的短期记忆和长期记忆来分别承担不同的功能。CMM 基于连续思考机器（Continuous Thought Machine，CTM）实现：短期记忆实时追踪最近的神经活动，且每个神经元配备独特的参数化模型，以活动模式为计算依据；长期记忆则以持久的矩阵形式保存信息，供后续使用。两类记忆均由一个 Transformer 同时更新，形成双向的读写机制——每个记忆体既能自行重组内容，又能相互读取和写入。实验在算法、上下文学习以及递归推理任务上均显示，CMM 超越了多种基线模型，具备比以往记忆增强网络更强的泛化能力，同时保留了 CTM 可解释的注意力模式。代码已开源于 https://github.com/SakanaAI/continuous-memory-machines。
点评