摘要
长序列记忆跟踪对递归状态提出了两个相对立的要求：在长时间范围内近乎无损地保留存储的绑定，以及主动覆盖过时的信息。在我们的诊断套件中，最强的高效基线往往只能很好地解决其中一方面。连续时间参数化的状态空间模型（SSMs），如 Mamba，通过对连续时间系统进行零阶保持离散化来获得其离散递归；我们认为，这种绕道对于记忆跟踪来说是不必要的，并直接参数化离散转移。Naju（本地自适应连接单元）将递归更新因子化，示意表示为： $$ x_n = f_n \odot x_{n-1} + i_n \odot(B_n u_n) $$ 其中，$f_n$ 是一个学习的遗忘门，$i_n$ 是独立的写增益，以及输入依赖的写/读映射。由于 sigmoid 极点满足 $0 < f_n < 1$，此模型能够有效地管理信息的遗忘与更新。
博主点评： Naju 模型通过直接参数化离散转移，简化了长序列记忆的处理，成功地解决了信息保留与更新的矛盾。其创新的遗忘门和独立增益的引入，为记忆系统的设计提供了新的思路，值得深入研究与应用。