摘要
学习长程非平稳时序模式是现代序列模型面临的核心挑战，尤其是在严格的流式设置中。在这些设置中，数据按顺序到达，并且必须在不同时回顾过去观察的情况下进行处理。标准架构，如循环神经网络和变换器，受到时间截断反向传播或长程信用分配的显式输入窗口长度的限制。
为了解决这些限制，我们提出了SHARP（基于睡眠的层次加速重放），一个将时序学习分解为两个互补组件的框架：一个内存模块用于积累过去输入的结构化历史，另一个模式识别模块在该内存上进行操作。这种分离使得在非平稳动态下能够高效地适应资源和计算，消除了通过多个步骤进行长程信用分配时的反向传播需求。
SHARP的灵感来自于啮齿动物在慢波睡眠期间观察到的加速重放，框架中包含了离线（睡眠）阶段，在这些阶段中，时间结构化的记忆痕迹以加速的形式重放并整合到更高层次的记忆表示中，从而改善长程上下文的保留。
通过控制模拟和消融研究，我们描述了该框架的关键特性。在text8和PG-19等基准数据集上，我们证明SHARP在保持对先前见过数据的下一个标记预测性能的同时，继续从当前流中学习并对未来未见数据进行泛化，超越了循环基线。这些提升得益于其层次结构，该结构在仅线性时间计算成本下实现了有效时间上下文的指数增长。
博主点评： SHARP框架通过创新的层次结构和睡眠重放机制，显著提升了长程非平稳时序模式的学习能力，展示了其在流式数据处理中的潜力。这一方法为未来的时序模型设计提供了新的思路，值得深入研究与应用。