我们介绍了 门零增长，这是一种函数保持（FP）操作符，用于持续学习，通过零初始化的门添加新的残差块。在横向条件下，门零增长在功能雅可比矩阵中引发了 秩分离：旧方向保持不变，新权重方向在增长点完全平坦，而新门方向是唯一的第一阶新功能变化来源。
随着门在持续学习中打开，功能漂移为 $O(\|\boldsymbol{\alpha}\|^2)$，雅可比泄漏为 $O(\|\boldsymbol{\alpha}\|_\infty)$，从而控制了与 FP 轨迹的偏离。在一个从 WikiText-103 适配到 BookCorpus 的 $300\mathrm{M}\to857\mathrm{M}$ Transformer 上，门零增长实现了近乎零的旧领域遗忘 ($\Delta_A$)。
博主点评： 门零增长为持续学习提供了一种创新的几何视角，通过控制新旧权重的相互作用，显著减少了模型在新任务上的遗忘现象。这一方法不仅具有理论意义，同时也在实际应用中展现出优异的性能，值得深入探索与应用。