引言
持续学习通常依赖于后处理机制，如重放、弹性正则化或蒸馏。本文提出，遗忘应直接建模为任务之间的干扰。在固定特征的情况下，学习新任务导致的遗忘正是对旧任务施加的干扰能量。
干扰能量的计算
在深度网络中，通过路径平均曲率可以恢复相同的量，且只需进行最少的前向传播。当任务支持不重叠时，可以从结构上消除遗忘；而当任务支持在相互冲突的方向上重叠时，零干扰的底线是不可避免的。
任务感知的正交化
相同的几何结构可以通过任务感知的正交化来优化合并模型。基于此分析，我们提出了干扰门控功能分配（IGFA），这是一种无重放、无费舍尔方法，当任务一致时共享方向，当任务冲突时保护它们。
性能表现
在各类基准测试中，IGFA在任务结构可分时实现无损保留，并在任务不可分时将不可逆的遗忘成本转移至可延迟但可恢复的可塑性。它在不同任务流中与最强的无重放结构基线相匹配，并在相似性使得转移值得保留的情况下优于无条件投影。
博主点评： 本文提出的IGFA方法为持续学习提供了新的视角，通过干扰建模有效解决了任务间的遗忘问题，展现了在实际应用中的巨大潜力。此研究不仅推动了持续学习的发展，也为后续相关领域的研究奠定了基础。