NeFut Logo NeFut
EN 管理员登录

[AI学术] 稀疏自编码器几何锚定缓解灾难性遗忘

发布于:2026-10-20 22:00 最后更新:2026-10-22 01:04
#Machine Learning #Neural #Geometry

灾难性遗忘是监督连续学习中的核心难题,模型在适应新任务时会导致表征漂移并丢失已有知识。关键在于约束哪些表征变化,同时保持可塑性。为此我们提出稀疏自编码器几何锚定(SAGA),在每个任务切换点训练一个稀疏自编码器(SAE),并将其转化为局部低秩约束以限制表征漂移。

回放样本决定约束的作用范围,编码器雅可比矩阵的主右奇异方向指示需要惩罚的变化方向。得到的几何约束随输入而变,可在后续任务训练中丢弃 SAE,仅保留快照。我们证明该约束与潜在代码匹配在局部等价,给出谱截断误差并推导冻结读出层漂移的条件上界。

在使用回放和快照历史的设置下,SAGA 在三个预训练 ViT‑B/16 基准上(CIFAR‑100、CUB‑200、ImageNet‑R)实现了最高的平均 Class‑IL 准确率和最低的平均遗忘率,分别比最强基线提升 12.15、4.79、3.22 个百分点。对从头训练的结果较为混杂,秩消融实验和几何控制表明 SAE 诱导的低秩几何在稳定性‑可塑性权衡上具有实际价值。

点评

原文链接: https://arxiv.org/abs/2610.22439

[h] 返回首页