持续学习（CL）旨在在适应新任务的同时保持模型已有能力。然而，提供的保全任务只能覆盖模型知识的一小部分，遗忘的范围可能超出这些任务。近期研究表明，语言模型可以在不访问原始训练数据的情况下自行生成有用的回放数据，从而弥补证据的不足。于是出现了自我保全的设想：模型能否帮助挑选保全目标，以更广泛地保护自身能力？
为探讨该问题，我们将任务描述及其示例组织成任务库（Task Banks），并可从中挑选条目组合，指导冻结模型生成回放。对不同规模的 Qwen 模型进行持续指令微调，得到三条主要发现。
- 新任务本身以及学习率决定了哪些已有能力会衰退；仅看平均准确率会掩盖实际损失，追踪先前正确答案能够揭示隐藏的遗忘。
- 生成的回放能够降低任务库之外任务的遗忘程度；将多个部分任务库合并使用时，保全效果进一步提升，整体保留率高于单一库的结果。
- 模型还能辅助选择回放目标：在 4B 规模下，基于新任务信息的选择比随机抽取提升了持有答案的平均保留率，并带来类似的新任务收益；但在更小模型上未见显著优势。在固定示例预算下，用回放替代新任务示例可提升保全效果，却会牺牲新任务的提升幅度。
这些实验表明，语言模型通过生成回放数据，甚至在特定情境下挑选回放任务，能够实现更广泛的自我保全。