在持续学习（CL）领域，长期以来的目标是减轻灾难性遗忘。这个目标建立在一个普遍存在的、常常未被明确说明的假设上：终身学习者应当接近联合任务学习（JTL）解决方案，保留所有先前获得的知识。然而，我们对这种以保留为中心的前提提出挑战，认为在非平稳环境中，优先考虑保留可能会妨碍实时适应。我们将焦点转向平均终身错误（ALE），将持续学习形式化为一个在线优化问题，该问题由环境与学习动态之间的相互作用主导。
我们引入了转移效率这一量化指标，以衡量不稳定性（来自冲突过去经验的偏差）和瞬态错误（从头学习新任务的优化成本）之间的紧张关系。在温和的收敛条件下，这一分解在线性和神经网络模型上均有效，得出一个关键任务持续时间：一个封闭形式的阈值，超过该阈值时，历史知识从温启动优势转变为优化负担，尤其在保留引发正的平稳偏差时。
我们在持续图像分类和强化学习基准上验证了这些理论预测。最后，通过将持续学习与可预测序列的在线学习框架联系起来，我们展示了JTL只是更广泛目标家族中的一个实例，并提出了一种新的持续学习算法通用类，称为预测持续学习（Predictive Continual Learning）。预测CL算法在一个明确、动态更新的未来任务模型下优化预期的未来表现。作为概念验证，我们分析了一种在JTL与独立任务学习（ITL）之间插值的窗口算法，在控制分布漂移的情况下超越了两者的表现。