摘要
持续学习（CL）对小型语言模型（SLMs）在资源受限的应用中适应不断变化的现实需求至关重要。然而，直接更新其有限的参数空间会导致灾难性遗忘。虽然基于内存的方法通过将知识保留与参数解耦来自然解决这一问题，但现有针对大型语言模型（LLMs）设计的方法依赖于丰富的存储和强大的上下文推理，而SLMs则缺乏这些能力。
为了应对这些挑战，我们提出了MIITA，一个用于受限存储下监督持续学习的内存驱动推理时适应框架。MIITA将监督经验存储为紧凑的修正方向原型，并使用语义和不确定性线索在推理时进行检索。所检索的方向通过门控临时隐藏状态适应应用，从而实现过去监督的非破坏性重用，无需更新主干、扩展提示或在测试时进行反向传播。
一个局部理论分析将这一设计与一阶损失减少、不确定性引导的检索以及方向覆盖联系在一起，以保留旧阶段知识。广泛的实验表明，MIITA在不同的监督持续学习设置中始终提高最终性能，并在固定内存预算下减轻遗忘现象。
博主点评： MIITA的设计有效地解决了小型语言模型在持续学习中的灾难性遗忘问题，通过创新的内存驱动推理策略，展现了在低存储条件下的灵活性与高效性，为未来的模型优化提供了新的思路。其理论分析也为理解模型性能提升的机制提供了有价值的视角。