摘要
参数高效的微调方法能够以低成本将大型语言模型适配到特定任务中，但在任务序列中，LoRA风格的方法会将低秩更新叠加在同一冻结权重上，导致每个新任务往往覆盖之前的任务。
我们提出了ReCoLoRA（低秩适配器的递归整合），这是一个面向频谱的持续微调框架：适配器从预训练权重的随机SVD初始化，按层的有效秩通过肘部准则选择，并在打开剩余容量前适应主子空间。
在每个新任务之前，ReCoLoRA会对当前有效权重进行重新分解，而不是原始权重，将其分为一个冻结的残差、一个缓慢更新的主成分和一个新的适配器（递归整合），使每个任务都从已经吸收前驱任务的模型开始。
实验结果
在四个7-8B基础模型上进行的六任务持续GLUE序列中，ReCoLoRA在对比rank-swept LoRA、PiSSA、AdaLoRA和DoRA基线的情况下，取得了最佳的最终平均分，同时训练的参数更少；一个oracle路由的任务库变体则作为完全任务隔离下的上限。
代码
博主点评： ReCoLoRA通过递归整合有效权重的方式，显著提升了持续学习中的性能，解决了传统方法中任务间干扰的问题。这种创新的频谱意识方法为大规模语言模型的微调提供了新的思路，值得深入研究与应用。