摘要
低秩适应（LoRA）是一种广泛使用的参数高效微调（PEFT）方法，适用于大型语言模型。在固定秩预算下，LoRA通过单一低维输入路径对每个适应权重进行参数化，这可能会通过共享输入方向耦合异质行为，并在优化过程中引发干扰。
我们提出了静态正交子空间LoRA（SOS-LoRA），作为一种可直接替代的扩展，它将秩-rtot更新重新参数化为K个静态（始终开启、非路由）低秩专家的总和。
SOS-LoRA的主要特点包括：
- 将总秩在专家之间进行分解；
- 应用固定的多尺度缩放方案，以促进规模分离的优化动态；
- 通过交叉专家的正交初始化和轻量级正则化器，促进多样化的输入侧方向。
SOS-LoRA在合并后保持完全可合并，不增加任何推理时间参数或延迟。在推理和知识密集型基准（如Llama 2/3）、编码器基础的自然语言理解（GLUE）以及数学推理（GSM8K/MATH）上进行的实验显示，相较于匹配预算的LoRA基线和最近的变体，SOS-LoRA始终表现出一致的提升。代码可在GitHub获取。
博主点评： SOS-LoRA通过引入静态专家和多尺度优化，显著提升了低秩适应的灵活性和性能，尤其在处理复杂推理任务时展现出强大的能力。这为未来的模型微调提供了新的思路，值得深入研究和应用。