参数高效微调（PEFT）让大语言模型能够快速适配特定任务，但往往会削弱预训练期间获得的通用能力。已有方法主要通过数据回放或正则化来缓解这种权衡，需要额外的数据或显式的优化约束。我们转而思考一个更根本的问题：应该在模型的哪个位置进行适配？实验表明，不同的 Transformer 层在提升目标任务性能和导致能力退化方面表现差异明显，说明并非所有层都适合微调。为量化这种差异，我们使用层级经验 Fisher 信息来衡量目标任务的敏感度，但计算 Fisher 需要反向传播，成本随模型规模急剧上升。于是我们提出使用输入‑输出余弦相似度作为一种轻量的前向‑仅代理来对层敏感度进行排序。跨模型和任务的实验发现，输入‑输出相似度较低的层对应的经验 Fisher 分数更高。基于此观察，我们设计了层选择 LoRA（LS‑LoRA），仅在相似度低的层插入可训练的 LoRA 适配器。数学推理和代码生成任务的实验显示，LS‑LoRA 在提升目标任务平均表现的同时，显著保留了常识推理能力，优于在所有层使用 LoRA 的基线。该工作表明，慎重选择适配层是一种简单而有效的平衡任务适配与通用能力保留的手段。
点评