在参数高效微调中，低秩适应（Low-Rank Adaptation）被广泛应用。然而，现有方法通常对每个变换器层分配相同的适配器秩，尽管它们的适应需求各不相同。本文理论与实证表明，统一的秩分配在本质上是次优的。
基于此观察，我们提出了LAARA（层感知自适应秩分配框架），这是一个无搜索的框架，动态分配秩，使用在训练过程中计算的轻量级对角Fisher估计。
LAARA结合了投影级归一化、对数压缩、混合适配器重要性估计和投票变更阻尼机制，以实现稳定高效的秩适应。我们在GLUE和MathInstruct基准上的实验表明，LAARA在使用显著更少的可训练参数的情况下，始终与LoRA、AdaLoRA、DyLoRA和Bitfit等流行的最先进方法相匹配或超越。
我们的结果显示，基于Fisher的秩分配为自适应参数高效微调提供了一个原理性且有效的基础。
代码可在此获取: LAARA.py
博主点评： LAARA通过动态秩分配实现了显著的参数效率，解决了传统方法的不足，展现了层感知机制在微调中的重要性。这一创新为未来的模型训练提供了新的思路，值得深入研究和应用。