在参数高效微调（PEFT）中，低秩适配（LoRA）已成为一个重要基石。然而，传统的均匀秩分配方法忽视了神经层的功能异质性。现有的秩分配方法通常在计算强度与启发式简单性之间存在权衡：基于训练的方法由于开销过大而受限，而预分配的方法则无法捕捉动态任务特定的表示流形。
为此，本文提出了RSLoRA（Representational Sensitivity LoRA），这是一种无训练和无梯度的秩分配器，基于激活空间几何进行驱动。我们识别出层间的“敏感性区域转变”，观察到静态权重分析和局部梯度不足以反映更新如何重塑模型的内部表示。
为了应对这一问题，RSLoRA引入了一种虚拟表示探测机制。通过模拟适应过程中的结构化低秩噪声，并利用有效秩和Frechet距离测量结果流形位移，我们识别出需要更高秩容量的高敏感性模块。
我们的框架有效地弥合了专家设计的启发式方法与实际表示影响之间的差距。广泛评估表明，RSLoRA在主流基准测试中始终优于现有的最先进分配器（如AdaLoRA、GoRA）。通过消除迭代训练时间调整和反向梯度的需求，RSLoRA为大规模模型适配提供了一种高效、稳健且关注表示的解决方案。
博主点评： RSLoRA的提出为低秩适配器的使用提供了新的视角，通过无训练的方式实现了更高效的秩分配，充分考虑了不同神经层的功能差异，展现了在实际应用中的巨大潜力。其引入的虚拟探测机制为模型适配提供了更深入的理解，这一创新值得关注。