在计算机视觉领域，预训练的视觉基础模型（VFM）为多种下游任务提供了强大的视觉表征。然而，VFM适配的主要挑战在于全量调优的高昂成本和灾难性遗忘。为了解决这个问题，低秩适配（LoRA）已经成为参数高效微调（PEFT）的主要范式。
传统的LoRA通常针对由二维矩阵参数化的变换器自注意力层设计。而卷积核本质上将空间信息与通道信息耦合在一起，强行将其转化为单一的二维矩阵会破坏固有的空间拓扑结构。为此，本文提出了一种低秩卷积适配（LoCA）框架，旨在通过解耦通道和空间适配来解决空间-通道的纠缠问题。
LoCA引入了一种低秩通道适配机制，以实现密集的跨通道混合，并通过奇异值分解（SVD）来细化从预训练卷积核提取的空间基。实验结果显示，LoCA不仅能够保持预训练的空间先验，而且在细粒度分类、领域泛化的语义分割以及生成基准测试中都达到了竞争性或最先进的性能。
博主点评： LoCA的提出为卷积神经网络的微调带来了新的思路，通过解耦空间和通道的适配方式，能够更好地利用预训练模型的优势，尤其在处理具有复杂结构数据的视觉任务时，展现出更优的性能。其在细粒度分类和语义分割方面的应用前景值得期待。