在联邦微调中,低秩适配(LoRA)通过训练并交换紧凑的可学习因子显著降低通信和计算开销。不同客户端可以采用不同的 LoRA 秩,以满足各自的通信预算和本地适配需求。服务器需要在聚合阶段统一处理这些差异,并在下发时为每个客户端构造对应秩的适配器。我们将这一过程分为两步:聚合前对齐(统一因子维度和缩放约定)以及秩特定 LoRA 适配器提取(从全局模型中生成客户端尺寸的因子对)。常见的秩特定提取方法有直接截断和稠密 SVD 两种。直接截断仅保留聚合因子的一部分列/行,计算开销低但重构误差可能增大。稠密 SVD 先构造聚合 LoRA 因子的乘积矩阵,再进行奇异值分解,保留前 k 个奇异分量以获得 Frobenius 范数下的最优秩约束近似,然而计算成本显著。为平衡精度与效率,本文提出 RBLA+,在 RBLA 基础上引入紧凑的 QR / core‑SVD 分解,直接在因子空间最小化 Frobenius 误差,无需显式构造稠密更新矩阵,同时在上传和广播阶段统一客户端与服务器的缩放约定。实验在视觉和语言任务上验证,RBLA+ 在多种异构设置下相较 RBLA 提升了模型精度;在合成适配器的 CPU 基准中,其提取时间低于稠密部分 SVD 基线。RBLA+ 完全保留每个客户端指定的适配器大小和每轮通信负载,兼顾了准确性和效率。\n\n点评:RBLA+ 通过巧妙的矩阵分解在保持通信预算不变的前提下显著降低了秩特定适配器的提取成本,为实际部署提供了更具可行性的方案。