NeFut Logo NeFut
EN 管理员登录

[AI学术] 预算下的 LoRA:面向功能的后置压缩用于适配器集群

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#AI #optimization #LLM

LoRA(低秩适配)已成为在共享资源预算下为大量任务或用户生成特化模型的核心手段。压缩多个 LoRA 适配器时,需要在每个适配器内部的层之间以及在整个适配器舰队之间分配秩(rank),形成两层的分配问题。\ \ 虽然已训练的 LoRA 存在大量谱冗余,但仅靠谱重构并不能决定适配器在功能上能够容忍的压缩程度。为此我们引入 功能秩‑失真前沿(functional rank‑distortion frontier),用 $D(r)$ 描述在秩 $r$ 下的功能损失,并在共享的总秩预算下进行舰队层面的极小极大(minimax)分配。\ \ 若已知每个适配器的精确前沿,这种分解等价于对所有层秩的联合优化。基于此我们提出 Functional Rank Allocation(FRA),一种无需标签的数据驱动方法来构造实用前沿。FRA 的核心步骤包括:\

  1. 对每个模块单独截断并端到端测量功能损失;\
  2. 将这些测量值视为可加的搜索代理,使用动态规划求解最优秩组合;\
  3. 对每个完整候选再次进行端到端测量以校正误差;\
  4. 与谱方法的补充提案取下风险包络;\
  5. 在构造好的前沿上执行精确的极小极大分配。\ \ 在三个公开舰队共 78 个适配器的实验中,FRA 在受限预算下显著提升了最差情况(worst‑case)和尾部(tail)效用,优于均匀谱压缩。固定预算的探测实验表明,孤立成本能够很好地对秩候选进行排序,但其校准会随提案形状变化;因此端到端验证和谱提案共同限制了功能搜索误差。\ \ 点评
原文链接: https://arxiv.org/abs/2610.36386

[h] 返回首页