NeFut Logo NeFut
EN 管理员登录

[AI学术] PLUME:通过共享子空间的低秩用户调制实现大语言模型的参数高效个性化

发布于:2026-09-07 22:00 最后更新:2026-09-08 00:37
#Machine Learning #optimization #LLM

个人化大语言模型是实现符合用户风格、意图和偏好的关键。传统的每用户微调虽然效果好,但会带来巨大的参数和存储开销,难以扩展到海量用户。

PLUME(Personalized Low-Rank Adaptation through User Modulation and Shared Subspace)提出在共享的任务子空间中进行低秩调制。首先在聚合的用户数据上学习全局任务子空间。随后仅在该子空间内训练一个小的方阵作为用户专属参数,保持其余共享组件不变,从而为每个用户得到定制模型。

为进一步降低冗余,PLUME 在跨层引入共享参数,并在每层加入秩为1的残差项。这些设计在保持表达能力的同时,将每用户额外参数压缩超过95%。

在多个个性化文本生成基准上实验表明,PLUME 的性能与强基线持平甚至超越,同时显著降低了参数开销。结果验证了共享子空间调制加极小残差的可扩展性和语义合理性。

点评: PLUME 通过全局子空间与低秩用户矩阵的组合,实现了高效且可解释的个性化路径,为大规模 LLM 部署提供了实用方案。

原文链接: https://arxiv.org/abs/2609.04715

[h] 返回首页