专有的大语言模型(LLM)在众多任务上表现出色,但让其输出符合不同用户的偏好仍是难点。现有的黑盒 LLM 个性化方法通常为每个用户增加专属的评分头,导致个性化参数随用户数线性增长,并且对未见用户需要额外适配。为克服这些限制,本文提出 Mixture‑of‑Facets(MoF) 框架。MoF 将用户偏好建模为共享的潜在偏好子空间(facet)的组合,而不是为每个用户维护独立参数。个性化过程通过历史条件路由(history‑conditioned routing)在共享的 facet 头之间进行选择,从而在不增添新参数的情况下实现对训练时未出现用户的个性化。实验覆盖多种个性化任务,MoF 在提升个性化效果的同时,保持了比已有方法更好的可扩展性和参数效率。进一步分析表明,MoF 对未见用户具有强鲁棒性和泛化能力。
点评