随着大语言模型(LLM)的快速迭代,用户对模型行为的个性化需求日益增长。个性化 LLM 必须在有限、异构且不断演化的交互历史中,推断出用户对不同查询的偏好。传统方法主要依赖上下文内个性化、参数微调或个性化奖励建模,但前者需要频繁管理上下文,后者涉及模型优化与部署成本,最后一种则需要生成并评分多个候选答案。这些方案在用户观测稀疏、偏好证据随查询和时间变化的情况下尤为受限。
为了解决上述问题,我们提出了 \modelname,一个细粒度、实例定制的引导框架。该框架从用户数据中动态生成样本级干预向量,并在模型前向传播时注入,实现即时的个性化适配。核心创新包括:
- 匹配对比:通过对比学习提取与用户相关的信号;
- 细粒度引导组件:在注意力层和 MLP 层的激活上挂钩,以捕获细微的偏好信息;
- 查询条件聚合模块:将上述信号聚合为与当前查询上下文高度相关的增强向量。
我们在多种场景下进行了广泛实验,覆盖短文本到长文本生成、网页函数调用等任务。实验结果表明,\modelname 能持续提升性能,尤其在快速偏好转变和数据稀疏的环境中表现出极端优势。更重要的是,\modelname 免去了额外的训练周期,仅带来轻量的存储和推理时延开销,具备真实部署的可行性。实现代码已公开。
点评