多元化对齐要求 AI 系统能够从包含异质甚至冲突目标的多样化人群中学习，并根据个人用户进行行为个性化。现有方法通常需要获取标注者身份，并依赖强大的预训练表征来建模个人偏好差异。我们提出 Preference‑PCA 多元学习 (P3L)，该框架通过对异构群体反馈进行 PCA 分解，联合学习轨迹嵌入和共享的偏好方向基底，且不需要标注者身份信息。
在测试阶段，P3L 能够快速、准确地进行个性化奖励学习，并支持后续的策略优化。跨多个具身控制任务的实验表明，P3L 能实现可操控的个人对齐，能够在离线数据集之外对分布外新用户进行泛化，且在强化学习和测试性能上具备竞争力，同时显著降低计算成本并支持可变的适配查询预算。
点评