社会偏好能够在多智能体强化学习中促进合作，但传统方法往往要求智能体直接观察同伴的奖励信号。实际交互中，智能体通常只能看到他人的行为和结果，却无法获取其私有奖励。为此我们提出 自参照社会偏好：每个智能体先学习自身奖励模型，然后将该模型应用于观察到的其他智能体的状态-动作-转移序列，得到从自身视角对他人结果的评估，并将这些评估作为输入喂入标准的社会偏好机制。我们探索了两种整合方式：① 将评估值直接加入学习奖励；② 用评估值对策略更新进行加权。实验在三类顺序社会困境（Escape Room、Clean Up、Commons Harvest）上进行，这些环境分别考验志愿服务、公共物品贡献和资源约束。结果表明，在所有环境中，智能体均能在不观察真实奖励的情况下学会合作；在独立学习者无法合作的情形下亦能实现合作，并且往往比能够直接获取他人奖励的基线实现更公平的收益分配。不同的社会偏好对应的最佳整合点不同：不平等规避在奖励层面结合价值前瞻效果最佳，而纯利他偏好在策略更新加权时表现更佳。即使在部分可观测的设置下，策略加权方式仍能维持合作。综上，显式获取他人奖励并非学习合作的必要条件，社会偏好完全可以基于对他人行为的自参照评估来实现。
点评