在多智能体强化学习（MARL）领域，诱导分布式智能体之间的合作仍然是一个难题，尤其是在社会困境情境中。在这些情况下，个体利益与共同利益不一致，个体理性导致了亚优化的集体结果。与此不同的是，人类能够在这种情况下实现相互合作。通常认为，个体具有社会偏好是这种合作行为的常见解释。为实现MARL中的合作，我们设计了一种新的效用函数，整合了来自社会心理学和行为经济学的利他偏好（对他人奖励的激励）和公平偏好（对平等的激励），即利他和公平偏好（AFP）。这种奖励共享机制将个人和他人的奖励转化为促进合作行为的激励。
我们在两个具有挑战性的顺序社会困境游戏中，进行了与标准强化学习和不平等厌恶代理的比较实验，结果表明，AFP代理成功实现了相互合作，获得了更多的集体奖励和更高的公平性。为进一步理解训练过程中AFP的进展，我们探讨了利他偏好和公平偏对代理行为的影响。结果表明，利他偏好鼓励代理为公共商品做出贡献，而公平偏好则引发了代理之间的相互行为。
博主点评： 本文提出的AFP机制为多智能体系统中的合作问题提供了新思路，通过引入利他和公平偏好，可以有效提升合作效率，值得在实际应用中进一步探索。其实验结果表明，社会偏好在强化学习中的重要性，未来可考虑将其应用于更复杂的环境中。