摘要
在RLHF（人类反馈强化学习）中，人类偏好通常被建模为人类奖励函数或相应的最优状态-动作值的函数。本研究提出，人类对被训练代理能力的信念在偏好生成中也扮演着重要角色。
我们探讨了与这一假设相关的两个问题，一个是描述性的，另一个是规范性的：人类标注者对代理能力的信念是否会影响他们提供的偏好？理想情况下，人类应该对代理持有什么信念以及相应的偏好？
我们提出了一种新颖的偏好模型，融合了人类信念，并提供了一种规范理论，该理论界定了最终学习策略的误差范围，基于人类信念与理想信念之间的不匹配。
我们通过一项人类研究确认，关于代理能力的信念确实显著影响偏好，并且可以通过简单的干预措施进行影响。此外，我们通过合成实验实证表明，假设代理最优性往往并不是人类偏好标注者的最佳选择。
整体而言，这些结果在理论和实证上展示了减少人类信念与代理能力之间的不匹配如何能提升RLHF的表现，并指向RLHF从业者的新最佳实践。
博主点评： 本文深入探讨了人类信念在强化学习中的作用，强调了信念与偏好之间的联系。通过实证研究验证了理论假设，为RLHF的优化提供了新的思路，值得关注。尤其是对代理能力的信念影响偏好的发现，为未来研究提供了重要的实践方向。