在共享环境中，AI代理越来越多地被部署以追求多样化的目标并竞争奖励。这种多智能体竞争可能导致个体行为以牺牲集体利益为代价。例如，市场营销代理可能因争夺社交媒体上的参与度而发布误导性内容。人类社会通过规范来解决此类问题，这些规范限制可接受的行为，并通过检测和惩罚违规行为的机制来支持。
基于此，我们研究了针对语言模型代理的规范执行机制。我们发现简单的执行机制容易被不对齐的代理利用以获取竞争优势，即使它们没有被明确训练或提示去这样做。
因此，我们转向设计更为稳健的机制，并识别出两个关键要素：随着时间的推移评估每个代理的可靠性，并对重复不当行为施加升级的惩罚。
在三种模拟环境和多种代理群体中，基于这些原则构建的机制能够抵抗利用，同时以可比或更低的成本惩罚规范违规行为。我们的结果将规范执行机制定位为塑造代理行为的可扩展杠杆，但前提是这些机制设计时要考虑到它们将成为所治理系统的一部分。
我们的代码和数据可在 https://yaowenye.com/norm-enforcement 获取。
博主点评： 这项研究提出了一种有效的方式来规范AI代理的行为，强调了设计稳健机制的重要性。通过动态评估代理的可靠性，并对不当行为施以逐步惩罚，能够有效降低不当行为的发生。这为未来的多智能体系统提供了重要的指导，特别是在需要平衡个体与集体利益时。