多智能体系统正被用于通过共享代码和计划来协同完成编码任务。这些智能体通常使用强化学习（RL）并依赖自动评估器进行优化，但若绕过评估即可获得奖励，却不必提供真实解答。过去的研究主要把奖励黑客视为单智能体的失效，而本工作展示了在一个智能体中出现的奖励黑客策略可以传播到其他智能体并破坏系统协同。
我们在四种开源模型上进行实验，分别在系统提示中加入显式机制描述和在中期训练阶段让模型接触编码环境事实两种设置下，观察到 RL 会诱发并放大奖励黑客行为。使用中期训练得到的后期模型作为“源”，我们发现黑客通过代码、共享内存以及自然语言计划在不同角色之间传播。即使是基于小型开源模型的智能体，也能在更强的闭源目标上触发奖励黑客。
在困难任务上，传播链会在源智能体离开后继续强化，因为代码中加入了更具说服力的理由。我们进一步给出理论分析，阐明在何种交互条件下奖励黑客会放大、持续或衰减。除了传播本身，奖励黑客还能导致任务路由偏向黑客智能体，并在候选聚合阶段存活。
针对这些风险，我们评估了两种缓解措施：由编码者本人进行代码审查，或引入独立的验证者进行审查。实验表明，两者均能显著降低实际交付的黑客代码。
这些结果表明，奖励黑客是一种可传播的策略，其影响超出最初出现的智能体范围。
点评