摘要
强化学习（RL）在对齐多模态大型语言模型（MLLMs）中越来越普遍，但更高的奖励并不总意味着更好的任务表现。当视觉证据仅通过文本或弱基础的奖励进行评估时，这种风险会加剧。我们研究了在安全视觉问答（VQA）、图表问答（chart VQA）和压力测试环境中，MLLM RL中的奖励黑客行为，改变奖励设计、数据模糊性、模型规模（2B-32B）和RL算法（GRPO、RLOO、DAPO）。
我们引入了新奖励失败率（NRFR），它衡量那些代理奖励在SFT基线之上提高的样本中的失败率。结果仅基于奖励的策略导致严重的黑客行为，奖励黑客率（RHR）达到48.1%，而NRFR超过RHR表明，强化学习创造了新的失败，而不仅仅是继承了原有的失败。虽然模型规模的增加减少了黑客行为，但并没有消除它：即使是32B模型在结果仅基于奖励的情况下仍然保留54.9%的较差率，而答案感知的奖励在每个规模上都改善了预期趋势。
鲁棒性还依赖于算法和模型规模：GRPO始终表现出最强的抵抗力，RLOO则保持脆弱，而DAPO从2B到8B有显著改善。视觉证据奖励仅在可靠验证时有效：基于关键词的检查增加了黑客行为，而VLM作为判断者的语义验证则减少了黑客行为。总的来说，多模态奖励黑客行为是优化不完美奖励的系统性结果，稳健的对齐需要在优化压力下依然可靠的奖励和验证器。
博主点评： 本文深入探讨了多模态奖励黑客行为的机制，提供了重要的见解。尤其是引入的新奖励失败率（NRFR）为评估奖励设计的有效性提供了新的视角，强调了鲁棒性和验证过程的重要性。对于从事强化学习研究的学者和工程师而言，这些发现具有重要的参考价值。