递归自我改进（RSI）因能够在数据稀缺的情况下进行学习而受到广泛关注。典型的提议者‑求解者循环中，提议者模型生成训练任务，求解者模型通过强化学习学习解决这些任务，该循环已在数学和代码领域取得成功，因为答案可以自动检验。对于临床报告等开放式专家任务，缺乏答案键，单纯的问答生成不可行。此时提议者还必须编写评估标准（rubric），列出答案应包含的内容以及应避免的错误。模型生成的评估标准往往不够全面，求解者会利用漏洞，仅列出预期主题而不提供实质内容，从而破坏学习过程。为此我们提出递归奖励改进（RRI），引入奖励破解对手来监督奖励。具体流程如下：在求解者训练生成的任务之前，对手先写出一种利用评估标准的答案，使其尽可能无用；随后同一模型在未见评估标准的情况下给出诚实答案；最多进行两次修正步骤，调整评估标准，使诚实答案获胜。发现的漏洞会反馈到后续任务和评估标准的生成中。实验在 HealthBench Professional 上进行，9B 模型相较于仅生成任务的基线提升 10.9 分，27B 模型提升 12.4 分，且在不使用任何外部模型的情况下提升 10.3 分。提升幅度在难度高和写作任务上最为显著。进一步验证，27B 模型在未见任何 PRBench Hard 或 ProfBench 任务的情况下，在 PRBench Hard 上提升 6.6 分，在 ProfBench 上提升 8.0 分。我们还分析了模型生成的问答‑评估对的可利用点，为未来开放式自我对弈研究提供参考。
点评