在许多需要对大语言模型（LLM）进行后训练的场景中，高质量答案易于辨认，却难以用显式奖励进行打分。强化学习带可验证奖励（RLVR）只能用于存在明确正确性信号的任务。已有的对抗式训练方法要么需要与可验证奖励配合使用的共同训练评判器，要么必须提供参考推理过程。本文探讨是否可以仅凭参考答案，让共同训练的 LLM 判官成为唯一奖励来源，从而实现对推理 LLM 的在策略后训练。我们将该方法称为强化对抗学习（RAL）。
首先在三个可验证任务上验证 RAL：整数乘法、基于代码的算术表达式合成以及 SMILES 到化学式的翻译。评估仅使用验证器。实验表明，只要判官足够强大且训练足够长，RAL 的表现可与直接的 RLVR 相当。
随后将 RAL 应用于科学摘要生成的两种情形。第一种情形中，生成器在未明确指定领域的提示下，仍能生成与参考摘要所属科学领域相匹配的摘要。第二种情形中，模型在给定 NIH 资助项目标题的条件下生成摘要。人类科学家和一组 LLM 判官均认为我们的生成摘要比前沿 LLM 基线更难与真实摘要区分。
这些结果表明，在科学及其他高价值领域，利用日益强大的判官从示例答案中推断难以明确定义的奖励函数，为后训练推理模型提供了一条可行路径。点评