在当前的推理模型中，基于可验证奖励的强化学习（如 GRPO）是其核心驱动力，但此方法仅对最终答案进行评分。在复杂问题上，这种方式训练模型更倾向于生成更多内容，而非提升思维能力，因为过程本身从未被评分且缺乏良好思维的标签。
为此，我们提出了 Agon，一个使两个竞争模型互为评分者的系统。两者共同解决同一问题，交替扮演草拟解决方案和阅读解决方案的角色，并为超越对方而获得奖励。要赢得比赛，模型必须在对方已了解其工作的情况下，展现出更优的推理能力，因此在训练过程中，推理的评估是隐式进行的，无需过程标签或奖励模型。
由于两个模型都是经过优化的，它们各自面临着越来越强的对手，这一点是单模型强化学习所无法提供的。两个模型只需在能力上相对接近且行为上有所不同。在推理阶段，两个模型以训练时的方式进行部署，形成一种两阶段的级联过程：一个模型草拟，另一个模型在阅读后进行回答。
在 DeepMath 的困难分割上，Agon 将 GRPO 的 pass@1 提升了一倍，约是未训练的混合代理在相同基础上提升的八倍。这一顺序在竞争编程代码和不同模型家族（如 Qwen3.5, Gemma 4）中得到了复制。目前，这些模型通过文本进行交流，下一步是让它们在潜在空间中共同推理。
博主点评： Agon 的概念突破了传统强化学习的限制，通过引入竞争机制来提升模型的推理能力。这种方法不仅提升了模型的表现，还为未来的多模型协作提供了新的思路，值得关注。