在小型语言模型中，物理推理存在结构性失败：任何一步的错误都会向前传播，损害随后的每一个推理。有限的领域知识、多步骤推导下的幻觉，以及分布敏感性加剧了这一失败。我们提出了一种逐步奖励框架，该框架能够识别第一次推理错误，生成有针对性的结构化反馈，并通过策略梯度和 KL 正则化训练模型修正其解决方案，而无需将其暴露于真实解决方案作为生成目标。与依赖标注的逐步方法不同，本方法不需要构建偏好数据，外部验证器仅在训练时操作。在五个物理基准测试中，我们的框架比 CoT 提示提高了 17-20% 的准确率，相较于最强基线提高了 10-16%，并将计算错误从 56.9% 降低到 23.5%，将误解错误从 22.3% 降低到 12.0%。概念错误从 89.7% 降低到 68.7%，但仍然是所有条件下最难的失败模式。
博主点评： 该研究通过逐步奖励机制解决了小型语言模型在物理推理中的系统性错误，展示了结构化反馈的有效性，这为未来的模型训练提供了新的思路。尤其是在无需真实答案的情况下，利用政策梯度优化推理过程，为智能体的自我修正能力奠定了基础。整体上，这一方法的准确率提升和错误率降低具有重要的实际应用价值。