摘要
强大的推理不仅依赖于模型的知识，还依赖于生成过程中认知行为的有效部署。现有方法通常依赖于显式的行为控制，这在推理状态、任务和模型的失败及所需修正各异时显得不够自适应。为此，我们提出了潜在奖励引导（Latent Reward Steering, LRS），一个自适应推理框架，通过优化稀疏自编码器（Sparse Autoencoder, SAE）潜在状态来隐式促进认知行为。
LRS 不依赖于预定义的认知行为或从中派生的引导方向，而是通过最终答案的正确性训练潜在奖励模型来估计中间潜在状态的质量。在推理过程中，奖励梯度为脆弱的潜在状态提供状态特定的修正方向，同时奖励和置信度门限制干预仅限于奖励信号标记为脆弱的状态。
在多个推理 LLM 主干和基准上的实验表明，LRS 一致性地提升了性能，并且后续分析进一步表明，LRS 隐式促进了良好的认知行为，从而修正了原始推理错误。代码可在 GitHub 上获取。
博主点评： 本文提出的潜在奖励引导方法为推理 LLM 提供了一种新的自适应策略，能够有效地提升模型在不同任务中的表现，尤其是在处理复杂推理时的灵活性和准确性。通过优化潜在状态而非固定行为，增强了模型的自我修正能力，值得深入研究与应用。