摘要
训练大型语言模型（LLMs）以进行扩展推理，使得上下文搜索成为可能。在这一过程中，模型通过迭代生成、评估和修正解决方案尝试，来进行推理。我们将上下文搜索建模为对推理轨迹的近似推断，基础模型定义了先验，而自我反思则为后验更新提供反馈。我们研究了推断时的采样复杂度——为达到高成功概率所需的连续尝试次数。
我们展示了当反思能够可靠地定位早期错误时，上下文搜索能相较于基础模型实现指数级的改进，解决零-shot通过率极小的问题，仅需多项式数量的连续尝试。而当这一特性失效时，基于过去尝试的条件化对比并没有在渐近意义上提供并行采样的优势。
此外，我们进一步表明，这些增益是稳健且可学习的：近似后验更新已足够，基于搜索回滚的交叉熵训练能够恢复所需的行为，并保持多项式的采样复杂度。最后，在具有可验证奖励的强化学习的阶段抽象下，最优策略扩展实现了相同的后验重加权规则。我们在真实的大型推理模型上验证了理论的关键定性预测。
博主点评： 本文深入探讨了上下文搜索在反思驱动推理中的作用，提供了理论框架和实验验证，展示了模型在处理复杂推理任务时的潜力与局限性。尤其是反思在提高模型准确性和效率方面的关键作用，值得研究者关注。