评估器引导的推理在每一步都面临局部控制问题:是信任当前答案、回退还是继续推理。我们将此选择建模为一个计算感知的三动作控制器。终止动作的得分由预测答案成功率决定,扩展动作的得分则使用基于 rollout 的后续成功代理,并显式计入计算成本。
通过局部动作间隙分析,我们刻画了得分误差何时会改变决策;随后给出一个期望后悔上界,考虑了实际扩展路径上的累计误差。基于该分析,我们学习并校准每个动作的置信度估计,并在决策模糊时加入局部不确定性惩罚。
在未见的宽度扩展和答案修订任务上,控制器相较于仅使用校准后固定策略提升了实际效用,同时将归一化在线计算分别降低约 30% 和 16%。在四个 Qwen3‑8B 随机种子实验中,计算量均低于拟合的 Q 基准,效用差异则较小且呈混合趋势。
这些结果将评估器引导的推理视作不确定性下的资源分配问题,而非单纯的更强推理器。
点评