NeFut Logo NeFut
EN 管理员登录

[AI学术] 面向评估器引导的测试时推理的置信度校准推理扩展

发布于:2026-10-16 22:00 最后更新:2026-10-18 08:05
#optimization #LLM #Artificial Intelligence

评估器引导的推理在每一步都面临局部控制问题:是信任当前答案、回退还是继续推理。我们将此选择建模为一个计算感知的三动作控制器。终止动作的得分由预测答案成功率决定,扩展动作的得分则使用基于 rollout 的后续成功代理,并显式计入计算成本。

通过局部动作间隙分析,我们刻画了得分误差何时会改变决策;随后给出一个期望后悔上界,考虑了实际扩展路径上的累计误差。基于该分析,我们学习并校准每个动作的置信度估计,并在决策模糊时加入局部不确定性惩罚。

在未见的宽度扩展和答案修订任务上,控制器相较于仅使用校准后固定策略提升了实际效用,同时将归一化在线计算分别降低约 30% 和 16%。在四个 Qwen3‑8B 随机种子实验中,计算量均低于拟合的 Q 基准,效用差异则较小且呈混合趋势。

这些结果将评估器引导的推理视作不确定性下的资源分配问题,而非单纯的更强推理器。

点评

原文链接: https://arxiv.org/abs/2610.20836

[h] 返回首页