NeFut Logo NeFut
EN 管理员登录

[AI学术] 构建最优推理终止方法的帕累托前沿以缓解模型过度思考

发布于:2026-10-13 22:00 最后更新:2026-10-14 02:30
#AI #Machine Learning #LLM

推理模型在测试时可以通过延长推理步数提升性能,但当推理继续进行而不再带来收益,甚至导致性能下降时,就会出现所谓的过度思考问题。传统的评估方式只比较完整推理的准确率和使用的 token 数量,缺乏对过度思考程度的量化基准,也没有给出不同终止策略的理论缓解潜力。

为了解决这一缺口,本文提出逐步截断探测(Step-wise Truncation Probing,STP)。在每条固定采样的推理轨迹上,保留多个前缀并分别生成答案,记录每个前缀的预测结果。以该轨迹上首次达到最高经验准确率的位置作为参考点,定义两项指标:

这两个指标分别衡量了后续无效思考的占比和因过度思考导致的性能损失。

随后,本文将动态路由、固定预算、动态提前退出三类终止策略统一到一个数学框架中,能够在给定归一化思考 token 预算的前提下,计算每种策略的理论最优缓解效果。

基于该框架,利用完整的 STP 测量数据,构建了每种策略在统一预算下的 token‑accuracy 帕累托前沿,直观展示了在相同 token 开销下,各策略的准确率上限。

为了促进后续研究,本文实现了 OTBench 基准套件。OTBench 自动化执行 STP 流程,累计生成了 705 亿 推理 token,并对六种模型(包括主流 LLM)在四个常用推理基准组上完成了全面测量。

点评:本文提供了系统化的过度思考量化方法和统一的终止策略评估框架,为推理模型的效率优化提供了可操作的理论与实验依据。

原文链接: https://arxiv.org/abs/2610.13570

[h] 返回首页