生成模型越来越多地提供推理努力设置，用户可以在推理时通过增加计算量来换取潜在的性能提升。用户必须在不知道额外推理是否有帮助的情况下预先选择努力水平，即使运行成功也无法判断所付出的计算是否必要。因此，推理努力是一种信任商品：买家只能看到结果，却难以评估所付计算的边际价值。
本文在四个基准上测量了专有模型和开源模型在不同努力水平下的反事实影响，涵盖单次调用推理和长时程代理任务。实验发现，提升努力水平并不总能保留低努力已能解决的任务，可能出现过度支出，并会改变代理的求解轨迹。
具体而言，虽然整体准确率在更高努力下可能提升，但在许多低努力已成功的实例上会出现失败。对于所有努力水平都能解决的易任务，最高努力的成本最高，可达最低努力的 42 倍。更高的努力水平还会导致代理更多地验证自己的答案，并更频繁地搜索解法，而不是直接求解，这会延长轨迹但不一定改变最终结果。
这些结果表明，盲目选择最高努力既不经济，也无法保证实例层面的最佳表现。一个简单的替代策略是：先使用最低努力，只有在经过验证的失败后才提升努力。该策略在所有模型和基准上均能匹配或超越固定最高努力的表现，并在大多数专有模型上显著降低成本。
点评