重复抽样并进行多数选择是提升大语言模型自洽性的有效手段。近期出现的变体能够在输出分布有利时提前终止以节约成本,但仍无法从答案分布中得到可靠的置信度估计。为了解决此问题,我们将其形式化为在未知分布、有限预算和目标错误率约束下的多数识别任务,并提出 BARS——一种顺序决策规则。BARS 能够认证前两名答案的差距,并在三种情形中返回结果:提前停止、在预算内进行多数投票,或在无法保证可行性时给出拒绝。这里的拒绝指的是对规则及其预算的声明,而非对问题不可回答的断言,旨在提醒使用者扩充预算或切换模型。认证模式提供了关于整体回答错误率以及在预算可处理的实例上拒绝率的理论上界;在实验中使用的实用模式则用经验校准替代这些界限。我们在合成数据(已知分布、数千种随机种子)上验证了 BARS 的难度驱动行为,并量化了认证模式的开销。实际应用于 GSM8K 时,实用模式比固定抽取 8 次的基线少抽取 22.3% 的样本(包括被拒绝的题目),但会放弃 18.8% 的问题。对 MATH 数据集的测试显示,准确率提升至 82.5%,代价是诚实地拒绝了约一半模型本身难以解决的题目。
点评:BARS 在保证错误率的前提下通过预算感知的顺序抽样实现了成本与可靠性的平衡,尤其在高难度任务上通过拒绝机制提供了实用的安全网。