NeFut Logo NeFut
EN 管理员登录

[AI学术] 并非所有测试时计算都是证据:LLM 推理中的模型特定偏差

发布于:2026-10-19 22:00 最后更新:2026-10-20 00:49
#Machine Learning #LLM #Artificial Intelligence

测试时的计算扩展方法通常假设,同一模型提供的额外计算能够作为独立的证据。然而,这一假设在单一推理模型内部并不成立:错误在重复抽样、推理深度以及模型自身的自评之间存在强相关性,因而同一模型的更多计算并不等同于更多证据。

为了解决这一问题,作者提出了 DIA(Disagreement‑triggered Independent Arbitration)。核心思路是:当中间阶段的预测与最终阶段的预测出现分歧时,视为该问题推理不稳定的信号。随后,系统会召集一小组异构模型,对该问题进行独立求解,且这些模型在求解时看不到任何候选答案。最后直接对这些独立答案进行聚合得到最终输出。

在七个基准任务和两种基础模型上进行实验,DIA 在 14 项设置中有 12 项优于完整的 Chain‑of‑Thought 方法,其中在 MuSiQue 上提升了 7.00%。值得注意的是,DIA 只在约 17% 的样本上触发,并且相较于多代理基线最多节省了 47.2% 的 token 使用量。消融实验表明,独立求解和求解器的异构性两者缺一不可。

点评

原文链接: https://arxiv.org/abs/2610.23213

[h] 返回首页