NeFut Logo NeFut
EN 管理员登录

[AI学术] 多路径大模型推理的多样性组合

发布于:2026-10-01 22:00 最后更新:2026-10-06 12:11
#optimization #LLM #Artificial Intelligence

多路径推理方法(如自一致性,Self‑Consistency,SC)会采样 $K$ 条推理路径并选取出现频率最高的答案。实验表明,随着 $K$ 增大,性能提升很快进入平台期,且现有方法无法预测何时出现饱和。我们将多路径 LLM 推理形式化为无线通信中的多样性组合问题:每条路径相当于一次带噪声的信道观测,路径正确性的两两相关性限制了投票的有效样本量,使其在有限上限处止步。\ 在可交换性假设下,广义最小二乘(GLS)分析得到,潜在嵌入的最优对称线性组合系数是均匀的,这解释了标准 SC 中多数投票的自然性,同时也为在提示模板分支异质时进行加权或剪枝留下空间。\ 我们在 5 种模型和 12 项基准上实验,发现 提示模板多样性 能在 $57$ 个有效单元中有 $55$ 个降低路径相关性,尤其对开放式问答(Open‑ended QA)效果最显著。基于此,我们推导出 自适应 K 规则(Adaptive‑K):使用四条路径的试点实验估计相关性后选取最优 $K^*$,在数学、问答和自然语言理解任务上保持了 $96\%\sim103\%$ 的 MV@$K{=}32$ 准确率。\

点评:本文将多路径推理与信道组合理论巧妙对接,提供了理论上解释多数投票最优性的依据,并给出实用的自适应采样策略,显著缓解了采样规模的收益饱和问题。

原文链接: https://arxiv.org/abs/2609.38829

[h] 返回首页