NeFut Logo NeFut
EN 管理员登录

[AI学术] 自回归多步推理在集中与分散注意力头失活下的表现差异

发布于:2026-11-12 22:00 最后更新:2026-11-13 06:56
#AI #Machine Learning #LLM

在长时间清醒期间,哺乳动物大脑皮层会出现局部的瞬时神经沉默期,称为 off‑state。本文将这种时空上高度集中的扰动类比到自回归大语言模型(LLM)的顺序推理过程,评估其对推理性能的影响。

实验在 GSM8K 基准上对两款 8B 参数模型(Qwen3‑8B 与 LLaMA‑3.1‑8B‑Instruct)各进行 250 对推导的比较。两种 dropout 策略保持相同的总预算:

在参数 $\mathcal{B}=0.10$(约占易受影响的 head‑token 体积的 $5.7\%$)下,Qwen3‑8B 的准确率从扩散噪声下的 $91.2\%$ 降至 burst dropout 下的 $78.8\%$(下降 $12.4$ 百分点,McNemar 检验 $p=5.5\times10^{-6}$),LLaMA‑3.1‑8B‑Instruct 则从 $84.0\%$ 降至 $76.8\%$(下降 $7.2$ 百分点,$p=0.0198$)。相同预算的分散式 dropout 只导致轻微下降,保持原始准确率。

进一步的因子实验($N=100$)显示,单步 dropout 密度与单次调度的准确率急剧下降相关(Qwen 下降 $10.0$ 百分点,$p_{\text{holm}}=0.0425$),而多 token 连续的复合效应不显著(下降 $7.0$ 百分点,$p_{\text{holm}}=0.1892$)。

错误分析表明,Qwen 的失误主要出现在格式化答案的推导环节(条件准确率下降 $11.4$ 百分点),而 LLaMA 中 $22.2\%$ 的错误缺失最终答案行,条件差距收窄至 $5.0$ 百分点。

结论:自回归推理链对高度集中的结构性扰动极为敏感,这为 transformer 架构的容错设计提供了实证基准。

点评:集中式注意力头屏蔽显著削弱模型的多步推理能力,提示在实际部署中需避免突发的硬件或软件故障集中在少数层或时间点。

原文链接: https://arxiv.org/abs/2611.14209

[h] 返回首页