摘要
在变换器可解释性中，平均跨位置注意力衰退被广泛报告，但其是否在因果上限制上下文检索尚未得到验证。我们在 GPT-2、LLaMA-3.2-1B/3B、OPT-1.3B 和 distilgpt2 上进行了六个协调实验。
首先，我们表征了短期（5-100 个标记）注意力衰退，发现普遍存在指数-然后-平台模式，其衰退速率与模型深度成反比，并且每种架构都有独特的层级熵特征。
功能标记锚定表现出架构依赖性：OPT-1.3B（绝对位置编码）显示出距离依赖的前置特异性，GPT-2 显示出均匀的非特异依赖，而 LLaMA（RoPE）在长距离下则表现出反转。
在子句边界处进行战略性的逗号插入会因果性地减少 40-80 个标记范围内的预测衰退，其好处与语法边界对齐而非标记密度相关。
我们随后测试了这一机制：Relay-Aware Attention (RAA)，它将注意力逻辑偏向功能标记位置，验证性地增加了 16-24% 的注意力质量，但对 GPT-2 和 LLaMA-1B 没有显著效果，对 LLaMA-3B 产生初步负面影响，对 OPT-1.3B 的影响则呈现混合效应，净结果约为零。
多事实检索探针进一步显示，衰退率并不能预测各模型的检索准确性。我们得出结论：平均注意力衰退在很大程度上是描述性的而非处方性的：功能标记的贡献在于其隐藏状态的计算，而非其接收的注意力，这对可解释性方法和基于注意力分数的推理优化（如 KV-cache 驱逐）具有重要意义。
博主点评： 本文通过实验证明了注意力衰退在大语言模型中的复杂性，强调功能标记在模型性能中的重要作用。未来的研究应聚焦于如何优化注意力机制，以提高上下文检索的准确性。