大型语言模型在不同任务间复用相同的注意力头，但仅识别这些共享头并不能说明它们在每个任务中的具体作用。受大脑不同任务下区域交互的启发，作者将语言模型的计算视为网络，比较固定模型组件在不同任务下的行为。使用相同的图事实，即指明哪些有向连接存在，来衡量干预对注意力头和后层激活状态的影响（影响力），以及对最终答案的贡献（重要性）。实验在五个开权模型（四个系列，参数量 1.5‑14 B）中观察到任务切换会重新分配影响力。以 Gemma‑2‑9B 和 Qwen3‑14B 为例，修改一次内部激活向量即可改变模型读取的事实，而指令保持不变。相同的注意力头随后响应不同的图事实，并以不同方式影响后续组件。对每个提示，作者构建了两套线性响应映射：编辑前后各一套，用于预测后续头的响应变化。针对另一次事实干预，使用对应条件的映射可将均方误差分别在 Gemma 和 Qwen 上降低 53.6% 和 5.0%，相较于两套映射的平均值。结果表明，任务上下文既决定共享组件响应的图事实，也决定它们的输出如何影响后续计算。网络视角有助于解释模型如何利用共享参数完成不同计算，任务相关的影响力测量也可用于在保持其他行为的前提下有针对性地修改模型行为。
点评