摘要
大型语言模型（LLMs）能够用一组参数处理多种任务，但在 KV 缓存推理下，解码时是否使用了通用的任务结构尚不明确。我们提出了 DecodeShare，一种协议，旨在识别在解码时隐藏状态中一致共享的低维子空间，并通过在解码时移除该子空间来测试其因果作用。
在我们的实验中，干扰发现的共享子空间会显著降低决策性能，远超过在相同干预预算下干扰任何由预填充生成或随机选择的子空间。我们进一步表明，这一解码共享子空间对激活引导具有实际影响：常见的引导方向可能与任务通用的解码通道重叠。
通过将共享子空间投影出去，可以直接分离两个组件的功能角色，而在解码时评估引导向量则比基于预填充的代理提供更可靠的下游部署信号。尽管其紧凑性，共享子空间在解码时可以作为高杠杆因果通道。代码可在此获取：DecodeShare GitHub。
博主点评： DecodeShare 提供了一种新颖的方式来理解大型语言模型在解码时的决策机制，揭示了共享子空间的重要性。这为模型优化和任务适应性提供了新的视角，尤其在激活引导方面的应用潜力，值得深入探索。其代码的开源也将有助于进一步的研究与应用推进。