大型语言模型(LLM)解码器不同层的隐藏状态往往携带互补信息。现有投机解码方法通常只选取少数层,依据固定的层位置启发式规则。
层的最佳子集选择本质上是组合优化问题,即使对中等深度的模型也难以穷举评估。
本文提出一种基于两项互补准则的多层隐藏状态选择框架:信息量通过矩阵熵衡量,多样性通过中心核对齐(CKA)量化。
我们分别考察层级 Shannon 熵、隐藏状态拼接后的整体熵以及跨层的成对 CKA 动态,揭示了解码器表示在几何和信息上的不同区块。
基于这些发现,设计了熵‑CKA 选择算法,倾向于高信息、低冗余的层集合。同时引入 token‑entropy 过滤,剔除预测熵低的 token 对统计的干扰。
在 EAGLE3 风格的投机解码实验中,所选层集合超越了固定基线,包括默认的 $[2, N//2, N-3]$ 规则,并解释了为何某些默认仍具竞争力。
结果提供了实用的多层隐藏状态选择配方,对 LLM 解码器状态的几何与信息提供了洞察,也为相关任务的扩展奠定基础。
点评:该工作将信息论与表示几何结合,为投机解码的层选择提供了可解释且可复现的方案,值得在更大模型上进一步验证。