在相同实验条件下，分类头微调（\textsc{cls}）范式在二分类幻觉检测任务上始终优于 LLM‑as‑Judge 的序列到序列（\textsc{s2s}）方式。我们将性能差距归因于两种目标产生的表征差异。静态分析表明，\textsc{cls} 学会了一条任务特定的判别方向，使隐藏状态形成明显的两簇结构，类间分离更强，标签信息可线性解码。相反，\textsc{s2s} 依赖预训练语言模型的输出头进行决策，因而对表征的重组压力较小，隐藏状态更接近原始骨干网络。进一步发现，\textsc{cls} 的信号在倒数第二层之前已趋于饱和，之后的高层呈现统计上可互换且冗余的表征。仅凭端点冗余无法判断这些层在训练中是否可被省去。训练动态分析揭示了三点：1）更低的预训练基底；2）一个位于上中层的窄窄\textbf{InfoWindow}，任务信息在此出现；3）随后同步的上层平台期，镜像该信号。基于此机制，我们尝试移除 InfoWindow 之上的层。截断 31% 的网络深度后，在 Qwen3‑4B 与 8B 上的准确率仍在随机种子噪声范围内不变，推理延迟降低约 $1.4\times$。相同的深度比例在未做任何模型特定分析的情况下，同样适用于 Llama‑3.2‑3B 与 Mistral‑7B‑v0.3，并在 QNLI 与 SST‑2 任务上再次出现相似层结构。希望本研究能为高效的任务专用 LLM 设计提供参考。
点评