摘要
大型语言模型（LLM）经过预测微调后，虽然可以准确预测，但其校准性却较差，且其链式思维（CoT）推理未必真实反映预测背后的证据。本文探讨内部表征是否能更直接地揭示这两者之间的关系。
我们在 OpenForesight 上使用 Eternis-Forecaster 8B 进行实验，训练表征池探针于中间激活，并发现其校准性显著提高。这一结果在 GLM-4.7-Flash 和 GLM-4.5-Air 中同样适用。
接着，我们通过证据消融和转移注入评估 CoT 的真实性：移除提示中的重要信息源通常会改变模型的预测，而推理痕迹却未受到影响。这些探针还充当了谎言探测器：其激活能够更好地跟踪行为变化，且在 84% 的情况下能够预测变化的方向，尤其是在 CoT 隐藏干扰影响时。
最后，强制回答的结果显示，预测在推理开始之前基本已确定：一次预推理的过程即可恢复承诺的答案和置信度，并通过预设答案分布的扩散来引导问题，节省 30-47% 的生成令牌，同时不损失准确性。综上所述，这些结果表明，探测内部表征是校准、审计和优先处理语言模型预测者及更广泛推理模型的实用工具。
博主点评： 本文通过深入探讨内部表征在模型校准和推理真实性中的作用，展示了如何利用这些表征提升大型语言模型的预测能力，值得在相关领域的研究中进一步关注。