摘要
在大语言模型（LLMs）中，推理失败通常通过最终答案进行评估，但错误答案并不能揭示模型失败的原因。相同的错误输出可能反映出能力缺失、不稳定的推理轨迹，或未能激活已存在于冻结模型中的推理状态。现有的提示和基准评估方法大多在输出层面进行操作，而通用的激活引导方法通常应用全局方向，未能诊断哪些示例需要干预。
在本文中，我们介绍了 SPARK，它利用隐藏状态响应来诊断模型是否内部进入有效的推理状态，并指导轻量级的测试时引导。关键观察是，原始隐藏状态的脆弱性受提示长度的强烈影响，特别是在程序性和算法推理中，更难的序列实例自然变得更长。因此，SPARK 使用长度控制的脆弱性来将输入规模效应与剩余推理激活分离，并结合跨层协调选择推理活跃的锚点和未激活的困难示例。
我们使用 FRONTIER-4.5K 作为受控程序性推理套件进行潜在分析和难度感知分析，并在 GSM8K 和 MATH-500 上评估 SPARK-Steering，采用前向基准分析。我们的方法始终改善 Qwen3 系列模型；在 MATH-500 上，Qwen3-4B 的准确率从 82.0% 提升到 84.6%，Qwen3-8B 从 82.4% 提升到 85.6%。这些结果表明，脆弱性不仅可以作为推理失败的诊断信号，而且可以作为针对性测试时干预的实用指南。
博主点评： SPARK 方法通过细致入微地分析隐藏状态的脆弱性，提供了一种全新的思路来理解和改善大语言模型的推理能力。它不仅揭示了推理失败的潜在原因，还为模型的优化提供了方向，展现出在复杂任务中的广泛适用性。