摘要
扩展推理已成为前沿大型语言模型（LLMs）的标准，但这些模型生成的轨迹仍然在很大程度上不可控。现有的方法主要依赖输入层面的提示，无法对推理过程本身进行细粒度控制。相关研究分析并发现了大型语言模型推理轨迹中的潜在转变动态。
基于此，我们对这些状态进行了统计特征描述，并展示了失败轨迹在自循环中受阻，耗尽了令牌预算却未能朝最终答案前进。
为了干预这些失败，我们提出了 SOPHIA：通过隐藏状态干预和激活引导的推理过程引导。我们将每个推理轨迹视为一系列潜在状态，而非无结构文本，研究推理时间的干预是否能对自循环的推理过程提供细粒度控制。
我们对每个前缀进行分类到潜在状态，记录逐步转变，并用它们构建一个按状态对索引的引导向量库。在推理时，控制器推断当前状态，并在给定目标状态的情况下检索相应的向量，同时也能在线检测自循环，从而防止模型陷入推理黑洞。
通过大量实验，我们的方法可靠地干预自循环失败，所生成的引导向量能够推广到不同的状态对。最终任务的准确性和令牌效率表明，细粒度的可控性带来了更好的推理质量。
博主点评： 该研究通过引入 SOPHIA 方法，显著提升了大型语言模型的推理控制能力，为未来更复杂的推理任务提供了新的思路。其细粒度干预机制突破了传统的提示方法，展示了在推理过程中的动态调整潜力，为提升模型的实用性和效率奠定了基础。