在大型语言模型（LLM）系统中，可靠性通常被视为模型能力的函数。然而，我们的研究表明，可靠性在很大程度上受到推理时控制的影响，即管理任务框架和上下文选择的计算层。我们提出了CogniConsole，这是一种将此控制外部化的架构实例，结合了程序化协调与有限的基于提示的推理。
通过在多步骤交互环境中进行的可控性导向探测（样本数 $N=489$），我们发现，增加结构性支撑（从无结构到完全支撑）能够系统性地减少输出方差和失败率，即使在固定的模型架构下。我们的结果表明，许多观察到的失败模式，例如上下文漂移和不一致的约束遵循，源于控制不足而非能力不足。
因此，本研究为将推理时控制视为一种一流抽象提供了实证基础，开启了设计和评估LLM系统的新方向，超越了单纯的规模扩展。
博主点评： CogniConsole的提出为LLM系统的可靠性提供了新视角，通过外部化推理时控制，显著提升了模型的稳定性与输出一致性。这种方法不仅为开发更高效的LLM架构奠定了基础，也为未来的研究开辟了新的可能性。