链式思考（CoT）监控被视为监管日益强大模型的有效手段，部分原因在于当前模型在推理过程中的语言输出受限。我们发现，这一限制源于在思考标签后出现的前几 个标记的熵急剧下降，即熵塌陷。基于此机制，我们提出两种推理时的干预方法来恢复 CoT 的可控性：
- 预填充：即在模型生成的开头插入一个或少量标记，即可显著提升可控性。
- 禁用高频开头标记并提供上下文示例：通过禁止常见的开头标记并在提示中加入示例，可将平均遵从率提升 34%‑41%。
实验表明，这两种干预主要恢复了添加和风格两类可控性（即添加信息或改变表达方式），而抑制可控性（避免或删除信息）的提升幅度更为不稳定，暗示其背后机制可能不同。进一步分析发现，模型在这两类任务上表现出相互独立的能力：同类任务之间的性能呈正相关，而跨类任务的相关性大多为负。关于可监控性（monitorability），添加和风格可控性与其正相关更为一致，而抑制可控性往往呈负相关。
我们的工作提示，未来的可控性评估应区分“启动特定开头的难度”和“整体改变推理内容的能力”，并在报告时分别列出不同控制任务和类别的结果。
点评