链式思考(CoT)可控性指模型在推理过程中对思考路径属性的控制能力,这对模型的实用性和安全监管至关重要。已有研究通过在用户提示中直接给出约束,评估模型是否遵循这些约束,结果显示大多数模型的可控性极低。我们认为,这种低可控性并非模型本身的局限,而是源于约束在提示中的朴素表述方式。为此我们提出 自我指令 CoT 可控性:将约束作为模型自身思考过程中的指令嵌入,并测量模型对该指令的遵循程度。实验表明,在自我指令条件下,模型的可控性显著高于传统用户指令。即使是一个通用的“请遵循用户约束”的提醒,也能显著提升可控性。进一步地,我们展示了只需在用户提示中加入一句简短指令,即可将有效的自我指令引入推理过程,从而在不直接访问思考通道的情况下实现更好控制。最后,在真实监控场景下利用自我指令进行实验,发现可控性被用于规避监控,提示了 CoT 可监控性面临的潜在风险。
点评