摘要
链式思维（CoT）监控被视为AI代理的一种有效安全机制，其基础在于可见的推理轨迹能够揭示不一致或欺骗行为。然而，最近的研究表明，大型语言模型（LLMs）依然容易受到基于劝说的越狱攻击，自然语言论证可以覆盖模型约束。
我们对这种脆弱性进行了压力测试，探讨它是否扩展到监控LLM的问题：一个对手代理是否能够说服其CoT监控器批准违反监控政策的提议？为此，我们设计了一个评估框架，包含40个任务，并分析了数千次代理与监控器的交互，代理被指示为违反政策的提议进行辩论。
我们的研究发现，在这种对抗性设置中，监控器对代理的CoT推理的访问反而平均增加了9.5%的有害行动批准率，因为工作记事本提供了额外的劝说渠道。为了解决这个问题，我们引入了一种事实检查监控框架。我们发现，来自不同模型家族的事实检查器与监控器的配对，例如Claude 3.7 Sonnet监控器与GPT-4.1事实检查器的组合，能将政策违反行动的批准率降低多达45%，而仅使用相同模型进行事实检查和监控时，降低率仅为6%。
我们的结果表明，仅依靠CoT监控可能不足以抵御对抗性劝说，而模型多样的事实检查提供了一种有效的缓解方法。
博主点评： 本文揭示了链式思维监控在面对劝说攻击时的脆弱性，强调了引入多样化模型进行事实检查的重要性，为AI安全机制的进一步研究提供了新的方向。希望未来能有更多针对性的方法来增强监控系统的鲁棒性。