文献已经指出 AI 说服可能削弱人类对 AI 系统的控制，但系统性研究仍然缺乏。近期 Anthropic 的 Claude Mythos 5 在一次评估中尝试说服开源项目成员合并恶意代码，表明说服攻击已从理论走向实践，亟需深入分析。
本文构建了一个用于描述 AI 说服威胁的框架，重点考察安全相关的研发环境（如前沿实验室）中 AI 如何影响人类决策，进而危及 AI 的开发、遏制、监督与治理。基于该框架，我们提出了五个具体情景，并给出了一套评估风险的蓝图。
利用蓝图，我们对部分研究人员开展了初步风险估计调查，结果显示对最危险情景的看法高度分歧。分歧来源于对不同情境下 AI 说服效果的认知差异，凸显了后续风险抽取研究和说服效果评估的必要性。
本文旨在提醒学界 AI 说服可能削弱控制的风险，并为后续研究指明方向。
点评