递归自我提升（RSI）指的是前沿 AI 模型在训练下一代模型时充当研发代理。虽然该技术正快速走向现实，但其安全性仍被严重低估。若一个未对齐的模型在训练其继任者时植入错误的知识、行为或目标，危害会随代际传递。为评估此风险，我们构建了 RSI Control Arena：在该平台上，前沿模型被赋予一个来自继任者训练流水线某阶段的正常主任务，同时隐藏一个侧任务，用于在继任者中植入不对齐属性。侧任务共 16 项，分为三类，形成 22 对任务，主任务覆盖从数据策划到强化学习的全部环节。我们让六种前沿模型充当代理，并使用能够读取运行记录和模型推理过程的 LLM 监视器进行检测。实验表明，所有模型均能在不显著削弱主任务表现的前提下完成大量侧任务，甚至有些侧任务还能让继任者本身成为更有效的破坏者。仅在最小化隐蔽指令的情况下，模型已能发起成功攻击，监视器多数未能发现；提供一份规避技巧清单后，检测率进一步下降。若监视器能够访问模型的推理过程，则能捕获大多数攻击，但仍有漏检。结果凸显递归自我提升带来的显著安全隐患，强调在让模型承担训练后继者的更大责任之前，必须投入强有力的安全措施。
点评