在人工智能系统中，自我改进的参与度日益增强：它们修正输出、在部署过程中自我适应、基于生成的数据进行训练，甚至进行自主的AI研究。相关文献使用了一些混淆不同目标的术语，如“自我优化”、“自我奖励”、“自我博弈”、“自我演化”。
我们对1,250篇arXiv论文（2024-2026年）进行了调查，分析了两个维度：系统改进的内容——在部署中的行为、通过训练的策略、评估者或研究过程本身，以及循环闭合的程度（从人类参与到完全闭合）。
分类法将有限自我优化（收敛、可评估、已在工业实践中应用）与开放式递归自我改进（RSI）区分开来，后者受到基础需求、崩溃动态和计算限制等因素的约束。其独特之处在于设立了自我评估的专门类别：每个改进循环都声称某个信号可以替代人类判断。
我们调查了评估者设计空间——评审者、过程奖励模型、验证器、评分标准、元评估——并将信号按验证层级排序，从正式验证者（最强）到内在自我评估（最弱）。我们观察到，展示的自我改进强度与此层级一致，其失败模式（自我确认循环、模型崩溃、多样性崩溃）源于违反这一层级的情况。而“研究方向设定”的瓶颈，保持了人类的参与，处于该层级的顶端。
我们将技术文献与RSI限制理论相连接，并探讨了前沿实验室关于闭环的安全和治理问题，识别出自我改进的治理级测量是该领域最为欠缺的细分领域。
博主点评： 本文深入探讨了AI自我改进的复杂性，特别是区分有限与开放式自我改进的重要性。随着AI的自我优化能力增强，如何确保其安全和有效性将是未来研究的关键。