安全性在具备自主性的系统中本质上是序列化的：一次行动是否安全取决于之前的行动、工具输出、信息披露以及代理之间的交互。近期研究已将安全防护从事后轨迹评估转向对每一步的行为诊断和主动风险预测，但现有的训练目标对步骤证据随时间的累积以及何时足以支撑干预缺乏充分监督。我们提出了 ASPO（\methodlong），一种面向步级及时干预的训练框架。前缀层级对齐在每一步为决策分配信用：它将当前响应与同一前缀下采样的其他响应进行比较，奖励符合阶段的动作，即在风险显现前继续、在澄清仍能避免伤害时提问、在伤害不可逆前停止。自适应反馈自蒸馏进一步对每一步决策背后的推理进行加分，模型本身充当教师，利用干预步骤的标注以及从安全步骤的误报中挖掘的规则进行教学。训练数据包含违规分类和每一步的干预窗口，并通过自演化的多代理红队扩展。最终我们推出了 StepSafe——具备步级推理防护和及时干预能力的系统，在五个代理安全基准上实现了开源防护中最佳的安全‑效用帕累托表现，Youden 的 $J$ 达到 53.0（4B），显著高于 46.2。
点评