运行时故障监视器通常通过区分失败与成功执行的准确率来评估。然而,准确的警报若出现得太晚,可能已经错失恢复时机;而不必要的干预则会打断本可以成功的执行。
为了解决这一矛盾,我们提出 RESCUE——一种反事实评估框架,用于判断监视器的警报是否能够带来有价值的干预。RESCUE 在执行的检查点恢复仿真器和策略的状态,随后比较不同的备选动作,寻找满足预设恢复准则的最晚检查点,并计算在该检查点采取干预是否能够降低任务完成的期望成本。
我们在 OpenVLA‑OFT 与 $\pi_{0.5}$ 策略上,分别使用 LIBERO‑Spatial 与 LIBERO‑Plus 环境进行实验,共生成 128,340 条反事实分支。实验表明,可恢复性取决于 状态‑干预 对 而非单纯的机器人状态:在 $\tau=0.5$ 时,66 起 OpenVLA‑OFT/LIBERO‑Plus 失败中,仅有 14 起在仅继续执行的情况下存在可恢复检查点,而在继续执行或脚本化恢复的组合下可恢复检查点增至 34 起;在其他条件下,恢复反而降低了可恢复性。
在强策略(strong‑policy)条件下,检测分数虽高,却未必能降低干预成本。基于“停止‑重置”模型的评估显示,即使是理想检测器,也只能容忍约 2.0%‑3.3% 的误报率,否则不必要的重置成本将抵消提前停止失败带来的收益。
这些结果表明,监视器的价值取决于可用的干预方式以及其部署的工作负载。
点评:RESCUE 为运行时监控提供了更具实践意义的评估手段,提醒研究者在设计监视器时必须同时考虑干预策略和任务环境的交互影响。