ReplayRCA 是一个评估语言模型代理在多步任务中出现错误后，能否通过一次干预找出关键失误并修复的基准。评估方式不依赖人工标注，而是把环境恢复到被诊断模型选中的步骤之前，用诊断模型提出的动作替代原代理的动作，然后让同一代理继续执行。指标 因果修复 定义为：在干预后成功完成任务的比例，减去一个对照组（在相同机制下重放原代理动作）的成功率。
评估包含两条路径：
事后剖析：诊断模型看到完整的失败过程，并已知任务失败。 实时监督：监督模型在运行过程中只能 intervene 一次，必须在不可逆动作前做出决定，且事先不知道是否会失败。
任务来源于 OpsWorld，一个确定性的程序化生成的后台办公环境，设有六个难度层级，最高层加入二维码和手写识别等多模态要素。
在 62 条经过校准的系统性失败上，13 种前沿模型中表现最佳的是 Grok 4.7，获得 +51.3 的因果修复分。前八名模型之间差异不显著，两个最大厂商的旗舰模型分别排第 8 和第 12，仍有 5 条失败未被任何模型修复。强制最强模型在最后一步介入会导致其分数下降 17.1 分，说明基于标注的归因基准的“最后一步”捷径在此场景不可迁移。
在 87 条运行中，两位表现最好的实时监督模型成绩相当，其中一位是开源小模型 DeepSeek V4.1 Flash。表现最好的事后诊断模型 GPT‑6.1 Sol 在实时监督任务上却是最差的，分数比其他模型低 14.5 分（p = 0.002），表明事后诊断能力并不能直接预测实时监督效果。
环境代码和评估脚本已在 https://github.com/jeremy1392/RCAreplay 开源。
点评 ReplayRCA 通过因果干预提供了更严格的错误定位与修复评估，揭示了事后诊断与实时监督之间的显著差距，为未来的安全监督研究指明了方向。