在长时程游戏中,代理的执行轨迹若出现失败,往往只能说明需要干预,却无法直接指明应如何修改外部执行 harness。传统做法只给出一套恢复规则,缺乏对失败根因的诊断证据。为此我们提出 KPHarness,它通过 知识‑探测共进化 的方式,对冻结的视觉‑语言‑动作模型的外部 harness 进行自适应改进。
核心机制:
- 恢复知识 为特定情境提供干预假设,引导主动探测。
- 探测结果 判断假设是否成立,并为细化恢复知识和后续探测策略提供证据。
- 这种相互作用使得 harness 不仅能学会何时使用哪种干预,还能学会如何更有效地探测失败。
KPHarness 将快速的策略执行与缓慢的研究循环分离。研究循环把累计的知识与探测证据翻译成 有界的 harness 修订,每次修订都会在相同的 sandbox 环境下与当前版本进行对比,仅在配对评估显示提升时才被接受。
已验证的恢复策略会被保存进知识库,以供跨任务复用;即时的交互反馈和延迟的回合成功奖励则用于在适配过程中更新动作策略和探测策略。
实验:在 Minecraft 的采矿、战斗和合成等任务上,KPHarness 相比于仅执行策略、手工固定 harness、以及仅靠知识演化但探测不自适应的基线,显著提升了任务覆盖率。对全新任务的评估表明,即使固定了演化后的 harness、知识库和探测策略,仍能获得更高的任务完成率。
点评:KPHarness 通过把诊断证据纳入 harness 演化过程,实现了更细粒度的干预与探测协同,为长时程游戏中的自动化调适提供了可解释且可复用的框架。