在终端计算环境中，智能体只能看到底层状态的局部视图。测试时搜索（test-time search）通过探索备选动作并让批评者（critic）挑选有前景的分支，理论上可以提升成功率。我们在此类环境中评估了 Monte Carlo 树搜索（MCTS）配置，结果显示对任务成功率的提升并不显著。
导致批评者表现不佳的原因有两点：一是智能体的观测缺失了评估所需的环境状态；二是中间状态提供的成功线索有限。实际测量表明，在中间状态下批评者对后续路径的排序仅略好于随机，甚至在提供更多环境访问权限后提升仍然有限。
我们进一步探讨了批评者的调用时机以及应授予的访问权限。实验表明，只有在智能体认为已经完成时才调用批评者更为有效，而不是在每一步的部分进展时就进行评估。与此同时，批评者需要对计算机的当前状态以及初始状态的一个分叉（fork）拥有读、写、执行权限，这样它才能在不影响真实环境的前提下进行探测，甚至执行可能破坏性的操作，以揭示智能体未显式考虑的隐藏状态。
基于上述发现，我们提出了“探测与恢复”（Probe-and-Resume）策略：当智能体声称完成时，批评者在状态分叉上进行探测；若批评者拒绝，则让智能体从停止的地方继续执行。
在 Terminal-Bench 2.1 基准上，该策略相较于传统批评者的 MCTS 提升了 8.4 个百分点的成功率，并且以不到原模型一半的计算成本，逼近了 Codex CLI 智能体的成功率。
点评