计算机使用代理能够完成复杂任务，因而越来越多地依赖自动评审员来判断成功与否，无论是用于训练还是无人工评估。然而，在跨多个应用的长时程任务中，它们的可靠性仍未明朗。一个轨迹由大量截图和操作组成，表面上看似完整，却可能违背指令约束或产生不期望的副作用。评审员必须依据用户指令审视整个轨迹，以发现此类错误。为此我们推出 AgentHorizon 基准，收录 1,373 条指令‑轨迹对，来源于 166 小时的人类记录，覆盖三大操作系统。通过为相近指令记录轨迹，可通过指令互换构造负例任务，这种配对设计直接检验评审员区分成功轨迹与完成相似但不兼容请求的能力。基准提供三种划分：前沿划分 AgentHorizon (AH)、简化划分 AgentHorizon‑Simple (AH‑S) 与开发划分 AgentHorizon‑Development (AH‑D)。我们对十一种评审员进行评估，分别在两种使用方式下：① 直接输入完整轨迹（最多 300 张截图和操作），② 作为编码代理在五种代理框架中运行。结果显示，表现最佳的代理评审员 GPT‑5.5 在 AH 子集上取得 80.9% 的平衡准确率。工具使用提升了部分模型的表现，但对开源模型却产生负面影响；不同评审员在接受有效轨迹和拒绝失败轨迹上的差异极大。研究表明，评审员需要能够在冗长交互历史中定位并验证往往隐藏的完成证据，以确保任务真正完成。
点评：AgentHorizon 为长时程计算机任务的自动评审提供了系统化评测平台，揭示了当前评审模型在证据发现和约束遵守方面的不足，为后续模型改进指明了方向。