在人工智能领域，代理程序已能自主完成短时间内的明确任务。然而，现有的终端基准测试主要集中在简单问题上，这些问题通常在几分钟内完成，仅通过最终结果进行评估。这种设置忽视了中间进展和部分解决方案，导致稀疏的奖励信号和对代理能力的不完整理解。我们推出了 Long-Horizon-Terminal-Bench，这是一个涵盖 46 个长远任务的终端基准，涉及实验重现、软件工程、多模态分析、互动游戏和科学计算等九个类别。每个任务遵循 Terminal-Bench 风格的设置，包含参考解决方案或模拟引擎，并进一步细分为细粒度的分级子任务。这种设计允许密集的中间奖励和部分信用，使评估不仅能捕捉代理是否达到最终目标，还能反映其在开放式工作流中的进展。
Long-Horizon-Terminal-Bench 中的任务通常需要数百次实验和数分钟到数小时的执行时间，强调长远规划、长上下文管理和迭代调试，而非一次性解决问题。我们评估了 15 个前沿模型，发现每个任务的平均代币消耗为 9.9M，每次运行的实验次数约为 231，执行时间为 85.3 分钟，使 Long-Horizon-Terminal-Bench 比以往的终端基准更具挑战性。即便是测试最强的模型，在部分奖励阈值为 0.95 时的通过率为 15.2%，而在完美奖励阈值为 1.0 时的通过率仅为 10.9%。各模型在这两个阈值下的平均通过率分别为 4.3% 和 1.7%。这些结果揭示了改进的空间。我们进一步分析了失败模式和错误模式，并发布了 Long-Horizon-Terminal-Bench，以支持未来长远目标终端代理的进展。
博主点评： 这一新基准测试不仅扩展了代理在复杂任务中的评估方式，还强调了中间进展的重要性，相信将推动更有效的长远规划和智能体性能提升。