NeFut Logo NeFut
EN 管理员登录

[AI学术] Long-Horizon-Terminal-Bench 2.0:自动化多样任务构建与持续进度测量

发布于:2026-10-15 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #LLM

Long-Horizon-Terminal-Bench(LHTB)旨在评估智能体在长时序工作流中的持续进展,而不仅仅是最终状态的二元判定。LHTB 2.0 在保留原有 46 项任务的基础上,修复了任务和评估基础设施的缺陷,并新增 31 项任务,使任务总数达到 77 项,覆盖 13 个领域和八种任务类型。

任务的扩展采用系统化的重构‑任务流水线:先选取一个可运行的科研或工程制品,利用参数化的参考实现生成多个情景;其中六个情景作为行为证据公开,另外三个情景留作评估。为鼓励中间进度,采用密集进度阶梯奖励,同时防止模型记忆公开输出。

评估时长从 90 分钟延长至 3 小时,并每隔 30 分钟记录一次验证器检查点,从而能够直接度量一次运行中的持续进展。

在 1,145 次模型‑任务评分实验中,15 种前沿模型中 GPT-6-astra 以 0.69 的密集平均奖励领先,并在 37 项任务上达到 R≥0.95;其次是 GPT-5.6-sol,密集平均奖励 0.67,32 项任务满足同一阈值。对 30 项重构任务的二元验证器得分平均为 0.221,而密集阶梯得分平均为 0.653,说明仅靠结果判定会遗漏大量中间进度。

LHTB 2.0 提供了更广泛、更坚固且关注过程的测试平台,为研究智能体在数小时尺度上的可靠执行提供了新基准。

点评

原文链接: https://arxiv.org/abs/2610.14146

[h] 返回首页