长时程代理需要完成一系列工作流，后续活动依赖于前置输出和共享状态的变化。评估的核心难点在于扩展任务需求及其依赖，同时保持任务可执行并能验证结果。我们提出 SkillHorizon 基准，它在七个业务场景中通过技能组合生成长时程任务。生成器依据领域规则，将可复用的技能过程转化为具体业务活动，并通过输入‑输出依赖、共享资源和状态更新将这些活动串联，使工作负载和协同需求同步增长。参考执行成功后即可验证任务可行性并统计交互工作量；程序化评估器则分别检查局部目标完成情况和整体任务成功率。我们在 1,050 条任务上评估了五种语言模型，交互工作量从 64K 到 1M token 不等。结果显示，局部目标的平均完成率随工作量增长从 90.4% 下降至 46.8%，说明完成的工作未能跟上需求的扩张。更大工作量下，代理更常提交未完成的最终答案，且仍有大量工具调用配额未使用。追踪分析进一步发现，部分脚本虽成功执行，但其输出在后续业务检查中失败。SkillHorizon 提供了一个可配置的测试平台，便于研究工作流的持续进展、依赖协同以及完整任务交付。代码已开源：https://github.com/KnowComp/SkillHorizon
点评