评估代理严格满足多样且程序化复杂需求对实际可靠性至关重要。需要兼顾领域覆盖和过程深度的任务。
现有基准要么专家策划，过程深但领域单一，要么众包，领域广但执行严谨性不足。
SkillForgeBench 通过技能作为统一执行蓝图，设计三阶段：资源准备、技能驱动任务合成、整体评估设计。
资源准备阶段利用领域平衡的技能检索素材，确保工作流覆盖广。
任务合成阶段把技能作为过程锚点，将素材角色划分，生成自然任务指令，并包装成沙盒场景，实现深度过程执行。
评估设计阶段把嵌入技能的需求转化为细粒度的完成和过程评分标准，实现严格的需求层面打分。
数据集包含842个沙盒任务，覆盖五大专业领域。实验显示八个主流代理呈现明显层级，最高为 Opus 4.8，严格完成率 $40.9\%$。
当要求全部约束满足时，所有模型出现严重瓶颈，单项通过率 $70.0\%$–$85.7\%$ 与严格完成率 $12.6\%$–$40.9\%$ 差距显著。
在技能外部指导下，高层模型提升幅度更大，Opus 4.8 提升 $19.2\%$，而 Haiku 4.5 仅 $5.8\%$。
过程评分远低于完成评分，Haiku 4.5 的过程通过率不足 $3\%$，说明仅检查完成会高估真实可靠性。
点评: SkillForgeBench 为评估代理的真实执行能力提供了兼顾广度与深度的基准，揭示了现有模型在过程遵循上的系统性短板。