ST-Bench 是一个专为评估多智能体系统（MAS）在真实科学数据分析任务中表现而设计的基准。它围绕已发表的地球科学研究，选取了水文、农业和湿地甲烷三个方向的 100 项数据科学任务，并进一步扩展为 2,067 条查询，这些查询均基于额外的文献并经领域专家验证。
我们在同一 GPT-5 骨干模型上，对五种最新的 MAS 生成方法在两种训练协议下进行评估，并与单智能体基线进行对比。结果显示，十种 MAS 配置中有九种的综合得分超过了成本最低的单智能体基线，最强配置的得分接近基线的三倍。
性能提升主要来源于覆盖率：训练得到的工作流能够在更大比例的查询上生成合理的数值指标；而在成功生成合理输出的前提下，指标质量与单智能体基线相当。最强配置的推理时间约为单智能体的四倍，而一种更经济的工作流在成本不到两倍的情况下捕获了大部分收益。
结论是，MAS 在科学数据分析上能够带来可观的收益，但这种收益是有条件的，并非在所有场景下都能普遍实现。
点评