Frontier 编码代理正被视为端到端的自动化研究者，科学机器学习提供了严苛的检验：改进科学模型往往需要超出常规 ML 工程的领域洞察。我们推出 Agent4Sci，一个面向长时程的测试平台，用于衡量当前代理在科学 ML 基准上提升已发表最佳模型的能力，覆盖 11 个领域的 20 项基准。
Agent4Sci 不采用排行榜，而是探讨在真实环境下代理能够取得何种进展以及存在哪些短板。实验表明，现有前沿代理在所有基准上均超越已发表最佳，其中 Claude Opus 达到 10.4% 的平均相对提升，且未出现学术不端行为。然而，这些提升几乎全部来源于一系列 ML 工程技巧，而非研究层面的创新。
轨迹分析揭示了三大常见局限：新颖性校准失衡、资源利用不足以及快速陷入局部工程搜索。为研究构思、实验管理和检查清单提供轻量化插件后，Claude Opus 的提升从 10.4% 增至 20.1%，Codex 从 4.4% 增至 8.1%，并出现更丰富、领域相关的干预。
Agent4Sci 为社区提供了在真实科学 ML 问题上推动代理从纯工程向领域洞察转变的评估手段。代码与数据已在 GitHub (https://github.com/maszhongming/agent4sci) 和 Hugging Face (https://huggingface.co/datasets/MingZhong/agent4sci) 上公开。
点评