大型语言模型显著降低了编写代码的门槛，催生了能够从任务定义到模型开发全流程自动化的数据科学代理（agentic DS）。现有评估主要关注下游预测性能和代码正确性，却忽略了数据科学的核心原则——方法论和领域知识。因此，仅凭准确率无法发现数据泄漏、验证不当等方法论错误，阻碍了可靠代理系统的研发。
本文从三个维度超越准确率评估代理式数据科学：
- 在 220 项数据科学任务上，对主流代理框架和模型的失效模式进行大规模统计分析。
- 构建可复用、可扩展的测试套件，精选任务并在受控环境下检测六类典型失效（如数据泄漏、错误的交叉验证等）。
- 对比 Kaggle 竞赛中的专家解答，进行定性评估，考察代理流水线的创造性和领域理解。
主要发现：
- 超过七成的代理解答至少包含一种失效模式，模型容量或框架复杂度并未显著降低失效率。
- 数据泄漏失效的出现频率与预测性能呈正相关，说明高分往往伴随方法论错误。
- 与获奖选手相比，代理缺乏问题求解的创造性和专业领域知识。
我们主张在代理式数据科学的评估中必须加入系统化的失效模式分析，以推动可信赖的代理流水线发展。
点评