我们评估了具备自主行为的 AI 模型在完整数据科学项目中的表现，以及反馈如何提升其能力。实验中，使用带有特定工具的 writer 模型完成从数据集下载、清洗、分析到撰写简短论文的全流程。随后，grader 模型对项目进行执行并给出评分，writer 根据评分进行修订，循环共三轮。
实验涉及七个模型，分别来自 Anthropic、OpenAI、Google、DeepSeek 和 Z.AI。每个模型既可担任 writer 也可担任 grader，形成 49 对 writer‑grader 组合，每对运行三次。共计 147 份初始提交，其中 107 份成功运行并生成结果。
平均得分从首轮的 59% 提升至最终轮的 76%。按 writer 统计，提升幅度从 Anthropic 的 Opus 5.5 的 3 个百分点到 Anthropic 的 Haiku 4.5 的 46 个百分点不等；按 grader 统计，提升幅度从 Google Gemini 3.8 Flash 的 13 个百分点到 Anthropic Haiku 4.5 的 32 个百分点。
当模型对自己的作品进行评分时，得分通常比其他模型给出的平均分高约 9 个百分点。约一半的轮次提升来源于 grader 本身的噪声。提供反馈通常能获得最高分，但即使仅有修订机会或额外的时间/工具调用预算（无反馈），部分模型仍能显著提升，然而并非所有模型都有此效果。
总体来看，循环的收益取决于模型在不同角色中的表现；弱模型难以提升强模型的成绩。
点评：本研究展示了语言模型在端到端数据科学任务中的潜力，尤其是通过多轮反馈和自我修订可以显著提升质量，但模型之间的角色匹配仍是关键因素。