近期 AI 进展让递归自我改进 (RSI) 越来越可信。大型语言模型 (LLM) 已经能够提出、选择并执行机器学习实验。但实验设计空间庞大，LLM 在提出实验时需要判断其是否值得在长时间训练约束下运行。本文通过让前沿 LLM 在实际训练前预测自己生成的实验效果，衡量其直觉准确度。我们收集了 288 条 LLM 提出的想法，覆盖八个 MLE‑bench 任务。随后对 GPT‑6 Astra、Claude Opus 5.5、Claude Fable 5.1、Kimi K3、GLM‑5.3 五个模型进行预测，并与真实训练结果对比。主要发现如下：① 预测优于随机，但仍不够准确，最佳模型 Claude Opus 5.5 的决定系数仅为 0.49；② 所有模型普遍低估效果幅度；③ 预测质量在不同任务间差异显著；④ 实现代码框架对结果影响不大，未见模型自偏好。提升推理深度和提供更多上下文可带来有限提升。总体来看，当前 LLM 对哪些 ML 思路有效拥有一定但受限的直觉。我们公开数据集以促进后续研究。
点评