NeFut Logo NeFut
EN 管理员登录

[AI学术] ReproBridge:将可复现性嵌入机器学习研究成果

发布于:2026-11-07 22:00 最后更新:2026-11-08 12:04
#AI #Machine Learning #Open Source

再现机器学习实验往往需要从论文、公开代码和配套材料中拼凑出完整的实验流程。对编码代理而言,成功再现更多取决于它们填补缺失细节的能力,而非仅依赖发布的代码。我们探讨保存已恢复的实验步骤和决策是否能提升后续独立再现的成功率。\ \ 我们提出一种标准化的制品设计,包括精炼后的代码库、环境配置、实验启动器以及再现指南,并基于此构建了 ReproBridge 工作流,用于生成可复现的制品。ReproBridge‑Bench 收录了来自 36 篇论文的 387 项实验,共计 1,029 条任务,每条任务配有 5 个人工验证的参考分数。代理在全新会话中分别使用原始代码或精炼制品执行任务,独立的审计员负责检查执行证据。\ \ 实验结果显示,使用精炼制品后,平均再现成功率从 76.4% 提升至 92.6%,下游 API 开支平均下降 19.7%。不同模型之间的成功率差距从 21.6 个百分点收窄至 3.9 个百分点,四个模型的平均成功率均超过 90%。消融实验表明,去除任意组件都会导致成功率下降,其中代码和环境的缺失导致的损失最大。\ \ 这些发现表明,保留执行过程的知识能够帮助即使在原始代码上表现较差的模型,也能更可靠且更低成本地再现实验。\ \ 点评:ReproBridge 通过系统化的制品结构和审计机制,显著提升了机器学习实验的可复现性,并降低了算力成本,为科研社区提供了可推广的实践框架。

原文链接: https://arxiv.org/abs/2611.08452

[h] 返回首页