NeFut Logo NeFut
EN 管理员登录

[AI学术] FrontierPhysics:评估端到端物理研究的智能体

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #Artificial Intelligence

AI 智能体在物理研究中的作用日益突出,但现有基准大多只考察固定问题、孤立子任务或给定解的论文复现,几乎不同时评估研究质量与正确性。为此我们推出 FrontierPhysics——一个端到端基准,收录 42 位物理学家基于自身研究设计的 56 项任务,覆盖理论、计算和实验物理的九个子领域。每项任务要求智能体完成文献综述、制定研究方案、实施研究或实验,并输出结构化结果和完整的科学手稿。评估采用确定性验证器结合专家编写的评分标准,既检查结果的正确性,也判断其是否具备发表价值。我们在 22 种模型的 26 种配置上共运行 168 次实验,最高通过率不足 46 次。对智能体轨迹的人工审查表明,主要瓶颈在于推理不够严谨、缺乏专家直觉,而非物理知识缺口或执行错误。

点评:FrontierPhysics 为评估 AI 在真实科研流程中的表现提供了系统化平台,揭示了当前模型在深度推理和直觉层面的不足,为未来算法改进指明了方向。

原文链接: https://arxiv.org/abs/2611.06910

[h] 返回首页