为加速材料发现,语言模型需要能够处理前沿研究问题。现有的教材和考试来源的基准主要评估已知知识,无法检验模型在前沿科研中的表现。我们推出 FrontierMat,收录 330 道来自航空航天、半导体、具身智能和核聚变等领域的前沿学术和工业研究问题。每道题均由该领域的实验专家和行业专家验证。题目呈现真实研究,要求模型在给定实验证据的基础上推断被隐藏的结果或得出结论。题目标注了功能域、材料体系和机制尺度,其中 130 道需要跨尺度推理。最强的通用模型仅取得 53.7% 的准确率,跨尺度题目比单尺度题目低 8.7 分。约一半题目最多只有一个模型能解答,模型主要错误在于倾向于支持看似合理的答案而非实际观察到的结果。我们进行了一项领域适配实验,采用元加权持续预训练和尺度模块化自蒸馏,将一个开放权重模型的得分从 36.7% 提升至 55.4%,与最强的专有模型持平,并在公开材料基准上取得提升,同时在通用基准上未出现性能下降。FrontierMat 为衡量语言模型支持材料研发前沿的进展提供了测试平台。
点评:FrontierMat 通过真实科研场景揭示了当前模型在跨尺度推理和细节观察上的不足,为后续模型的领域适配和自蒸馏提供了明确的方向。