大型语言模型（LLM）正逐步嵌入第一性原理计算工作流，但它们在科学计算参数配置方面的能力尚未得到系统评估。为此我们构建了 INCARBench，一个面向 Vienna Ab initio Simulation Package（VASP）INCAR文件的基准，包含两类任务：
- 配置生成：模型根据任务描述自动生成完整的 INCAR 参数集合。
- 配置修复：模型在给定的错误 INCAR 基础上识别并纠正不当设置，同时保持已有正确项不变。
我们对 19 种前沿模型（包括 GPT‑4、Claude、Llama‑2 等）进行了系统评测。评测指标分为三层：
- 语义准确率：模型输出是否符合自然语言描述的意图。
- 策略准确率：输出是否遵循 VASP 官方推荐的参数策略。
- 任务关键正确率：涉及物理意义的关键参数（如
ENCUT、EDIFF、LDAU系列）是否满足科学有效性。
结果显示，部分模型在前两层能够达到 90% 以上的准确率，但在任务关键正确率上普遍低于 60%。这表明，仅凭语义或策略层面的正确并不能保证生成的 INCAR 在实际计算中是可靠的。
错误聚焦：错误主要集中在需要多约束共同满足的物理耦合设置上，包括 DFT+U、磁性（ISPIN、MAGMOM）以及强关联材料的参数组合。这类场景要求模型同时考虑电子关联、磁序和能带收敛等多重条件，当前模型仍难以统一处理。
修复任务发现：在修复评估中，模型能够识别并纠正部分错误，但在保持已正确参数不被改动方面表现不佳。即使模型成功修正了关键错误，往往会引入新的不一致，说明“配置保持”是一个独立且更具挑战性的能力。
总体而言，INCARBench 将科学配置能力量化为可测指标，为后续提升 LLM 在计算材料科学中的可靠性提供了基准和方向。
点评