我们介绍了 PHITSBench，这是一个针对蒙特卡洛粒子与重离子传输代码系统（PHITS）的执行评分基准。PHITSBench 包含 282 个可传输评分的任务，涵盖三种常见的工作流程类别：参数编辑（Edit）、语法修复（Repair）和从自然语言描述生成完整模拟（Reproduce）。每个任务使用复合指标评分（Composite Metric Score）进行评估，该评分结合了执行成功率和生成的与参考传输可观察量的一致性。
使用 PHITSBench，我们评估了五种基于 GPT-5.4 的配置，范围从零-shot 提示到知识增强和智能工作流。在没有领域特定知识的情况下，模型在编辑和修复任务上表现良好（成功率分别为 95% 和 70%），但在从零开始生成正确的模拟方面失败（Reproduce 轨道成功率为 0%）。附带用户手册的结构化、机器可读的 PHITS 知识目录将单次 Reproduce 任务的成功率提升至 57%。智能执行进一步提高了成功率至 66-73%，但增加了计算成本。失败分析表明，其余错误主要源于物理可观察量的选择和配置不当，而非语法生成。这些结果表明，未来在 AI 辐射传输建模方面的进展将同样依赖于机器可读知识库、精心策划的领域训练数据集和基于执行的评估环境，而不仅仅依赖于基础模型本身的进步。
博主点评： PHITSBench 的设计展示了 AI 在复杂物理问题中的潜力，尤其是在自然语言处理与科学计算的交融点上。然而，模型在生成模拟方面的低成功率提示我们，知识的结构化和领域特定的数据集将是推动这一领域前进的关键因素。