AI 数据中心的设计在实际消耗功率之前就已经锁定：选择电网或现场燃气、蒸发式或干式冷却、以及备案所在县等离散决策会决定资本支出、水资源使用和碳排放路径。当前让大语言模型（LLM）帮助筛选这些决策，却缺乏检验模型是否真正捕捉到每个承诺所排除的选项。我们推出 DCBench-440，分为两部分：
- 200 条基于 STRIPS 世界的生成式问题，覆盖美国五种典型交易模型，提供经搜索验证的金标准答案，任何问题类型的捷径得分均不超过 12%。
- 240 条多选题，依据公开的现场记录、排放公式和情景描述构建。
在公开权重模型上的实验显示，生成式任务的准确率在 12.5%–71.5% 之间，多选题的准确率在 58.3%–92.5% 之间。所有模型在一项关键技能上均表现不佳：要求列出决策节点可执行的全部操作时，最高的精确匹配率仅为 4.0%。最好的模型能够列出 72%–85% 会改变项目状态的操作，但遗漏了多数对状态无影响的合法操作；即使将这些遗漏视为可接受，最佳精确匹配率仍仅为 24%。
代码、数据及其他材料可应要求提供。
点评