DMAIC-Bench 是一个评估大语言模型（LLM）在多阶段分析任务中是否具备自我约束能力的基准。多阶段任务要求代理在使用中间证据后决定继续、重定向或停止。自我反思仅提供输出批评，未能表明证据是否影响后续动作；自我约束则要求依据证据做出合适的停/行决定。基准构建了 97 条种子任务，覆盖 15 个工业案例，涉及四个行业，遵循 Lean Six Sigma 的统计前提。每个任务配有一对反事实变体，在相同工作流位置要求相反的动作，以区分合理的约束和盲目停止。执行过程由私有评分器评估，最终报告通过独立专家审查。实验在六家供应商的 13 种模型上进行，匹配 GO 决策的路由准确率平均为 92%，匹配 NO‑GO 决策仅为 19%，任何禁止的下游计算均计为路由错误。轨迹显示，代理常在报告正确诊断后仍执行被结果否定的分析。盲审结果估计，在已达成 NO‑GO 决策的情况下，报告基于无效证据的比例为 47%，区间 31%–61%。显式的停止许可对部分模型有帮助，但未能在 GO 与 NO‑GO 分支上持续纠正错误。相同框架在 16 项生命科学任务（RNA‑seq 与 GWAS）中也能评估证据依赖决策。项目代码与数据已公开。
点评