本文指出，近年来大量论文将大语言模型（LLM）推理错误的分类体系直接当作量化指标，报告某类错误在全部错误中的比例并用于模型间比较。我们以“组合崩溃”（Compositional Collapse）为例——模型识别出题目所需的子部件，却在后续步骤中遗漏或错误使用——在公开的多语言数学基准上对12种模型、11种语言、共2316条带评分的记录进行测量。\n\n首先，超过半数（50.1%）的错误同时满足多个错误类别的判定条件，导致最终报告的占比取决于分类器的检测顺序。仅在两类测试顺序互换的情况下，就会在12个模型中的11个出现比例变化；在全部六种可能的顺序下，组合崩溃的报告比例在26.4%~76.4%之间波动。\n\n其次，人工标注的可靠性也极低。我们邀请了11种语言的母语者对179条记录进行评审，标注者与检查员在答案正确性上的一致性达κ=0.932，但在“组合崩溃”标签上的κ仅为0.093。随后每种语言再邀请一名母语者复评142条，其中121对确定的样本两位标注者之间的κ=0.659，而每位标注者与检查员的κ分别为…\n\n这些结果表明，当前的错误分类体系在测量层面高度依赖具体实现细节，难以作为稳健的比较基准。\n\n点评：在使用 LLM 错误分类进行模型评估时，需要慎重考虑分类器顺序和人工标注的一致性，否则可能得到误导性的结论。