[AI学术] SkillEval：通过认知诊断模型学习可解释的LLM能力画像

当前对大语言模型（LLM）的基准评估通常把每个样本的表现汇总为一个标量分数，这种做法过于粗糙，忽略了数据集所覆盖的多样化技能。为了解决这一局限并更充分利用基准数据，我们提出了 SkillEval——一种跨模型、技能层面的评估框架。

SkillEval 融合了两个方向的最新进展：一是利用 LLM 的元认知能力自动从题目中发现可解释的技能；二是引入心理测量学中的认知诊断模型（CDM）来估计模型在每项技能上的能力。

我们在五个覆盖不同领域的基准（MATH、BBH、GPQA、MuSR、IFEval）上，对 3,811 种 LLM 进行 9,523 条项目的实验。相较于传统的平均分评估，SkillEval 能生成更可靠、更校准且信息更丰富的模型画像，这些画像在预测模型对未见项目的表现时更为准确。

SkillEval 还在两个下游任务中展示了实用价值：

1. LLM 路由——根据技能画像动态将查询分配给既有能力又高效的模型，推理成本降低超过 60% 且性能提升。
2. 计算机自适应测试（CAT）——利用已训练的 CDM 对未见模型进行高效评估。

此外，技能画像帮助我们洞察基准之间的技能共享情况，以及指令微调模型与其基模型在能力分布上的差异。

点评