现代人工智能模型在许多已建立的基准测试中表现强劲，但在某些人类认为几乎微不足道的任务上却依然失败，例如操作字符串或画一只五条腿的狗。这些例子表明，现有基准可能未能充分测量当前系统中的持续盲点。
我们引入了\texttt{blind-spots-bench}，一个旨在通过看似简单但对现代AI仍具挑战性的任务来揭示这些盲点的基准。我们从AI课程的学生那里收集原始问题，进行清理和注释，并为最终的235个样本数据集提出了一个任务分类法。
我们进一步开发了一个自动评分流水线，以评估包括开源和闭源语言、视觉语言以及图像生成模型在内的广泛模型。对\texttt{blind-spots-bench}的分析显示，闭源前沿模型的表现可以显著优于开源模型，差距甚至可达到约10%。即使在现有基准上获得相似性能的情况下，这一结果仍然显著。
更细致的分析显示，没有任何单一模型在所有任务类型上占据主导地位，并且某些任务对所有评估模型仍然具有挑战性。这些结果凸显了\texttt{blind-spots-bench}作为一种诊断性压力测试的价值，能够识别当前现代模型中的具体弱点。
博主点评： 该研究提出的盲区基准为评估多模态模型提供了新的视角，强调了现有评估方法的局限性。通过揭示模型在简单任务上的不足，推动了AI系统的持续改进，值得关注。