我们研究了 LLM 基准测试的核心集选择：从多个基准中选择一个小的提示子集，其诱导的模型得分和排名能够近似于从完整基准套件中获得的结果。
在评估无监督基准核心集选择中，我们的方法不依赖于模型评估结果，采用更细粒度的方式生成多个基准的提示子集，而不是生成整个基准的子集合。
我们使用次模子集选择，并为此开发和评估了多种不同的次模函数，包括基于确定性点过程（DPP）的方法、次模互信息函数和设施位置函数。
在一个新的大型套件中，该套件包含 35 个异构基准，涵盖五个不同的能力类别、18 个前沿 LLM 和超过 61,000 个提示，我们发现基于设施位置（FL）函数的选择，专注于廉价的语义提示嵌入，能够比 12 个独立的基于得分和多样性的基线更好地保留 LLM 得分。
此外，我们展示了所提出的目标不仅限于评估无监督的环境：在仅需选择少量完整基准的情况下，且有大量模型得分可用时，相同的目标在 MMLU 和 MTEB 排行榜上与最先进的基线相匹配或超越，同时计算成本显著降低。
总体而言，我们的结果表明，次模性在基准压缩中是一种强大且可靠的工具。
博主点评： 本文提出的无监督核心集选择方法，展示了次模性在 LLM 基准测试优化中的潜力，尤其是在节省计算成本的同时提高模型评估的有效性。这一研究不仅丰富了基准选择的理论基础，还为实际应用提供了指导，值得关注。