密集线性探针用于评估语言模型（LM）表征中的任务可读性，但它们并未直接说明预测所需的最少特征数量。我们引入 $k^*$，即在固定搜索协议下能够恢复密集探针 AUROC 95%（相对于随机）的最小特征数。对来自五个实验室的 19 种 LM 在 14 项核心任务上进行评估，发现十个基线模型在九个可靠可读任务上呈现相似的特征计数，并且排序几乎一致。该一致性进一步体现在所选特征本身：在三项任务上，不同模型的响应对应超出类别均值差异和标签相关性匹配空模型的范围。指令微调的部署会显著降低 $k^*$，其中权重调整和输入格式均有贡献。
在受控的合成实验中，跨 20 种模型的成功学习目标仅需单特征读出，而可读的对照任务则需要数十个特征。参考模型的 $k^*$ 与八名学生的标签需求呈经验尺度关系 $N^* \propto (k^*)^{0.65}$。持续学习后，保存的头部可能失效，但线性可读性仍保持较高，恢复所需标签数少于初始任务学习。剪枝会降低线性可读性，且剪枝前的宽读出通常伴随更大的性能损失。这些结果将任务可读性与读出稀疏性区分开来，表明两者在预测学习需求和诊断 LM 变化时具有互补价值。
点评