摘要
前沿模型从自身权重中回忆起某个人或工具的信息，这常常决定了人类看到的第一描述，这使得参数化语料库的存在成为一个测量问题。引用文献解释了大约三分之一的模型是否识别研究者的情况；我们针对剩余部分，构建了 NameRank，一个 [0,1] 的识别分数：在 54 个组中的 4,685 个实体上，通过 36 个模型提问一个开放式问题，并由独立评审返回二元判决，判断模型是否陈述了关于该实体的特定且不可猜测的事实——因此，幻觉、上下文回声和猜测都没有分数。合成空实体的分数接近零，判决跟踪实体，而非模型。
一个论点组织了这些发现：识别是针对命名的、可索引的物品，而非凭证或头衔。每个奥林匹克级的凭证都低于工作研究者的基线，因为没有命名的物品随奖牌而来，然而在顶级层面，诺贝尔奖、图灵奖和菲尔兹奖得主的排名却反转，充斥着面板。对于独立创作者，工具的识别程度高于其创造者，而能够传播的凭证则是命名的方法或获奖的论文。相比之下，作为一个著名物品的众多命名贡献者之一几乎得不到任何认可——旗舰模型报告或系统卡上的作者名单接近识别底线——因为识别附属于物品本身独特的名称，而非其背后的名单。没有任何书目指标能很好地预测识别；高密度机构在匹配引用时超越同行；在 258 个新闻事件中，识别主要依赖于峰值显著性，而非持久性。自我报告的探测显示，内省读取的是语料的先前内容，而非自身的知识。
博主点评： 该研究揭示了大型语言模型在识别特定实体时的复杂性，强调了命名物品在模型认知中的重要性。这对于理解 AI 的局限性以及如何更有效地利用这些工具具有重要意义。