摘要
随着大型语言模型（LLMs）越来越多地与外部知识源（如互联网）结合，信息辨识的能力显得尤为重要。研究探讨了这些模型在信息处理中的权重分配，尤其是它们是否更倾向于更新来自可靠来源的信息（源辨识）以及在面对更接近真相的主张时是否会进行更多更新（真相辨识）。我们将这一过程形式化为信息辨识，并引入了Learn2Discern（L2D），一个基于三个规范公理的实验框架和基准，具有可解释的度量标准。
为了建立外部有效性，我们进行了一个预注册的用户研究（n=299），结果确认真实的LLM用户认可所有三个公理，并且报告称违反这些公理会降低他们的信任度和使用意图。在对13个模型和近67万次试验的分析中，我们发现这两个维度上都存在一致的失败：模型在源辨识和真相辨识上的表现接近随机，且对源的流行度的依赖是对其可靠性的两倍，无论主张是改善还是恶化其相对于真相的立场，模型的更新幅度基本相同。
模型在数据集上整合外部知识的能力最强时，其先验知识已经是最准确的。尽管更新更大更新模型可以改善真相辨识，但并未解决源辨识的盲点，这表明模型的复杂性并未能解决此问题。我们还识别了一些简单的推理时干预措施，可以同时改善两种辨识能力。最后，我们发布了我们的数据集和调查，以作为一个测试平台，关注这一核心对齐属性在LLMs替代传统搜索时的重要性。
博主点评： 该研究深入探讨了大型语言模型在信息处理中的局限性，尤其是源辨识与真相辨识的不足之处。未来的改进方向不仅需要关注模型规模的扩大，更应重视其对信息来源的准确评估，以提升用户信任度和使用意图。