在大型语言模型(LLM)逐渐成为在线文章的主要生成者时,这些文章往往会被后续模型再次作为输入。这样的循环把单次回答与后续生成可用的信息联系起来。我们关注一个关键区分:文章可以不直接认可错误主张,却保留足以让后者被复现的具体细节。为此我们构建了一个框架,关联主张内容、表达立场以及下游复用,解释在持续混合准确与不准信息的环境下,错误为何会选择性地持久存在。
我们在受控的社区写作实验中,调节已发表文章是否回流为输入,匹配外部信息供给、输入容量和生成量。实验覆盖十二个事实目标和四种生成模型。结果显示,回流会使完整错误主张的出现率在最终轮提升 7.29 个百分点,同时显式认可度下降 8.33 个百分点。不同事实和模型之间的效应存在差异。
随后我们采用配对干预,将可复现的错误细节在固定历史中抽象化,同时保留正确内容和围绕的争议。评估表明,除一个用于开发引用的目标外,错误复现率基本保持不变,仅在该目标上出现局部下降。
这些发现表明,错误的持久性与写作过程中的信息可得性紧密相连,提示需要同时评估模型到底认可了什么,以及它们的出版物向后续作者提供了哪些信息。
点评