大型语言模型(LLM)正日益嵌入组织工作流,但其错误常常在人工审查时被漏掉。已有研究将此归因于用户审查能力或审查意愿的不足。我们提出一种基于信息检索的监督模型,认为当审查时相关信息能够被即时获取,错误检测效果会更好。为检验该假设,我们在两项随机化现场实验中共招募 640 名面向客户的员工。实验结果显示,员工自行生成的解释能够提升错误检测率,并加强对验证相关推理的记忆;而通过提示重新激活这些推理,则能在多次使用 LLM 后仍保持检测能力。理论上,我们将信息可检索性定义为有效监督的独立前提,并将“生成性编码”和“提示支持的再激活”视为构建与维持该前提的机制。实践层面,轻量化的入职自解释和每日检索提示即可在 LLM 使用常态化时提升人工监督的韧性。
点评