摘要
检索增强生成（RAG）评估检查模型的主张是否在检索的文档中有事实基础，但并未检查所检索的证据是否归属于正确的实体。临床RAG响应可能在每项自动检查中均表现良好（零幻觉、近乎完美的忠实性、真实引用），但却将药物Y的临床证据当作查询药物X的证据。我们称之为欺骗性基础（DG）：这是一种对忠实性、幻觉和引用检查不可见的失误，因为每个主张都源自真实文档，但却是错误实体的信息。
通过在13个模型上进行的受控因子基准测试，我们发现DG率在高峰对抗条件下范围为8%至87%。经过医学和生物医学微调的模型最高可达86.7%；领域专业化并未缓解这种失误，反而加剧了它。通过受控消融实验，我们识别出失误机制：从检索文档中移除特定实体的临床证据可以完全消除实体归属失误，所有失误转移到虚构。两种失误模式对相同触发因素做出反应，但路径不同。
在740对药物-疾病的生产测量中，发现已部署的RAG系统整体DG为7.8%，而最近批准的药物则上升至13.6%。实体归属验证（检查引用的证据是否适用于查询实体）以97.0%的精度和98.7%的DG召回率（IPW调整的人类金标准）检测DG；现有的框架尚未实现这一点。
博主点评： 该研究揭示了医疗生成模型在实体归属方面的重大缺陷，强调了在临床应用中确保信息准确性的必要性。通过引入实体归属验证机制，可以显著提高生成系统的可靠性，减少因错误信息导致的潜在风险。