幻觉压力测试在不同模型之间往往得到相似的平均分，但不同的提示可能在每个模型中触发不同的幻觉。我们提出一种迭代编辑源文本种子提示的流程，专门暴露目标模型的幻觉。每轮中，LLM 编辑器根据目标模型的回答以及评审员给出的类别得分和解释对提示进行修订；在主设置下，目标模型还能收到其前一次回答的反馈。实验使用来自七个数据集、十个主题的 500 条种子提示，评估了开放权重模型和闭源模型的内在与外在幻觉。编辑过程显著提升了评审员对幻觉严重程度的评分。基线配置下，针对外在幻觉的实验中 77.2% 的保留回答被评为强幻觉，针对内在幻觉则为 74.2%。后续编辑轮次贡献了超过一半的平均分提升。经过模型辅助的源有效性检查后，219 条提示中有 89 条产生了不支持的陈述。跨五个模型的 200 条策划提示虽得到相似的平均严重度分数，但提示层面的配对 Spearman 相关系数仅在 $\rho=0.0387$ 到 $0.1897$ 之间。策划提示可以在模型之间复用，但其诊断价值取决于源有效性以及在各模型中揭示的具体失效模式。
点评