语言模型如今被广泛用于将记录的事实转化为面向公众的媒体内容，但对这些输出的评估仍然把与源文本的一致性作为成功的唯一衡量标准。在重构任务中，偏离源文本本身可能是目标，此时该标准会把有意的偏离误判为错误，或者在不使用时让真实的失真逃过检测。
我们让三类模型分别对2000篇新闻进行摘要和故事化改写，逐项检查五个W（何时、何地、何事、何人、为何）以及其表达方式的变化，并对每个检测到的失真判断其背后的视角是否合理，结果约有三分之一的失真被认定为不合理。时间和方式基本保留，但地点和因果表达常被省略。责任失真在摘要中几乎不存在，而在故事化中增加了七倍，其中可判定方向的案例有三分之二减轻了行为人的责任。这类失真能够逃过基于单条声明的事实核查，并且改写后的文本在语法上往往比原文更流畅。
评审之间对是否合理的判断存在分歧，三位作者对同一案例的重新标注在是否出现失真上达成一致，但在是否合理上未能统一，说明这是一个边界问题而非仅仅是检测难度。为促进对这类失真的检测与削减，我们公开了 ReTold‑2k 数据集，提供了评分协议以及未聚合的单评审基线，代码仓库：https://github.com/Retold2K/retold2k。
点评