反事实文本编辑指在给定文本的基础上，根据假设性的变化进行修订，同时保持未受该变化因果影响的事实不变。例如，询问如果医生没有建议手术会怎样，模型应保留患者的既往病史，仅修改决策的后果。这要求模型具备因果理解：在未显式指示的情况下判断哪些事件受假设变化影响，哪些应保持不变。该能力是人类推理的核心，尤其在医疗、法律等安全关键领域。相比之下，关联式文本生成仅依据统计关联产生文本，例如在上述医学情境中，模型可能因“未手术”与症状较轻相关而降低症状严重程度，这虽合理，却不是原始情境的反事实版本。已有的反事实文本数据集未能清晰区分这两种推理模式。为此，我们推出 Counterfactual Benchmark（CoBe），提供一个零样本评估模型在对话式自然提示下进行反事实编辑的测试平台。CoBe 包含 2000 条跨医疗、科学工程、商业和日常场景的问题。我们对多种前沿及小型模型进行评测，前沿系统的平均得分为 $58.05\%$。结果显示，模型常倾向于生成关联式文本，而非保持原始情境的因果结构。且性能并未随模型规模或输出长度一致提升，暗示失败更可能源于训练目标而非模型容量不足。
点评