当前的法律判决预测（LJP）受限于对事后司法材料的依赖，增加了模型进行回顾性分类而非真实预测的可能性。本文通过研究英国劳动法庭（UKET）判决中的索赔级结果预测，实证调查了这一背景下的捷径学习。使用33,158个个案的语料库，我们从索赔文本和大语言模型提取的案件摘要中预测结果，评估了从可解释的TF-IDF分类器到黑箱大语言模型的多种模型。
尽管预测性能数据看似强劲，我们证明了在基于事后司法文本训练的LJP系统中，这种性能可能受到源材料回顾性质的驱动。通过人类对泄露的判断对测试数据进行分层，发现当结果相关线索嵌入叙述中时，性能会有所提高。此外，仅用4%被识别为泄露的特征训练的模型也能取得高性能，超越人类专家。这些发现证实了有关LJP性能可能因语言伪影而被夸大的担忧。然而，这种脆弱性并未对研究议程构成致命威胁。相反，事后判断可能被视为潜在污染的文本，需要积极审计。在屏蔽泄露特征后重新训练模型，Macro-F1的减少几乎可以忽略。因此，尽管模型会在可用的情况下利用捷径，但在移除这些伪影时，它们仍然能够提取有用的预测信号。
博主点评： 本文深入探讨了法律判决预测中的潜在偏见，强调了事后材料对模型性能的影响。这一发现为法律科技领域的研究提供了重要启示，提醒我们在开发预测模型时必须考虑数据的质量与来源。通过积极审计与特征屏蔽，可以提高模型的可靠性与准确性。