在许多审稿流程中,最终的判决(verdict)是唯一被保存的信息,支撑该判决的文本片段往往没有被标注,因为标注成本远高于记录决定本身。本文探讨在仅有判决标签、没有任何人工证据标注的情况下,使用小型语言模型进行证据恢复的可能性。实验基于 ContractNLI 数据集,其中人类标注的证据跨度在评估阶段才公开。我们比较了两种后训练策略:
- 仅标签训练(label‑only training),模型仅看到判决标签;
- 拒绝采样(rejection sampling),在生成过程中仅保留判决与记录一致的样本,并通过自动的来源对齐得分挑选最终输出。
实验结果显示,单纯使用判决标签进行后训练即可将准确率提升至 0.896,跨度 F1 达到 0.564。拒绝采样在保持判决一致性的前提下,准确率为 0.797,跨度 F1 为 0.556,均优于未训练前的 0.747 与 0.493。逐字引用率(verbatim citation)在仅标签训练下从 0.597 提升至 0.729,拒绝采样则提升至 0.701。虽然仅凭单一数据集的一个随机种子难以断言哪种方法更优,但两者均在无需人工标注的前提下显著改善了证据恢复效果。
点评:该工作展示了在资源受限的审稿场景中,利用判决标签进行模型微调或采样筛选,能够在不增加标注成本的情况下提升证据可追溯性,为实际系统提供了可行的低成本方案。