最小风险训练(MRT)是一种直接在序列层面优化评价指标的训练方法,克服了仅基于词级最大似然的局限(Shen et al., 2016)。近年来,Yang et al.(2024)和Jinnai et al.(2025)重新证明了风险优化在大模型中的潜力。本文将MRT应用于全国停电数据计划(ODIN)的停电报告生成任务。原始报告格式多样,需统一为符合CIM IEC 61968‑3 标准的 XML。我们在 Qwen2.5‑7B‑Instruct 上加入MRT后,整体准确率从 16.20% 提升至 68.95%,验证了序列级优化对结构化文本生成的有效性。实验流程包括:①使用标准交叉熵预训练模型;②基于BLEU/ROUGE等序列指标计算风险;③通过梯度下降最小化期望风险。结果显示,MRT显著提升了模型对XML标签的正确生成和业务关键字段的覆盖率。
点评:MRT 在特定领域结构化生成中展现出强大优势,值得在更多小模型场景推广。