摘要
高容量结构化提取在每个条目上都需要大模型的延迟，因此将任务蒸馏到小型设备端模型中是非常有吸引力的：可以在更短的时间和更低的成本下获得可比的输出。我们测量这种蒸馏实际上为每个子任务带来了什么。每篇新闻文章被映射为一个包含简短摘要和五个分类标签的JSON对象。
我们将一个8B推理教师（deepseek-r1:8b）蒸馏成0.6B学生（Qwen3-0.6B；QLoRA，三个种子），并增加两个教师控制：一个同大小的非推理教师和一个更大的管理管道。一个盲评、无参考、由三位评审组成的评审小组对每个模型进行评分，并与完整文章对比，同时还包括两个非蒸馏基线、少量提示和约束解码。
学生模型每篇文章运行约0.8秒，而教师模型需要39秒，且在摘要质量上恢复了58%的基础到教师的差距，超越其主要基线（约束解码）16.8分，少量提示的次要基线提高4.9分。同样大小的非推理教师对学生的训练效果不及未调优的基础模型，因此摘要的提升源于教师的推理特性而非其规模。能力因教师而异：推理教师转移写作质量，而管理管道则转移标签多样性，而同规模的指令教师的学生在93项测试集中的22篇短小、薄源文章上保持更为一致（74对55的真实度），而推理来源的学生则存在虚构现象。
这种基础差异是一种一致的排序，而不是显著的整体效应，且子组较小，因此我们将其报告为一个方向。由于没有单一引擎可以在每个领域中获胜，因此可交付成果是用于设备端增强的每个领域的路由图。
博主点评： 该研究通过对不同类型教师的蒸馏比较，揭示了模型在结构化文本提取中的潜力和局限性。尤其是推理教师的优势，表明了智能模型在处理复杂任务时的必要性，此方向对未来的文本处理与生成技术有重要启示。