前沿的语言模型代理在复杂任务上表现卓越，但其推理成本高昂，迫切需要将能力迁移到更小的模型。传统的知识蒸馏通过参数更新实现，需要访问学生模型权重并消耗额外的训练算力，且迁移的知识以隐式方式嵌入参数中。
D‑Skill 将教师视为黑箱，通过分析配对的轨迹（rollout）来提取行为差异与一致性，并将这些行为优势转化为可解释的自然语言技能描述。得到的技能文档在离线阶段完成汇总，可通过任意兼容的技能更新后端在推理时提供给学生模型。整个过程仅依赖固定的轨迹，不需要标签、额外环境交互或权重更新。
在 SpreadsheetBench‑Verified、ALFWorld 和棋局谜题等基准上，针对多组教师‑学生配对，D‑Skill 能弥补 75%‑95% 的性能差距，且完全不触碰模型权重。仅一次离线遍历配对轨迹，D‑Skill 已超越单轮 SFT（监督微调）基线，并与多轮 SFT 竞争。使用相同模型族时，学生模型的每任务推理成本比教师低 5.7‑8.3 倍。
实验表明，自然语言技能蒸馏是一种高效、可解释且性能可靠的能力转移方式，可作为基于权重的迁移的有力替代方案。
点评