本文提出一种端到端框架,用于构建能够兼顾宽泛网络知识和路由、宽带服务、接入技术、运营诊断等专业行为的电信语言模型,并保持部署的实用性。首先,从结构化的网络分类体系和专家图谱中生成源对齐的合成训练数据,累计得到 212,559 条跨十四条路由的训练记录。随后,在同一共享的持续预训练骨干模型上,训练六个冻结的 LoRA 专家教师,每个教师对应一种路由场景。
核心蒸馏过程采用 Routed Specialist On‑Policy Distillation (RSOD):学生模型自行生成每条轨迹,路由分配的专家教师强制输出与原生 token 序列完全一致;教师的隐藏状态通过共享的冻结输出头进行紧凑重建,仅更新学生的 LoRA 参数。验证实验显示,重建的 logits 与原始教师 logits 的平均绝对误差为 $7.26\times10^{-6}$,且在 top‑1 级别上 100% 一致。
在四块 RTX 6000 Ada GPU 上进行 2,000 步训练,生成 16,000 条轨迹,未出现学生版本或 token‑ID 不匹配的情况。评估方面,使用 2,850 条未见问题进行路由条件评估:原始 Meta‑Llama‑3.1‑8B‑Instruct 获得 $12.8661/25$(micro)和 $13.0172/25$(macro)分数;六教师路由系统得到 $21.7641/25$(micro);经 RSOD 合并的学生模型 Llama‑CalixCLM v1 达到 $21.7112/25$(micro)和 $21.8006/25$(macro),在中性部署式提示下得分 $20.0028/25$(micro)和 $20.0778/25$(macro)。该学生模型与路由教师系统的微分差仅为 $0.0529$ 分,且保留了可数值验证和审计的训练‑服务执行路径。
点评:RSOD 在保持多专家行为的同时,实现了高效的单模型部署,误差极低且评估成绩几乎等同于完整的路由教师系统,展示了面向电信领域的大模型蒸馏新思路。