大型语言模型（LLM）在众多自然语言处理任务中表现出色，但传统微调依赖中心化数据收集，导致隐私风险。联邦学习（FL）能够在不共享原始数据的前提下协同微调 LLM，却因无线网络带宽受限而面临模型参数传输的高通信开销。低秩适配（LoRA）虽能减少可训练参数数量，但其通信成本仍随模型规模增长。知识蒸馏通过输出 logits 避免参数共享，但 LLM 的 token‑level logits 受序列长度和词表规模影响，通信代价仍然巨大。降低 logits 维度虽能削减开销，却会削弱监督信号，导致精度下降。为克服上述瓶颈，本文提出 FLoKD——一种面向无线网络的自适应知识蒸馏框架，用于联邦 LoRA 微调。FLoKD 将 LoRA 中间激活而非 logits 或完整参数作为蒸馏信号进行传输。为进一步降低通信量，设计了 Transformer 块重要性评分机制，仅选取信息量最大的块进行传输；同时引入两种公共数据集筛选策略：剔除与本地数据分布偏离的样本，并优先保留对蒸馏最有价值的样本。实验在 WikiText‑103、PTB 与对话数据集上进行，结果显示在保持竞争性困惑度的前提下，通信开销降低约 50%–65%，收敛速度显著提升。
点评