长度感知调度通过优先处理较短请求来降低 LLM 服务的延迟。但在领域或任务迁移时，长度预测器的排序性能会下降，且适配往往需要昂贵的再训练，预测开销也会抵消调度收益。为提升通用性和效率，本文提出 LEAP——一种具备快速在线适配和异步 CPU 执行的长度预测系统。LEAP 复用服务模型的 prefill 隐状态，这些隐藏向量已蕴含输出长度信息，并通过线性读出层提取。面对显著的领域/任务转移，LEAP 在测试时使用递归最小二乘法更新读出权重，利用已完成请求作为监督，无需梯度计算或历史数据回放。预测与更新在 CPU 上异步进行，预测阶段与 GPU 的剩余 prefill 重叠。跨域实验表明，LEAP 在保持强排序能力的同时，在线适配将 Spearman 相关提升 64.7%。在服务评测中，LEAP 将每 token 平均延迟降低 15.9%~40.8%，吞吐提升 1.9%，且参数量比最强基线少 30,569 倍。\n\n点评：LEAP 通过巧妙利用模型内部信息和轻量级在线学习，实现了在资源受限环境下的高效长度预测，为实际部署提供了可行路径。