Split-KV 提出了一种精确的上下文并行（CP）方法，针对扩散草稿模型的训练特点进行优化。扩散草稿通过一次性去噪多个草稿标记来加速推断，训练时使用锚点采样生成紧凑的查询序列，并在更长的上下文上采用块稀疏掩码进行交叉注意力。实验表明，在固定查询预算下，随着上下文长度增长，接受长度基本保持不变；而增大查询预算只能带来有限的质量提升，说明查询远短于上下文的实际工作区间。现有 CP 方法无法同时利用查询‑上下文不对称性并满足锚点采样导致的非线性、样本相关的负载均衡需求。Split‑KV 将键/值切片保留在本地，仅在每层传输与查询等长的张量，使得通信量与上下文长度无关。全局查询视角还支持基于实际注意力开销的最长处理时间优先（LPT）调度，将上下文键/值块按实际计算成本进行平衡。实验在 64 卡并行规模下，Split‑KV 保持 85%~91% 的弱扩展效率，并相较于最快的 CP 基线实现最高 3.67 倍加速。LPT 调度进一步提升了资源利用率。\n\n点评