我们提出 HyScale，一种面向百万级 token 长上下文的学习稀疏注意力训练系统。学习稀疏注意力在 DeepSeek‑V3.2 之后被广泛部署，但选择过程已成为训练瓶颈。每个 query 需要对所有前置 token 打分，而稀疏注意力只读取 $k$ 个；现有实现会完整构建打分表并在反向重算时重复选择。关键观察是选择的输出不是激活，而是一组索引。基于此，HyScale 引入 HyTopK 与 selection replay。HyTopK 在前向过程中即时求得每个 query 的精确 top‑$k$，无需保存完整打分表；selection replay 在反向重算时直接复用前向的索引选择。结合针对端到端训练的系统级优化，HyScale 在 1M token 序列上对 GLM‑5.1 的训练速度提升至原 Megatron‑LM 的 2.07$\times$（使用 512 块 H20 GPU），并在 32 块 H800 GPU 上将 DeepSeek‑V4‑Flash 的 CSA 层加速至 2.01$\times$，将 Qwen3.8‑Flash‑Next 的 QSA 层加速至 1.57$\times$。
点评：HyScale 通过把选择过程抽象为索引操作并在计算图中复用，大幅削减了显存占用和算力开销，为大规模稀疏注意力模型的实用化提供了可行路径。