现代大型语言模型（LLM）在长上下文应用中越来越受到重视，如检索增强生成、代码库级编程和代理工作流，这些应用的推理和工具痕迹使得输入长度常常超出预训练窗口的数量级。现有的零-shot 方法通常在开始时固定一个单一的重缩放因子，过于激进的因子会牺牲短上下文的保真度，而保守的因子则在长上下文时表现不佳。
我们提出了 Jet-Long，这是一种无调优的零-shot 方法，通过将一个局部的 RoPE 窗口与一个动态适应当前序列长度的长范围窗口相结合，确保在短输入时准确恢复基础模型，同时在长输入时实现干净的外推。
通过包含-排除注意力合并和即时的 RoPE 修正旋转，使得双焦点构造在推理时几乎没有额外开销；融合为单个 CuTe 内核后，长上下文预填充在 H100 上的吞吐量达到 $1.39\times$ FA2（接近仅使用 Hopper 的 FA4），且在每个长度下单批生成的开销不超过 $4\%$。在 Qwen3-1.7B/4B/8B 最高128K上下文中，Jet-Long 在 1.7B/4B/8B 上分别领先 RULER $+4.79$/$+2.18$/$+2.03$ 个百分点，在 HELMET-RAG（由 HELMET 确定为下游长上下文性能最有效的预测基准）上实现最佳整体准确性，并获得最低的 PG-19 困惑度。
Jet-Long 还可以推广到混合注意力架构，如 Jet-Nemotron，进一步提升长上下文的性能，无需重新训练，并且对超参数具有良好的适应性，方便部署。
博主点评： Jet-Long 方法通过动态调整长范围窗口的重缩放因子，成功解决了长上下文处理中的保真度与效率问题，为 LLM 的应用开辟了新的方向。其在不同规模模型上的优异表现，展示了该方法的广泛适用性与灵活性，值得关注。