Efficient attention 机制（如线性注意力和滑动窗口注意力）通过将 Transformer 的计算复杂度从 $O(N^2)$ 降至 $O(N)$ 来提升长序列处理效率，但其在上下文记忆方面的退化往往需要在模型中交叉插入全注意力层，从而在长上下文推理时仍保留二次瓶颈。为了解决这一矛盾，本文提出 Orthros 注意力。Orthros 将效率提升的焦点从结构分配转向相位感知的计算解耦：在序列的不同处理阶段动态切换计算模式，实现前缀（prefill）阶段的线性复杂度和解码（decode）阶段的全注意力。该设计使 Orthros 在典型的“前缀重、解码轻”场景下的渐近复杂度低于原始 Transformer。理论推导与复杂度分析表明，Orthros 在 $N_{prefill} \gg N_{decode}$ 时的总体复杂度约为 $O(N_{prefill}+N_{decode}^2)$，显著优于 $O((N_{prefill}+N_{decode})^2)$。实验方面，本文在多个维度验证了 Orthros 的优势：① 在语言建模基准上，Orthros 随模型规模线性扩展，并在与多种主流架构的对比中保持竞争力；② 通过数据高效的 Transformer→Orthros 转换，转换后模型的性能甚至超过原始 Transformer；③ 在端到端推理中实现 $21.9\times$ 的前缀加速，同时保持长上下文能力，128K needle‑in‑a‑haystack 任务几乎达到完美召回，真实场景的上下文记忆任务也达到 Transformer 水平。综上，Orthros 在性能、灵活性和效率方面的综合优势，使其成为工业界可能取代 Transformer 的有力候选方案。
点评