摘要
自注意力机制允许每个标记从完整上下文中检索信息，但其在序列长度上的二次成本限制了长上下文下的训练和推理。本文对软最大注意力和四种最新的递归线性注意力架构进行了比较研究：DeltaNet、Gated DeltaNet、Kimi Delta Attention 和 Gated DeltaNet-2。我们以通用的递归记忆符号表达这些机制，明确它们在表达能力、记忆衰减、擦除与写入控制、训练吞吐量和实现复杂性方面的差异。
我们的实验集中在350M参数的模型上，训练15B个标记，并包括优化器和学习率比较、混合与纯堆栈比较、序列长度运行时测量、1.3B和3B参数的大型DeltaNet运行，以及一小部分下游评估。报告的速度结果测量训练吞吐量和迭代时间；我们没有提供经验推理速度基准。在报告的350M参数和15B标记的实验中，Kimi Delta Attention与Muon结合达到了最低的最终验证损失，纯Gated DeltaNet堆栈使用AdamW训练获得了最高的标准化训练吞吐量，混合堆栈通常在吞吐量成本下改善损失，而Muon在我们评估的匹配架构设置中持续降低最终验证损失。
我们引入并评估了针对DeltaNet风格记忆的轻量级跨层路由机制。最自然的DeltaNet灵感公式，将下层的delta规则写入误差转发到下一层的值目标，并未在匹配基线中表现出改善。相反，路由到对齐的隐藏流并转发写入值在我们报告的匹配运行中带来了适度改善：跨层值路由（CLVR）降低了DeltaNet和Gated DeltaNet的最终验证损失。
博主点评： 本文系统性地比较了多种线性注意力机制，重点在于它们的效率和表现。通过引入跨层路由，研究者尝试解决传统注意力机制的性能瓶颈，展现了在实际应用中可能的优化路径。对未来模型设计具有重要启示。