摘要
随着大型语言模型（LLM）扩展到越来越长的上下文，解码过程中键值（KV）缓存的内存I/O和计算开销成为主要的吞吐瓶颈。为了解决这一问题，我们提出了GLIDE，一种分层引导混合注意力机制，策略性地将滑动窗口softmax注意力与线性递归聚合相结合。
GLIDE的设计理念源于分层异质性：早期层对softmax去除高度敏感，而深层则表现出冗余，能够容忍用线性替代方法进行大幅替换。利用这一洞察，GLIDE引入了一种分层自适应机制，使每一层在高效的线性递归与可变大小的softmax窗口之间取得平衡。与均匀混合方法不同，GLIDE在模型中非均匀地压缩softmax占用，降低了整体KV缓存I/O，同时在最关键的地方保持了表达能力。
实证评估表明，GLIDE在性能与效率的权衡上表现优越，减少了长上下文生成的端到端延迟，而不影响生成质量。
博主点评： GLIDE通过精确的层级调节，优化了长上下文处理的效率，展现了深度学习模型在资源管理上的新思路，尤其在KV缓存的使用上，值得后续研究者深入探讨和应用。