在大型语言模型中，高通量的长上下文生成是一个核心挑战。生成过程通常受限于内存带宽而非计算能力：每一步解码必须从内存中流式传输累积的键/值（KV）缓存，因此带宽需求随着上下文长度的增加而增长，而每次仅输出一个标记。
为了应对这一挑战，出现了两种并行方法：通过高效的注意力变体和线性时间混合器（如 Mamba）来减少内存访问，或者通过一次生成多个标记来增加并行计算。然而，将这两种思路结合起来时会出现技术挑战。早期的混合扩散模型（如 DiffuMamba）使用双向 Mamba 混合，包括相对于因果生成的反向扫描。该反向扫描需要扫描整个序列，因此其状态并非仅限前缀，无法在块级扩散时精确重用作为缓存。
我们提出了一种 BDLM Mamba—注意力混合模型，解决了这一挑战，通过将反向 Mamba 扫描限制在活动去噪块中，从而实现跨块的精确缓存。在一个包含 8700 万参数的 DCLM 测试中，BDLM Mamba-H 在 C4-en 验证困惑度上优于 BDLM 注意力和全序列基线。在 3.5 亿参数的情况下，它仍然与 BDLM 注意力保持竞争力。对于长上下文推理，BDLM Mamba-H 在 65K 标记时的吞吐量是全序列 DiffuMamba-H 的 19.7 倍，在 262K 标记时是 BDLM 注意力的 3.7 倍，显示出 Mamba 混合模型是潜在的长上下文扩散架构。
博主点评： 该研究通过引入部分双向性和高效缓存机制，成功提升了长上下文生成的效率，展示了混合模型在处理大规模数据时的潜力，对未来的语言模型发展具有重要启示意义。尤其是在内存带宽受限的环境中，这种方法的优势将更加明显。