随着序列长度不断增长，基于序列并行的分布式注意力（如 Ring‑Attention）已成为大语言模型的主流方案。但通信依赖导致计算与通信难以重叠，GPU 利用率受限。在跨硬件（NUMA 或节点）环境下，通信带宽不平衡使得同步频繁，整体性能受限。为此我们提出 CHARM+，即跨硬件注意力与重新合并多流机制。该方法将顺序通信重新组织为多层结构，在同层内部实现并行并与计算重叠；同时将跨硬件通信与内部通信解耦，消除因带宽不均产生的同步开销。我们在多种硬件平台上实现前向与反向算法，始终优于现有技术。相较于 Ring‑Attention，在双 NUMA PCIe 架构上前向、反向分别提升约 1.3×、1.7×；在双节点 NVLink 架构上提升约 2.8×、2.9×。
点评：该工作通过层级通信和流式重组显著提升了跨硬件注意力的效率，为大模型训练提供了更好的扩展路径。