交通预测因其复杂的非线性时空依赖关系而极具挑战性。自注意力机制被广泛应用于建模动态和长程依赖，取得了最先进的性能，但由于二次计算和内存复杂度，扩展性受到限制。为此，我们提出了高效多注意力图网络（EMAGN），通过高维高斯滤波理论线性化空间注意力机制。EMAGN使用两个学习到的聚类矩阵 $C_k$ 和 $C_v$，自适应地将关键向量和数值向量分组为 $M$ 个超级聚类，从而将复杂度降低至 $O(NMd)$，而不牺牲动态依赖建模的灵活性。
在PEMS-BAY和METR-LA上的实验结果表明，EMAGN的平均绝对误差（MAE）在全注意力GMAN的基础上仅增加2.7-3.2%，同时训练时间减少32%，推理时间减少38%，GPU内存使用减少58%。尤其是在 $K=16$ 注意力头的情况下，全注意力GMAN在标准11GB GPU上完全耗尽内存，而EMAGN仍能正常运行，展示了模型配置的范畴扩展。此外，EMAGN在相同基础网络下的准确性和效率均超越了Linformer和Performer，得益于其针对交通网络的自适应聚类。
博主点评： EMAGN通过线性化空间注意力机制显著提升了交通预测的可扩展性，展示了在处理大规模数据时的巨大潜力，尤其是在资源有限的情况下。其自适应聚类策略为模型的灵活性和效率提供了良好的平衡，值得深入研究与应用。