摘要
神经算子已经成为学习偏微分方程（PDE）解映射和加速数值模拟的常用方法。基于变换器的神经算子尤其引人关注，因为注意力机制能够学习计算域中的长程依赖关系。然而，标准的注意力在应用于PDE时存在两个主要限制：其计算复杂度与计算节点数量呈二次方增长，并且缺乏对局部交互的显式偏向。为了解决这些问题，我们引入了局部线性变换器（LLT）用于PDE算子学习。
该架构结合了线性全局注意力与局部空间混合，并融入了坐标和几何信息。我们在多个PDE问题上评估了LLT，包括弹性、塑性、翼型流、管道流和达西流。这些问题的参考数据涵盖了结构化和非结构化网格上的有限元、有限体积和有限差分离散化。与以往研究中的其他神经算子和变换器基线相比，LLT在这些问题上实现了竞争性或更低的相对 $L_2$ 误差。在匹配的结构化离散化上，训练迭代的墙钟时间相较于Transolver减少了1.8到2.5倍。
我们还将该方法扩展应用于一个三维汽车空气动力学数据集，每个样本有32,186个非结构化网格点。这些结果表明，LLT为PDE问题提供了一种准确且计算高效的算子，适用于不同的离散化、网格类型和问题设置。
博主点评： LLT的提出有效解决了传统变换器在PDE领域的局限性，通过局部线性注意力机制提高了计算效率，并保持了准确性。未来在更复杂的物理问题上，LLT有望展现出更大的应用潜力。