在当今的语言模型中，变换器架构主导了市场，利用自注意力机制实现高效的并行训练，能够处理大量文档和语料。然而，变换器及其传统对手如递归神经网络（RNNs）和卷积神经网络（CNNs）在处理长文本时效率常常受到限制。
为了解决这一问题，我们推出了ResonatorLM，这是一种新机制，用物理学推导替代传统的注意力机制。
ResonatorLM将标记序列视为一个单一的、驱动的一维潜在场，将注意力点积替换为阻尼谐振子的因果函数。我们在传统网络架构上实现了ResonatorLM，并在标准的长文本建模任务上进行测试。
结果显示，在一个小型的6M匹配设置中，随着序列长度的增加，训练和预填充速度提升显著，在32K标记时，解码速度达到了标准优化变换器的6.47倍，准确率也从55.32%提升至61.31%（在WikiText上）。
博主点评： ResonatorLM的创新机制为长文本处理提供了新的思路，尤其是在效率与准确性上表现出色。通过引入物理学的概念，ResonatorLM不仅提升了速度，还在长文本建模的准确性上实现了突破，值得关注和深入研究。