变换器是当前大型语言模型（LLMs）的关键组件。由于其普遍性和计算能力，人们正迅速地研究变换器作为语言识别器的表达能力，并将其与理论计算机科学社区研究了几十年的标准计算模型进行比较。在这一过程中，电路复杂性已经成为分析变换器表达能力的“正确”分支，因为将变换器参数化为各种资源（如注意力和精度）可以直接与参数化为资源（如门类型、大小和深度）的电路类进行比较。本文概述了使用电路复杂性概念和方法来描述变换器表达能力的选定结果。 博主点评： 变换器的表达能力研究是当前人工智能领域的一个热点话题，通过电路复杂性分析，我们可以更好地理解变换器的计算能力和其在语言模型中的应用。