在变压器模型中，上下文学习是一种引人注目的特性，近年来受到了广泛关注。许多关于上下文学习的研究表明，变压器能够解决线性和非线性回归问题，其中大多数实现了梯度下降算法。然而，尚不清楚这些实现是否真正通过训练获得。
在本文中，我们构建了一个具有线性自注意力的变压器，该模型在简单回归任务中进行上下文学习以获得最小二乘估计。关键在于，通过使用层归一化，而非基于梯度下降算法的近似解，近似获得闭式（解析）解。
我们展示了一个实验示例，其中我们的实现主要用于训练时带有 l1 正则化的变压器，目标输出为最小二乘估计。通过这一方法，我们能够有效地在上下文中学习线性回归的闭式解。
博主点评： 本文展示了变压器在回归任务中通过上下文学习获取闭式解的潜力，尤其是利用层归一化的创新方法，突破了传统的梯度下降实现。这一研究有助于深化我们对变压器模型的理解，并推动其在回归分析中的应用。