参数高效细调（PEFT）已成为适配大规模预训练模型的主流策略。现有的基于重参数化的方法多采用低秩或稀疏结构。低秩方法通过限制更新矩阵的秩来降低参数量，但全参数细调本质上是高秩的，这导致低秩方法的表现往往不及全参数细调。稀疏方法则通过削减权重数量来压缩模型，却会限制参数空间的灵活性并破坏权重之间的连通性。
Toeplitz 矩阵的每条对角线元素相同，能够在不显式施加秩或稀疏约束的前提下实现紧凑的参数化。最直接的思路是用 Toeplitz 矩阵的乘积来更新权重，但类似循环神经网络的长乘积链会导致梯度不稳定。为了解决这一问题，本文提出 ToPA（Block-wise Toeplitz Adaptation），用块状 Toeplitz 矩阵取代普通 Toeplitz 矩阵。块状结构显著提升了每个因子的容量，缩短了乘积链长度，从而稳定训练并增强表达能力。
理论上，块状 Toeplitz 矩阵的乘积能够在更短的链长下逼近任意矩阵，这为 ToPA 的结构设计提供了数学依据。进一步的分析表明，ToPA 的表达能力超过现有的低秩和稀疏参数化方案。
在 21 个自然语言处理和计算机视觉数据集上，覆盖 5 种模型架构的实验结果一致表明，ToPA 在保持参数高效的同时实现了显著的性能提升。
点评