在本文中，我们提出了一种高效的混合最小二乘/梯度下降（LSGD）方法，以加速MIONets的训练。该方法是对DeepONets中LSGD方法的推广。由于MIONet是多个分支网络与主干网络的逐项乘积之和，因此可以将其视为关于每个分支网络最后一层参数的多线性函数。这些参数集可以使用交替最小二乘法进行优化，我们依次解决单个分支网络的最小二乘系统。为了处理大型系统矩阵，我们引入了Kronecker和Khatri-Rao积以及张量置换矩阵，将大型矩阵分解为小矩阵。我们的方法兼容于具有正则化项的一般$L^2$损失，用于每个分支的最后一层参数，其中线性算子可以应用于MIONet输出的每个损失项。
博主点评： 本文通过引入混合LSGD方法，显著提升了MIONets的训练效率，尤其是在处理多分支网络时的优化表现。利用张量分解技术，有效减小了计算复杂性，为深度学习模型的训练提供了新思路。