本文研究对角线性网络在初始化趋零极限下的梯度流，发现其呈现从鞍点到鞍点的跳跃动力学，最终达到最小 $\ell_1$-范数解，并利用类似 LARS 的递归算法刻画了鞍点与跳跃时间。
摘要：
在本文中，我们完整描述了在初始化趋于零的极限下，对角线性网络上梯度流的轨迹。我们证明了该极限流会连续地从一个训练损失的鞍点跳跃到另一个鞍点，直到达到最小 $\ell_1$-范数解。这种鞍点到鞍点动力学转化为一个增量学习过程，因为每个鞍点对应于受限于一个活动集的损失最小化器，在该活动集之外坐标必须为零。我们通过一个类似于用于计算 Lasso 路径的 LARS 算法的递归算法，显式地刻画了访问的鞍点以及跳跃时间。我们的证明利用了一种方便的弧长时间重参数化，从而能够跟踪跳跃之间的异宿转变。我们的分析对数据的假设极少，适用于参数不足和过参数化设置，并涵盖了活动坐标数量不具单调性的复杂情况。我们提供了数值实验来支持我们的发现。
英文摘要：
In this paper we fully describe the trajectory of gradient flow over diagonal linear networks in the limit of vanishing initialisation. We show that the limiting flow successively jumps from a saddle of the training loss to another until reaching the minimum $\ell_1$-norm solution. This saddle-to-saddle dynamics translates to an incremental learning process as each saddle corresponds to the minimiser of the loss constrained to an active set outside of which the coordinates must be zero. We explicitly characterise the visited saddles as well as the jumping times through a recursive algorithm reminiscent of the LARS algorithm used for computing the Lasso path. Our proof leverages a convenient arc-length time-reparametrisation which enables to keep track of the heteroclinic transitions between the jumps. Our analysis requires negligible assumptions on the data, applies to both under and overparametrised settings and covers complex cases where there is no monotonicity of the number of active coordinates. We provide numerical experiments to support our findings.
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$，其中$f$是光滑凸的，$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时，即使$f$不是强凸的，vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作，要么要求$f$和$g$是二次函数，或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术，在每次迭代中使用“鬼”更新作为参考，并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧，我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度（SVRG）方法。
The loss landscape of deep linear neural networks: a second-order analysis
RWTH Aachen University（亚琛工业大学）；Université de Toulouse（图卢兹大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Institut de Recherche Technologique Saint Exupéry（圣埃克苏佩里技术研究院）
