Gradient descent (GD) type optimization schemes are standard tools for training fully connected feedforward artificial neural networks (ANNs) with rectified linear unit (ReLU) activation and can be considered as temporal discretizations of solutions of gradient flow (GF) differential equations. It is known that, for shallow ReLU ANNs, the risk of every bounded GF trajectory converges under suitable assumptions to the risk of a critical point, a zero of the corresponding gradient function. This motivates studying necessary and sufficient conditions in GF and GD convergence analysis for critical points and their dependence on problem parameters, such as the target function.
In the first main result, we prove for shallow ReLU ANNs that for every dimension $d \in \mathbb{N}$, every $a \in \mathbb{R}$, $b \in (a, \infty)$, and every positive $δ\in (0, \infty)$, there exists a Lipschitz continuous target function $f \colon [a, b]^d \to \mathbb{R}$ such that, for every hidden-layer width $\mathfrak{h} \in \mathbb{N} \cap (1, \infty)$, there are uncountably many different realization functions of non-global local minimum points whose risks exceed the infimum of the risk function by more than $δ$.
In the second main result, we show that, for shallow ReLU ANNs with only one neuron on each layer and a continuous piecewise polynomial target function, there exist at most finitely many different realization functions of critical points.
Learning ReLU Networks on Linearly Separable Data: Algorithm, Optimality, and Generalization
University of Minnesota（明尼苏达大学）；Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）
具有Rectified Linear Unit（ReLU）激活函数的神经网络（也称为ReLU网络）在各个领域取得了巨大的经验成功。尽管如此，现有的学习ReLU网络的结果要么假设底层数据分布是高斯分布，要么要求网络大小和/或训练大小足够大。在这种情况下，学习双层ReLU网络的问题是在二进制分类设置中进行的，其中数据是线性可分离的，并且采用铰链损失标准。利用随机噪声扰动的力量，本文提出了一种新的随机梯度下降（SGD）算法，该算法可以训练任何单隐藏层ReLU网络以达到全局最优，尽管存在无限多个坏的局部极小值，极大值和鞍点。这是同类结果中的第一个，不需要对数据分布，训练/网络大小或初始化进行假设。收敛到一个全局最小的迭代算法进行了分析，通过建立一个上限和一个下限的非零更新的数量进行。此外，为使用利用经典压缩边界的新型SGD训练的ReLU网络开发了泛化保证。这些保证突出了可靠学习ReLU网络和泄漏ReLU网络在样本复杂性方面的关键区别（至少在最坏的情况下）。仿真数据和实际图像的数值试验验证了算法的有效性和理论的实用价值。
Testing Stationarity Concepts for ReLU Networks: Hardness, Regularity, and Robust Algorithms
The Chinese University of Hong Kong（香港中文大学）
我们研究了具有ReLU激活函数的神经网络的经验损失的平稳性测试的计算问题。我们的贡献是：硬度：我们发现，检查一定的一阶近似平稳概念的分段线性函数是co-NP-hard。这意味着测试现代非光滑神经网络的某种平稳性概念通常在计算上是困难的。作为推论，我们证明了测试abs-正规形式的函数的所谓一阶极小性是co-NP-完全的，这是由Griewank和Walther（2019，SIAM J. Optim.，第29卷，第284页）。规律性：我们建立了一个充要条件的有效性的等式型次微分链式法则的Clarke，Fréchet，和限制次微分的经验损失的双层ReLU网络。这个新的条件是简单和有效的检查。鲁棒算法：我们引入了一种算法方案来测试Clarke和Fréchet次微分的近似平稳性。当测试点足够接近平稳点且满足一定条件时，我们的方案不会产生假阳性或假阴性误差。这是针对双层ReLU网络的第一个实用且强大的平稳性测试方法。
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院与数学科学学院）；Computer Science and Engineering, Ohio State University（俄亥俄州立大学计算机科学与工程系）；Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系及放射学系）
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
梯度下降（GD）型最优化方法是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功，它仍然是-即使在最简单的情况下，普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题，以证明（或反驳）GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想，独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中，我们证明了这一猜想的情况下，输入数据的概率分布是一个紧凑的区间上的连续均匀分布，其中的概率分布的神经网络参数的随机初始化是标准正态分布，和所考虑的目标函数是连续和分段仿射线性。粗略地说，在我们的数学收敛分析中的关键成分是（i）证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}，（ii）证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition}，并且，此后，（iii）应用[Fehrman，B.，Gess，B.，Jentzen，A.，非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21（136）：1- 48，2020]以建立具有随机初…
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Münster（明斯特大学）
在这篇文章中，我们研究了具有任意大量隐藏层的全连接前馈深度ReLU ANN，并且我们证明了在所考虑的监督学习问题的输入数据的概率分布的未归一化密度函数是分段多项式的假设下，在这种ANN的训练中具有随机初始化的GD最优化方法的风险的收敛性，假设目标函数（描述输入数据和输出数据之间的关系）是分段多项式，并且假设所考虑的监督学习问题的风险函数至少允许一个正则全局最小值。此外，在只有一个隐藏层和一维输入的浅人工神经网络的特殊情况下，我们也验证了这一假设，证明在训练这样的浅人工神经网络，对于每个Lipschitz连续目标函数存在一个全局最小值的风险景观。最后，在使用ReLU激活的深度ANN的训练中，我们还研究了梯度流（GF）微分方程的解，并证明了每个非发散GF轨迹都以多项式收敛速率收敛到临界点（在限制Fréchet次可微性的意义上）。我们的数学收敛分析建立在我们以前的文章Eberle等人的思想基础上，基于来自实代数几何的工具，例如半代数函数和广义Kurdyka-Lojasiewicz不等式的概念，基于来自泛函分析的工具，例如Arzelà-Ascoli定理，基于来自非光滑分析的工具，例如极限Fréchet次梯度的概念，以及具有固定架构的浅ReLU ANN的实现函数的集合形成连续函数的集合的闭子集的事实Petersen et al.
