Agnostic Learning of General ReLU Activation Using Gradient Descent
Google Research（谷歌研究院）；Northwestern University（西北大学）
针对带非零适度偏置的单个ReLU函数的不可知学习难题，分析了梯度下降的收敛性，证明其经多项式迭代可达到与最优解误差成常数因子的效果，还给出有限样本保证并可推广至更广泛边缘分布。
2024-11-04 cs.DS cs.LG stat.ML
On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime
Princeton University（普林斯顿大学）
我们描述了一个充要条件的收敛到最小贝叶斯风险时，训练两层ReLU-网络的梯度下降在平均场制度与全向初始参数分布。本文将Chizat和Bach最近的结果扩展到ReLU激活的网络以及没有参数可以精确实现MBR的情况。该条件不依赖于参数的初始化，只涉及神经网络实现的弱收敛性，而不涉及其参数分布。
2020-05-27 cs.LG math.AP stat.ML
Gradient Descent Optimizes Infinite-Depth ReLU Implicit Networks with Linear Widths
Iowa State University（爱荷华州立大学）
隐式深度学习最近在机器学习社区中变得流行，因为这些隐式模型可以在使用显著更少的内存和计算资源的同时，实现与最先进的深度网络竞争的性能。然而，我们对一阶方法（如梯度下降（GD））何时以及如何收敛于\textit{nonlinear}隐式网络的理论理解是有限的。虽然这类问题已经在标准前馈网络中进行了研究，但隐式模型的情况仍然很有趣，因为隐式网络有\textit{infinitely}许多层。相应的平衡方程在训练过程中可能不存在解或存在多个解。本文研究了非线性ReLU激活隐式网络的梯度流（GF）和梯度下降的收敛性。为了解决适定性问题，我们引入了一个固定的标量来缩放隐层的权重矩阵，并证明存在一个足够小的缩放常数，从而在整个训练过程中保持平衡方程的适定性。因此，我们证明了如果隐式网络的宽度$m$在样本大小$N$中是\textit{linear}，则GF和GD都以线性速率收敛到全局最小值，即，$m=Ω(N)$。
2022-05-16 cs.LG math.OC stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology（佐治亚理工学院）
本文通过原始-对偶分析，研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差，证明其以高概率近似最小ℓ2范数解，差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
Training Two-Layer ReLU Networks with Gradient Descent is Inconsistent
University of Stuttgart（斯图加特大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute for Stochastics and Applications（随机过程与应用研究所）
我们证明了由He等人（2015）提出的广泛使用的方法初始化并使用最小二乘损失梯度下降训练的双层（Leaky）ReLU网络并不普遍一致。具体来说，我们描述了一大类一维数据生成分布，对于这些分布，梯度下降很有可能只找到优化景观的一个糟糕的局部最小值，因为它无法将偏差远离它们的初始值零。事实证明，在这些情况下，即使目标函数是非线性的，所发现的网络也基本上执行线性回归。我们进一步提供了数值证据，证明这种情况发生在实际情况下，对于一些多维分布和随机梯度下降表现出类似的行为。我们还提供了关于初始化和优化器的选择如何影响这种行为的实证结果。
2022-06-08 cs.LG stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练，尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络，它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构，我们表明，学习是NP完全的一般情况下，但当输入分布是高斯，梯度下降收敛到全局最优的多项式时间。据我们所知，这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
Learning ReLUs via Gradient Descent
University of Southern California（南加州大学）
在本文中，我们研究的问题，学习纠正线性单元（ReLU），这是形式$max(0,<w,x>)$与$w$表示的权重向量的功能。我们研究这个问题在高维政权的观察数小于的权重向量的维度。我们假设权重向量属于某个封闭集合（凸或非凸），该集合捕获了关于其结构的已知边信息。我们关注的是可变现模型，其中输入被独立同分布地选择。从高斯分布，并根据种植的权重向量生成标签。我们表明，预计的梯度下降，当初始化为0时，以线性速度收敛到种植模型的样本数是最佳的数值常数。我们对这些非常浅的神经网络收敛动力学的研究结果可能会为理解更深层次架构的动力学提供一些见解。
2017-08-01 cs.IT cs.LG math.IT
How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?
最近一系列关于深度学习的研究集中在极端过度参数化的设置上，并表明当网络宽度大于训练样本大小$n$和目标误差$ε^{-1}$的倒数的高次多项式时，通过（随机）梯度下降学习的深度神经网络具有良好的优化和泛化保证。最近，研究表明，在对训练数据的某些裕度假设下，多对数宽度条件足以使双层ReLU网络收敛和泛化（Ji and Telgarsky，2019）。然而，深度神经网络是否可以通过这种温和的过度参数化来学习仍然是一个悬而未决的问题。在这项工作中，我们肯定地回答了这个问题，并为通过（随机）梯度下降训练的深度ReLU网络建立了更清晰的学习保证。具体而言，在一定的假设下，在以前的工作中，我们的优化和推广保证持有$n$和$ε^{-1}$的网络宽度多对数。我们的研究结果将过度参数化深度神经网络的研究推向了更实用的设置。
2021-12-30 cs.LG math.OC stat.ML
Training a Two Layer ReLU Network Analytically
Florida State University（佛罗里达州立大学）
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络，实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics
Princeton University（普林斯顿大学）
我们为有限深度$L$和无限宽度的ReLU神经网络开发了Banach空间。该空间包含所有有限的全连通$L$层网络和它们的$L^2$ -限制对象在自然路范数的界下。在此规范下，$L$层网络空间中的单位球具有较低的拉德马赫复杂度，从而具有良好的泛化性能。在这些空间中的函数可以近似的多层神经网络与维数无关的收敛速度。这项工作的关键是一种新的方式来表示功能的某种形式的期望，由多层神经网络的动机。这种表示允许我们为机器学习定义一类新的连续模型。我们表明，这种方式定义的梯度流是自然的连续模拟的梯度下降动态相关联的多层神经网络。我们表明，在这种连续的梯度流动力学的路径范数增加最多项式。
2020-07-30 cs.LG math.FA stat.ML
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University（俄亥俄州立大学）
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述，目标函数采用指数损失函数。我们首先描述景观的损失函数，并表明，可以存在虚假的渐近局部极小值，除了渐近全局极小值。然后，我们表明，梯度下降（GD）可以收敛到一个全球或当地的最大利润率的方向，或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降（SGD），我们表明，它收敛于预期的全局或局部最大利润的方向，如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差，并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
Demystifying the Global Convergence Puzzle of Learning Over-parameterized ReLU Nets in Very High Dimensions
这篇理论论文致力于开发一个严格的理论，以在一个具有挑战性的场景中揭开全局收敛现象的神秘面纱：在非常温和的假设下，为非常高维的数据集学习过参数化的整流线性单元（ReLU）网络。我们分析的一个主要组成部分是随机激活矩阵的细粒度分析。分解激活矩阵的基本优点是它在高维数据空间中的优化和角分布的动态之间架起了桥梁。这种基于角度的详细分析导致在每次梯度下降迭代中目标函数的梯度范数和方向曲率的渐近特征，揭示了经验损失函数在过参数化设置中具有良好的几何性质。在此过程中，我们显着提高了现有的理论界的过参数化条件和学习率非常温和的假设学习非常高维的数据。此外，我们发现的输入数据的几何和光谱特性的作用，在确定所需的过参数化的大小和全局收敛速度。所有这些线索使我们能够发现深度学习中非凸优化的一个新的几何图像：高维数据空间中的角分布$\mapsto$过参数化激活矩阵的谱$\mapsto$经验损失景观的有利几何性质$\mapsto$全局收敛现象。此外，我们的理论研究结果表明，基于梯度的非凸优化算法有更强的统计保证和更温和的过度参数化的条件下，学习非常高维的数据，这是很少探索到目前为止，比重复的理论状态。
2022-06-05 cs.LG stat.ML
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑梯度下降的动态学习一个两层神经网络。我们假设输入$x\in\mathbb{R}^d$是从高斯分布中提取的，并且$x$的标签满足$f^{\star}(x) = a^{\top}|W^{\star}x|$，其中$a\in\mathbb{R}^d$是非负向量，并且$W^{\star} \in\mathbb{R}^{d\times d}$是正交矩阵。我们证明了一个带有ReLU激活的过参数化双层神经网络，通过随机初始化的梯度下降进行训练，可以证明在多项式时间内使用多项式样本学习人口损失最多为$o(1/d)$的地面真值网络。另一方面，我们证明了任何核方法，包括神经正切核，与$d$中的多项式样本数，具有人口损失至少$Ω(1 / d)$。
2020-07-09 cs.LG math.OC stat.ML
Gradient Descent Quantizes ReLU Network Features
Google Brain（谷歌大脑）
深度神经网络通常在过度参数化的机制下进行训练（即使用比训练示例多得多的参数），理解为什么训练收敛到泛化的解决方案仍然是一个悬而未决的问题。一些研究强调了这样一个事实，即训练过程，即小批量随机梯度下降（SGD）导致在损失景观中具有特定属性的解决方案。然而，即使使用普通的梯度下降（GD），在过参数化的情况下找到的解决方案也非常好，并且这种现象很少被理解。我们提出了在小初始化和学习率的假设下，对具有ReLU激活函数的前馈网络的这种行为进行分析，并揭示了量化效应：权重向量倾向于集中在由输入数据确定的少数方向上。因此，我们表明，对于给定的输入数据，只有100多个，“简单”的功能，可以获得，独立的网络大小。这使得这些函数类似于线性插值（对于给定的输入数据，有许多三角剖分，每个三角剖分通过线性插值确定一个函数）。我们问这种类比是否延伸到泛化性质-虽然通常的分布无关泛化性质不成立，但对于具有有界二阶导数的光滑函数，近似性质可以“解释”网络（无限大小）对未知输入的泛化。
2018-03-22 cs.LG stat.ML
A global convergence theory for deep ReLU implicit networks via over-parameterization
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）
隐式深度学习最近受到越来越多的关注，因为它概括了许多常用神经网络架构的递归预测规则。它的预测规则是隐式提供的平衡方程的解的基础上。虽然最近的一系列实证研究已经证明了其优越的性能，隐式神经网络的理论理解是有限的。一般来说，平衡方程在训练过程中可能不是适定的。因此，不能保证香草（随机）梯度下降（SGD）训练非线性隐式神经网络可以收敛。本文通过分析整流线性单元（ReLU）激活的隐式神经网络的梯度流来填补这一空白。对于具有ReLU激活和$n$训练样本的$m$宽度隐式神经网络，如果隐式神经网络是\textit{over-parameterized}，则随机初始化的梯度下降以平方损失函数的线性速率收敛到全局最小值。值得注意的是，与现有的关于有限层过参数化神经网络的（S）GD收敛性的工作不同，我们的收敛性结果适用于隐式神经网络，其中层数为\textit{infinite}。
2022-02-18 cs.LG math.OC stat.ML
Directional Convergence, Benign Overfitting of Gradient Descent in leaky ReLU two-layer Neural Networks
Department of Statistical Sciences University of Toronto（统计科学系多伦多大学）
本文研究了漏损ReLU两层神经网络中梯度下降在混合数据下的良性过拟合条件，并揭示了新的相变现象。
2026-02-10 cs.LG math.ST stat.ML
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data
UC Berkeley（加州大学伯克利分校）；TTI Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）；Google（谷歌）；University of Michigan（密歇根大学）
基于梯度的优化算法的隐式偏差被证明是现代深度学习成功的主要因素。在这项工作中，我们研究了当训练数据接近正交时，具有泄漏ReLU激活的两层全连接神经网络中梯度流和梯度下降的隐式偏差，这是高维数据的一个常见属性。对于梯度流，我们利用最近的工作，同质神经网络的隐式偏差，渐近，梯度流产生一个神经网络的秩最多为2。此外，该网络是一个$\ell_2$ -最大余量解决方案（在参数空间中），并具有一个线性决策边界，对应于一个近似的最大余量线性预测。对于梯度下降，如果随机初始化方差足够小，我们证明了梯度下降的单步的足以大幅降低网络的秩，并且在整个训练过程中秩保持较小。我们提供的实验表明，一个小的初始化规模是很重要的发现低秩神经网络与梯度下降。
2022-10-13 cs.LG stat.ML
Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations
The Hebrew University（希伯来大学）；Google Research（谷歌研究院）
我们考虑具有随机权重的ReLU网络，其中每层的维度都在减少。我们表明，对于大多数此类网络，大多数示例$x$承认在欧几里得距离为$O\left(\frac{\|x\|}{\sqrt{d}}\right)$的对抗性扰动，其中$d$是输入维度。此外，这种扰动可以通过梯度流以及具有足够小的步长的梯度下降来发现。这个结果可以被看作是对大量对抗性例子的解释，以及它们是通过梯度下降发现的事实。
2020-10-28 cs.CR cs.LG stat.ML
Efficiently testing local optimality and escaping saddles for ReLU networks
Massachusetts Institute of Technology（麻省理工学院）
我们提供了一种理论算法，用于检查双层ReLU网络经验风险不可微点处的局部最优性和逃逸鞍点。我们的算法接收任何参数值并返回：局部极小值值，二阶稳定点，或严格的下降方向。ReLU不可微性上$M$数据点的存在将参数空间划分为至多$2^M$区域，这使得分析变得困难。通过利用多面体几何，我们减少了总的计算到一个凸二次规划（QP）为每个隐藏节点，$O(M)$（在）平等测试，和一个（或几个）非凸QP。对于最后的QP，我们表明，我们的具体问题可以有效地解决，尽管非凸性。在良性的情况下，我们解决了一个等式约束QP，我们证明了投影梯度下降解决它的指数快速。在坏的情况下，我们必须解决更多的不等式约束QP，但我们证明了时间复杂度是指数的不等式约束的数量。实验结果表明，无论是良性的情况下，或坏的情况下，很少的不等式约束发生，这意味着我们的算法是有效的，在大多数情况下。
2019-05-29 cs.LG math.OC stat.ML
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Stochastic Gradient Descent Learns State Equations with Nonlinear Activations
University of California, Riverside（加州大学河滨分校）
我们研究由状态方程$h_{t+1}=ϕ(Ah_t+Bu_t)$控制的离散时间动力系统。这里，$A,B$是权重矩阵，$ϕ$是激活函数，而$u_t$是输入数据。这种关系是递归神经网络（例如LSTM）的支柱，在顺序学习任务中具有广泛的应用。我们利用随机梯度下降学习的权重矩阵从一个有限的输入/状态轨迹$(u_t,h_t)_{t=0}^N$。我们证明了SGD估计线性收敛到地面真值权重，同时使用接近最佳的样本量。我们的结果适用于增加激活的衍生物有界远离零。分析是基于i）一个新的SGD收敛结果与非线性激活和ii）仔细的统计特征的状态向量。数值实验验证了SGD在ReLU和Leaky ReLU上的快速收敛性与我们的理论一致。
2018-09-09 cs.LG math.OC stat.ML
Magnitude and Angle Dynamics in Training Single ReLU Neurons
KAIST（韩国科学技术院）
为了理解深度ReLU网络的动态学习，我们通过将其分解为幅度$w(t)$和角度$ϕ(t):= π- θ(t) $分量来研究梯度流$w(t)$的动态系统。特别是，对于具有球对称数据分布和平方损失函数的多层单ReLU神经元，我们提供幅度和角度分量的上下界来描述梯度流的动态。使用获得的边界，我们得出结论，小规模初始化会导致深层单个ReLU神经元的收敛速度缓慢。最后，利用梯度流和梯度下降的关系，我们将我们的结果推广到梯度下降方法。所有的理论结果都得到了实验的验证。
2022-10-12 cs.LG
Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑当根据球形高斯分布（标签可以是任意的）绘制示例时，计算训练集上平方损失的最佳拟合ReLU的问题。令$\mathsf{opt} < 1$为最佳拟合ReLU的群体损失。我们证明：1.寻找具有平方损失$\mathsf{opt} + ε$的ReLU与学习具有噪声的稀疏奇偶校验的问题一样困难，广泛认为这是计算上难以解决的。这是关于高斯边缘学习ReLU的第一个困难结果，我们的结果意味着-{ \emph无条件}-梯度下降无法在多项式时间内收敛到全局最小值。2.存在一种有效的近似算法，用于找到实现误差$O(\mathsf{opt}^{2/3})$的最佳拟合ReLU。该算法使用了一种新的减少噪音半空间学习方面的$0/1$损失。Soltanolkotabi [Sol 17]之前的工作表明，如果训练集被ReLU精确标记，则梯度下降可以找到关于高斯边缘的最佳拟合ReLU。
2019-11-04 cs.DS cs.LG stat.ML
Optimal Rates for Generalization of Gradient Descent for Deep ReLU Classification
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Department of Mathematics, The University of Hong Kong（香港大学数学系）；School of mathematics and statistics, University of Sydney（悉尼大学数学与统计学学院）
针对深度ReLU网络，通过权衡优化与泛化误差，在NTK可分离假设下证明了梯度下降的泛化误差率为~O(L^6/(nγ^2))，与SVM最优率仅差深度相关因子，关键技术是控制参考模型附近的激活模式以得到更紧的Rademacher复杂度界。
2026-06-02 cs.LG
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明，如果初始损失足够小，梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时，我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
Preconditioned Gradient Descent for Over-Parameterized Nonconvex Matrix Factorization
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
针对非凸矩阵分解过参数化时收敛速度变慢的问题，提出预处理梯度下降PrecGD，通过带特定阻尼参数的$\boldsymbol{\u2113}_2$正则化修正奇异性，恢复线性收敛且噪声下稳定，数值实验验证其有效性。
2025-04-13 cs.LG math.OC stat.ML
A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在这篇文章中，我们研究了随机梯度下降（SGD）最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时，SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层，一个隐藏层，和一个输出层（与$d \in \mathbb{N}$神经元上的输入层，$H \in \mathbb{N}$神经元上的隐藏层，和一个神经元上的输出层）。假设SGD过程的学习速率足够小，并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
Understanding the Implicit Regularization of Gradient Descent in Over-parameterized Models
University of Pennsylvania（宾夕法尼亚大学）；Amazon（亚马逊）；University of Michigan（密歇根大学）
本文提出 IPGD 方法，通过微小扰动和小偏差率，在过度参数化模型中实现隐式正则化，提升收敛到低维解的能力。
2025-12-09 cs.LG math.OC
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力，证明了其在神经元数量上的最优逼近速率，并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University（莱斯大学）
针对 Nesterov 动量在神经网络训练中的加速收敛难题，本文提出一类仅部分参数满足强凸性的新目标函数，从理论上证明其加速效果，并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
A Modular Analysis of Provable Acceleration via Polyak's Momentum: Training a Wide ReLU Network and a Deep Linear Network
Georgia Institute of Technology（佐治亚理工学院）
在梯度下降方法中描述所谓的“动量”动态被广泛用于神经网络训练，因为已经广泛观察到，至少在经验上，它通常导致显著更快的收敛。同时，在文献中很少有理论保证来解释这种明显的加速效应。即使对于经典的强凸二次型问题，已有的结果也只是证明了Polyak动量的线性加速率是渐近的。在本文中，我们首先回顾了二次问题，并证明了一个非渐近的加速线性率的Polyak的动量。然后，我们证明了Polyak的动量在训练一层宽的ReLU网络和深度线性网络时实现了加速，这可能是文献中研究优化和深度学习的两个最流行的规范模型。Du等人2019和Wu等人2019的先前工作表明，使用香草梯度下降，并使用过度参数化，在$t$迭代后，误差衰减为$(1- Θ(\frac{1}{ κ'}))^t$，其中$κ'$是Gram矩阵的条件数。我们的结果表明，在适当选择参数的情况下，Polyak的动量有一个速率为$(1-Θ(\frac{1}{\sqrt{κ'}}))^t$ .对于深度线性网络，Hu et al. 2020的先前工作表明，香草梯度下降的速率为$(1-Θ(\frac{1}κ))^t$，其中$κ$是数据矩阵的条件数。我们的结果表明，加速率$(1- Θ(\frac{1}{\sqrtκ}))^t$是由Polyak的动量实现。在这项工作中的所有结果是从模块化分析，这可以是独立的利益。这项工作证明动量确实可以加速神经网络的训练。
2021-06-10 cs.LG math.OC stat.ML
Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks
Mathematical Institute for Machine Learning and Data Science, KU Eichstätt-Ingolstadt（机器学习与数据科学数学研究所，埃施特哈特-英戈尔施塔特大学）；Department of Computer Science, RPTU Kaiserslautern-Landau（计算机科学系，凯撒斯劳滕-兰道大学）；Department of Mathematics, University of Hong Kong（数学系，香港大学）；School of Mathematics and Statistics, University of Sydney（数学与统计学学院，悉尼大学）
本文针对深度ReLU网络，在神经正切核（NTK）机制下，首次建立了梯度下降（GD）和随机梯度下降（SGD）的极小化最优泛化误差速率，证明宽度足够时可达核方法的最优速率。
2026-06-04 cs.AI cs.LG stat.ML
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核（NTK）在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用，其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间（RKHS）的学习动力学来表征。然而，在NTK制度中仍有进行收敛速度分析的余地。在这项研究中，我们表明，平均随机梯度下降可以实现极大极小最优收敛速度，与全局收敛保证，通过利用目标函数的复杂性和与NTK相关的RKHS。此外，我们还证明了在某些条件下，通过ReLU网络的平滑近似，可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
梯度下降（GD）型最优化方法是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功，它仍然是-即使在最简单的情况下，普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题，以证明（或反驳）GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想，独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中，我们证明了这一猜想的情况下，输入数据的概率分布是一个紧凑的区间上的连续均匀分布，其中的概率分布的神经网络参数的随机初始化是标准正态分布，和所考虑的目标函数是连续和分段仿射线性。粗略地说，在我们的数学收敛分析中的关键成分是（i）证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces}，（ii）证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition}，并且，此后，（iii）应用[Fehrman，B.，Gess，B.，Jentzen，A.，非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21（136）：1- 48，2020]以建立具有随机初…
2021-08-10 cs.LG cs.NA math.NA
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
Gradient Descent can Learn Less Over-parameterized Two-layer Neural Networks on Classification Problems
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；ENSAE（法国国家统计与经济管理学院）；CREST（法国国家经济统计与管理研究中心）
最近，一些研究已经证明了梯度下降法在双层ReLU网络中的全局收敛性和泛化能力。除少数研究外，大多数研究都集中在平方损失函数的回归问题上，并指出了神经切核的正性的重要性。另一方面，使用逻辑损失函数的分类问题的梯度下降的性能还没有得到很好的研究，进一步研究这个问题的结构是可能的。在这项工作中，我们证明了使用神经正切模型的可分性假设比神经正切核的正性条件更合理，并提供了一个精细的收敛分析的梯度下降的两层网络与光滑激活。我们的结果的一个值得注意的点是，我们的收敛性和泛化界有更好的依赖于网络的宽度相比，相关的研究。因此，我们的理论提供了一个泛化保证较少的过参数化的两层网络，而大多数研究需要更高的过参数化。
2020-03-18 cs.LG stat.ML
Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
Northwestern University（西北大学）
在高斯边缘分布下，提出多项式时间SQ算法实现任意偏置ReLU激活函数的常数因子近似，揭示了梯度下降的局限性。
2026-02-03 cs.DS cs.LG stat.ML
FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures
本文提出FastPart算法，结合随机梯度下降与随机特征提升测度稀疏优化的CPGD可扩展性，证明了解的全变差有界、O(log(K)/√K)全局收敛率及一阶条件偏差局部控制特性。
2025-09-04 math.OC stat.ML
Limitations of neural network training due to numerical instability of backpropagation
University of Vienna（维也纳大学）
本研究证明在浮点数梯度计算下，梯度下降训练难以保持ReLU网络仿射片段超线性增长，与理论构造的指数增长序列差异显著，数值实验验证了该结论。
2023-11-15 cs.LG math.FA stat.ML
Agnostic Learning of a Single Neuron with Gradient Descent
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑学习最佳拟合的单个神经元的问题，通过使用梯度下降来最小化由一组i.i.d.引起的经验风险，通过在一些未知的联合分布$\mathcal{D}$上的期望平方损失$\mathbb{E}_{(x,y)\sim \mathcal{D}}[(σ(w^\top x)-y)^2]$来测量。样本$S\sim \mathcal{D}^n$。激活函数$σ$是一个任意的Lipschitz非减函数，使得优化问题在一般情况下是非凸和非光滑的，并涵盖了广义线性模型设置下典型的神经网络激活函数和逆连接函数。在不可知的PAC学习设置，其中没有对标签$y$和输入$x$之间的关系的假设，如果最佳的人口风险是$\mathsf{OPT}$，我们表明，梯度下降实现人口风险$O(\mathsf{OPT})+ε$在多项式时间和样本复杂度时，$σ$严格增加。对于ReLU激活，我们的人群风险保证是$O(\mathsf{OPT}^{1/2})+ε$。当标签采取的形式$y = σ(v^\top x) + ξ$为零均值亚高斯噪声$ξ$，我们表明，人口风险保证梯度下降提高到$\mathsf{OPT} + ε$。我们的样本复杂性和运行时保证（几乎）维度独立，当$σ$严格增加时，不需要超出有界性的分布假设。对于ReLU，我们在输入的边际分布的非简并假设下显示了相同的结果。
2020-08-31 cs.LG math.OC stat.ML
Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Seoul National University（首尔大学）
针对 SNN 离散理论不足及非线性支持有限的问题，提出基于 signGD 的神经元动力学，实现超越 ReLU 的低时间步 ANN-to-SNN 转换，并在大规模实验中达到 SOTA。
2024-07-01 cs.LG cs.NE
Block Coordinate Descent for Neural Networks Provably Finds Global Minima
CyberAgent
本文提出块坐标下降算法训练深度神经网络，首次证明其在严格单调激活下收敛到全局最小值，并扩展到ReLU，兼具优化与泛化保证。
2025-10-26 cs.LG stat.ML
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Support Vectors and Gradient Dynamics of Single-Neuron ReLU Networks
KAIST（韩国科学技术院）
理解梯度下降对ReLU网络泛化能力的隐含偏差一直是机器学习研究中的一个重要研究课题。不幸的是，即使对于使用平方损失训练的单个ReLU神经元，最近也证明不可能根据模型参数的范数来表征隐式正则化（Vardi & Shamir，2021）。为了缩小理解ReLU网络有趣的泛化行为的差距，我们在这里研究了训练单神经元ReLU网络时参数空间中的梯度流动态。具体来说，我们发现了支持向量方面的隐式偏差，这在ReLU网络为什么以及如何泛化方面起着关键作用。此外，我们分析了梯度流相对于初始化的范数的大小，并表明学习的权重的范数严格通过梯度流增加。最后，我们证明了$d = 2$情况下单个ReLU神经元的全局收敛性。
2022-06-13 cs.AI cs.LG stat.ML
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance
Brown University（布朗大学）
神经网络在广泛的应用中提供“同类最佳”近似的能力是有据可查的。然而，如果不能有效地训练（选择）定义网络的参数，神经网络的强大表现力将化为乌有。通常，神经网络通过梯度下降型优化方法或其随机变体来训练。在实践中，这种方法导致损失函数在训练开始时迅速减小，但随后在相对少量的步骤之后显著减慢。这种损失甚至可能在大量的时期内表现为停滞，然后突然又开始快速减少，没有明显的原因。这种所谓的高原现象在许多学习任务中表现出来。目前的工作旨在确定和量化高原现象的根本原因。没有假设神经元的数量相对于训练数据的数量，我们的结果适用于懒惰和自适应制度。主要调查结果如下：平稳期对应于激活模式保持恒定的时期，其中激活模式是指激活给定神经元的数据点的数量;梯度流动动力学的收敛的量化;以及根据训练数据的子集上的局部最小二乘回归线的解来表征静止点。基于这些结论，我们提出了一种新的迭代训练方法，主动神经元最小二乘法（ANLS），其特征在于在每一步的激活模式的显式调整，其目的是使快速退出高原。说明性的数值例子包括在整个。
2020-07-14 cs.LG cs.NA math.NA
$\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space
Microsoft Research Asia（微软亚洲研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）
众所周知，具有整流线性单元（ReLU）激活函数的神经网络是正尺度不变的。传统的算法，如随机梯度下降优化神经网络在向量空间的权重，这是，然而，不是积极的规模不变。这种不匹配可能导致优化过程中出现问题。那么，一个自然的问题是：\emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }？在本文中，我们提供了我们的肯定回答这个问题。首先，我们对正标度算子进行了形式化的研究，这些正标度算子形成了一个变换群，记为$\mathcal{G}$。我们证明了神经网络中路径的值（即沿着路径的权值的乘积）对正标度是不变的，并证明了所有路径的值向量在温和的条件下足以表示神经网络.其次，我们证明了在正标度群下，可以从所有的路中识别出一些基路，并证明了它们的值向量的线性跨度（记为$\mathcal{G}$ -空间）是一个低维不变空间.最后，我们设计了$\mathcal{G}$ -空间中的随机梯度下降算法（简称$\mathcal{G}$ -SGD），利用反向传播技术，以较小的额外代价优化神经网络的基路径值向量。我们的实…
2021-03-23 cs.LG stat.ML
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Vietnam Academy of Science and Technology（越南科学技术研究院）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
针对ReLU深度网络训练中SGD类优化器是否高概率收敛至全局极小点的开放问题，本文证明标准、加速及自适应SGD（含Adam等）随网络宽度或深度增加会以趋于1的概率不收敛。
2025-02-15 cs.LG cs.NA math.NA
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL（TML，瑞士联邦理工学院）
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学，揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
Improving Generalization in Mountain Car Through the Partitioned Parameterized Policy Approach via Quasi-Stochastic Gradient Descent
University of Florida（佛罗里达大学）
强化学习的问题，找到一个控制策略，最大限度地减少了最小的时间目标的山地车环境。特别地，对一类参数化非线性反馈策略进行了优化，使其在最短时间内到达最高峰的顶点。采用准随机梯度下降（qSGD）方法进行优化。在试图找到最佳的最小时间的政策，一个新的参数化的政策方法被认为是寻求学习的状态空间的不同区域的最佳政策参数，而不是依赖于一个单一的宏观政策参数的整个状态空间。这种分区的参数化政策的方法被证明优于统一的参数化政策的方法，并导致更大的推广比以前的方法，其中山地车成为被困在状态空间中的圆形轨迹。
2021-05-28 cs.AI cs.LG cs.SY
Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究首次证明了带分段解析激活函数的真实神经网络架构下，梯度下降映射对几乎所有步长具有非奇异性，拓展了GD与SGD收敛性的适用场景，为学习动力学研究提供了理论支撑。
2025-10-28 cs.LG math.OC
Hidden Minima in Two-Layer ReLU Networks
The Hebrew University（希伯来大学）
研究两层ReLU网络中隐藏极小值的结构特性，通过分析损失函数的局部极小化曲线，揭示隐藏极小值与非隐藏极小值的差异。
2026-01-16 cs.LG math.OC stat.ML
On the Principle of Least Symmetry Breaking in Shallow ReLU Models
NYU（纽约大学）；UCSB（加州大学圣塔芭芭拉分校）
本文提出浅层ReLU模型拟合中伪局部极小值遵循最少对称性破缺原理，并通过实验验证其在多种分布、激活函数和网络结构中的适用性。
2023-12-28 cs.LG stat.ML
