Training Two-Layer ReLU Networks with Gradient Descent is Inconsistent
University of Stuttgart(斯图加特大学);Faculty of Mathematics and Physics(数学与物理学院);Institute for Stochastics and Applications(随机过程与应用研究所)
我们证明了由He等人(2015)提出的广泛使用的方法初始化并使用最小二乘损失梯度下降训练的双层(Leaky)ReLU网络并不普遍一致。具体来说,我们描述了一大类一维数据生成分布,对于这些分布,梯度下降很有可能只找到优化景观的一个糟糕的局部最小值,因为它无法将偏差远离它们的初始值零。事实证明,在这些情况下,即使目标函数是非线性的,所发现的网络也基本上执行线性回归。我们进一步提供了数值证据,证明这种情况发生在实际情况下,对于一些多维分布和随机梯度下降表现出类似的行为。我们还提供了关于初始化和优化器的选择如何影响这种行为的实证结果。
2022-06-08 cs.LG stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS(马克斯·普朗克数学研究所)
我们给出了一个简单的证明,证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性,并展示了它对现有技术的一些改进。特别是,虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$($N$是训练样本的数量),我们需要线性、二次或三次宽度的单个宽层,这取决于初始化的类型。与最近许多基于神经切线核(NTK)的证明不同,我们的证明不需要跟踪整个NTK矩阵的演变,或者更一般地说,不需要跟踪与训练期间激活模式变化相关的任何量。相反,我们只需要跟踪最后一个隐藏层的输出的演变,由于ReLU的Lipschitz属性,这可以更容易地完成。我们设置的一些亮点:(i)所有层都是用标准的梯度下降训练的,(ii)网络具有标准的参数化,而不是NTK的参数化,(iii)网络具有单个宽层,而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近的理论工作已经保证了通过梯度下降训练的过参数化网络可以实现任意低的训练误差,有时甚至是低的测试误差。然而,所需宽度在样本量$n$、(逆)目标误差$1/ε$和(逆)失效概率$1/δ$中的至少一个中始终是多项式。这项工作表明,在任何宽度超过$\mathrm{polylog}(n,1/ε,1/δ)$的双层ReLU网络上使用$\widetildeΩ(1/ε^2)$训练示例的梯度下降的$\widetildeΘ(1/ε)$迭代足以实现$ε$的测试误分类错误。我们还证明了随机梯度下降可以实现$ε$测试误差与多对数宽度和$\widetildeΘ(1/ε)$样本。该分析依赖于极限核的分离裕度,该分离裕度保证为正,可以区分真实标签和随机标签,并且可以在无限宽度设置中给出紧密的样本复杂度分析
2020-02-15 cs.LG math.OC stat.ML
Training a Two Layer ReLU Network Analytically
Florida State University(佛罗里达州立大学)
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络,实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University(俄亥俄州立大学)
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述,目标函数采用指数损失函数。我们首先描述景观的损失函数,并表明,可以存在虚假的渐近局部极小值,除了渐近全局极小值。然后,我们表明,梯度下降(GD)可以收敛到一个全球或当地的最大利润率的方向,或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降(SGD),我们表明,它收敛于预期的全局或局部最大利润的方向,如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差,并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
Gradient Descent Quantizes ReLU Network Features
Google Brain(谷歌大脑)
深度神经网络通常在过度参数化的机制下进行训练(即使用比训练示例多得多的参数),理解为什么训练收敛到泛化的解决方案仍然是一个悬而未决的问题。一些研究强调了这样一个事实,即训练过程,即小批量随机梯度下降(SGD)导致在损失景观中具有特定属性的解决方案。然而,即使使用普通的梯度下降(GD),在过参数化的情况下找到的解决方案也非常好,并且这种现象很少被理解。我们提出了在小初始化和学习率的假设下,对具有ReLU激活函数的前馈网络的这种行为进行分析,并揭示了量化效应:权重向量倾向于集中在由输入数据确定的少数方向上。因此,我们表明,对于给定的输入数据,只有100多个,“简单”的功能,可以获得,独立的网络大小。这使得这些函数类似于线性插值(对于给定的输入数据,有许多三角剖分,每个三角剖分通过线性插值确定一个函数)。我们问这种类比是否延伸到泛化性质-虽然通常的分布无关泛化性质不成立,但对于具有有界二阶导数的光滑函数,近似性质可以“解释”网络(无限大小)对未知输入的泛化。
2018-03-22 cs.LG stat.ML
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich(苏黎世联邦理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Münster(明斯特大学);Nanyang Technological University(南洋理工大学)
针对现有动力系统理论正则性条件不适用于现代机器学习的问题,本文放宽条件证明中心-稳定流形定理,证明浅层ReLU网络训练中梯度下降可避开多数鞍点,有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
Gradient Descent Optimizes Infinite-Depth ReLU Implicit Networks with Linear Widths
Iowa State University(爱荷华州立大学)
隐式深度学习最近在机器学习社区中变得流行,因为这些隐式模型可以在使用显著更少的内存和计算资源的同时,实现与最先进的深度网络竞争的性能。然而,我们对一阶方法(如梯度下降(GD))何时以及如何收敛于\textit{nonlinear}隐式网络的理论理解是有限的。虽然这类问题已经在标准前馈网络中进行了研究,但隐式模型的情况仍然很有趣,因为隐式网络有\textit{infinitely}许多层。相应的平衡方程在训练过程中可能不存在解或存在多个解。本文研究了非线性ReLU激活隐式网络的梯度流(GF)和梯度下降的收敛性。为了解决适定性问题,我们引入了一个固定的标量来缩放隐层的权重矩阵,并证明存在一个足够小的缩放常数,从而在整个训练过程中保持平衡方程的适定性。因此,我们证明了如果隐式网络的宽度$m$在样本大小$N$中是\textit{linear},则GF和GD都以线性速率收敛到全局最小值,即,$m=Ω(N)$。
2022-05-16 cs.LG math.OC stat.ML
Directional Convergence, Benign Overfitting of Gradient Descent in leaky ReLU two-layer Neural Networks
Department of Statistical Sciences University of Toronto(统计科学系多伦多大学)
本文研究了漏损ReLU两层神经网络中梯度下降在混合数据下的良性过拟合条件,并揭示了新的相变现象。
2026-02-10 cs.LG math.ST stat.ML
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data
UC Berkeley(加州大学伯克利分校);TTI Chicago(芝加哥丰田技术研究所);Hebrew University(希伯来大学);Google(谷歌);University of Michigan(密歇根大学)
基于梯度的优化算法的隐式偏差被证明是现代深度学习成功的主要因素。在这项工作中,我们研究了当训练数据接近正交时,具有泄漏ReLU激活的两层全连接神经网络中梯度流和梯度下降的隐式偏差,这是高维数据的一个常见属性。对于梯度流,我们利用最近的工作,同质神经网络的隐式偏差,渐近,梯度流产生一个神经网络的秩最多为2。此外,该网络是一个$\ell_2$ -最大余量解决方案(在参数空间中),并具有一个线性决策边界,对应于一个近似的最大余量线性预测。对于梯度下降,如果随机初始化方差足够小,我们证明了梯度下降的单步的足以大幅降低网络的秩,并且在整个训练过程中秩保持较小。我们提供的实验表明,一个小的初始化规模是很重要的发现低秩神经网络与梯度下降。
2022-10-13 cs.LG stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
实证研究表明,基于梯度的方法可以学习深度神经网络(DNN),在过参数化机制中具有非常好的泛化性能,其中DNN可以很容易地适应训练数据的随机标记。最近,一系列工作在理论上解释了,通过过度参数化和适当的随机初始化,基于梯度的方法可以找到DNN训练损失的全局最小值。然而,现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的,并且与训练算法无关。在这项工作中,我们推导出深度ReLU网络的算法相关泛化误差界,并表明在对数据分布的某些假设下,具有适当随机初始化的梯度下降(GD)能够训练一个充分过参数化的DNN,以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations
The Hebrew University(希伯来大学);Google Research(谷歌研究院)
我们考虑具有随机权重的ReLU网络,其中每层的维度都在减少。我们表明,对于大多数此类网络,大多数示例$x$承认在欧几里得距离为$O\left(\frac{\|x\|}{\sqrt{d}}\right)$的对抗性扰动,其中$d$是输入维度。此外,这种扰动可以通过梯度流以及具有足够小的步长的梯度下降来发现。这个结果可以被看作是对大量对抗性例子的解释,以及它们是通过梯度下降发现的事实。
2020-10-28 cs.CR cs.LG stat.ML
Limitations of neural network training due to numerical instability of backpropagation
University of Vienna(维也纳大学)
本研究证明在浮点数梯度计算下,梯度下降训练难以保持ReLU网络仿射片段超线性增长,与理论构造的指数增长序列差异显著,数值实验验证了该结论。
2023-11-15 cs.LG math.FA stat.ML
Learning ReLUs via Gradient Descent
University of Southern California(南加州大学)
在本文中,我们研究的问题,学习纠正线性单元(ReLU),这是形式$max(0,<w,x>)$与$w$表示的权重向量的功能。我们研究这个问题在高维政权的观察数小于的权重向量的维度。我们假设权重向量属于某个封闭集合(凸或非凸),该集合捕获了关于其结构的已知边信息。我们关注的是可变现模型,其中输入被独立同分布地选择。从高斯分布,并根据种植的权重向量生成标签。我们表明,预计的梯度下降,当初始化为0时,以线性速度收敛到种植模型的样本数是最佳的数值常数。我们对这些非常浅的神经网络收敛动力学的研究结果可能会为理解更深层次架构的动力学提供一些见解。
2017-08-01 cs.IT cs.LG math.IT
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology(佐治亚理工学院)
本文通过原始-对偶分析,研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差,证明其以高概率近似最小ℓ2范数解,差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Magnitude and Angle Dynamics in Training Single ReLU Neurons
KAIST(韩国科学技术院)
为了理解深度ReLU网络的动态学习,我们通过将其分解为幅度$w(t)$和角度$ϕ(t):= π- θ(t) $分量来研究梯度流$w(t)$的动态系统。特别是,对于具有球对称数据分布和平方损失函数的多层单ReLU神经元,我们提供幅度和角度分量的上下界来描述梯度流的动态。使用获得的边界,我们得出结论,小规模初始化会导致深层单个ReLU神经元的收敛速度缓慢。最后,利用梯度流和梯度下降的关系,我们将我们的结果推广到梯度下降方法。所有的理论结果都得到了实验的验证。
2022-10-12 cs.LG
Time/Accuracy Tradeoffs for Learning a ReLU with respect to Gaussian Marginals
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑当根据球形高斯分布(标签可以是任意的)绘制示例时,计算训练集上平方损失的最佳拟合ReLU的问题。令$\mathsf{opt} < 1$为最佳拟合ReLU的群体损失。我们证明:1.寻找具有平方损失$\mathsf{opt} + ε$的ReLU与学习具有噪声的稀疏奇偶校验的问题一样困难,广泛认为这是计算上难以解决的。这是关于高斯边缘学习ReLU的第一个困难结果,我们的结果意味着-{ \emph无条件}-梯度下降无法在多项式时间内收敛到全局最小值。2.存在一种有效的近似算法,用于找到实现误差$O(\mathsf{opt}^{2/3})$的最佳拟合ReLU。该算法使用了一种新的减少噪音半空间学习方面的$0/1$损失。Soltanolkotabi [Sol 17]之前的工作表明,如果训练集被ReLU精确标记,则梯度下降可以找到关于高斯边缘的最佳拟合ReLU。
2019-11-04 cs.DS cs.LG stat.ML
Optimal Rates for Generalization of Gradient Descent for Deep ReLU Classification
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Department of Mathematics, The University of Hong Kong(香港大学数学系);School of mathematics and statistics, University of Sydney(悉尼大学数学与统计学学院)
针对深度ReLU网络,通过权衡优化与泛化误差,在NTK可分离假设下证明了梯度下降的泛化误差率为~O(L^6/(nγ^2)),与SVM最优率仅差深度相关因子,关键技术是控制参考模型附近的激活模式以得到更紧的Rademacher复杂度界。
2026-06-02 cs.LG
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络,它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明,学习是NP完全的一般情况下,但当输入分布是高斯,梯度下降收敛到全局最优的多项式时间。据我们所知,这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在这篇文章中,我们研究了随机梯度下降(SGD)最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时,SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层,一个隐藏层,和一个输出层(与$d \in \mathbb{N}$神经元上的输入层,$H \in \mathbb{N}$神经元上的隐藏层,和一个神经元上的输出层)。假设SGD过程的学习速率足够小,并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks
Mathematical Institute for Machine Learning and Data Science, KU Eichstätt-Ingolstadt(机器学习与数据科学数学研究所,埃施特哈特-英戈尔施塔特大学);Department of Computer Science, RPTU Kaiserslautern-Landau(计算机科学系,凯撒斯劳滕-兰道大学);Department of Mathematics, University of Hong Kong(数学系,香港大学);School of Mathematics and Statistics, University of Sydney(数学与统计学学院,悉尼大学)
本文针对深度ReLU网络,在神经正切核(NTK)机制下,首次建立了梯度下降(GD)和随机梯度下降(SGD)的极小化最优泛化误差速率,证明宽度足够时可达核方法的最优速率。
2026-06-04 cs.AI cs.LG stat.ML
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们分析了平均随机梯度下降的过参数化的两层神经网络回归问题的收敛性。最近发现神经切核(NTK)在显示NTK机制下基于梯度的方法的全局收敛性方面起着重要作用,其中过参数化神经网络的学习动力学几乎可以用相关的再生核Hilbert空间(RKHS)的学习动力学来表征。然而,在NTK制度中仍有进行收敛速度分析的余地。在这项研究中,我们表明,平均随机梯度下降可以实现极大极小最优收敛速度,与全局收敛保证,通过利用目标函数的复杂性和与NTK相关的RKHS。此外,我们还证明了在某些条件下,通过ReLU网络的平滑近似,可以以最佳收敛速度学习ReLU网络的NTK指定的目标函数。
2021-06-11 cs.LG stat.ML
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
我们考虑梯度下降的动态学习一个两层神经网络。我们假设输入$x\in\mathbb{R}^d$是从高斯分布中提取的,并且$x$的标签满足$f^{\star}(x) = a^{\top}|W^{\star}x|$,其中$a\in\mathbb{R}^d$是非负向量,并且$W^{\star} \in\mathbb{R}^{d\times d}$是正交矩阵。我们证明了一个带有ReLU激活的过参数化双层神经网络,通过随机初始化的梯度下降进行训练,可以证明在多项式时间内使用多项式样本学习人口损失最多为$o(1/d)$的地面真值网络。另一方面,我们证明了任何核方法,包括神经正切核,与$d$中的多项式样本数,具有人口损失至少$Ω(1 / d)$。
2020-07-09 cs.LG math.OC stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
虽然深度学习在各种任务中的表现优于其他方法,但解释其原因的理论框架尚未完全建立。为了解决这个问题,我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险,其中学生网络通过其输出学习未知的教师网络。特别地,我们考虑了与教师网络具有相同宽度的学生网络,并且在两个阶段进行训练:首先通过噪声梯度下降,然后通过香草梯度下降。我们的结果表明,学生网络可证明达到一个接近全局最优解,并优于任何核方法估计(更一般地说,线性估计),包括神经正切核方法,随机特征模型,和其他核方法,在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的,学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
How Much Over-parameterization Is Sufficient to Learn Deep ReLU Networks?
最近一系列关于深度学习的研究集中在极端过度参数化的设置上,并表明当网络宽度大于训练样本大小$n$和目标误差$ε^{-1}$的倒数的高次多项式时,通过(随机)梯度下降学习的深度神经网络具有良好的优化和泛化保证。最近,研究表明,在对训练数据的某些裕度假设下,多对数宽度条件足以使双层ReLU网络收敛和泛化(Ji and Telgarsky,2019)。然而,深度神经网络是否可以通过这种温和的过度参数化来学习仍然是一个悬而未决的问题。在这项工作中,我们肯定地回答了这个问题,并为通过(随机)梯度下降训练的深度ReLU网络建立了更清晰的学习保证。具体而言,在一定的假设下,在以前的工作中,我们的优化和推广保证持有$n$和$ε^{-1}$的网络宽度多对数。我们的研究结果将过度参数化深度神经网络的研究推向了更实用的设置。
2021-12-30 cs.LG math.OC stat.ML
Agnostic Learning of Arbitrary ReLU Activation under Gaussian Marginals
Northwestern University(西北大学)
在高斯边缘分布下,提出多项式时间SQ算法实现任意偏置ReLU激活函数的常数因子近似,揭示了梯度下降的局限性。
2026-02-03 cs.DS cs.LG stat.ML
Efficiently testing local optimality and escaping saddles for ReLU networks
Massachusetts Institute of Technology(麻省理工学院)
我们提供了一种理论算法,用于检查双层ReLU网络经验风险不可微点处的局部最优性和逃逸鞍点。我们的算法接收任何参数值并返回:局部极小值值,二阶稳定点,或严格的下降方向。ReLU不可微性上$M$数据点的存在将参数空间划分为至多$2^M$区域,这使得分析变得困难。通过利用多面体几何,我们减少了总的计算到一个凸二次规划(QP)为每个隐藏节点,$O(M)$(在)平等测试,和一个(或几个)非凸QP。对于最后的QP,我们表明,我们的具体问题可以有效地解决,尽管非凸性。在良性的情况下,我们解决了一个等式约束QP,我们证明了投影梯度下降解决它的指数快速。在坏的情况下,我们必须解决更多的不等式约束QP,但我们证明了时间复杂度是指数的不等式约束的数量。实验结果表明,无论是良性的情况下,或坏的情况下,很少的不等式约束发生,这意味着我们的算法是有效的,在大多数情况下。
2019-05-29 cs.LG math.OC stat.ML
Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network
Seoul National University(首尔大学)
针对 SNN 离散理论不足及非线性支持有限的问题,提出基于 signGD 的神经元动力学,实现超越 ReLU 的低时间步 ANN-to-SNN 转换,并在大规模实验中达到 SOTA。
2024-07-01 cs.LG cs.NE
On the Convergence of Stochastic Gradient Descent for Linear Inverse Problems in Banach Spaces
在这项工作中,我们考虑随机梯度下降(SGD)解决线性反问题的Banach空间。SGD及其变体已被确立为机器学习、成像和信号处理等领域中最成功的优化方法之一。在每次迭代中,SGD使用单个数据或一小部分数据,从而产生高度可扩展的方法,对于大规模逆问题非常有吸引力。尽管如此,基于SGD的反问题方法的理论分析到目前为止主要限于欧几里得和希尔伯特空间。在这项工作中,我们提出了一种新的收敛性分析一般Banach空间中的线性反问题的SGD:我们显示了几乎必然收敛到最小范数解的迭代,并建立了适当的先验停止准则的正则化性质。数值结果也说明了该方法的特点。
2023-02-10 cs.LG math.OC
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
神经网络成功的奥秘之一是随机初始化的一阶方法,如梯度下降,即使目标函数是非凸和非光滑的,也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络,我们证明了只要$m$足够大并且没有两个输入是并行的,随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察:过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化,这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
A global convergence theory for deep ReLU implicit networks via over-parameterization
Iowa State University(爱荷华州立大学);The Ohio State University(俄亥俄州立大学)
隐式深度学习最近受到越来越多的关注,因为它概括了许多常用神经网络架构的递归预测规则。它的预测规则是隐式提供的平衡方程的解的基础上。虽然最近的一系列实证研究已经证明了其优越的性能,隐式神经网络的理论理解是有限的。一般来说,平衡方程在训练过程中可能不是适定的。因此,不能保证香草(随机)梯度下降(SGD)训练非线性隐式神经网络可以收敛。本文通过分析整流线性单元(ReLU)激活的隐式神经网络的梯度流来填补这一空白。对于具有ReLU激活和$n$训练样本的$m$宽度隐式神经网络,如果隐式神经网络是\textit{over-parameterized},则随机初始化的梯度下降以平方损失函数的线性速率收敛到全局最小值。值得注意的是,与现有的关于有限层过参数化神经网络的(S)GD收敛性的工作不同,我们的收敛性结果适用于隐式神经网络,其中层数为\textit{infinite}。
2022-02-18 cs.LG math.OC stat.ML
Stochastic Gradient Descent Learns State Equations with Nonlinear Activations
University of California, Riverside(加州大学河滨分校)
我们研究由状态方程$h_{t+1}=ϕ(Ah_t+Bu_t)$控制的离散时间动力系统。这里,$A,B$是权重矩阵,$ϕ$是激活函数,而$u_t$是输入数据。这种关系是递归神经网络(例如LSTM)的支柱,在顺序学习任务中具有广泛的应用。我们利用随机梯度下降学习的权重矩阵从一个有限的输入/状态轨迹$(u_t,h_t)_{t=0}^N$。我们证明了SGD估计线性收敛到地面真值权重,同时使用接近最佳的样本量。我们的结果适用于增加激活的衍生物有界远离零。分析是基于i)一个新的SGD收敛结果与非线性激活和ii)仔细的统计特征的状态向量。数值实验验证了SGD在ReLU和Leaky ReLU上的快速收敛性与我们的理论一致。
2018-09-09 cs.LG math.OC stat.ML
Support Vectors and Gradient Dynamics of Single-Neuron ReLU Networks
KAIST(韩国科学技术院)
理解梯度下降对ReLU网络泛化能力的隐含偏差一直是机器学习研究中的一个重要研究课题。不幸的是,即使对于使用平方损失训练的单个ReLU神经元,最近也证明不可能根据模型参数的范数来表征隐式正则化(Vardi & Shamir,2021)。为了缩小理解ReLU网络有趣的泛化行为的差距,我们在这里研究了训练单神经元ReLU网络时参数空间中的梯度流动态。具体来说,我们发现了支持向量方面的隐式偏差,这在ReLU网络为什么以及如何泛化方面起着关键作用。此外,我们分析了梯度流相对于初始化的范数的大小,并表明学习的权重的范数严格通过梯度流增加。最后,我们证明了$d = 2$情况下单个ReLU神经元的全局收敛性。
2022-06-13 cs.AI cs.LG stat.ML
A proof of convergence for the gradient descent optimization method with random initializations in the training of neural networks with ReLU activation for piecewise linear target functions
University of Münster(明斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
梯度下降(GD)型最优化方法是用整流线性单元(ReLU)激活来训练人工神经网络(ANN)的标准工具。尽管GD型最优化方法在用ReLU激活训练ANN的数值模拟中取得了巨大成功,它仍然是-即使在最简单的情况下,普通香草GD最优化方法与随机初始化和人工神经网络与一个隐藏层-一个开放的问题,以证明(或反驳)GD最优化方法的风险在这样的ANN的训练中收敛到零作为ANN的宽度的猜想,独立随机初始化的数量和GD步骤的数量增加到无穷大。在本文中,我们证明了这一猜想的情况下,输入数据的概率分布是一个紧凑的区间上的连续均匀分布,其中的概率分布的神经网络参数的随机初始化是标准正态分布,和所考虑的目标函数是连续和分段仿射线性。粗略地说,在我们的数学收敛分析中的关键成分是(i)证明风险函数的全局最小值的合适集合是\emph{twice continuously differentiable submanifolds of the ANN parameter spaces},(ii)证明这些全局最小值的集合上的风险函数的Hessian满足适当的\emph{maximal rank condition},并且,此后,(iii)应用[Fehrman,B.,Gess,B.,Jentzen,A.,非凸目标函数的随机梯度下降法的收敛速度。J·马赫。学习. Res. 21(136):1- 48,2020]以建立具有随机初…
2021-08-10 cs.LG cs.NA math.NA
Generalization Performance of Empirical Risk Minimization on Over-parameterized Deep ReLU Nets
University of Sydney(悉尼大学)
在本文中,我们研究了在过参数化深度ReLU网络上实现经验风险最小化(ERM)的全局极小值的泛化性能。使用深度ReLU网络的一种新的深化方案,我们严格证明了在温和的条件下,存在完美的全局最小值,对于许多类型的数据,这些最小值几乎达到了最佳的泛化误差界。由于过度参数化对于确保深度ReLU网络上的ERM全局最小值可以通过广泛使用的随机梯度下降(SGD)算法实现至关重要,因此我们的结果确实填补了优化和泛化之间的空白。
2023-02-28 cs.LG
Mirror Descent on Reproducing Kernel Banach Spaces
University of California San Diego(加州大学圣地亚哥分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对再生核Banach空间(RKBS)中的高效优化问题,提出基于镜像下降的迭代算法,利用对偶空间梯度步长,证明了线性与标准收敛率,并构建了具有p-范数的新型RKBS族。
2024-11-18 cs.LG math.OC stat.ML
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance
Brown University(布朗大学)
神经网络在广泛的应用中提供“同类最佳”近似的能力是有据可查的。然而,如果不能有效地训练(选择)定义网络的参数,神经网络的强大表现力将化为乌有。通常,神经网络通过梯度下降型优化方法或其随机变体来训练。在实践中,这种方法导致损失函数在训练开始时迅速减小,但随后在相对少量的步骤之后显著减慢。这种损失甚至可能在大量的时期内表现为停滞,然后突然又开始快速减少,没有明显的原因。这种所谓的高原现象在许多学习任务中表现出来。目前的工作旨在确定和量化高原现象的根本原因。没有假设神经元的数量相对于训练数据的数量,我们的结果适用于懒惰和自适应制度。主要调查结果如下:平稳期对应于激活模式保持恒定的时期,其中激活模式是指激活给定神经元的数据点的数量;梯度流动动力学的收敛的量化;以及根据训练数据的子集上的局部最小二乘回归线的解来表征静止点。基于这些结论,我们提出了一种新的迭代训练方法,主动神经元最小二乘法(ANLS),其特征在于在每一步的激活模式的显式调整,其目的是使快速退出高原。说明性的数值例子包括在整个。
2020-07-14 cs.LG cs.NA math.NA
$\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space
Microsoft Research Asia(微软亚洲研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学)
众所周知,具有整流线性单元(ReLU)激活函数的神经网络是正尺度不变的。传统的算法,如随机梯度下降优化神经网络在向量空间的权重,这是,然而,不是积极的规模不变。这种不匹配可能导致优化过程中出现问题。那么,一个自然的问题是:\emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }?在本文中,我们提供了我们的肯定回答这个问题。首先,我们对正标度算子进行了形式化的研究,这些正标度算子形成了一个变换群,记为$\mathcal{G}$。我们证明了神经网络中路径的值(即沿着路径的权值的乘积)对正标度是不变的,并证明了所有路径的值向量在温和的条件下足以表示神经网络.其次,我们证明了在正标度群下,可以从所有的路中识别出一些基路,并证明了它们的值向量的线性跨度(记为$\mathcal{G}$ -空间)是一个低维不变空间.最后,我们设计了$\mathcal{G}$ -空间中的随机梯度下降算法(简称$\mathcal{G}$ -SGD),利用反向传播技术,以较小的额外代价优化神经网络的基路径值向量。我们的实…
2021-03-23 cs.LG stat.ML
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL(TML,瑞士联邦理工学院)
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学,揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
When does gradient descent with logistic loss find interpolating two-layer networks?
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
我们研究了使用逻辑损失训练有限宽度的双层平滑ReLU网络进行二进制分类。我们表明,如果初始损失足够小,梯度下降会将训练损失驱动到零。当数据满足一定的聚类和分离条件并且网络足够宽时,我们证明了梯度下降的一步足以减少第一个结果适用的损失。
2021-07-01 cs.LG math.OC stat.ML
On the Principle of Least Symmetry Breaking in Shallow ReLU Models
NYU(纽约大学);UCSB(加州大学圣塔芭芭拉分校)
本文提出浅层ReLU模型拟合中伪局部极小值遵循最少对称性破缺原理,并通过实验验证其在多种分布、激活函数和网络结构中的适用性。
2023-12-28 cs.LG stat.ML
Convergence proof for stochastic gradient descent in the training of deep neural networks with ReLU activation for constant target functions
Faculty of Mathematics, University of Duisburg-Essen(杜伊斯堡-埃森大学数学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Faculty of Mathematics and Computer Science, University of Münster(明斯特大学数学与计算机科学学院);Department of Mathematics, Politecnico di Milano(米兰理工大学数学系)
本文证明了在目标函数为常值函数且学习率足够小但非L1可加和的条件下,使用ReLU激活的全连接前馈深度神经网络训练中,普通随机梯度下降过程的风险期望随迭代步数增加收敛到零。
2023-06-22 cs.LG cs.NA math.NA
Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
Rice University(莱斯大学)
针对 Nesterov 动量在神经网络训练中的加速收敛难题,本文提出一类仅部分参数满足强凸性的新目标函数,从理论上证明其加速效果,并首次为深度 ReLU 网络等非平凡架构证明了加速收敛速率。
2024-01-05 cs.LG math.OC
Implicit Regularization in ReLU Networks with the Square Loss
Weizmann Institute of Science(魏茨曼科学研究所)
理解梯度下降的隐式正则化(或隐式偏差)是最近一个非常活跃的研究领域。然而,非线性神经网络中的隐式正则化仍然知之甚少,特别是对于回归损失,如平方损失。也许令人惊讶的是,我们证明了即使对于单个ReLU神经元,也不可能通过模型参数的任何显式函数来表征具有平方损失的隐式正则化(尽管从积极的方面来看,我们可以近似地表征它)。对于一个隐藏层网络,我们证明了一个类似的结果,一般来说,不可能以这种方式表征隐式正则化属性,除了Du et al. [2018]中确定的“平衡性”属性。我们的研究结果表明,可能需要一个更一般的框架比迄今为止考虑的理解隐式正则化的非线性预测,并提供了一些线索,这个框架应该是什么。
2021-06-08 cs.LG stat.ML
Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network
Northwestern University(西北大学)
如今,在线学习是一种吸引人的学习范式,由于最近出现的大规模应用,如在线广告投放和在线网络排名,这在实践中引起了极大的兴趣。标准的在线学习假设有限数量的样本,而在实践中,数据是无限流的。在这样的设置中,具有递减的学习率的梯度下降不起作用。我们首先介绍了滚动窗口的遗憾,这是一种新的在线流学习性能指标,它测量算法在每个固定数量的连续样本上的性能。在同一时间,我们提出了一个家庭的算法的基础上梯度下降与恒定或自适应学习率,并提供非常技术性的分析,建立遗憾的边界属性的算法。我们覆盖了凸设置,显示了在恒定和动态学习率场景中窗口大小的平方根的顺序的遗憾。我们的证明也适用于标准的在线设置,我们提供了相同的后悔订单的第一次分析(以前的证明有缺陷)。我们还研究了具有ReLU激活的两层神经网络设置。在这种情况下,我们建立,如果初始权重接近一个稳定点,相同的平方根遗憾界是可达到的。我们进行计算实验证明了所提出的算法的优越性能。
2019-11-26 cs.DS cs.LG stat.ML
Stochastic gradient descent for streaming linear and rectified linear systems with adversarial corruptions
University of California Los Angeles(加利福尼亚大学洛杉矶分校);The State University of New York at Albany(纽约州立大学奥尔巴尼分校);Princeton University(普林斯顿大学)
针对全流式场景下受Massart噪声影响的线性与ReLU回归问题,提出SGD-exp随机梯度下降方法,证明其在不同损坏率下的近线性收敛保证,是流式鲁棒ReLU回归的首个收敛结果,收敛速度优于现有鲁棒L1线性回归方法。
2025-01-17 cs.LG cs.NA math.NA
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks
Technion(以色列理工学院);Marquette University(马凯特大学)
本文研究了单隐藏层多元ReLU网络在随机梯度下降下的隐式偏差,证明了预测器拉普拉斯算子的有界性随步长增大而减小,并在MNIST上验证了该界限的紧致性,同时发现稳定的浅层网络非通用逼近器,但足够平滑的函数可被其任意逼近。
2023-06-30 cs.LG
A Modular Analysis of Provable Acceleration via Polyak's Momentum: Training a Wide ReLU Network and a Deep Linear Network
Georgia Institute of Technology(佐治亚理工学院)
在梯度下降方法中描述所谓的“动量”动态被广泛用于神经网络训练,因为已经广泛观察到,至少在经验上,它通常导致显著更快的收敛。同时,在文献中很少有理论保证来解释这种明显的加速效应。即使对于经典的强凸二次型问题,已有的结果也只是证明了Polyak动量的线性加速率是渐近的。在本文中,我们首先回顾了二次问题,并证明了一个非渐近的加速线性率的Polyak的动量。然后,我们证明了Polyak的动量在训练一层宽的ReLU网络和深度线性网络时实现了加速,这可能是文献中研究优化和深度学习的两个最流行的规范模型。Du等人2019和Wu等人2019的先前工作表明,使用香草梯度下降,并使用过度参数化,在$t$迭代后,误差衰减为$(1- Θ(\frac{1}{ κ'}))^t$,其中$κ'$是Gram矩阵的条件数。我们的结果表明,在适当选择参数的情况下,Polyak的动量有一个速率为$(1-Θ(\frac{1}{\sqrt{κ'}}))^t$ .对于深度线性网络,Hu et al. 2020的先前工作表明,香草梯度下降的速率为$(1-Θ(\frac{1}κ))^t$,其中$κ$是数据矩阵的条件数。我们的结果表明,加速率$(1- Θ(\frac{1}{\sqrtκ}))^t$是由Polyak的动量实现。在这项工作中的所有结果是从模块化分析,这可以是独立的利益。这项工作证明动量确实可以加速神经网络的训练。
2021-06-10 cs.LG math.OC stat.ML
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 2: Experiments and Analysis
Beijing University of Technology(北京工业大学)
单隐藏层ReLU网络的局部极小值的存在性在[8]中进行了理论研究。基于该理论,本文首先分析了一维高斯数据存在局部极小的概率有多大,以及它在整个权值空间中的变化情况。我们发现,这种概率在大多数地区是非常低的。然后,我们设计并实现了一个基于线性规划的方法来判断真正的局部极小值的存在,并使用它来预测是否存在坏的局部极小值的MNIST和CIFAR-10数据集,并发现有坏的可微局部极小值几乎无处不在的重量空间,一旦一些隐藏的神经元被激活的样本。这些理论预测通过实验得到验证,表明梯度下降并没有被困在它开始的细胞中。我们还进行了实验,以探索在重量空间中的可微细胞的计数和大小。
2020-06-15 cs.LG stat.ML
Learning Graph Neural Networks with Approximate Gradient Descent
Ant Group(蚂蚁集团);University at Buffalo, the State University of New York(纽约州立大学布法罗分校)
本文提出了第一个可证明有效的学习图神经网络(GNNs)的算法,该算法具有一个用于节点信息卷积的隐藏层。研究了两种类型的GNN,这取决于标签是否附加到节点或图形。开发了一个用于设计和分析GNN训练算法收敛性的综合框架。所提出的算法适用于广泛的激活函数,包括ReLU,Leaky ReLU,Sigmod,Softplus和Swish。结果表明,该算法保证了一个线性收敛速度的GNNs的底层真参数。对于这两种类型的GNN,样本复杂度的节点数或图的数量的特点。从理论上分析了特征维数和GNN结构对收敛速度的影响。数值实验进一步验证了我们的理论分析。
2020-12-07 cs.LG
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Vietnam Academy of Science and Technology(越南科学技术研究院);Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
针对ReLU深度网络训练中SGD类优化器是否高概率收敛至全局极小点的开放问题,本文证明标准、加速及自适应SGD(含Adam等)随网络宽度或深度增加会以趋于1的概率不收敛。
2025-02-15 cs.LG cs.NA math.NA
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks
IST Austria(奥地利科学技术研究所);Czech Technical University in Prague(布拉格捷克理工大学)
理解通过随机梯度下降(SGD)训练的神经网络的属性是深度学习理论的核心。在这项工作中,我们采用平均场的观点,并考虑通过SGD训练的双层ReLU网络用于单变量正则化回归问题。我们的主要结果是SGD偏向于一个简单的解决方案:在收敛时,ReLU网络实现了输入的分段线性映射,以及“结”点的数量-即,ReLU网络估计器的切线在两个连续训练输入之间变化的点最多为三个。特别地,随着网络的神经元数量的增长,SGD动态被梯度流的解捕获,并且在收敛时,权重的分布接近具有吉布斯形式的相关自由能的唯一最小值。我们的主要技术贡献包括在分析的估计,从这个最小化:我们表明,其二阶导数消失无处不在,除了在一些特定的位置代表的“结”点。我们还提供了经验证据,结的位置不同的数据点可能会发生,我们的理论预测。
2022-04-29 cs.LG stat.ML
Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity
MIT(麻省理工学院)
我们研究有限样本的表现力,即,ReLU网络的记忆能力。最近的结果需要$N$隐藏节点来存储/内插任意$N$数据点。相比之下,通过利用深度,我们证明了具有$Ω(\sqrt{N})$隐藏节点的3层ReLU网络可以完美地记住大多数具有$N$点的数据集。我们还证明了宽度$Θ(\sqrt{N})$是必要的和足够的记忆$N$数据点,证明紧边界的记忆能力。充分性结果可以扩展到更深的网络,我们表明,$L$层网络与$W$参数在隐藏层可以记住$N$数据点,如果$W = Ω(N)$。结合最近VC维上界$O(WL\log W)$,我们的构造对于任何固定的$L$都是几乎紧的.随后,我们分析了记忆能力的剩余网络的一般位置假设下,我们证明的结果,大大减少了已知的要求$N$隐藏节点。最后,我们研究了随机梯度下降(SGD)的动力学,并表明,当初始化附近的记忆全局最小的经验风险,SGD迅速找到一个附近的点与小得多的经验风险。
2019-10-29 cs.LG stat.ML
Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data
Stanford University(斯坦福大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
神经网络有许多成功的应用,但理论上的理解却少得多。为了弥合这一差距,我们研究了通过随机初始化的随机梯度下降(SGD)学习两层超参数化ReLU神经网络进行多类分类的问题。在过参数化设置中,当数据来自分离良好的分布的混合物时,我们证明了SGD学习具有小泛化误差的网络,尽管该网络有足够的容量来适应任意标签。此外,分析提供了有趣的见解学习神经网络的几个方面,并可以验证基于合成数据和MNIST数据集的实证研究。
2019-08-01 cs.LG stat.ML