Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最近的理论工作已经保证了通过梯度下降训练的过参数化网络可以实现任意低的训练误差,有时甚至是低的测试误差。然而,所需宽度在样本量$n$、(逆)目标误差$1/ε$和(逆)失效概率$1/δ$中的至少一个中始终是多项式。这项工作表明,在任何宽度超过$\mathrm{polylog}(n,1/ε,1/δ)$的双层ReLU网络上使用$\widetildeΩ(1/ε^2)$训练示例的梯度下降的$\widetildeΘ(1/ε)$迭代足以实现$ε$的测试误分类错误。我们还证明了随机梯度下降可以实现$ε$测试误差与多对数宽度和$\widetildeΘ(1/ε)$样本。该分析依赖于极限核的分离裕度,该分离裕度保证为正,可以区分真实标签和随机标签,并且可以在无限宽度设置中给出紧密的样本复杂度分析
2020-02-15 cs.LG math.OC stat.ML
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich(苏黎世联邦理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Münster(明斯特大学);Nanyang Technological University(南洋理工大学)
针对现有动力系统理论正则性条件不适用于现代机器学习的问题,本文放宽条件证明中心-稳定流形定理,证明浅层ReLU网络训练中梯度下降可避开多数鞍点,有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
A Combinatorial Perspective on the Optimization of Shallow ReLU Networks
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
优化浅层ReLU网络的NP难题可以表征为对每个训练示例的激活模式进行组合搜索,然后是给定一组固定激活模式的约束凸问题。我们在这项工作中探索了ReLU优化的这种组合方面的影响。我们表明,它可以自然地通过一个几何和组合对象被称为zonotope与其顶点集同构的一组可行的激活模式。这有助于分析,并为进一步的研究提供了基础。当我们探索最佳损失对训练数据扰动的敏感性时,我们证明了它的有用性。稍后,我们讨论的方法zonotope顶点的选择及其相关的优化。过度参数化通过使随机选择的顶点更有可能包含好的解决方案来帮助训练。然后,我们介绍了一种新的多项式时间顶点选择过程,可证明挑选一个顶点包含全局最优值,只使用两倍的最小参数,以适应数据。我们进一步介绍了一个局部贪婪搜索启发式zonotope顶点,并证明它优于梯度下降欠参数化的问题。
2022-10-01 cs.LG
Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
Department of Mathematical Sciences the University of Texas at Dallas Richardson, 75080 USA(德克萨斯大学达拉斯分校数学科学系)
本研究建立理论框架分析带可调漏性ReLU的浅层神经网络优化景观的非线性动力学,揭示分岔特性,给出k=5的示例验证,为神经网络优化研究提供理论支撑。
2026-09-02 cs.LG math.DS math.OC
On the existence of minimizers in shallow residual ReLU neural network optimization landscapes
本文证明带ReLU激活的单隐层残差神经网络在损失景观中存在极小化子,通过构造包含不连续广义响应的搜索空间闭包,并证明这些广义响应次优,从而解决了此前平滑激活函数下极小化子不存在的问题。
2024-11-19 cs.LG cs.NA math.NA
On the Approximation Properties of Random ReLU Features
University of Michigan(密歇根大学)
我们通过其再生核希尔伯特空间(RKHS)研究随机ReLU特征的近似特性。我们首先证明了一个普适性定理的随机特征,其特征映射的节点的形式在神经网络的RKHS诱导。普适性结果意味着随机ReLU特征方法是一种普遍一致的学习算法。我们证明,尽管随机ReLU特征引起了RKHS的普遍性,但其中的函数组合会产生更复杂的函数,这些函数比RKHS中的函数更难近似。我们还证明了这样的复合函数可以通过具有有界权重的多层ReLU网络有效地近似。这种深度分离结果表明,随机ReLU特征模型与浅层模型具有相同的弱点。我们在实验中表明,随机ReLU特征的性能与随机傅立叶特征的性能相当,并且通常具有较低的计算成本。我们还证明,当目标函数是深度分离定理中描述的复合函数时,3层神经网络确实优于随机ReLU特征和2层神经网络。
2019-08-16 cs.LG stat.ML
Convergence of Shallow ReLU Networks on Weakly Interacting Data
INRIA Paris(巴黎国家信息与自动化研究所);CERMICS, Ecole Nationale des Ponts et Chaussées(土木工程与建筑学院CERMICS);Ecole Nationale des Ponts et Chaussées(土木工程与建筑学院)
该研究探讨了浅层 ReLU 网络在弱相互作用数据下的收敛性,证明了在高概率下 $O(\log(n))$ 宽度的网络可实现全局收敛,并揭示了正交数据下的收敛速率相变现象。
2025-12-01 cs.AI cs.LG math.ST
Training shallow ReLU networks on noisy data using hinge loss: when do we overfit and is it benign?
UCLA(加州大学洛杉矶分校)
该研究针对含噪线性可分数据上用梯度下降和铰链损失训练的两层ReLU网络,明确了干净数据间隔对应的三种训练结果,揭示了两阶段神经元动力学,并通过组合方法证明了相关结论,深化了对良性过拟合机制的理解。
2023-11-08 cs.LG
Bayesian Free Energy of Deep ReLU Neural Network in Overparametrized Cases
Tokyo Institute of Technology(东京工业大学)
本文研究过参数化深度 ReLU 神经网络,证明其 Bayesian 自由能有界,并由此说明充分过参数化不会增加 Bayesian 泛化误差。
2023-04-20 cs.LG stat.ML
Neural Contextual Bandits with Deep Representation and Shallow Exploration
University of California, Los Angeles(加州大学洛杉矶分校);DeepMind(深度思考(DeepMind));Adobe Research(Adobe研究院)
我们研究了一般类的上下文强盗,其中每个上下文动作对与原始特征向量相关联,但奖励生成函数是未知的。我们提出了一种新的学习算法,该算法使用深度ReLU神经网络的最后一个隐藏层(深度表示学习)来转换原始特征向量,并使用上置信界(UCB)方法来探索最后一个线性层(浅层探索)。我们证明了在标准假设下,我们提出的算法实现了$\tilde{O}(\sqrt{T})$有限时间后悔,其中$T$是学习时间范围。与现有的神经上下文强盗算法相比,我们的方法是计算效率更高,因为它只需要探索在深层神经网络的最后一层。
2020-12-03 cs.LG stat.ML
Decoupling Gating from Linearity
The Hebrew University(希伯来大学)
ReLU神经网络一直是最近许多理论著作的焦点,试图解释它们的经验成功。尽管如此,目前的理论结果和经验观察之间仍然存在差距,即使是在浅(一个隐藏层)网络的情况下。例如,在记忆大小为$m$和维度为$d$的随机样本的任务中,最佳理论结果要求网络的大小为$\tildeΩ(\frac{m^2}{d})$,而根据经验,网络大小略大于$\frac{m}{d}$就足够了。为了弥合这一差距,我们转而研究ReLU网络的简化模型。我们观察到,ReLU神经元是线性函数与门的乘积(后者决定神经元是否活跃),两者共享一个联合训练的权重向量。本着这种精神,我们引入了门控线性单元(GaLU),它通过为每个角色分配不同的向量,简单地将线性度从门控中分离出来。我们表明,GaLU网络使我们能够获得比ReLU网络更强大的优化和泛化结果。具体来说,我们展示了一个记忆结果的大小为$\tildeΩ(\frac{m}{d})$的网络,并改进了泛化界。最后,我们表明,在某些情况下,GaLU网络的行为与ReLU网络相似,因此证明是简化模型的良好选择。
2019-06-12 cs.LG stat.ML
The Effects of Multi-Task Learning on ReLU Neural Network Functions
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究多任务浅层ReLU神经网络学习,证明其解在单变量输入下几乎唯一,并与Sobolev再生核希尔伯特空间的最小范数插值解一致,多变量情形下近似等价于固定核上的$\ell^2$最小化问题,揭示了神经网络与核方法的联系。
2025-02-27 cs.LG stat.ML
Can Shallow Neural Networks Beat the Curse of Dimensionality? A mean field training perspective
Princeton University(普林斯顿大学)
我们证明了两层神经网络在经验或群体风险上的梯度下降训练可能不会比平均场尺度下的$t^{-4/(d-2)}$更快地降低群体风险。因此,用于拟合合理平滑但真正高维数据的梯度下降训练可能会受到维数灾难的影响。我们提供了数值证据,证明随着维度的增加,使用一般Lipschitz目标函数的梯度下降训练变得越来越慢,但是当目标函数位于双层ReLU网络的自然函数空间中时,在所有维度上都以近似相同的速度收敛。
2020-05-21 cs.LG math.AP stat.ML
The Restricted Isometry of ReLU Networks: Generalization through Norm Concentration
Technische Universität Berlin(柏林工业大学)
虽然回归任务的目标是在整个输入空间上插入一个关系,但它们通常必须用有限的训练数据来解决。尽管如此,如果假设函数可以用数据很好地勾勒出来,人们就有希望确定一个通用模型。在这项工作中,我们引入了神经约束等距属性(NeuRIP)的一个统一的浓度事件,其中所有浅$\mathrm{ReLU}$网络绘制具有相同的质量。为了获得实现NeuRIP的样本复杂度,我们将网络的覆盖数限制在亚高斯度量中,并应用链接技术。在NeuRIP事件的情况下,我们然后提供的预期风险,这对网络在任何子水平集的经验风险的界限。我们的结论是,所有的网络具有足够小的经验风险,普遍一致。
2020-07-01 cs.LG cs.NA math.NA
Minimax rates for learning spectral Barron functions by deep ReLU neural networks
Sun Yat-sen University(中山大学)
本文研究深度ReLU神经网络对谱Barron函数的逼近与学习,给出逼近界并证明学习速率的极小极大最优性。
2026-10-01 cs.LG cs.NA math.NA
Efficiently testing local optimality and escaping saddles for ReLU networks
Massachusetts Institute of Technology(麻省理工学院)
我们提供了一种理论算法,用于检查双层ReLU网络经验风险不可微点处的局部最优性和逃逸鞍点。我们的算法接收任何参数值并返回:局部极小值值,二阶稳定点,或严格的下降方向。ReLU不可微性上$M$数据点的存在将参数空间划分为至多$2^M$区域,这使得分析变得困难。通过利用多面体几何,我们减少了总的计算到一个凸二次规划(QP)为每个隐藏节点,$O(M)$(在)平等测试,和一个(或几个)非凸QP。对于最后的QP,我们表明,我们的具体问题可以有效地解决,尽管非凸性。在良性的情况下,我们解决了一个等式约束QP,我们证明了投影梯度下降解决它的指数快速。在坏的情况下,我们必须解决更多的不等式约束QP,但我们证明了时间复杂度是指数的不等式约束的数量。实验结果表明,无论是良性的情况下,或坏的情况下,很少的不等式约束发生,这意味着我们的算法是有效的,在大多数情况下。
2019-05-29 cs.LG math.OC stat.ML
From Local Pseudorandom Generators to Hardness of Learning
The Hebrew University(希伯来大学);Google Research(谷歌研究院);Weizmann Institute of Science(魏茨曼科学研究所)
我们证明了一个很好的研究假设存在的本地伪随机发生器的学习结果的硬度。正如我们所展示的,这个假设使我们能够超越当前的技术水平,并证明各种基本问题的难度,迄今为止还没有硬度结果。我们的成果包括:在高斯分布和其他分布下学习浅ReLU神经网络的困难性;学习$ω(1)$半空间、带有$ω(1)$项的DNF公式和带有$ω(1)$隐层神经元的ReLU网络的困难性;在均匀分布下弱学习确定性有限自动机的困难性;弱学习深度- $3$布尔电路在均匀分布下的困难性,以及学习DNF公式和半空间交叉点的分布特定硬度结果。我们还建立了学习恒定数量半空间的交集的复杂性的下限,以及具有恒定数量隐藏神经元的ReLU网络。此外,我们的研究结果意味着几乎所有不适当的PAC学习问题(包括分布自由和分布特定)的硬度,以前在其他假设下表现出困难。
2021-06-08 cs.LG stat.ML
How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
本文针对第一层随机、仅末层训练的一维浅层ReLU神经网络,证明其L2正则化回归等价于函数空间二阶导数正则化,最小二乘下节点数趋于无穷时收敛于光滑样条插值,并建立早停梯度下降与光滑样条回归的对应关系。
2023-10-04 cs.LG cs.NA math.NA
Any Deep ReLU Network is Shallow
King’s College London(伦敦国王学院)
本文构造性地证明任何深度ReLU网络可等价改写为三层浅网络,并给出求取显式权重的算法,所得浅层网络透明且可用于解释模型行为。
2023-06-20 cs.AI cs.LG stat.ML
Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression
该研究分析单变量回归下浅层神经网络镜像流的隐式偏差,证明宽网络下镜像流的惰性训练特性,刻画ReLU网络的偏差形式,引入缩放势并揭示其对偏差的调控作用,拓展了已有梯度流相关结论。
2025-03-19 cs.LG stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology(佐治亚理工学院)
本文通过原始-对偶分析,研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差,证明其以高概率近似最小ℓ2范数解,差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Gradient Dynamics of Shallow Univariate ReLU Networks
New York University(纽约大学)
我们对一维输入的过参数化浅层ReLU网络的梯度动力学进行了理论和实证研究,解决了最小二乘插值。我们表明,这种网络的梯度动力学是由网络函数的非冗余参数化中的梯度流决定的。我们研究这个梯度流的主要定性特征。特别是,我们确定两个学习制度的条件:内核和自适应,这取决于在不同层的权重初始化的相对大小和初始化系数的渐近行为在大的网络宽度的限制。我们表明,学习的内核政权产生光滑的插值,曲率最小化,并减少到三次样条均匀初始化。自适应机制中的学习更倾向于线性样条,其中节点在样本点处自适应地聚类。
2019-06-18 cs.LG stat.ML
Improved Convergence Guarantees for Shallow Neural Networks
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Steklov Mathematical Institute(斯捷克洛夫数学研究所)
我们继续进行一系列研究,旨在证明通过梯度下降训练的深度2神经网络收敛到全局最小值。与许多以前的工作一样,我们的模型具有以下特征:二次损失函数回归,全连接前馈架构,RelU激活,高斯数据实例和网络初始化,对抗标签。更一般的是,我们允许同时以{ \em different}速率训练两个层。我们的结果改进了最先进的[Oymak Soltanolkotabi 20](仅训练第一层)和[Nguyen 21,第3.2节](用Le Cun的初始化训练两层)。我们还报告了几个简单的实验与合成数据。他们强烈地表明,至少在我们的模型中,趋同现象远远超出了“NTK制度”。
2022-12-05 cs.LG
Generalized Activation via Multivariate Projection
Tsinghua University(清华大学)
该研究受投影梯度下降与浅层前馈神经网络的结构相似性启发,提出基于凸锥广义投影的多输入多输出激活函数MPU,理论证明其表达能力优于ReLU,实验验证其效果优于多种现有激活函数。
2024-01-27 cs.LG
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数,从NTK近似视角证明早停规则能实现minimax最优收敛速率,并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
Texas A&M University(德克萨斯农工大学)
在本文中,我们研究了具有单个隐藏层和ReLU激活的神经网络如何插值从径向对称分布中提取的数据,其中目标标签1位于原点,0位于单位球外部,如果单位球内部没有标签。通过权值衰减正则化,在无限数据极限下,证明了存在唯一的径向对称极小元,其权值衰减正则化子和Lipschitz常数分别以$d$和$\sqrt{d}$的形式增长.我们还表明,重量衰减正则化增长指数$d$如果标签$1$施加在一个球的半径$\varepsilon$,而不仅仅是在原点。相比之下,具有两个隐藏层的神经网络可以近似目标函数而不会遇到维数灾难。
2022-09-02 cs.LG stat.ML
Rates of Approximation by ReLU Shallow Neural Networks
Claremont Graduate University(克莱蒙特研究生大学);University of Sydney(悉尼大学)
针对单隐藏层ReLU浅层神经网络逼近Hölder空间函数的速率这一未解决问题,本文推导得出其一致逼近速率,该速率在高维下接近最优值,为理解浅层网络学习算法效率提供了理论支撑。
2023-07-24 cs.LG stat.ML
Ridgeless Interpolation with Shallow ReLU Networks in $1D$ is Nearest Neighbor Curvature Extrapolation and Provably Generalizes on Lipschitz Functions
Princeton University(普林斯顿大学)
我们证明了所有单层ReLU网络$z(x;θ)$的精确几何描述,该网络具有单个线性单元和输入/输出维度,该维度等于内插给定数据集$\mathcal D=\{(x_i,f(x_i))\}$的1,并且在所有此类内插中,最小化神经元权重的$\ell_2$范数。这样的网络可以直观地被认为是那些最小化$\mathcal D$上的均方误差加上无穷小的权重衰减惩罚的网络。因此,我们将它们称为无脊ReLU插值。我们的描述证明,为了外推位于两个连续数据点之间的输入$x\in (x_i,x_{i+1})$的值$z(x;θ)$,无脊ReLU插值简单地比较$x_i$和$x_{i+1}$处的$f$的曲率的离散估计的符号,$x_{i+1}$源自数据集$\mathcal D$。如果$x_i$和$x_{i+1}$的曲率估计值具有不同的符号,则$z(x;θ)$必须在$(x_i,x_{i+1})$上是线性的。相反,如果在$x_i$和$x_{i+1}$处的曲率估计都是正的(分别为负的),则$z(x;θ)$是凸的(分别凹的)在$(x_i,x_{i+1})$上。我们的研究结果表明,无脊ReLU插值实现了学习$1d$ Lipschitz函数的最佳泛化,直到通用常数。
2021-09-27 cs.LG stat.ML
Improved Overparametrization Bounds for Global Convergence of Stochastic Gradient Descent for Shallow Neural Networks
Institute of Informatics, University of Warsaw(华沙大学信息学研究所)
研究了一类单隐层前馈神经网络的随机梯度下降算法全局收敛所需的过参数化界,考虑了实际中使用的大多数激活函数,包括ReLU.我们改进了现有的国家的最先进的结果方面所需的隐藏层的宽度。我们介绍了一种新的证明技术相结合的非线性分析与网络的随机初始化的性质。首先,我们建立了微分包含作为梯度流的非光滑模拟的MSE损失的连续解的全局收敛性。其次,我们提供了一个技术性的结果(也适用于一般逼近器),将上述微分包含的解与(离散的)随机梯度下降序列相关联,从而建立了随机梯度下降迭代向零损失的线性收敛。
2022-11-16 cs.LG math.OC
Deep Gated Networks: A framework to understand training and generalisation in deep learning
Indian Institute of Technology Palakkad(帕拉克卡德印度理工学院)
理解(随机)梯度下降(SGD)在具有ReLU激活的深度神经网络(DNN)的训练和泛化中的作用一直是最近的研究对象。在本文中,我们使用深度门控网络(DGN)作为框架,以获得有关具有ReLU激活的DNN的见解。在DGN中,单个神经元单元具有两个分量,即预激活输入(等于层和前一层输出的权重的内积)和属于$[0,1]$的门控值,并且神经元单元的输出等于预激活输入与门控值的乘积。具有ReLU激活的标准DNN是DGN的特殊情况,其中门控值是基于预激活输入是正还是负的$1/0$。我们从理论上分析和实验了几种不同的DGN,每种变体都适合理解带有ReLU激活的DNN中训练或泛化的特定方面。我们的理论揭示了两个问题,即i)为什么增加深度直到一个点有助于训练,ii)为什么增加深度超过一个点会伤害训练?我们还提出了实验证据表明,门适应,即,在训练过程中门控值的变化是推广的关键。
2020-03-02 cs.AI cs.LG stat.ML
On the existence of optimal shallow feedforward networks with ReLU activation
本文证明ReLU浅层前馈网络逼近连续函数时存在全局最优解,并通过构造搜索空间闭包及比较扩展函数性能,说明最优响应仍由ReLU网络实现。
2023-03-06 cs.LG cs.NA math.NA
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA(加州大学洛杉矶分校);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Institute for Advanced Study(普林斯顿高等研究院)
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题,即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线,但一个关键的挑战是将学习保证带回到有限神经元设置中,在那里实际算法可以运行。为了缩小这一差距,并专注于浅神经网络,在这项工作中,我们研究了不同的正则化策略的能力,以捕获只需要有限数量的神经元的解决方案,即使在无限宽的政权。具体来说,我们考虑(i)通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19],和(ii)变分范数正则化[巴赫~17],兼容的平均场标度。在对激活函数的温和假设下(例如满足ReLU),我们建立了两种方案都是由只有有限数量的神经元的函数最小化的,而不管过度参数化的量。我们研究的后果,这种属性和描述的设置,其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
神经网络(NN)的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜,我们研究了浅单变量ReLU NN的学习动态,为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构,包括其临界点和不动点,海森,和海森谱。我们还表明,标准的权重初始化产生非常平坦的函数,这种平坦性,加上overparametrization和初始权重规模,是负责隐式正则化的强度和类型,与最近的工作arXiv:1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv:1906.07842的补充,该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果,但以更直观和透明的方式。展望未来,我们基于样条的方法很可能会自然地扩展到多元和深层环境,并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University(得克萨斯农工大学);University of Toronto(多伦多大学)
我们证明了在有限的深度和宽度上,随机初始化ReLU网络中神经切线核(NTK)的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此,即使在无限overparameterization的限制,NTK是不确定的,如果深度和宽度同时趋于无穷大。此外,我们证明,对于这样的深度和广度的网络,NTK在训练过程中有一个非平凡的演变,表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明,与相对较浅和较宽的网络不同,深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
Topology of deep neural networks
University of Chicago(芝加哥大学);Technion – Israel Institute of Technology(以色列理工学院)
我们研究了数据集$M = M_a \cup M_b \subseteq \mathbb{R}^d$的拓扑结构,在二进制分类问题中表示两个类$a$和$b$,当它通过训练有素的神经网络的层时,即,在训练集上具有完美的精度和接近零的泛化误差($\approx 0.01\%$)。我们的目标是揭示深度神经网络中的两个谜团:(i)像ReLU这样的非光滑激活函数优于像双曲正切这样的光滑激活函数;(ii)成功的神经网络架构依赖于具有许多层,即使浅层网络可以很好地近似任何函数。我们进行了广泛的持久性同源性的点云数据集,真实的和模拟的实验。结果一致表明:(1)神经网络通过改变拓扑结构来运行,当它通过层时,将拓扑复杂的数据集转换为拓扑简单的数据集。无论$M$的拓扑结构有多复杂,当它通过一个经过良好训练的神经网络$f : \mathbb{R}^d \to \mathbb{R}^p$时,$M_a$和$M_b$的Betti数都会大大减少;事实上,它们几乎总是减少到它们可能的最低值:$k \ge 1$的$β_k\bigl(f(M_i)\bigr) = 0$和$β_0\bigl(f(M_i)\bigr) = 1$,$i =a, b$。此外,(2)ReLU激活的Betti数的减少明显快于双曲正切激活,因为前者定义了改变拓扑的非同胚映射,而后者定义了保持拓扑的同胚映射。最后,(3)浅网络和深网络对数据集的转换方式不同…
2020-04-13 cs.LG math.AT stat.ML
The dynamics of representation learning in shallow, non-linear autoencoders
Ecole Normale Supérieure(巴黎高等师范学院);EPFL(洛桑联邦理工学院);International School of Advanced Studies (SISSA)(国际高等研究学院)
自编码器是无监督学习中最简单的神经网络,因此是研究特征学习的理想框架。虽然最近人们对线性自动编码器的动态特性有了详细的了解,但非线性自动编码器的研究一直受到处理具有非平凡相关性的训练数据的技术困难的阻碍--这是特征提取的基本先决条件。在这里,我们研究了非线性浅层自动编码器中特征学习的动态特性。我们推导出一组渐近精确的方程,描述了在高维输入的限制下用随机梯度下降(SGD)训练的自编码器的泛化动态。这些方程揭示了自动编码器顺序地学习其输入的主要成分。对长时间动态的分析解释了S形自动编码器无法使用绑定权重进行学习的原因,并强调了在ReLU自动编码器中训练偏差的重要性。基于线性网络的先前结果,我们分析了香草SGD算法的修改,该算法允许学习精确的主成分。最后,我们证明了我们的方程准确地描述了非线性自动编码器在CIFAR 10等现实数据集上的泛化动态。
2022-06-16 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks
Mathematical Institute for Machine Learning and Data Science, KU Eichstätt-Ingolstadt(机器学习与数据科学数学研究所,埃施特哈特-英戈尔施塔特大学);Department of Computer Science, RPTU Kaiserslautern-Landau(计算机科学系,凯撒斯劳滕-兰道大学);Department of Mathematics, University of Hong Kong(数学系,香港大学);School of Mathematics and Statistics, University of Sydney(数学与统计学学院,悉尼大学)
本文针对深度ReLU网络,在神经正切核(NTK)机制下,首次建立了梯度下降(GD)和随机梯度下降(SGD)的极小化最优泛化误差速率,证明宽度足够时可达核方法的最优速率。
2026-06-04 cs.AI cs.LG stat.ML
Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis
University of Michigan(密歇根大学);Facebook, Inc.(Facebook公司);Princeton University(普林斯顿大学)
我们研究鲁棒的一位压缩感知问题,其目标是设计一种算法,通过$m$量化的噪声测量忠实地恢复任何稀疏目标向量$θ_0\in\mathbb{R}^d$ \textit{uniformly}。具体地,我们考虑用于该问题的新框架,其中稀疏性通过将低维表示$x_0 \in \mathbb{R}^k$映射通过已知的$n$层ReLU生成网络$G:\mathbb{R}^k\rightarrow\mathbb{R}^d$来隐式地实施,使得$θ_0 = G(x_0)$。这样一个框架构成低维先验$θ_0$没有一个已知的稀疏性基础。我们建议恢复目标$G(x_0)$解决无约束的经验风险最小化(ERM)。在弱\textit{sub-exponential measurement assumption}下,我们建立了一个联合统计和计算分析。特别是,我们证明,在这个新的框架中的ERM估计达到了统计率的$m=\widetilde{\mathcal{O}}(kn \log d /\varepsilon^2)$恢复任何$G(x_0)$均匀的错误$\varepsilon$。当网络较浅时(即,$n$是小的),我们表明,这个速率匹配的信息理论下限的对数因子的$\varepsilon^{-1}$。从计算的角度,我们证明了在适当的网络权重条件下,我们提出的经验风险,尽管非凸,没有真正的表示$x_0$及其负倍数周围的小邻域外的稳定点…
2020-08-22 cs.LG math.ST stat.ML
Nonparametric regression using over-parameterized shallow ReLU neural networks
City University of Hong Kong(香港城市大学);University of Sydney(悉尼大学)
本文证明在适当约束或正则化权重且网络宽度足够大时,过参数化浅层 ReLU 神经网络在非参数回归中可实现极大化极小最优收敛速度,并推导出局部 Rademacher 复杂度的新界限。
2024-05-15 cs.LG math.ST stat.ML
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
神经网络成功的奥秘之一是随机初始化的一阶方法,如梯度下降,即使目标函数是非凸和非光滑的,也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络,我们证明了只要$m$足够大并且没有两个输入是并行的,随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察:过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化,这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
How degenerate is the parametrization of neural networks with the ReLU activation function?
University of Vienna(维也纳大学)
神经网络训练通常通过使用随机梯度下降求解非凸优化问题来完成。尽管对网络参数进行了优化,但主损失函数通常仅取决于神经网络的实现,即它计算的函数。研究实现空间上的优化问题为理解神经网络训练开辟了新的途径。特别是,通常的损失函数,如均方误差和分类交叉熵在神经网络实现的空间上是凸的,它们本身是非凸的。神经网络的逼近能力可以用来处理后者的非凸性,这使我们能够建立,对于足够大的网络的局部极小值的正则化优化问题的实现空间几乎是最优的。然而,请注意,每个实现都有许多不同的、可能退化的参数化。特别地,参数化空间中的局部最小值不需要对应于实现空间中的局部最小值。为了建立这样的连接,需要实现映射的逆稳定性,这意味着实现的接近必须意味着相应参数化的接近。我们提出的病理,防止逆稳定的一般,并为浅网络,着手建立一个限制空间的参数化,我们有逆稳定w.r.t.索伯列夫范数此外,我们表明,通过优化这样的限制集,它仍然是可以学习任何功能,可以通过优化非限制集学习。
2023-02-08 cs.LG math.FA math.OC
Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry
NYU(纽约大学);UCSB(加州大学圣巴巴拉分校)
我们考虑与拟合双层ReLU网络相关的优化问题,其中标签由目标网络生成。我们利用丰富的对称性结构,分析表征的Hessian在各种家庭的虚假最小值的自然政权的输入$d$和隐藏的神经元$k$的数量是有限的。特别地,我们证明了对于$d\ge k$标准高斯输入:(a)的$dk$特征值的Hessian,$dk - O(d)$集中在零附近,(b)$Ω(d)$的特征值与$k$线性增长。虽然这种极其扭曲的光谱现象以前已经被观察过很多次,但据我们所知,这是第一次被严格地确立。我们的分析方法使用的技术,新的领域,从对称性破缺和表示理论,并进行重要的影响,我们的能力,通过局部曲率的统计推广。
2020-10-15 cs.LG math.OC stat.ML
On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Münster(明斯特大学)
在这篇文章中,我们研究了具有任意大量隐藏层的全连接前馈深度ReLU ANN,并且我们证明了在所考虑的监督学习问题的输入数据的概率分布的未归一化密度函数是分段多项式的假设下,在这种ANN的训练中具有随机初始化的GD最优化方法的风险的收敛性,假设目标函数(描述输入数据和输出数据之间的关系)是分段多项式,并且假设所考虑的监督学习问题的风险函数至少允许一个正则全局最小值。此外,在只有一个隐藏层和一维输入的浅人工神经网络的特殊情况下,我们也验证了这一假设,证明在训练这样的浅人工神经网络,对于每个Lipschitz连续目标函数存在一个全局最小值的风险景观。最后,在使用ReLU激活的深度ANN的训练中,我们还研究了梯度流(GF)微分方程的解,并证明了每个非发散GF轨迹都以多项式收敛速率收敛到临界点(在限制Fréchet次可微性的意义上)。我们的数学收敛分析建立在我们以前的文章Eberle等人的思想基础上,基于来自实代数几何的工具,例如半代数函数和广义Kurdyka-Lojasiewicz不等式的概念,基于来自泛函分析的工具,例如Arzelà-Ascoli定理,基于来自非光滑分析的工具,例如极限Fréchet次梯度的概念,以及具有固定架构的浅ReLU ANN的实现函数的集合形成连续函数的集合的闭子集的事实Petersen et al.
2022-07-13 cs.LG cs.NA math.NA
Approximation capabilities of neural networks on unbounded domains
PAG Investment Solutions(PAG投资解决方案公司);Hunan University(湖南大学);Xiaoxiang Research Institute of Big Data(潇湘大数据研究院)
在本文中,我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0,1]^n上的任何L^p(p>=2)可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络不表示定义在欧几里得平面上的非零可积函数。再加上最近的一个结果,即深度ReLU网络可以任意地逼近欧几里得空间上的任何可积函数,我们为ReLU网络中多个隐藏层的优势提供了一个新的视角。最后,我们证明深度为3的ReLU网络是L^p(R^n)中的通用近似器。
2021-10-09 cs.LG stat.ML
Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform
本文利用Radon变换和差异理论,证明了浅层ReLU$^k$网络在Sobolev空间上达到近乎最优的逼近率,并推广了现有结果,揭示了其适应性带来的优势。
2025-10-16 cs.LG cs.NA math.NA
Component-based Sketching for Deep ReLU Nets
School of Science, China Jiliang University(中国计量大学理学院)
针对深度网络优化与泛化不一致问题,提出基于深度网络组件的草图方法,将训练转化为线性经验风险最小化问题,理论证明其达到几乎最优泛化误差界,实验显示在降低训练成本的同时提升了泛化性能。
2024-09-21 cs.LG math.ST stat.TH
Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
School of Mathematical Sciences Fudan University(复旦大学数学学院);School of Mathematical Sciences Institute of Natural Sciences and MOE-LSC Shanghai Jiao Tong University(上海交通大学数学学院、自然科学研究院和教育部低维量子体系科学重点实验室);School of Mathematical Sciences Shanghai Key Laboratory for Contemporary Applied Mathematics Fudan University(复旦大学上海当代应用数学重点实验室数学学院)
本文研究浅层ReLU$^s$网络在$L^p$型空间和Sobolev空间中的逼近能力,并通过$\ell_1$路径范数控制实现非参数回归的极小化最优泛化误差。
2026-05-25 cs.LG stat.ML
Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们研究了使用浅层ReLU神经网络从噪声数据中估计未知函数的问题。我们研究的估计量最小化平方数据拟合误差的总和加上与网络权重的平方欧几里德范数成比例的正则化项。这种最小化对应于训练具有权重衰减的神经网络的常见方法。我们量化的性能(均方误差)时,这些神经网络估计的数据生成函数属于二阶Radon域有界变差空间。这个函数空间最近被提出作为与浅层ReLU神经网络相关的自然函数空间。我们推导出这个函数空间的估计问题的极大极小下界,并证明了神经网络估计是极大极小最优的对数因子。这种极大极小化率不受维数灾难的影响。我们量化了神经网络和线性方法(包括核方法)之间的明确差距,推导出一个线性极小极大估计问题的下限,表明线性方法必然遭受灾难的维数在这个函数空间。因此,本文揭示了神经网络似乎打破了维数灾难的现象。
2022-10-12 cs.LG math.ST stat.ML
On the Convergence of Shallow Neural Network Training with Randomly Masked Neurons
Rice University(莱斯大学)
为了训练神经网络的所有参数,我们研究了为什么以及何时可以通过迭代地创建,训练和组合随机选择的子网络来实现这一点。最近的文献中或隐或显地出现了这种情况:例如,Dropout系列正则化技术,或者一些分布式ML训练协议,可以降低通信/计算复杂性,例如独立子网训练协议。虽然这些方法是经验研究和在实践中使用,他们往往享有部分或没有理论支持,特别是当应用于神经网络为基础的目标。在本文中,我们的重点是在懒惰训练机制中使用ReLU激活的过参数化单隐藏层神经网络。通过仔细分析$i)$子网络的神经切线核,$ii)$代理函数的梯度,以及$iii)$如何采样和组合代理函数,我们证明了线性收敛速度的训练误差-最佳点附近-一个超参数化的单隐层感知器的回归损失。我们的分析揭示了最优点周围的邻域大小对每个选定子网络的代理模型数量和局部训练步骤数量的依赖性。此外,所考虑的框架概括并提供了关于辍学训练,多样本辍学训练以及独立子网训练的新见解;对于每种情况,我们都提供了收敛结果作为我们的主要定理的推论。
2022-08-12 cs.LG
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation
Harvard University(哈佛大学)
本研究探讨了 ReLU 神经网络逼近多元单项式所需神经元数量,证明了浅层网络逼近乘积函数存在指数下界,揭示了网络表达能力更依赖于深度而非整体复杂度。
2023-05-16 cs.LG stat.ML
Neural network integral representations with the ReLU activation function
Oak Ridge National Laboratory(橡树岭国家实验室);University of Tennessee at Knoxville(田纳西大学诺克斯维尔分校)
在这项工作中,我们推导出一个公式,用于使用ReLU激活函数的浅层神经网络的积分表示。我们假设外权允许球面上关于Lebesgue测度的有限$L_1$ -范数.对于单变量目标函数,我们进一步提供了所有可能表示的封闭形式公式。此外,在这种情况下,我们的公式允许一个显式解决最小$L_1$规范神经网络表示为一个给定的功能。
2020-06-11 cs.LG stat.ML
Towards moderate overparameterization: global convergence guarantees for training shallow neural networks
University of California, Riverside(加州大学河滨分校);University of Southern California(南加州大学)
许多现代神经网络架构都是在过参数化的机制中训练的,其中模型的参数超过了训练数据集的大小。充分过参数化的神经网络架构原则上具有拟合包括随机噪声的任何标签集合的能力。然而,考虑到训练环境的高度非凸性,尚不清楚一阶方法需要什么水平和种类的过参数化才能收敛到完美插值任何标签的全局最优值。最近的一些理论工作表明,对于非常宽的神经网络,其中隐藏单元的数量在训练数据的大小中是多项式大的,从随机初始化开始的梯度下降确实收敛到全局最优值。然而,在实践中,更适度的过度参数化水平似乎是足够的,并且在许多情况下,一旦参数的数量超过训练数据的大小恒定因子,过度参数化模型似乎就完美地内插训练数据。因此,现有的理论文献和实际实验之间存在着巨大的差距。在本文中,我们将采取措施缩小这一差距。聚焦于浅层神经网络和平滑激活,我们表明,(随机)梯度下降,当初始化随机收敛到一个几何速率附近的全局最优值,只要平方根的网络参数的数量超过的大小的训练数据。我们的结果还受益于快速的收敛速度,并继续适用于不可微的激活,如整流线性单元(ReLU)。
2019-02-12 cs.IT cs.LG math.IT
Solving the Poisson Equation with Dirichlet data by shallow ReLU$^α$-networks: A regularity and approximation perspective
本文从正则性与函数逼近角度,分析单隐藏层 ReLU$^α$ 网络在边界条件可高效逼近时,对带 Dirichlet 边界条件的半空间椭圆型 PDE 解的表示能力。
2024-12-10 math.AP stat.ML
A Counterexample to Fourier Alignment in Single-Neuron Modular Addition
该研究针对MAIS-O60问题构造反例,证明单神经元模加法训练中傅里叶对齐不成立,且失效情况在多种条件下普遍存在。
2026-08-07 cs.LG cs.NE math.OC