Initialization of ReLUs for Dynamical Isometry
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；ETH Zurich（苏黎世联邦理工学院）
深度学习依赖于在训练神经网络之前良好的初始化方案和超参数选择。随机权重初始化会导致随机网络集成，这会提高实例的可训练性、训练速度，有时还会提高实例的泛化能力。此外，这种集成提供了对候选模型空间的理论见解，其中一个在训练期间被选择。到目前为止所获得的结果依赖于平均场近似，假设无限层的宽度和研究平均平方信号。我们推导出联合信号输出分布准确，没有平均场假设，为全连接的网络与高斯权重和偏见，并分析偏离平均场的结果。对于整流线性单元，我们进一步讨论了标准初始化方案的局限性，如缺乏动态等距，并提出了一个简单的替代方案，克服了这些初始参数共享。
2019-10-24 cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
神经网络（NN）的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜，我们研究了浅单变量ReLU NN的学习动态，为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构，包括其临界点和不动点，海森，和海森谱。我们还表明，标准的权重初始化产生非常平坦的函数，这种平坦性，加上overparametrization和初始权重规模，是负责隐式正则化的强度和类型，与最近的工作arXiv：1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv：1906.07842的补充，该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果，但以更直观和透明的方式。展望未来，我们基于样条的方法很可能会自然地扩展到多元和深层环境，并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
Gradient Dynamics of Shallow Univariate ReLU Networks
New York University（纽约大学）
我们对一维输入的过参数化浅层ReLU网络的梯度动力学进行了理论和实证研究，解决了最小二乘插值。我们表明，这种网络的梯度动力学是由网络函数的非冗余参数化中的梯度流决定的。我们研究这个梯度流的主要定性特征。特别是，我们确定两个学习制度的条件：内核和自适应，这取决于在不同层的权重初始化的相对大小和初始化系数的渐近行为在大的网络宽度的限制。我们表明，学习的内核政权产生光滑的插值，曲率最小化，并减少到三次样条均匀初始化。自适应机制中的学习更倾向于线性样条，其中节点在样本点处自适应地聚类。
2019-06-18 cs.LG stat.ML
Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers
Zhejiang University（浙江大学）；University of Michigan（密歇根大学）；University of Hong Kong（香港大学）
本文研究两层完全可训练 ReLU CNN 的良性过拟合，揭示输出层初始化缩放对训练动态的决定作用，并给出近乎匹配的测试误差上下界及 SNR 条件。
2024-10-24 cs.LG stat.ML
The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Guelph（圭尔夫大学）
理论结果表明，神经网络在无限宽极限下可以用高斯过程来逼近。然而，对于完全连接的网络，之前已经表明，对于任何固定的网络宽度$n$，随着网络深度$d$的增加，高斯近似变得更差。考虑到现代网络的深度，这就提出了一个问题，即像ResNet这样的现代架构在多大程度上被无限宽度的限制所捕获。为了提供更好的近似，我们研究了无限深度和宽度限制下的ReLU ResNet，其中深度和宽度都趋于无穷大，因为它们的比率$d/n$保持不变。与高斯无限宽极限相反，我们从理论上证明了网络在无限深宽极限的初始化时表现出对数高斯行为，参数取决于比率$d/n$。使用蒙特卡罗模拟，我们证明了即使是标准ResNet架构的基本属性也不能很好地被高斯极限捕获，但可以很好地被我们的对数高斯极限捕获。此外，我们的分析表明，ReLU ResNet在初始化时是低激活的：只有不到一半的ReLU被激活。此外，我们还计算了层间相关性，它具有指数增加网络输出方差的效果。基于我们的分析，我们引入了平衡ResNets，这是一种简单的架构修改，它消除了低激活和层间相关性，更适合理论分析。
2021-10-27 cs.LG stat.ML
Large-width asymptotics for ReLU neural networks with $α$-Stable initializations
University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Bocconi University（博科尼大学）；Cogent Labs（Cogent实验室）
近年来，关于高斯神经网络（NN）的大宽度渐近性质的文献越来越多，即其权重初始化为高斯分布的NN。两个普遍的问题是：i）神经网络的大宽度分布的研究，其特征在于重新标度的神经网络在高斯随机过程方面的无限宽极限; ii）NN的大宽度训练动力学的研究，其根据被称为神经切线核（NTK）的确定性核来表征无限宽的动力学，并且表明，对于足够大的宽度，梯度下降以线性速率实现零训练误差。在本文中，我们认为这些问题的$α$ -稳定的神经网络，即神经网络的权重初始化为$α$ -稳定分布与$α\in(0,2]$。首先，对于具有ReLU激活函数的$α$ -稳定NN，我们证明了如果NN的宽度趋于无穷大，则重新缩放的NN弱收敛于$α$ -稳定随机过程。与高斯设置不同的是，我们的结果表明激活函数的选择会影响NN的缩放，也就是说：为了实现无限宽的$α$ -稳定过程，ReLU激活需要在次线性激活的缩放中增加一个对数项。然后，我们研究了$α$ -Stable ReLU-NN的大宽度训练动力学，用随机核来表征无限宽的动力学，称为$α$ -Stable NTK，并表明，对于足够大的宽度，梯度下降以线性速率实现零训练误差。$α$ -稳定NTK的随机性与高斯设置有进一步的不同，即：在$α$ -稳定设置中，NN在初始化时的随机性在训练的大宽度区域中不会消失。
2023-01-04 cs.LG math.ST stat.ML
Symmetric Matrix Completion with ReLU Sampling
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）；University of Michigan（密歇根大学）；Michigan State University（密歇根州立大学）
本文研究ReLU采样下的对称半正定低秩矩阵补全问题，证明非凸目标在植入解附近具有测地强凸性，并提出一种定制初始化方法使梯度下降始终收敛到全局最优。
2024-06-09 cs.LG stat.ML
A Sober Look at Neural Network Initializations
Institute for Stochastics and Applications（随机数学及其应用研究所）；Faculty 8: Mathematics and Physics（第8学院：数学与物理学院）；University of Stuttgart（斯图加特大学）
初始化权值和偏置是神经网络训练过程的关键部分。然而，与随后的优化阶段不同，初始化阶段在文献中只得到了有限的关注。在本文中，我们讨论了使用ReLU激活的vanilla DNN常用初始化策略的一些后果。基于这些见解，我们然后开发一个替代的初始化策略。最后，我们提出了一些大规模实验来评估新初始化策略的质量。
2019-09-04 cs.LG stat.ML
Affine Geometry of Gaussian ReLU Networks via Conditional Kac-Rice Formulas
Middle East Technical University（中东技术大学）；Aarhus University（奥胡斯大学）
本文通过条件Kac-Rice公式研究有限ReLU网络仿射几何，发现训练重新分配而非仅收缩仿射复杂度，并在乳腺癌数据上验证了开关计数预测。
2026-09-29 cs.LG math.PR stat.ML
Training Two-Layer ReLU Networks with Gradient Descent is Inconsistent
University of Stuttgart（斯图加特大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute for Stochastics and Applications（随机过程与应用研究所）
我们证明了由He等人（2015）提出的广泛使用的方法初始化并使用最小二乘损失梯度下降训练的双层（Leaky）ReLU网络并不普遍一致。具体来说，我们描述了一大类一维数据生成分布，对于这些分布，梯度下降很有可能只找到优化景观的一个糟糕的局部最小值，因为它无法将偏差远离它们的初始值零。事实证明，在这些情况下，即使目标函数是非线性的，所发现的网络也基本上执行线性回归。我们进一步提供了数值证据，证明这种情况发生在实际情况下，对于一些多维分布和随机梯度下降表现出类似的行为。我们还提供了关于初始化和优化器的选择如何影响这种行为的实证结果。
2022-06-08 cs.LG stat.ML
Path-conditioned training: a principled way to rescale ReLU neural networks
Université de Lyon（里昂大学）；CNRS（法国国家科学研究中心）
本文提出一种基于路径提升框架的几何准则来缩放ReLU网络参数，通过最小化该准则实现核对齐，从而加速训练。
2026-06-03 cs.LG math.OC stat.ML
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data
UC Berkeley（加州大学伯克利分校）；TTI Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）；Google（谷歌）；University of Michigan（密歇根大学）
基于梯度的优化算法的隐式偏差被证明是现代深度学习成功的主要因素。在这项工作中，我们研究了当训练数据接近正交时，具有泄漏ReLU激活的两层全连接神经网络中梯度流和梯度下降的隐式偏差，这是高维数据的一个常见属性。对于梯度流，我们利用最近的工作，同质神经网络的隐式偏差，渐近，梯度流产生一个神经网络的秩最多为2。此外，该网络是一个$\ell_2$ -最大余量解决方案（在参数空间中），并具有一个线性决策边界，对应于一个近似的最大余量线性预测。对于梯度下降，如果随机初始化方差足够小，我们证明了梯度下降的单步的足以大幅降低网络的秩，并且在整个训练过程中秩保持较小。我们提供的实验表明，一个小的初始化规模是很重要的发现低秩神经网络与梯度下降。
2022-10-13 cs.LG stat.ML
Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations
University of Minnesota（明尼苏达大学）
本文分析深度齐次神经网络在小初始化下的梯度流，证明早期权重方向近似收敛于神经相关函数的 KKT 点，并刻画多种激活函数下秩一 KKT 点的条件。
2025-03-14 cs.LG math.OC stat.ML
Deep ReLU Networks Have Surprisingly Few Activation Patterns
Facebook AI Research（Facebook人工智能研究院）；Texas A&M University（得克萨斯农工大学）；University of Pennsylvania（宾夕法尼亚大学）
深度网络的成功部分归功于它们的表达能力：每个参数，深度网络可以近似比浅层网络更丰富的函数类。在ReLU网络中，激活模式的数量是表达能力的一个衡量标准;最大模式数量随着深度呈指数增长。然而，最近的研究表明，深度网络的实际表达能力--它们可以学习而不是表达的功能--往往远远没有达到理论上的最大值。在本文中，我们证明了ReLU网络在初始化时激活模式的平均数量受提升到输入维度的神经元总数的限制。我们的经验表明，这个界限，这是独立的深度，是紧在初始化和训练过程中，即使在记忆任务，应该最大限度地提高激活模式的数量。我们的工作表明，实现深度网络的完全表达能力在实践中可能是不可能的，至少用目前的方法是这样。
2019-10-20 cs.LG math.ST stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Using activation histograms to bound the number of affine regions in ReLU feed-forward neural networks
ReLU前馈神经网络的最大仿射区域数量的几个当前界限是框架[1]的特殊情况，该框架依赖于逐层激活直方图界限。我们分析和部分解决代数拓扑的解决方案，将充分利用这个框架中的问题。我们的部分解决方案已经诱导稍微紧的界限，并建议洞察参数初始化方法如何影响区域的数量。此外，我们扩展了框架，以允许组成的子网络，而不是逐层激活直方图的界限，以减少所需的组合物的数量，这会对所得到的界限的紧密性产生负面影响。
2021-04-08 cs.LG stat.ML
Learning One-hidden-layer ReLU Networks via Gradient Descent
University of Virginia（弗吉尼亚大学）
研究了带修正线性单元（ReLU）激活函数的单隐层神经网络的学习问题，其中输入来自标准高斯分布，输出来自带噪声的教师网络.我们基于经验风险最小化理论分析了梯度下降法训练此类神经网络的性能，并提供了算法相关的保证。特别是，我们证明了张量初始化，然后梯度下降可以收敛到地面实况参数的线性速率到一些统计误差。据我们所知，这是第一个描述具有多个神经元的单隐藏层ReLU网络实际学习的恢复保证的工作。数值实验验证了我们的理论结果。
2018-06-20 cs.LG stat.ML
Fractional moment-preserving initialization schemes for training deep neural networks
Rutgers Business School（罗格斯商学院）
在深度神经网络（DNN）中初始化的传统方法是随机采样网络权重以保持预激活的方差。另一方面，一些研究表明，在训练过程中，随机梯度的分布可能是重尾的，特别是对于小批量。在这种情况下，权重和因此的预激活可以用重尾分布来建模，该重尾分布具有无穷大的方差，但是具有有限的（非整数）分数阶矩$s$和$s<2$。基于这一事实，我们开发了全连接前馈网络的初始化方案，该方案可以证明在一类激活（包括ReLU，Leaky ReLU，Randomized Leaky ReLU和线性激活）的层上保留任何给定的阶矩$s \in (0, 2]$。这些广义方案在极限$s \to 2$中恢复了传统的初始化方案，并作为初始化原理理论的一部分。对于所有这些计划，我们表明，网络输出承认一个有限的几乎必然的限制层数的增长，并在某些设置的限制是重尾。这进一步揭示了DNN中信号传播过程中重尾的起源。我们证明，网络输出的范数的对数，如果适当缩放，将收敛到高斯分布，具有显式的均值和方差，我们可以根据所使用的激活，s的值选择和网络宽度计算。我们还证明了我们的初始化方案避免小的网络输出值更频繁地比传统的方法。此外，所提出的初始化策略在训练过程中没有额外的成本。我们通过数值实验表明，我们的初始化可以提高训练和测试性能。
2021-02-13 cs.LG math.OC math.ST
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件，并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似，例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
On the Selection of Initialization and Activation Function for Deep Neural Networks
University of Oxford（牛津大学）
深度神经网络的权值初始化和激活函数对训练过程的性能有着至关重要的影响。不适当的选择可能导致前向传播期间输入信息的丢失以及反向传播期间梯度的指数消失/爆炸。理解未经训练的随机网络的理论特性是识别哪些深度网络可以成功训练的关键，Schoenholz等人（2017）最近证明了这一点，他们表明，对于深度前馈神经网络，只有特定选择的超参数（称为“混沌边缘”）才能获得良好的性能。我们通过提供定量结果来完成这一分析，结果表明，对于一类类似ReLU的激活函数，信息在混沌边缘的初始化确实传播得更深。通过进一步扩展这种分析，我们确定了一类激活函数，提高了信息传播的ReLU类功能。该类包括Hendrycks & Gimpel（2016）、Elfwing等人（2017）和Ramachandran等人（2017）中使用的Swish激活$ϕ_{swish}(x) = x \cdot \text{sigmoid}(x)$。这为在这些贡献中观察到的$ϕ_{swish}$的优良经验性能提供了理论基础。我们补充了以前的结果，说明了在这种情况下，使用随机初始化的混沌边缘的好处。
2018-10-07 cs.LG stat.ML
Two-Timescale Fine-tuning Provably Learns New Features for Two-Layer ReLU Networks
INRIA（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；EPFL（洛桑联邦理工学院）
本研究提出双时间尺度微调方法，证明其能从稀缺数据中学习新特征，同时保留预训练特征，且所需样本量独立于预训练特征数，优于随机初始化。
2026-09-29 cs.LG stat.ML
Generalization Error Bounds of Gradient Descent for Learning Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
实证研究表明，基于梯度的方法可以学习深度神经网络（DNN），在过参数化机制中具有非常好的泛化性能，其中DNN可以很容易地适应训练数据的随机标记。最近，一系列工作在理论上解释了，通过过度参数化和适当的随机初始化，基于梯度的方法可以找到DNN训练损失的全局最小值。然而，现有的泛化误差界无法解释过参数DNN的良好泛化性能。现有的推广界的主要局限性是它们是基于一致收敛的，并且与训练算法无关。在这项工作中，我们推导出深度ReLU网络的算法相关泛化误差界，并表明在对数据分布的某些假设下，具有适当随机初始化的梯度下降（GD）能够训练一个充分过参数化的DNN，以实现任意小的泛化误差。我们的工作有助于解释过参数化深度神经网络的良好泛化性能。
2019-11-27 cs.LG math.OC stat.ML
Hcore-Init: Neural Network Initialization based on Graph Degeneracy
École Polytechnique（巴黎综合理工学院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）；LIRMM（法国计算机科学、机器人学与微电子实验室）；Univ Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
神经网络是人工智能的巅峰之作，因为近年来我们目睹了许多新颖的深度学习架构、学习和优化技术。利用神经网络固有地在神经元层之间构成多部图的事实，我们的目标是直接分析它们的结构，以提取可以改善学习过程的有意义的信息。我们的知识图谱挖掘技术，以提高神经网络的学习还没有得到彻底的研究。在本文中，我们提出了一个自适应版本的k-核心结构，用于从深度学习架构中提取的完整加权多部图。由于多部图是二部图的组合，而二部图又是超图的关联图，因此我们设计了超图的k-超核分解，即k-核退化的超图模拟。我们将k-hypercore应用于几种神经网络架构，更具体地说，应用于卷积神经网络和多层感知器，在非常短的预训练后进行图像识别任务。然后利用神经元超核数提供的信息重新初始化神经网络的权值，从而使梯度优化方案偏置。大量的实验证明，k-hypercore优于最先进的初始化方法。
2022-09-09 cs.LG stat.ML
Agnostic Learning of General ReLU Activation Using Gradient Descent
Google Research（谷歌研究院）；Northwestern University（西北大学）
针对带非零适度偏置的单个ReLU函数的不可知学习难题，分析了梯度下降的收敛性，证明其经多项式迭代可达到与最优解误差成常数因子的效果，还给出有限样本保证并可推广至更广泛边缘分布。
2024-11-04 cs.DS cs.LG stat.ML
Support Vectors and Gradient Dynamics of Single-Neuron ReLU Networks
KAIST（韩国科学技术院）
理解梯度下降对ReLU网络泛化能力的隐含偏差一直是机器学习研究中的一个重要研究课题。不幸的是，即使对于使用平方损失训练的单个ReLU神经元，最近也证明不可能根据模型参数的范数来表征隐式正则化（Vardi & Shamir，2021）。为了缩小理解ReLU网络有趣的泛化行为的差距，我们在这里研究了训练单神经元ReLU网络时参数空间中的梯度流动态。具体来说，我们发现了支持向量方面的隐式偏差，这在ReLU网络为什么以及如何泛化方面起着关键作用。此外，我们分析了梯度流相对于初始化的范数的大小，并表明学习的权重的范数严格通过梯度流增加。最后，我们证明了$d = 2$情况下单个ReLU神经元的全局收敛性。
2022-06-13 cs.AI cs.LG stat.ML
Learning ReLU Networks via Alternating Minimization
Iowa State University（爱荷华州立大学）
我们提出并分析了一系列新的算法，用于训练具有ReLU激活的神经网络。我们的算法基于交替最小化技术：估计所有给定样本的每个ReLU的激活模式，通过最小二乘步骤与权重更新交织。我们的论文主要关注的是带有$k$隐藏神经元和ReLU激活的1-隐藏层网络。我们表明，在标准的分布假设下的$d-$维输入数据，我们的算法可证明恢复真正的“地面实况”参数在线性收敛的方式。只要权重被足够好地初始化，这就成立;此外，我们的方法只需要$n=\widetilde{O}(dk^2)$样本。我们还分析了特殊情况下的1-隐藏层网络跳过连接，通常用于ResNet类型的架构，并提出了一种新的初始化策略。对于基于ReLU的ResNet类型网络，我们通过端到端算法提供了第一个线性收敛保证。我们还将此框架扩展到更深的网络，并实证证明其收敛到全局最小值。
2018-10-10 cs.LG stat.ML
Deep ReLU Networks Preserve Expected Length
Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）；McGill University（麦吉尔大学）；Mila（米拉人工智能研究所）
评估由神经网络计算的函数的复杂性有助于我们理解网络将如何学习和泛化。复杂性的一个自然度量是网络如何扭曲长度-如果网络将单位长度曲线作为输入，那么最终输出曲线的长度是多少？人们普遍认为，这个长度在网络深度上呈指数级增长。我们证明了事实并非如此：对于具有标准随机初始化的ReLU网络，预期的长度失真不会随着深度的增加而增加，实际上会稍微缩小。我们还推广了这一结果，证明了更高的时刻的长度失真和高维体积的失真的上界。这些理论结果得到了实验的证实。
2021-06-23 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias
University of Warwick（沃里克大学）；INRIA LMO, Université Paris-Saclay（巴黎-萨克勒大学INRIA LMO）
研究从微小初始化出发的两层ReLU网络在正交数据上的梯度流动力学，揭示了当初始化尺度趋近零时极限流收敛到鞍点间跳跃过程，并证明网络在宽度m约大于log(n)时高概率插值训练数据，且学习到的插值器的平方ℓ2范数缩放为√n，与最小ℓ2范数插值器相差常数因子。
2026-05-26 cs.LG stat.ML
Nonlinear Initialization Methods for Low-Rank Neural Networks
Columbia University（哥伦比亚大学）；Google（谷歌）；Google Research（谷歌研究院）
我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络-网络，其中权重参数由两个低秩矩阵的乘积重新参数化。最成功的现有方法，谱初始化，从满秩设置的初始化分布中抽取样本，然后通过奇异值分解用一对低秩初始化矩阵在Frobenius范数中最佳地近似满秩初始化参数。我们的方法的灵感来自于这样一种认识，即近似对应于每一层的函数比近似参数值更重要。我们可以证明，ReLU网络的这两种方法之间存在显著的差距，特别是当近似权重的期望秩降低时，或者当层输入的维度增加时（当网络宽度在维度上是超线性时，后一点成立）。在此过程中，我们提供了第一个可证明有效的算法来解决固定参数秩$r$的ReLU低秩近似问题-以前，即使对于秩$1$，也不知道该问题在计算上是否易于解决。我们还提供了一种实用的算法来解决这个问题，它不比现有的谱初始化方法更昂贵，并通过训练ResNet和EfficientNet模型来验证我们的理论（He et al.，2016; Tan & Le，2019）在ImageNet上（Russakovsky等人，2015年）。
2022-05-20 cs.AI cs.DS cs.LG
Efficient Algorithms for Learning Depth-2 Neural Networks with General ReLU Activations
Google Research（谷歌研究院）；Northwestern University（西北大学）
我们提出了多项式时间和样本有效算法，用于在温和的非退化假设下学习具有一般ReLU激活的未知深度2前馈神经网络。特别地，我们考虑学习一个形式为$f(x) = {a}^{\mathsf{T}}σ({W}^\mathsf{T}x+b)$的未知网络，其中$x$是从高斯分布中提取的，而$σ(t) := \max(t,0)$是ReLU激活。先前针对具有ReLU激活的学习网络的工作假设偏差$b$为零。为了处理偏置项的存在，我们提出的算法包括鲁棒分解多个高阶张量所产生的Hermite展开的功能$f(x)$。利用这些思想，我们还建立了最小假设下的网络参数的可识别性。
2021-08-01 cs.DS cs.LG stat.ML
Depth Dependence of $μ$P Learning Rates in ReLU MLPs
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
本文研究ReLU MLP中最大更新学习率对深度和宽度的依赖，发现其独立于宽度但随深度按$L^{-3/2}$缩放。
2023-05-13 cs.LG stat.ML
Sample Variance Decay in Randomly Initialized ReLU Networks
Princeton University（普林斯顿大学）
在训练神经网络之前，一个经典的经验法则是随机初始化权重，这样激活的方差就可以在各层之间保持不变。传统上，由于两个权重\emph{and}样本中的随机性，使用总方差来解释这一点。或者，可以将经验法则解释为保持固定网络样本的方差。这两种解释对于浅网络来说差别不大，但是对于深ReLU网络来说，通过将总方差分解为样本方差和样本均值平方的网络平均和，这种差异会随着深度的增加而增加。我们证明，即使当总方差保持，样本方差衰减在后面的层通过分析计算的限制，无限的网络宽度，和数值模拟有限的宽度。我们证明了批量归一化消除了这种衰减，并提供了经验证据，证明在初始化时保留样本方差而不仅仅是总方差会对深度网络的训练动态产生影响。
2019-08-06 cs.LG stat.ML
Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑梯度下降的动态学习一个两层神经网络。我们假设输入$x\in\mathbb{R}^d$是从高斯分布中提取的，并且$x$的标签满足$f^{\star}(x) = a^{\top}|W^{\star}x|$，其中$a\in\mathbb{R}^d$是非负向量，并且$W^{\star} \in\mathbb{R}^{d\times d}$是正交矩阵。我们证明了一个带有ReLU激活的过参数化双层神经网络，通过随机初始化的梯度下降进行训练，可以证明在多项式时间内使用多项式样本学习人口损失最多为$o(1/d)$的地面真值网络。另一方面，我们证明了任何核方法，包括神经正切核，与$d$中的多项式样本数，具有人口损失至少$Ω(1 / d)$。
2020-07-09 cs.LG math.OC stat.ML
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
AutoInit: Automatic Initialization via Jacobian Tuning
Brown University（布朗大学）
良好的初始化对于训练深度神经网络（DNN）至关重要。通常，这种初始化是通过试错法找到的，每次架构被大幅修改或从较小规模的网络继承时，都必须重新应用试错法，从而导致次优初始化。在这项工作中，我们介绍了一个新的和廉价的算法，它允许一个自动找到一个好的初始化，一般前馈DNN。该算法利用相邻网络块之间的雅可比矩阵将网络超参数调整到临界状态。我们使用ReLU解决了全连接网络的算法动力学问题，并推导出其收敛条件。然后，我们将讨论扩展到更一般的架构与BatchNorm和剩余连接。最后，我们将我们的方法应用于ResMLP和VGG架构，其中我们的方法发现的自动一次性初始化在视觉任务上表现出良好的性能。
2022-06-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Deep Equals Shallow for ReLU Networks in Kernel Regimes
Center for Data Science, New York University（纽约大学数据科学中心）；Inria - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）
深度网络通常被认为在近似方面比浅层网络更具表达力。事实上，某些函数可以通过深度网络比浅层网络更有效地近似，然而，没有已知的用于学习这种深度模型的易处理算法。另外，最近的一项工作表明，使用梯度下降训练的深度网络在某种过度参数化的制度下可能表现得像（易处理的）核方法，其中核由架构和初始化决定，本文重点关注这种核的近似。我们表明，对于ReLU激活，从深层全连接网络中导出的内核与其浅层两层对应物具有基本相同的近似特性，即相应积分算子的相同特征值衰减。这突出了内核框架在理解这种深度架构的好处方面的局限性。我们的主要理论结果依赖于通过核函数的可微性来表征这种特征值衰减，这也很容易适用于球面上定义的其他内核的研究。
2021-08-26 cs.LG stat.ML
Awakening of the Buddha: Subspace Learning During Population-Loss Plateaus
University of California-San Diego（加州大学圣迭戈分校）
本研究证明神经网络在种群损失平台期仍能学习更优表示，通过理论分析和实验展示了教师子空间与AGOP特征空间对齐的显著提升及重拟合误差的降低。
2026-10-01 cs.LG math.OC stat.ML
From Universal Approximation Theorem to Tropical Geometry of Multi-Layer Perceptrons
Department of Mathematical Sciences, National Chengchi University（数学科学系，国立中正大学）
本文利用热带几何重新审视万能逼近定理，提出一种构造性的几何感知初始化方法，使sigmoidal多层感知机在初始化时决策边界即与预设形状对齐，实现可解释的形状驱动初始化。
2025-10-16 cs.AI cs.LG stat.ML
Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice
Google Brain（谷歌大脑）；Applied Physics, Stanford University（斯坦福大学应用物理系）
众所周知，深度神经网络中权重的初始化会对学习速度产生巨大影响。例如，确保网络的输入输出雅可比矩阵的均方奇异值为$O(1)$，对于避免梯度的指数消失或爆炸至关重要。雅可比矩阵的所有奇异值集中在$1$附近的更强条件是一种称为动态等距的性质。对于深度线性网络，动态等距可以通过正交权重初始化来实现，并已被证明可以显着加快学习速度;然而，如何将这些结果扩展到非线性设置仍然不清楚。我们通过使用来自自由概率论的强大工具来分析计算深度网络的输入-输出雅可比矩阵的整个奇异值分布来解决这个问题。我们探讨了奇异值分布对网络深度、权重初始化和非线性选择的依赖性。有趣的是，我们发现ReLU网络无法实现动态等距。另一方面，S形网络可以实现等距，但只有正交权重初始化。此外，我们通过经验证明，实现动态等距的深度非线性网络比没有实现动态等距的网络学习速度快几个数量级。事实上，我们证明了正确初始化的深度S形网络始终优于深度ReLU网络。总的来说，我们的分析表明，控制雅可比奇异值的整个分布是深度学习中一个重要的设计考虑因素。
2017-11-13 cs.LG stat.ML
Extreme Memorization via Scale of Initialization
Google Research（谷歌研究院）；Boston University（波士顿大学）；Blueshift, Alphabet（Alphabet 旗下 Blueshift）
我们构建了一个实验设置，其中改变初始化的规模强烈影响SGD引起的隐式正则化，从良好的泛化性能插值到完全记住训练集，而在测试集上几乎没有进展。此外，我们发现，泛化能力的程度和方式受到影响，取决于激活和损失函数使用，与$\sin$激活表现出极端的记忆。在同质ReLU激活的情况下，我们表明这种行为可以归因于损失函数。我们的实证研究表明，增加初始化的规模与同一类中的示例之间的表示和梯度的不对齐相关。这种见解使我们能够设计出一种可以捕捉这种现象的梯度和表示的对齐度量。我们证明了我们的对齐度量与在图像分类任务上训练的深度模型的泛化相关。
2021-05-01 cs.CV cs.LG stat.ML
Phase diagram for two-layer ReLU neural networks at infinite-width limit
Shanghai Jiao Tong University（上海交通大学）
神经网络在不同超参数选择下的训练行为是神经网络研究中的一个重要问题。在这项工作中，受统计力学中的相图的启发，我们在无限宽度限制下绘制了双层ReLU神经网络的相图，以完整表征其动力学机制及其对与初始化相关的超参数的依赖性。通过实验和理论方法，我们确定了相图中的三个区域，即，线性区、临界区和凝聚区，根据输入权值随宽度的变化分别趋向于$0$、$O(1)$和$+\infty$。在线性状态下，NN训练动态近似线性，类似于具有指数损失衰减的随机特征模型。在凝聚制度，我们通过实验证明，活跃的神经元凝聚在几个离散的方向。临界区是两个区之间的边界，表现出中间非线性行为，平均场模型是一个典型的例子。总的来说，我们的双层ReLU NN的相图可以作为未来研究的地图，并且是对不同结构的NN的训练行为和隐式正则化进行更系统研究的第一步。
2020-10-13 cs.LG stat.ML
Revisiting Initialization of Neural Networks
权值的正确初始化对于深度神经网络（DNN）的有效训练和快速收敛至关重要。该领域的先前工作主要集中在平衡每层权重之间的方差，以分别保持（i）通过网络向前传播的输入数据和（ii）向后传播的损失梯度的稳定性。然而，这种流行的启发式算法对各个层的梯度之间的依赖性是不可知的，并且只捕获一阶效应。在本文中，我们提出并讨论了一个初始化原则，这是基于一个严格的估计的全局曲率的权重跨层逼近和控制其海森矩阵的范数。所提出的方法更加系统化，并恢复了DNN激活的先前结果，例如平滑函数，辍学和ReLU。我们在Word 2 Vec和MNIST/CIFAR图像分类任务上的实验证实，跟踪Hessian规范是一种有用的诊断工具，有助于更严格地初始化权重
2020-06-04 cs.LG math.OC stat.ML
Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy
Hebrew University（希伯来大学）；Google（谷歌）；TTI-Chicago（芝加哥丰田技术研究所）
该研究探讨深度2网络高效学习的假设是否适用于更深网络，通过平滑分析框架证明深度3 ReLU网络及双平滑条件下的深度2网络学习均具难度，结果基于局部伪随机生成器存在的假设。
2023-10-04 cs.LG stat.ML
Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks
INRIA University of Stuttgart（INRIA 斯图加特大学）
本文研究了非ReLU激活函数对神经内核和随机宽网络的影响，推导了这些内核的RKHS特性，并分析了不同激活函数在不同网络深度下的表现。
2026-04-27 cs.LG stat.ML
Adversarial Examples Exist in Two-Layer ReLU Networks for Low Dimensional Linear Subspaces
Weizmann Institute of Science（魏茨曼科学研究所）；TTI-Chicago（芝加哥丰田技术研究所）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
研究两层ReLU网络在低维线性子空间数据上的对抗脆弱性，发现标准梯度训练导致非鲁棒，而减小初始化尺度或增加L2正则化可提升鲁棒性。
2023-11-16 cs.CR cs.LG cs.NE
Optimal estimates for the $\ell^p$-Lipschitz constants of deep random ReLU neural networks
本文针对随机ReLU神经网络，在He初始化变体下，推导了$\ell^p$-Lipschitz常数的高概率上下界，揭示了$p$在$[1,2)$与$[2,\infty]$区间行为差异，并推广至非零偏置情形。
2026-10-19 cs.LG math.PR stat.ML
Gradient Descent Quantizes ReLU Network Features
Google Brain（谷歌大脑）
深度神经网络通常在过度参数化的机制下进行训练（即使用比训练示例多得多的参数），理解为什么训练收敛到泛化的解决方案仍然是一个悬而未决的问题。一些研究强调了这样一个事实，即训练过程，即小批量随机梯度下降（SGD）导致在损失景观中具有特定属性的解决方案。然而，即使使用普通的梯度下降（GD），在过参数化的情况下找到的解决方案也非常好，并且这种现象很少被理解。我们提出了在小初始化和学习率的假设下，对具有ReLU激活函数的前馈网络的这种行为进行分析，并揭示了量化效应：权重向量倾向于集中在由输入数据确定的少数方向上。因此，我们表明，对于给定的输入数据，只有100多个，“简单”的功能，可以获得，独立的网络大小。这使得这些函数类似于线性插值（对于给定的输入数据，有许多三角剖分，每个三角剖分通过线性插值确定一个函数）。我们问这种类比是否延伸到泛化性质-虽然通常的分布无关泛化性质不成立，但对于具有有界二阶导数的光滑函数，近似性质可以“解释”网络（无限大小）对未知输入的泛化。
2018-03-22 cs.LG stat.ML
Learning ReLU Networks on Linearly Separable Data: Algorithm, Optimality, and Generalization
University of Minnesota（明尼苏达大学）；Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）
具有Rectified Linear Unit（ReLU）激活函数的神经网络（也称为ReLU网络）在各个领域取得了巨大的经验成功。尽管如此，现有的学习ReLU网络的结果要么假设底层数据分布是高斯分布，要么要求网络大小和/或训练大小足够大。在这种情况下，学习双层ReLU网络的问题是在二进制分类设置中进行的，其中数据是线性可分离的，并且采用铰链损失标准。利用随机噪声扰动的力量，本文提出了一种新的随机梯度下降（SGD）算法，该算法可以训练任何单隐藏层ReLU网络以达到全局最优，尽管存在无限多个坏的局部极小值，极大值和鞍点。这是同类结果中的第一个，不需要对数据分布，训练/网络大小或初始化进行假设。收敛到一个全局最小的迭代算法进行了分析，通过建立一个上限和一个下限的非零更新的数量进行。此外，为使用利用经典压缩边界的新型SGD训练的ReLU网络开发了泛化保证。这些保证突出了可靠学习ReLU网络和泄漏ReLU网络在样本复杂性方面的关键区别（至少在最坏的情况下）。仿真数据和实际图像的数值试验验证了算法的有效性和理论的实用价值。
2019-04-06 cs.IT cs.LG math.IT
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Accelerated Algorithms for Nonlinear Matrix Decomposition with the ReLU function
University of Bologna（博洛尼亚大学）；University of Mons（蒙斯大学）
针对ReLU非线性矩阵分解问题，提出A-NMD和3B-NMD两种加速算法，并引入核范数初始化策略，在合成和真实数据上验证了有效性。
2023-05-15 cs.LG eess.SP math.OC
Random Feature Amplification: Feature Learning and Generalization in Neural Networks
UC Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本研究刻画了两层 ReLU 网络在含噪声标签下的特征学习过程，证明梯度下降能将初始化时的弱随机特征放大为强有用特征，使模型泛化误差接近标签噪声率。
2023-09-14 cs.LG math.ST stat.ML
When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks
Department of Electrical and Computer Engineering（电气工程系）；Department of Computer Science（计算机科学系）
本文研究单隐层ReLU网络联合训练两层以拟合线性目标函数的梯度下降动力学，通过三阶段分析证明从随机初始化出发能以线性速率收敛到全局最小化器并达到最优样本复杂度。
2026-06-03 cs.LG math.OC math.ST
Maximal Initial Learning Rates in Deep ReLU Networks
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）；Princeton University（普林斯顿大学）
本文提出最大初始学习率概念，研究深度ReLU网络在随机初始化下能成功开始训练的最大学习率，发现其可由深度×宽度的幂预测，并分析了其与初始化锐度的关系。
2023-05-26 cs.LG stat.ML
