A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在这篇文章中，我们研究了随机梯度下降（SGD）最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时，SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层，一个隐藏层，和一个输出层（与$d \in \mathbb{N}$神经元上的输入层，$H \in \mathbb{N}$神经元上的隐藏层，和一个神经元上的输出层）。假设SGD过程的学习速率足够小，并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
Learning One-hidden-layer ReLU Networks via Gradient Descent
University of Virginia（弗吉尼亚大学）
研究了带修正线性单元（ReLU）激活函数的单隐层神经网络的学习问题，其中输入来自标准高斯分布，输出来自带噪声的教师网络.我们基于经验风险最小化理论分析了梯度下降法训练此类神经网络的性能，并提供了算法相关的保证。特别是，我们证明了张量初始化，然后梯度下降可以收敛到地面实况参数的线性速率到一些统计误差。据我们所知，这是第一个描述具有多个神经元的单隐藏层ReLU网络实际学习的恢复保证的工作。数值实验验证了我们的理论结果。
2018-06-20 cs.LG stat.ML
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响，在一个经过充分研究的教师-学生设置中，目标值由相同的架构生成，并且直接优化相对于高斯输入的群体平方损失。我们证明，虽然目标是强凸的全局最小值时，教师和学生网络拥有相同数量的神经元，它甚至不是\emph{locally convex}后，任何数量的过参数化。此外，相关的期望性质（例如，单点强凸性和Polyak-Schojasiewicz条件）甚至在局部也不成立。另一方面，我们建立的目标仍然是一点强凸的\emph{most}方向（适当定义），并显示在此属性下的优化保证。对于非全局最小值，我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的，我们通过经验验证了这一点。这些结果提供了一个可能的解释，为什么恢复全局最小值变得明显更容易，当我们过度参数化，即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
Decoupling Gating from Linearity
The Hebrew University（希伯来大学）
ReLU神经网络一直是最近许多理论著作的焦点，试图解释它们的经验成功。尽管如此，目前的理论结果和经验观察之间仍然存在差距，即使是在浅（一个隐藏层）网络的情况下。例如，在记忆大小为$m$和维度为$d$的随机样本的任务中，最佳理论结果要求网络的大小为$\tildeΩ(\frac{m^2}{d})$，而根据经验，网络大小略大于$\frac{m}{d}$就足够了。为了弥合这一差距，我们转而研究ReLU网络的简化模型。我们观察到，ReLU神经元是线性函数与门的乘积（后者决定神经元是否活跃），两者共享一个联合训练的权重向量。本着这种精神，我们引入了门控线性单元（GaLU），它通过为每个角色分配不同的向量，简单地将线性度从门控中分离出来。我们表明，GaLU网络使我们能够获得比ReLU网络更强大的优化和泛化结果。具体来说，我们展示了一个记忆结果的大小为$\tildeΩ(\frac{m}{d})$的网络，并改进了泛化界。最后，我们表明，在某些情况下，GaLU网络的行为与ReLU网络相似，因此证明是简化模型的良好选择。
2019-06-12 cs.LG stat.ML
Agnostic Learning of a Single Neuron with Gradient Descent
University of California, Los Angeles（加州大学洛杉矶分校）
我们考虑学习最佳拟合的单个神经元的问题，通过使用梯度下降来最小化由一组i.i.d.引起的经验风险，通过在一些未知的联合分布$\mathcal{D}$上的期望平方损失$\mathbb{E}_{(x,y)\sim \mathcal{D}}[(σ(w^\top x)-y)^2]$来测量。样本$S\sim \mathcal{D}^n$。激活函数$σ$是一个任意的Lipschitz非减函数，使得优化问题在一般情况下是非凸和非光滑的，并涵盖了广义线性模型设置下典型的神经网络激活函数和逆连接函数。在不可知的PAC学习设置，其中没有对标签$y$和输入$x$之间的关系的假设，如果最佳的人口风险是$\mathsf{OPT}$，我们表明，梯度下降实现人口风险$O(\mathsf{OPT})+ε$在多项式时间和样本复杂度时，$σ$严格增加。对于ReLU激活，我们的人群风险保证是$O(\mathsf{OPT}^{1/2})+ε$。当标签采取的形式$y = σ(v^\top x) + ξ$为零均值亚高斯噪声$ξ$，我们表明，人口风险保证梯度下降提高到$\mathsf{OPT} + ε$。我们的样本复杂性和运行时保证（几乎）维度独立，当$σ$严格增加时，不需要超出有界性的分布假设。对于ReLU，我们在输入的边际分布的非简并假设下显示了相同的结果。
2020-08-31 cs.LG math.OC stat.ML
Regularization by Misclassification in ReLU Neural Networks
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
我们研究了由SGD变体训练的ReLU神经网络的隐式偏差，其中在每一步中，标签以概率$p$变为随机标签（标签平滑是该过程的一个近似变体）。我们的实验表明，标签噪声在以下意义上将网络推向稀疏解决方案：对于典型的输入，一小部分神经元是活跃的，并且隐藏层的发射模式是稀疏的。事实上，在某些情况下，适量的标签噪声不仅可以使网络稀疏化，还可以进一步降低测试误差。然后，我们转向这样的稀疏化机制的理论分析，专注于极端情况下的$p=1$。我们发现，在这种情况下，网络如实验所预期的那样萎缩，但令人惊讶的是，以不同的方式取决于学习率和偏差的存在，权重消失或神经元停止放电。
2021-11-03 cs.LG cs.NE
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Stable Minima of ReLU Neural Networks Suffer from the Curse of Dimensionality: The Neural Shattering Phenomenon
UC San Diego（UC圣地亚哥大学）
本文研究了ReLU神经网络中稳定极小值的泛化能力问题，揭示了平坦解在高维情况下因维度诅咒而表现不佳的机制。
2026-01-11 cs.LG stat.ML
When Will Gradient Methods Converge to Max-margin Classifier under ReLU Models?
The Ohio State University（俄亥俄州立大学）
研究了线性可分数据集上的梯度下降方法在解决二元分类问题时的隐式偏差。分类器采用非线性ReLU模型描述，目标函数采用指数损失函数。我们首先描述景观的损失函数，并表明，可以存在虚假的渐近局部极小值，除了渐近全局极小值。然后，我们表明，梯度下降（GD）可以收敛到一个全球或当地的最大利润率的方向，或可能偏离所需的最大利润率的方向在一般情况下。对于随机梯度下降（SGD），我们表明，它收敛于预期的全局或局部最大利润的方向，如果SGD收敛。我们进一步探索了这些算法在某些固定条件下学习多神经元网络时的隐式偏差，并表明学习的分类器在ReLU激活下最大化了每个样本模式分区的边缘。
2018-10-15 cs.LG stat.ML
From Local Pseudorandom Generators to Hardness of Learning
The Hebrew University（希伯来大学）；Google Research（谷歌研究院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们证明了一个很好的研究假设存在的本地伪随机发生器的学习结果的硬度。正如我们所展示的，这个假设使我们能够超越当前的技术水平，并证明各种基本问题的难度，迄今为止还没有硬度结果。我们的成果包括：在高斯分布和其他分布下学习浅ReLU神经网络的困难性;学习$ω(1)$半空间、带有$ω(1)$项的DNF公式和带有$ω(1)$隐层神经元的ReLU网络的困难性;在均匀分布下弱学习确定性有限自动机的困难性;弱学习深度- $3$布尔电路在均匀分布下的困难性，以及学习DNF公式和半空间交叉点的分布特定硬度结果。我们还建立了学习恒定数量半空间的交集的复杂性的下限，以及具有恒定数量隐藏神经元的ReLU网络。此外，我们的研究结果意味着几乎所有不适当的PAC学习问题（包括分布自由和分布特定）的硬度，以前在其他假设下表现出困难。
2021-06-08 cs.LG stat.ML
Implicit Regularization in ReLU Networks with the Square Loss
Weizmann Institute of Science（魏茨曼科学研究所）
理解梯度下降的隐式正则化（或隐式偏差）是最近一个非常活跃的研究领域。然而，非线性神经网络中的隐式正则化仍然知之甚少，特别是对于回归损失，如平方损失。也许令人惊讶的是，我们证明了即使对于单个ReLU神经元，也不可能通过模型参数的任何显式函数来表征具有平方损失的隐式正则化（尽管从积极的方面来看，我们可以近似地表征它）。对于一个隐藏层网络，我们证明了一个类似的结果，一般来说，不可能以这种方式表征隐式正则化属性，除了Du et al. [2018]中确定的“平衡性”属性。我们的研究结果表明，可能需要一个更一般的框架比迄今为止考虑的理解隐式正则化的非线性预测，并提供了一些线索，这个框架应该是什么。
2021-06-08 cs.LG stat.ML
On Size-Independent Sample Complexity of ReLU Networks
Harvard Statistics（哈佛大学统计系）
本文研究ReLU神经网络的样本复杂度，提出一种改进的Rademacher复杂度界，消除了深度平方根因子，实现与网络规模无关且无显式深度依赖的泛化保证。
2024-02-04 cs.LG stat.ML
Training a Two Layer ReLU Network Analytically
Florida State University（佛罗里达州立大学）
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络，实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 2: Experiments and Analysis
Beijing University of Technology（北京工业大学）
单隐藏层ReLU网络的局部极小值的存在性在[8]中进行了理论研究。基于该理论，本文首先分析了一维高斯数据存在局部极小的概率有多大，以及它在整个权值空间中的变化情况。我们发现，这种概率在大多数地区是非常低的。然后，我们设计并实现了一个基于线性规划的方法来判断真正的局部极小值的存在，并使用它来预测是否存在坏的局部极小值的MNIST和CIFAR-10数据集，并发现有坏的可微局部极小值几乎无处不在的重量空间，一旦一些隐藏的神经元被激活的样本。这些理论预测通过实验得到验证，表明梯度下降并没有被困在它开始的细胞中。我们还进行了实验，以探索在重量空间中的可微细胞的计数和大小。
2020-06-15 cs.LG stat.ML
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks
IST Austria（奥地利科学技术研究所）；Czech Technical University in Prague（布拉格捷克理工大学）
理解通过随机梯度下降（SGD）训练的神经网络的属性是深度学习理论的核心。在这项工作中，我们采用平均场的观点，并考虑通过SGD训练的双层ReLU网络用于单变量正则化回归问题。我们的主要结果是SGD偏向于一个简单的解决方案：在收敛时，ReLU网络实现了输入的分段线性映射，以及“结”点的数量-即，ReLU网络估计器的切线在两个连续训练输入之间变化的点最多为三个。特别地，随着网络的神经元数量的增长，SGD动态被梯度流的解捕获，并且在收敛时，权重的分布接近具有吉布斯形式的相关自由能的唯一最小值。我们的主要技术贡献包括在分析的估计，从这个最小化：我们表明，其二阶导数消失无处不在，除了在一些特定的位置代表的“结”点。我们还提供了经验证据，结的位置不同的数据点可能会发生，我们的理论预测。
2022-04-29 cs.LG stat.ML
Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的理论工作已经保证了通过梯度下降训练的过参数化网络可以实现任意低的训练误差，有时甚至是低的测试误差。然而，所需宽度在样本量$n$、（逆）目标误差$1/ε$和（逆）失效概率$1/δ$中的至少一个中始终是多项式。这项工作表明，在任何宽度超过$\mathrm{polylog}(n,1/ε,1/δ)$的双层ReLU网络上使用$\widetildeΩ(1/ε^2)$训练示例的梯度下降的$\widetildeΘ(1/ε)$迭代足以实现$ε$的测试误分类错误。我们还证明了随机梯度下降可以实现$ε$测试误差与多对数宽度和$\widetildeΘ(1/ε)$样本。该分析依赖于极限核的分离裕度，该分离裕度保证为正，可以区分真实标签和随机标签，并且可以在无限宽度设置中给出紧密的样本复杂度分析
2020-02-15 cs.LG math.OC stat.ML
Plateau Phenomenon in Gradient Descent Training of ReLU networks: Explanation, Quantification and Avoidance
Brown University（布朗大学）
神经网络在广泛的应用中提供“同类最佳”近似的能力是有据可查的。然而，如果不能有效地训练（选择）定义网络的参数，神经网络的强大表现力将化为乌有。通常，神经网络通过梯度下降型优化方法或其随机变体来训练。在实践中，这种方法导致损失函数在训练开始时迅速减小，但随后在相对少量的步骤之后显著减慢。这种损失甚至可能在大量的时期内表现为停滞，然后突然又开始快速减少，没有明显的原因。这种所谓的高原现象在许多学习任务中表现出来。目前的工作旨在确定和量化高原现象的根本原因。没有假设神经元的数量相对于训练数据的数量，我们的结果适用于懒惰和自适应制度。主要调查结果如下：平稳期对应于激活模式保持恒定的时期，其中激活模式是指激活给定神经元的数据点的数量;梯度流动动力学的收敛的量化;以及根据训练数据的子集上的局部最小二乘回归线的解来表征静止点。基于这些结论，我们提出了一种新的迭代训练方法，主动神经元最小二乘法（ANLS），其特征在于在每一步的激活模式的显式调整，其目的是使快速退出高原。说明性的数值例子包括在整个。
2020-07-14 cs.LG cs.NA math.NA
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
Deep Gated Networks: A framework to understand training and generalisation in deep learning
Indian Institute of Technology Palakkad（帕拉克卡德印度理工学院）
理解（随机）梯度下降（SGD）在具有ReLU激活的深度神经网络（DNN）的训练和泛化中的作用一直是最近的研究对象。在本文中，我们使用深度门控网络（DGN）作为框架，以获得有关具有ReLU激活的DNN的见解。在DGN中，单个神经元单元具有两个分量，即预激活输入（等于层和前一层输出的权重的内积）和属于$[0,1]$的门控值，并且神经元单元的输出等于预激活输入与门控值的乘积。具有ReLU激活的标准DNN是DGN的特殊情况，其中门控值是基于预激活输入是正还是负的$1/0$。我们从理论上分析和实验了几种不同的DGN，每种变体都适合理解带有ReLU激活的DNN中训练或泛化的特定方面。我们的理论揭示了两个问题，即i）为什么增加深度直到一个点有助于训练，ii）为什么增加深度超过一个点会伤害训练？我们还提出了实验证据表明，门适应，即，在训练过程中门控值的变化是推广的关键。
2020-03-02 cs.AI cs.LG stat.ML
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力，证明了其在神经元数量上的最优逼近速率，并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Learning a Single Neuron with Bias Using Gradient Descent
Weizmann Institute of Science（魏茨曼科学研究所）
我们从理论上研究了使用梯度下降在ReLU激活的可实现设置中学习具有偏置项（$\mathbf{x} \mapsto σ(<\mathbf{w},\mathbf{x}> + b)$）的单个神经元的基本问题。也许令人惊讶的是，我们表明，这是一个显着不同的，更具有挑战性的问题，比无偏置的情况下（这是以前的工作的重点单神经元），无论是在优化几何以及梯度方法的能力，在某些情况下取得成功。我们提供了一个详细的研究这个问题，特征的关键点的目标，演示失败的情况下，并提供积极的收敛保证在不同的假设。为了证明我们的结果，我们开发了一些工具，这可能是独立的利益，并改善以前的结果学习单神经元。
2022-02-05 cs.LG cs.NE stat.ML
Deep learning improved by biological activation functions
UCL（伦敦大学学院）
“生物启发”的激活函数，如logistic sigmoid，在机器学习的历史发展中起到了重要作用。然而，在深度学习领域，它们在很大程度上被修正线性单元（ReLU）或类似函数（如其指数线性单元（ELU）变体）所取代，以减轻与误差反向传播相关的梯度消失的影响。然而，logistic S型曲线并不代表生理条件下神经元细胞的真实输入-输出关系。在这里，生物节根单位（BRU）的激活函数的介绍，表现出输入输出的非线性，基本上更生物合理的，因为他们的功能形式是基于已知的生物物理特性的神经元细胞。为了评估BRU激活的学习性能，除了传递函数不同（ReLU、ELU和BRU）之外，深度网络都是用相同的架构构建的。多层感知器，堆叠自动编码器和卷积网络用于测试基于MNIST和CIFAR-10/100数据集的监督和无监督学习。使用损失和错误测量量化的学习性能的比较表明，生物节点网络的训练速度比ReLU和ELU更快，即使在没有正式正规化的情况下，也能产生最好的广义模型。因此，这些结果表明，重新审视生物神经元及其电路的详细特性可能会在未来的深度学习领域中证明是非常宝贵的。
2018-05-18 cs.LG cs.NE stat.ML
A priori generalization error for two-layer ReLU neural network through minimum norm solution
我们专注于估计由均方误差训练的双层ReLU神经网络（NN）的\emph{a priori}泛化误差，其仅取决于初始参数和目标函数，通过以下研究路线。首先，我们估计了有限宽度两层ReLU神经网络的\emph{a priori}泛化误差，并通过\cite{zhang2019type}证明了最小范数解的约束是线性化（w.r.t.参数）有限宽度两层神经网络。当宽度变为无穷大时，线性化的NN收敛到神经切线核（NTK）机制\citep{jacot2018neural}中的NN。因此，我们可以推导出NTK机制下双层ReLU NN的\emph{a priori}泛化误差。用\cite{arora2019exact}估计NTK机制中的NN和具有梯度训练的有限宽度NN之间的距离。基于\cite{arora2019exact}中的结果，我们的工作证明了两层ReLU神经网络的\emph{a priori}泛化误差界。该估计使用最小范数解的固有隐式偏差，而不需要损失函数中的额外规则性。这种\emph{a priori}估计还意味着NN不会遭受维数灾难，并且可以在不需要指数级大量神经元的情况下实现小的泛化误差。此外，本文提出的研究路线也可用于研究有限宽度网络的其他性质，如后验泛化误差。
2020-05-07 cs.LG stat.ML
Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
Department of Mathematical Sciences the University of Texas at Dallas Richardson, 75080 USA（德克萨斯大学达拉斯分校数学科学系）
本研究建立理论框架分析带可调漏性ReLU的浅层神经网络优化景观的非线性动力学，揭示分岔特性，给出k=5的示例验证，为神经网络优化研究提供理论支撑。
2026-09-02 cs.LG math.DS math.OC
The Geometry of ReLU Networks through the ReLU Transition Graph
Brain Corporation（Brain公司）
本文提出 ReLU 转移图（RTG）理论框架分析 ReLU 神经网络，推导出 RTG 几何与表达性、泛化和鲁棒性的关联，并通过实验验证，首次利用图论统一处理 ReLU 网络结构。
2025-05-28 cs.AI cs.LG cs.NE
Nonparametric Regression on Low-Dimensional Manifolds using Deep ReLU Networks : Function Approximation and Statistical Recovery
Georgia Tech（佐治亚理工学院）
现实世界的数据往往表现出低维的几何结构，可以看作是一个低维流形附近的样本。本文使用深度ReLU网络研究了低维流形上Hölder函数的非参数回归。假设$n$训练数据从$\mathcal{H}^{s,α}$中的Hölder函数采样，该函数支持在等距嵌入$\mathbb{R}^D$中的$d$维黎曼流形上，具有亚高斯噪声。深度ReLU网络架构被设计为从训练数据估计底层函数。证明了经验估计量的均方误差以$n^{-\frac{2(s+α)}{2(s+α) + d}}\log^3 n$的阶收敛。这一结果表明，深度ReLU网络根据数据内在维度$d$产生快速收敛速度，该维度通常远小于环境维度$D$。因此，它证明了深度ReLU网络对数据的低维几何结构的适应性，并部分解释了深度ReLU网络在处理具有低维几何结构的高维数据方面的能力。
2022-02-22 cs.LG stat.ML
The Effects of Multi-Task Learning on ReLU Neural Network Functions
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究多任务浅层ReLU神经网络学习，证明其解在单变量输入下几乎唯一，并与Sobolev再生核希尔伯特空间的最小范数插值解一致，多变量情形下近似等价于固定核上的$\ell^2$最小化问题，揭示了神经网络与核方法的联系。
2025-02-27 cs.LG stat.ML
Student Specialization in Deep ReLU Networks With Finite Width and Input Dimension
Facebook AI Research（脸书人工智能研究院）
我们考虑一个深度ReLU / Leaky ReLU学生网络，它是从相同深度的固定教师网络的输出中训练出来的，使用随机梯度下降（SGD）。学生网络为\emph{over-realized}：在每一层$l$上，学生节点的数量$n_l$大于教师节点的数量（$m_l$）。在数据集和教师网络上，在较弱的条件下，证明了当每个数据样本的梯度都很小时，每个教师节点都是由至少一个学生节点\emph{at the lowest layer}生成的\emph{specialized}.对于两层网络，可以通过在\emph{polynomial}大小为$\mathcal{O}( K^{5/2} d^3 ε^{-1})$的任何数据集上进行训练来实现这种专门化。直到梯度幅度下降到$\mathcal{O}(ε/K^{3/2}\sqrt{d})$。这里$d$是输入维度，$K = m_1 + n_1$是教师和学生最低层的神经元总数。请注意，我们需要一种特定形式的数据增强，样本复杂性包括从增强生成的额外数据。据我们所知，我们是第一个为教师-学生设置中具有有限深度和宽度的训练双层（Leaky）ReLU网络的学生专业化提供多项式样本复杂度的人，以及多层情况下最低层专业化的有限复杂度，没有输入的参数假设（如高斯）。我们的理论表明，当梯度仍然很大时，具有大扇出权重的教师节点首先被专业化，而其他节点则被小梯度专业化，这表明训练中…
2020-06-28 cs.LG stat.ML
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks
MPI-MIS（马克斯·普朗克数学研究所）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；UCLA（加州大学洛杉矶分校）
最近的一系列工作已经通过神经切线核（NTK）分析了深度神经网络的理论特性。特别是，NTK的最小特征值与记忆能力，梯度下降算法的全局收敛性和深度网络的推广有关。然而，现有的结果要么在两层设置提供界限，或假设的NTK矩阵的频谱有界远离0的多层网络。在本文中，我们为深度ReLU网的NTK矩阵的最小特征值提供了严格的界限，无论是在无限宽度的极限情况下还是有限宽度的情况下。在有限宽度设置中，我们考虑的网络架构相当普遍：我们需要存在一个宽层，大约有$N$神经元的数量级，$N$是数据样本的数量;其余层宽度的缩放是任意的（直到对数因子）。为了获得我们的结果，我们分析了各种数量的独立利益：我们给出的最小奇异值的隐藏特征矩阵的下界，和输入输出特征映射的Lipschitz常数的上界。
2022-08-21 cs.LG stat.ML
Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time
Stanford University（斯坦福大学）
我们研究了使用ReLU激活的卷积神经网络（CNN）的训练，并引入了精确的凸优化公式，该公式具有关于数据样本数量，神经元数量和数据维度的多项式复杂度。更具体地说，我们开发了一个凸分析框架，利用半无限对偶，以获得几个两层和三层CNN架构的等价凸优化问题。我们首先证明了两层CNN可以通过$\ell_2$范数正则化凸规划进行全局优化。然后，我们证明了具有单个ReLU层的多层循环CNN训练问题等价于$\ell_1$正则化凸程序，该程序鼓励谱域中的稀疏性。我们还将这些结果扩展到具有两个ReLU层的三层CNN。此外，我们提出了我们的方法扩展到不同的池化方法，这阐明了隐含的建筑偏见凸正则化。
2021-03-18 cs.CC cs.LG stat.ML
Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification
UCSB（加州大学圣巴巴拉分校）；Adobe Research（Adobe研究院）；The University of Washington（华盛顿大学）
针对神经网络训练成本高的问题，本文提出静态半空间报告数据结构，利用两层平移 ReLU 网络以次线性时间识别激活神经元，并证明算法具有 $O(M^2/ε^2)$ 收敛时间。
2023-07-13 cs.LG
On the Optimal Memorization Power of ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了前馈ReLU神经网络的记忆能力。我们表明，这样的网络可以记住任何$N$点，满足一个温和的可分性假设使用$\tilde{O}\left(\sqrt{N}\right)$参数。已知的VC维上界意味着记忆$N$样本需要$Ω(\sqrt{N})$参数，因此我们的构造是最佳的对数因子。我们还给出了一个广义的网络结构的深度有界的$1 \leq L \leq \sqrt{N}$，记忆$N$样本使用$\tilde{O}(N/L)$参数。这个界限也是最佳的对数因子。我们的构造使用具有大比特复杂度的权重。我们证明，有这样一个大的位复杂度是必要的和足够的记忆与一个次线性数量的参数。
2021-10-07 cs.LG cs.NE stat.ML
Convergence of Shallow ReLU Networks on Weakly Interacting Data
INRIA Paris（巴黎国家信息与自动化研究所）；CERMICS, Ecole Nationale des Ponts et Chaussées（土木工程与建筑学院CERMICS）；Ecole Nationale des Ponts et Chaussées（土木工程与建筑学院）
该研究探讨了浅层 ReLU 网络在弱相互作用数据下的收敛性，证明了在高概率下 $O(\log(n))$ 宽度的网络可实现全局收敛，并揭示了正交数据下的收敛速率相变现象。
2025-12-01 cs.AI cs.LG math.ST
Reverse-Engineering Deep ReLU Networks
University of Pennsylvania（宾夕法尼亚大学）
人们普遍认为，神经网络不能从其输出中恢复，因为网络以高度非线性的方式依赖于其参数。在这里，我们证明了，实际上，通过只观察其输出，通常可以识别未知深度ReLU网络的架构，权重和偏差。每个ReLU网络都定义了一个分段线性函数，其中线性区域之间的边界对应于网络中某些神经元在非活动和活动ReLU状态之间切换的输入。通过将一组区域边界分解为与特定神经元相关的组件，我们从理论上和经验上证明，可以恢复神经元的权重及其在网络中的排列，直到同构。
2020-02-22 cs.LG stat.ML
SQ Lower Bounds for Learning Single Neurons with Massart Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了在Massart噪声存在下PAC学习单个神经元的问题。具体地，对于已知的激活函数$f: \mathbb{R} \to \mathbb{R}$，学习者被给予对标记的示例$(\mathbf{x}, y) \in \mathbb{R}^d \times \mathbb{R}$的访问，其中$\mathbf{x}$的边缘分布是任意的，并且对应的标记$y$是$f(\langle \mathbf{w}, \mathbf{x} \rangle)$的Massart讹误。学习器的目标是输出具有小平方损失的假设$h: \mathbb{R}^d \to \mathbb{R}$。对于一系列的激活函数，包括ReLU，我们建立了这个学习问题的超多项式统计查询（SQ）下界。更详细地说，我们证明了没有有效的SQ算法可以在任何常数因子内近似最优误差。我们的主要技术贡献是一个新的学习$\{ \pm 1\}$ -重量Massart半空间的布尔超立方体，是有趣的本身的权利，一个新的SQ-硬建设。
2022-10-18 cs.DS cs.LG math.ST
Deep-ICE: the first globally optimal algorithm for minimizing 0-1 loss in two-layer ReLU and maxout networks
本文提出首个全局最优算法，用于最小化两层ReLU和maxout网络的经验风险，其最坏时间复杂度为O(N^{DK+1})，并引入新方法处理大规模数据，显著减少误分类。
2026-05-10 cs.LG
Convergence analysis for gradient flows in the training of artificial neural networks with ReLU activation
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
梯度下降（GD）型优化方案是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准方法。这种方案可以被认为是与具有ReLU激活的ANN训练相关的梯度流（GF）的离散化，并且在具有ReLU激活的ANN训练中GD型优化方案的数学收敛性分析中的大多数关键困难似乎已经存在于相应的GF微分方程的动力学中。这项工作的关键主题是在具有ReLU激活和三层（一个输入层，一个隐藏层和一个输出层）的ANN训练中分析此类GF微分方程。特别地，本文证明了在目标函数可能是多维连续的情况下，以及在输入数据的概率分布关于Lebesgue测度绝对连续的情况下，每个有界GF轨迹的风险收敛于临界点的风险.此外，在这篇文章中，我们显示的情况下，一个一维仿射线性目标函数的情况下，在输入数据的概率分布符合标准的均匀分布，每个有界GF轨迹的风险收敛到零，如果初始风险是足够小的。最后，在隐藏层（1维隐藏层）上只有一个神经元的特殊情况下，我们通过证明如果初始风险足够小，则每个（不一定有界）GF轨迹的风险收敛到零来加强仿射线性目标函数的上述结果。
2021-07-09 cs.LG cs.NA math.DS
Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs
University of Warwick（华威大学）
该研究针对单神经元学习的基础回归任务，分析了相关输入下浅层ReLU网络梯度流训练的动力学与隐式偏置，证明其收敛到零损失且偏向最小参数秩，补充了正交数据集相关研究，并通过数值实验验证了理论结论。
2023-10-02 cs.LG
Trainability of ReLU networks and Data-dependent Initialization
Brown University（布朗大学）
在本文中，我们研究了整流线性单元（ReLU）网络的可训练性。如果一个ReLU神经元只为任何输入输出一个常数，那么它就被称为死神经元。介绍了神经元的两种死亡状态：暂时性死亡和永久性死亡。如果永久死亡的神经元的数量对于学习任务来说足够小，那么网络就被称为可训练的。我们将网络可训练的概率称为可训练性。我们证明了一个网络是可训练的是成功训练的必要条件，可训练性作为成功训练率的上限。为了量化可训练性，我们研究了初始化时活跃神经元数量的概率分布。在许多应用中，过度指定或过度参数化的神经网络被成功地采用，并被证明是有效的训练。随着可训练性的概念，我们表明，过参数化是一个必要和充分条件，最大限度地减少训练损失。此外，我们提出了一个数据依赖的初始化方法在过参数化设置。数值例子证明了该方法的有效性和我们的理论研究结果。
2020-03-31 cs.LG stat.ML
Stably unactivated neurons in ReLU neural networks
本文研究ReLU神经网络第二隐藏层神经元稳定未激活的概率，推导出不同第一隐藏层规模下的精确概率公式，并提出猜想及计算证据。
2024-12-17 cs.LG math.PR stat.ML
Scaling Up Exact Neural Network Compression by ReLU Stability
Bucknell University（巴克内尔大学）；University of Utah（犹他大学）；Michigan State University（密歇根州立大学）；Google Research（谷歌研究院）
我们可以压缩整流器网络，同时精确地保留其关于给定输入域的底层功能，如果它的一些神经元是稳定的。然而，目前确定具有整流线性单元（ReLU）激活的神经元的稳定性的方法需要解决或找到多个离散优化问题的良好近似。在这项工作中，我们介绍了一个算法的基础上解决一个单一的优化问题，以确定所有稳定的神经元。我们的方法比CIFAR-10上的最先进方法快183倍，这使我们能够在几分钟内探索更深（5 x 100）和更宽（2 x 800）网络的精确压缩。对于在一定量的L1正则化下训练的分类器，我们可以在CIFAR-10数据集上删除多达56%的连接。代码可在以下链接https://github.com/yuxwind/ExactCompression上获得。
2021-10-28 cs.LG math.OC
Weight Decay and Neuron Condensation: A Three-Stage Analysis of Two-Layer ReLU Networks
School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学数学科学学院）；Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University（上海交通大学自然科学研究院）
本文通过三阶段动态分析揭示权重衰减在两层ReLU网络中促进神经元凝聚的机制，超越了单纯减少参数范数的传统理解。
2026-10-06 cs.AI cs.LG
Annihilation of Spurious Minima in Two-Layer ReLU Networks
The Hebrew University（希伯来大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究了与拟合双层ReLU神经网络相关的优化问题，其中标签由目标网络生成。使用是由丰富的对称结构，开发一套新的工具，用于研究的机制，其中过参数化消除虚假的最小值。尖锐的分析估计得到的损失和海森谱在不同的最小值，它被证明，添加神经元可以把对称的虚假最小值成鞍;最小的对称性较小，需要更多的神经元。利用柯西交错定理，证明了由损失函数的对称结构引起的某些子空间中下降方向的存在性。这种分析方法使用的技术，新的领域，从代数几何，表示理论和对称性破缺，并严格证实了有效的过参数化，使相关的损失景观访问基于梯度的方法。对于固定数目的神经元和输入，谱结果保持真实的对称性破缺扰动的目标。
2022-10-12 cs.LG math.OC
Dying ReLU and Initialization: Theory and Numerical Examples
Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）；Fuzhou University（福州大学）
垂死的ReLU指的是ReLU神经元变得不活动并且对于任何输入仅输出0时的问题。关于ReLU神经元死亡的原因，有许多经验和启发式的解释。然而，很少有人知道它的理论分析。在本文中，我们严格证明了深度ReLU网络最终会随着深度的无限大而死亡。已经提出了几种方法来缓解垂死的ReLU。也许，最简单的处理方法之一是修改初始化过程。初始化权重和偏置的一种常见方法是使用对称概率分布，这会受到ReLU的影响。因此，我们提出了一个新的初始化过程，即，一个随机的非对称初始化。我们证明了新的初始化可以有效地防止死亡的ReLU。理论上设计了新初始化所需的所有参数。数值算例验证了新初始化方法的有效性。
2020-10-21 cs.LG math.PR stat.ML
Approximating Probability Distributions by ReLU Networks
在给定输入分布和近似误差的情况下，使用神经网络近似目标概率分布需要多少个神经元？本文研究了当输入分布是均匀的，目标分布属于直方图分布类的情况下，这个问题。我们得到一个新的上限所需的神经元的数量，这是严格优于以前现有的上限。在这种改进的关键成分是一个有效的构造的神经网络表示分段线性函数。我们还获得了一个下界的最小数量的神经元需要近似的直方图分布。
2021-01-25 cs.IT cs.LG math.IT
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology（弗罗茨瓦夫理工大学）
深度神经网络最近在许多机器学习问题中取得了最先进的成果，例如，语音识别或对象识别。最近，在整流线性单元（ReLU）上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中，我们研究了一种新的方式来改善神经网络，通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此，我们提出了一种新的非线性激活函数，我们称之为Kumaraswamy单元，它与ReLU密切相关。在MNIST图像语料库的实验研究中，我们评估了应用于单层（浅层）神经网络的Kumaraswamy单元，并报告了与sigmoid单元，ReLU和Noisy ReLU相比，测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
Early Neuron Alignment in Two-layer ReLU Networks with Small Initialization
University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了小初始化梯度流下两层 ReLU 网络的二分类训练，发现早期神经元会依第二层权重与正负数据对齐，并给出了对齐时间上界及后续损失以 $\mathcal{O}(\frac{1}{t})$ 速率收敛至零的理论证明，同时在 MNIST 上得到验证。
2024-03-25 cs.LG
NP-Hardness of Minimizing Neurons in Two-Hidden-Layer ReLU Neural Networks
FAMU–FSU College of Engineering（佛罗里达农工大学-佛罗里达州立大学工程学院）；Florida State University（佛罗里达州立大学）
本文证明两层隐藏层ReLU网络中最小化隐藏神经元数量的问题是NP-难解的，为ReLU网络设计采用启发式逼近方法提供了理论依据。
2026-10-09 cs.LG
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA（加州大学洛杉矶分校）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study（普林斯顿高等研究院）
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题，即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线，但一个关键的挑战是将学习保证带回到有限神经元设置中，在那里实际算法可以运行。为了缩小这一差距，并专注于浅神经网络，在这项工作中，我们研究了不同的正则化策略的能力，以捕获只需要有限数量的神经元的解决方案，即使在无限宽的政权。具体来说，我们考虑（i）通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19]，和（ii）变分范数正则化[巴赫~17]，兼容的平均场标度。在对激活函数的温和假设下（例如满足ReLU），我们建立了两种方案都是由只有有限数量的神经元的函数最小化的，而不管过度参数化的量。我们研究的后果，这种属性和描述的设置，其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Let the Neurons Die: Exploiting ReLU-Induced Model Degradation
University of Toronto（多伦多大学）
针对ReLU神经元的死亡问题，提出基于数据排序和投毒的三种训练时攻击，仅通过排序100个样本或添加200个投毒样本即可显著降低MNIST测试准确率。
2026-09-29 cs.AI cs.LG
On minimal representations of shallow ReLU networks
浅层ReLU网络的实现函数是连续的分段仿射函数$f:\mathbb R^d\to \mathbb R$，其中域$\mathbb R^{d}$被一组$n$超平面划分为$f$在其上仿射的单元。我们发现，$f$的最小表示使用$n$，$n+1$或$n+2$神经元，我们的特点，每三种情况下。在输入层是一维的特定情况下，最小表示总是最多使用$n+1$神经元，但在所有更高维的设置中，存在需要$n+2$神经元的函数。然后证明了表示$f$的极小网络的集合构成$C^\infty$ -子流形$M$，并导出了$M$的连通分支的维数和个数.此外，我们给出了超平面的一个标准，该标准保证所有连续的分段仿射函数都是适当的ReLU网络的实现函数。
2021-08-12 cs.LG math.ST stat.TH
Memorization Capacity for Additive Fine-Tuning with Small ReLU Networks
Yonsei University（延世大学）；University of Seoul（首尔大学）；Korea Institute for Advanced Study（韩国高等研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究提出微调容量（FTC）度量，分析小型ReLU网络加法式微调的记忆容量，得到2层、3层网络的紧上下界，拓展了记忆容量概念的应用场景。
2024-08-19 cs.LG stat.ML
The Convex Relaxation Barrier, Revisited: Tightened Single-Neuron Relaxations for Neural Network Verification
Google Research（谷歌研究院）；Rice University（莱斯大学）；Columbia University（哥伦比亚大学）；Polytechnique Montréal（蒙特利尔理工学院）
我们改进了基于传播和线性优化的神经网络验证算法的有效性，为ReLU神经元提供了新的收紧凸松弛。与以前的单神经元松弛只关注ReLU的单变量输入空间不同，我们的方法考虑了ReLU之前的仿射预激活函数的多变量输入空间。使用子模块和凸几何的结果，我们得到一个明确的描述，最紧密的可能凸松弛时，这个多变量输入是在一个框域。我们表明，我们的凸松弛是显着强于常用的单变量输入松弛已被提出作为一个自然的凸松弛障碍验证。虽然我们的放松的描述可能需要指数数量的不等式，我们表明，它们可以在线性时间分离，因此可以有效地纳入优化算法的基础上，根据需要。基于这种新的松弛，我们设计了两个多项式时间算法的神经网络验证：一个基于线性规划的算法，利用我们的松弛的全部力量，和一个快速传播算法，概括现有的方法。在这两种情况下，我们表明，对于适度增加的计算工作量，我们加强放松使我们能够验证一个显着更大数量的实例相比，类似的算法。
2020-10-22 cs.LG stat.ML
Learning Narrow One-Hidden-Layer ReLU Networks
UC Berkeley（加州大学伯克利分校）；Yale（耶鲁大学）；UPenn（宾夕法尼亚大学）；UT Austin（德克萨斯大学奥斯汀分校）；UCLA（加州大学洛杉矶分校）
针对常数个 ReLU 的单隐藏层网络，本文利用高阶矩张量随机收缩与多尺度神经元合并，提出无需系数为正或权重良态假设的首个多项式时间学习算法。
2023-04-20 cs.DS cs.LG stat.ML
