Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
我们考虑梯度下降的动态学习一个两层神经网络。我们假设输入$x\in\mathbb{R}^d$是从高斯分布中提取的，并且$x$的标签满足$f^{\star}(x) = a^{\top}|W^{\star}x|$，其中$a\in\mathbb{R}^d$是非负向量，并且$W^{\star} \in\mathbb{R}^{d\times d}$是正交矩阵。我们证明了一个带有ReLU激活的过参数化双层神经网络，通过随机初始化的梯度下降进行训练，可以证明在多项式时间内使用多项式样本学习人口损失最多为$o(1/d)$的地面真值网络。另一方面，我们证明了任何核方法，包括神经正切核，与$d$中的多项式样本数，具有人口损失至少$Ω(1 / d)$。
2020-07-09 cs.LG math.OC stat.ML
Training a Two Layer ReLU Network Analytically
Florida State University（佛罗里达州立大学）
本文提出一种交替解析求解临界点的算法来训练两层类 ReLU 网络，实验证明其在多数数据集上比 SGD 和 Adam 获得更小的训练损失且速度更快。
2023-04-06 cs.LG stat.ML
A priori generalization error for two-layer ReLU neural network through minimum norm solution
我们专注于估计由均方误差训练的双层ReLU神经网络（NN）的\emph{a priori}泛化误差，其仅取决于初始参数和目标函数，通过以下研究路线。首先，我们估计了有限宽度两层ReLU神经网络的\emph{a priori}泛化误差，并通过\cite{zhang2019type}证明了最小范数解的约束是线性化（w.r.t.参数）有限宽度两层神经网络。当宽度变为无穷大时，线性化的NN收敛到神经切线核（NTK）机制\citep{jacot2018neural}中的NN。因此，我们可以推导出NTK机制下双层ReLU NN的\emph{a priori}泛化误差。用\cite{arora2019exact}估计NTK机制中的NN和具有梯度训练的有限宽度NN之间的距离。基于\cite{arora2019exact}中的结果，我们的工作证明了两层ReLU神经网络的\emph{a priori}泛化误差界。该估计使用最小范数解的固有隐式偏差，而不需要损失函数中的额外规则性。这种\emph{a priori}估计还意味着NN不会遭受维数灾难，并且可以在不需要指数级大量神经元的情况下实现小的泛化误差。此外，本文提出的研究路线也可用于研究有限宽度网络的其他性质，如后验泛化误差。
2020-05-07 cs.LG stat.ML
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University（南卫理公会大学）
最近，机器学习中的神经网络在早期处理层中使用整流线性单元（ReLU）以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明，输出激活概率Pr[y>0]在系统收敛时通常小于0.5，对于不采用跳跃连接的层，并且随着从输入层到输出层的进展，该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型，然后我们进行统计收敛分析，以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度，无论权重如何初始化，这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics
Princeton University（普林斯顿大学）
我们为有限深度$L$和无限宽度的ReLU神经网络开发了Banach空间。该空间包含所有有限的全连通$L$层网络和它们的$L^2$ -限制对象在自然路范数的界下。在此规范下，$L$层网络空间中的单位球具有较低的拉德马赫复杂度，从而具有良好的泛化性能。在这些空间中的函数可以近似的多层神经网络与维数无关的收敛速度。这项工作的关键是一种新的方式来表示功能的某种形式的期望，由多层神经网络的动机。这种表示允许我们为机器学习定义一类新的连续模型。我们表明，这种方式定义的梯度流是自然的连续模拟的梯度下降动态相关联的多层神经网络。我们表明，在这种连续的梯度流动力学的路径范数增加最多项式。
2020-07-30 cs.LG math.FA stat.ML
Hidden Minima in Two-Layer ReLU Networks
The Hebrew University（希伯来大学）
研究两层ReLU网络中隐藏极小值的结构特性，通过分析损失函数的局部极小化曲线，揭示隐藏极小值与非隐藏极小值的差异。
2026-01-16 cs.LG math.OC stat.ML
Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
Stanford University（斯坦福大学）；Google（谷歌）
本文提出一种用于两层多项式激活网络对抗训练的凸半定规划方法，并实现兼容GPU的可扩展训练方案，在CIFAR-10上重训练ResNet-18最后两层，显著提升了对抗鲁棒性。
2024-10-16 cs.LG math.OC
On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths
MPI-MIS（马克斯·普朗克数学研究所）
我们给出了一个简单的证明，证明了梯度下降在训练具有标准平方损失的深度ReLU网络中的全局收敛性，并展示了它对现有技术的一些改进。特别是，虽然现有工作要求所有隐藏层都至少具有宽度$Ω(N^8)$（$N$是训练样本的数量），我们需要线性、二次或三次宽度的单个宽层，这取决于初始化的类型。与最近许多基于神经切线核（NTK）的证明不同，我们的证明不需要跟踪整个NTK矩阵的演变，或者更一般地说，不需要跟踪与训练期间激活模式变化相关的任何量。相反，我们只需要跟踪最后一个隐藏层的输出的演变，由于ReLU的Lipschitz属性，这可以更容易地完成。我们设置的一些亮点：（i）所有层都是用标准的梯度下降训练的，（ii）网络具有标准的参数化，而不是NTK的参数化，（iii）网络具有单个宽层，而不是像大多数NTK相关结果那样具有所有宽隐藏层。
2021-06-11 cs.LG stat.ML
An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis
Facebook AI Research（Facebook人工智能研究院）
在本文中，我们探索了训练双层ReLU网络$g(\mathbf{x}; \mathbf{w}) = \sum_{j=1}^K σ(\mathbf{w}_j^T\mathbf{x})$的理论性质，其中中心$d$维球形高斯输入$\mathbf{x}$（$σ$ =ReLU）。我们在$\mathbf{w}$上用梯度下降来训练我们的网络，以模仿具有相同架构和固定参数$\mathbf{w}^*$的教师网络的输出。我们表明，它的人口梯度有一个解析公式，导致有趣的理论分析的临界点和收敛行为。首先，我们证明了教师参数（“平面外”）所张成的超平面外的临界点不是孤立的，并形成流形，并描述了两种ReLU情况下的平面内无临界点区域。另一方面，如果权重被随机初始化，标准偏差上限由$O(ε/\sqrt{d})$限定，则至少以$(1-ε)/2$概率保证一个ReLU节点收敛到$\mathbf{w}^*$，这与经验实践一致。对于具有许多ReLU节点的网络，我们证明了权重初始化的无穷小扰动会导致收敛到$\mathbf{w}^*$（或其排列），这是物理学中称为自发破缺（SSB）的现象。我们假设ReLU激活没有独立性。仿真验证了我们的研究结果。
2017-05-24 cs.LG
A proof of convergence for stochastic gradient descent in the training of artificial neural networks with ReLU activation for constant target functions
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在这篇文章中，我们研究了随机梯度下降（SGD）最优化方法在训练具有ReLU激活的全连接前馈人工神经网络中的应用。本文的主要结果证明了当目标函数为常数时，SGD过程的风险收敛于零。在建立的收敛结果所考虑的人工神经网络包括一个输入层，一个隐藏层，和一个输出层（与$d \in \mathbb{N}$神经元上的输入层，$H \in \mathbb{N}$神经元上的隐藏层，和一个神经元上的输出层）。假设SGD过程的学习速率足够小，并且假设SGD过程中用于训练人工神经网络的输入数据是独立且同分布的。
2021-04-01 cs.LG cs.NA math.NA
How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
本文针对第一层随机、仅末层训练的一维浅层ReLU神经网络，证明其L2正则化回归等价于函数空间二阶导数正则化，最小二乘下节点数趋于无穷时收敛于光滑样条插值，并建立早停梯度下降与光滑样条回归的对应关系。
2023-10-04 cs.LG cs.NA math.NA
Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对标准高斯分布下k个ReLU激活线性组合的PAC学习问题，提出基于张量分解与Schur多项式的高效算法，复杂度为(dk/ε)^O(k)，在相关统计查询算法类中接近最优。
2023-07-25 cs.DS cs.LG math.ST
Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
Stanford University（斯坦福大学）
理解深度神经网络成功背后的基本机制是现代机器学习文献中的关键挑战之一。尽管进行了多次尝试，但尚未开发出可靠的理论分析。在本文中，我们开发了一个新的统一框架，通过凸优化的镜头揭示隐藏的正则化机制。我们首先证明了使用权重衰减正则化的多个三层ReLU子网络的训练可以等效地转换为高维空间中的凸优化问题，其中稀疏性通过组$\ell_1$ -范数正则化来实现。因此，ReLU网络可以被解释为高维特征选择方法。更重要的是，我们证明了等价的凸问题可以全局优化的标准凸优化求解器的多项式时间复杂度的样本数和数据维数时，网络的宽度是固定的。最后，我们通过涉及合成和真实数据集的实验，数值验证了我们的理论结果。
2022-01-13 cs.AI cs.CC cs.LG
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 2: Experiments and Analysis
Beijing University of Technology（北京工业大学）
单隐藏层ReLU网络的局部极小值的存在性在[8]中进行了理论研究。基于该理论，本文首先分析了一维高斯数据存在局部极小的概率有多大，以及它在整个权值空间中的变化情况。我们发现，这种概率在大多数地区是非常低的。然后，我们设计并实现了一个基于线性规划的方法来判断真正的局部极小值的存在，并使用它来预测是否存在坏的局部极小值的MNIST和CIFAR-10数据集，并发现有坏的可微局部极小值几乎无处不在的重量空间，一旦一些隐藏的神经元被激活的样本。这些理论预测通过实验得到验证，表明梯度下降并没有被困在它开始的细胞中。我们还进行了实验，以探索在重量空间中的可微细胞的计数和大小。
2020-06-15 cs.LG stat.ML
Training Two-Layer ReLU Networks with Gradient Descent is Inconsistent
University of Stuttgart（斯图加特大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute for Stochastics and Applications（随机过程与应用研究所）
我们证明了由He等人（2015）提出的广泛使用的方法初始化并使用最小二乘损失梯度下降训练的双层（Leaky）ReLU网络并不普遍一致。具体来说，我们描述了一大类一维数据生成分布，对于这些分布，梯度下降很有可能只找到优化景观的一个糟糕的局部最小值，因为它无法将偏差远离它们的初始值零。事实证明，在这些情况下，即使目标函数是非线性的，所发现的网络也基本上执行线性回归。我们进一步提供了数值证据，证明这种情况发生在实际情况下，对于一些多维分布和随机梯度下降表现出类似的行为。我们还提供了关于初始化和优化器的选择如何影响这种行为的实证结果。
2022-06-08 cs.LG stat.ML
Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
虽然深度学习在各种任务中的表现优于其他方法，但解释其原因的理论框架尚未完全建立。为了解决这个问题，我们研究了教师-学生回归模型中两层ReLU神经网络的过度风险，其中学生网络通过其输出学习未知的教师网络。特别地，我们考虑了与教师网络具有相同宽度的学生网络，并且在两个阶段进行训练：首先通过噪声梯度下降，然后通过香草梯度下降。我们的结果表明，学生网络可证明达到一个接近全局最优解，并优于任何核方法估计（更一般地说，线性估计），包括神经正切核方法，随机特征模型，和其他核方法，在极大极小最优率的意义。诱导这种优越性的关键概念是神经网络模型的非凸性。即使损失景观是高度非凸的，学生网络也会自适应地学习教师神经元。
2022-06-06 cs.LG stat.ML
Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions
Stanford University（斯坦福大学）
本文提出将两层ReLU网络训练重构为带锥约束的凸优化问题，并开发加速近端梯度与增广拉格朗日求解器，在MNIST和CIFAR-10上实现比SGD及内点法更快的凸训练。
2025-04-08 cs.LG
Student Specialization in Deep ReLU Networks With Finite Width and Input Dimension
Facebook AI Research（脸书人工智能研究院）
我们考虑一个深度ReLU / Leaky ReLU学生网络，它是从相同深度的固定教师网络的输出中训练出来的，使用随机梯度下降（SGD）。学生网络为\emph{over-realized}：在每一层$l$上，学生节点的数量$n_l$大于教师节点的数量（$m_l$）。在数据集和教师网络上，在较弱的条件下，证明了当每个数据样本的梯度都很小时，每个教师节点都是由至少一个学生节点\emph{at the lowest layer}生成的\emph{specialized}.对于两层网络，可以通过在\emph{polynomial}大小为$\mathcal{O}( K^{5/2} d^3 ε^{-1})$的任何数据集上进行训练来实现这种专门化。直到梯度幅度下降到$\mathcal{O}(ε/K^{3/2}\sqrt{d})$。这里$d$是输入维度，$K = m_1 + n_1$是教师和学生最低层的神经元总数。请注意，我们需要一种特定形式的数据增强，样本复杂性包括从增强生成的额外数据。据我们所知，我们是第一个为教师-学生设置中具有有限深度和宽度的训练双层（Leaky）ReLU网络的学生专业化提供多项式样本复杂度的人，以及多层情况下最低层专业化的有限复杂度，没有输入的参数假设（如高斯）。我们的理论表明，当梯度仍然很大时，具有大扇出权重的教师节点首先被专业化，而其他节点则被小梯度专业化，这表明训练中…
2020-06-28 cs.LG stat.ML
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions
Stanford University（斯坦福大学）
我们证明了找到所有全局最优的双层ReLU神经网络可以通过求解具有锥约束的凸优化程序来执行。我们的分析是新颖的，描述了所有最优解的特征，并且没有利用最近用于将神经网络训练提升到凸空间的基于对偶的分析。给定我们的凸优化程序的解集，我们展示了如何精确地构建整个最优神经网络集。我们提供了一个详细的特征，这个最佳的设置和不变的变换。作为凸透视的附加结果，（i）我们建立了由随机梯度下降找到的Clarke平稳点对应于下采样凸问题的全局最优值（ii）我们提供了一个多项式时间算法来检查神经网络是否是训练损失的全局最小值（iii）我们提供了一个明确的结构之间的连续路径的任何神经网络和全球最小的子水平集和（iv）表征隐藏层的最小尺寸，使得神经网络优化景观没有虚假谷。总的来说，我们提供了一个丰富的框架，通过凸性研究神经网络训练损失的景观。
2022-03-13 cs.LG stat.ML
Effects of width-dependent model hyperparameters and $\ell_2$-regularization on the loss landscape of two-layer ReLU networks
Okinawa Institute of Science and Technology（冲绳科学技术研究院）
研究两层ReLU网络中宽度依赖模型超参数和$\ell_2$正则化对损失景观的影响，推导超参数条件及解析解，通过实验发现AdamW可防参数坍缩，揭示了相关因素对损失景观几何结构的影响。
2026-07-21 cs.LG
Sharp description of local minima in the loss landscape of high-dimensional two-layer ReLU neural networks
Physics, Chalmers University of Technology；University of Gothenburg；Ecole Normale Superieure, PSL \& CNRS；Engineering, Chalmers University of Technology；School of Computer Science；Applied Mathematics, University of the Witwatersrand
本文通过总结统计量精确刻画了高维两层ReLU神经网络损失景观中的局部极小值，并建立了与单次SGD的关联，揭示了过参数化对极小值稳定性和可达性的影响。
2026-05-29 cond-mat.dis-nn cs.LG stat.ML
Small ReLU networks are powerful memorizers: a tight analysis of memorization capacity
MIT（麻省理工学院）
我们研究有限样本的表现力，即，ReLU网络的记忆能力。最近的结果需要$N$隐藏节点来存储/内插任意$N$数据点。相比之下，通过利用深度，我们证明了具有$Ω(\sqrt{N})$隐藏节点的3层ReLU网络可以完美地记住大多数具有$N$点的数据集。我们还证明了宽度$Θ(\sqrt{N})$是必要的和足够的记忆$N$数据点，证明紧边界的记忆能力。充分性结果可以扩展到更深的网络，我们表明，$L$层网络与$W$参数在隐藏层可以记住$N$数据点，如果$W = Ω(N)$。结合最近VC维上界$O(WL\log W)$，我们的构造对于任何固定的$L$都是几乎紧的.随后，我们分析了记忆能力的剩余网络的一般位置假设下，我们证明的结果，大大减少了已知的要求$N$隐藏节点。最后，我们研究了随机梯度下降（SGD）的动力学，并表明，当初始化附近的记忆全局最小的经验风险，SGD迅速找到一个附近的点与小得多的经验风险。
2019-10-29 cs.LG stat.ML
Does Flatness imply Generalization for Logistic Loss in Univariate Two-Layer ReLU Network?
本文研究了单变量两层ReLU网络在逻辑损失下的泛化能力，证明了平坦性在逻辑损失下比平方损失更复杂，揭示了平坦解的泛化界和过拟合的可能性。
2025-12-01 cs.AI cs.LG stat.ML
Learning ReLU Networks on Linearly Separable Data: Algorithm, Optimality, and Generalization
University of Minnesota（明尼苏达大学）；Beijing Institute of Technology（北京理工大学）；Tongji University（同济大学）
具有Rectified Linear Unit（ReLU）激活函数的神经网络（也称为ReLU网络）在各个领域取得了巨大的经验成功。尽管如此，现有的学习ReLU网络的结果要么假设底层数据分布是高斯分布，要么要求网络大小和/或训练大小足够大。在这种情况下，学习双层ReLU网络的问题是在二进制分类设置中进行的，其中数据是线性可分离的，并且采用铰链损失标准。利用随机噪声扰动的力量，本文提出了一种新的随机梯度下降（SGD）算法，该算法可以训练任何单隐藏层ReLU网络以达到全局最优，尽管存在无限多个坏的局部极小值，极大值和鞍点。这是同类结果中的第一个，不需要对数据分布，训练/网络大小或初始化进行假设。收敛到一个全局最小的迭代算法进行了分析，通过建立一个上限和一个下限的非零更新的数量进行。此外，为使用利用经典压缩边界的新型SGD训练的ReLU网络开发了泛化保证。这些保证突出了可靠学习ReLU网络和泄漏ReLU网络在样本复杂性方面的关键区别（至少在最坏的情况下）。仿真数据和实际图像的数值试验验证了算法的有效性和理论的实用价值。
2019-04-06 cs.IT cs.LG math.IT
Nonparametric Learning of Two-Layer ReLU Residual Units
Amazon（亚马逊）；Georgia Institute of Technology（佐治亚理工学院）；University of Edinburgh（爱丁堡大学）
我们描述了一种使用整流线性单元（ReLU）激活来学习两层残差单元的算法：假设输入$\mathbf{x}$来自具有支持空间$\mathbb{R}^d$的分布，并且地面实况生成模型是由$\mathbf{y} = \boldsymbol{B}^\ast\left[\left(\boldsymbol{A}^\ast\mathbf{x}\right)^+ + \mathbf{x}\right]$给出的这种类型的残差单元，其中地面实况网络参数$\boldsymbol{A}^\ast \in \mathbb{R}^{d\times d}$表示具有非负条目的满秩矩阵，并且$\boldsymbol{B}^\ast \in \mathbb{R}^{m\times d}$是具有$m \geq d$的满秩矩阵，并且对于$\boldsymbol{c} \in \mathbb{R}^d$，$[\boldsymbol{c}^{+}]_i = \max\{0, c_i\}$。我们将分层目标设计为泛函，其解析最小化器表示其参数和非线性方面的确切地面实况网络。遵循这一目标景观，可以使用非参数函数的凸优化来制定从有限样本中学习残差单元：对于每一层，我们首先将相应的经验风险最小化（ERM）表示为一个半正定二次规划（QP），然后证明QP的解空间可以等价地由一组线性不等式确定，然后可以通过线性规划（LP）来有效地求解。我们进…
2022-12-10 cs.LG stat.ML
Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；UCLA（加州大学洛杉矶分校）
我们给出了在标准（无噪声）模型中学习两个隐藏层ReLU网络的超多项式统计查询（SQ）下界。在这种情况下，学习任何深度的ReLU网络都没有通用的SQ下限：以前的SQ下限仅适用于对抗性噪声模型（不可知学习）或相关SQ等受限模型。以前的工作暗示了我们的结果是不可能的：Vempala和Wilmes证明了一般的SQ下界不能应用于任何满足简单非退化条件的实值函数族。为了规避他们的结果，我们改进了Daniely和Vardi的提升过程，将布尔PAC学习问题减少到高斯学习问题。我们展示了如何将他们的技术扩展到其他学习模型，并在许多研究充分的情况下，获得更有效的减少。因此，我们还证明了PAC学习两个隐藏层ReLU网络的新密码学硬度结果，以及从标签查询学习恒定深度ReLU网络的新下界。
2022-11-13 cs.CC cs.LG stat.ML
On the Principle of Least Symmetry Breaking in Shallow ReLU Models
NYU（纽约大学）；UCSB（加州大学圣塔芭芭拉分校）
本文提出浅层ReLU模型拟合中伪局部极小值遵循最少对称性破缺原理，并通过实验验证其在多种分布、激活函数和网络结构中的适用性。
2023-12-28 cs.LG stat.ML
A global convergence theory for deep ReLU implicit networks via over-parameterization
Iowa State University（爱荷华州立大学）；The Ohio State University（俄亥俄州立大学）
隐式深度学习最近受到越来越多的关注，因为它概括了许多常用神经网络架构的递归预测规则。它的预测规则是隐式提供的平衡方程的解的基础上。虽然最近的一系列实证研究已经证明了其优越的性能，隐式神经网络的理论理解是有限的。一般来说，平衡方程在训练过程中可能不是适定的。因此，不能保证香草（随机）梯度下降（SGD）训练非线性隐式神经网络可以收敛。本文通过分析整流线性单元（ReLU）激活的隐式神经网络的梯度流来填补这一空白。对于具有ReLU激活和$n$训练样本的$m$宽度隐式神经网络，如果隐式神经网络是\textit{over-parameterized}，则随机初始化的梯度下降以平方损失函数的线性速率收敛到全局最小值。值得注意的是，与现有的关于有限层过参数化神经网络的（S）GD收敛性的工作不同，我们的收敛性结果适用于隐式神经网络，其中层数为\textit{infinite}。
2022-02-18 cs.LG math.OC stat.ML
Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time
Stanford University（斯坦福大学）
我们研究了使用ReLU激活的卷积神经网络（CNN）的训练，并引入了精确的凸优化公式，该公式具有关于数据样本数量，神经元数量和数据维度的多项式复杂度。更具体地说，我们开发了一个凸分析框架，利用半无限对偶，以获得几个两层和三层CNN架构的等价凸优化问题。我们首先证明了两层CNN可以通过$\ell_2$范数正则化凸规划进行全局优化。然后，我们证明了具有单个ReLU层的多层循环CNN训练问题等价于$\ell_1$正则化凸程序，该程序鼓励谱域中的稀疏性。我们还将这些结果扩展到具有两个ReLU层的三层CNN。此外，我们提出了我们的方法扩展到不同的池化方法，这阐明了隐含的建筑偏见凸正则化。
2021-03-18 cs.CC cs.LG stat.ML
Convergence analysis for gradient flows in the training of artificial neural networks with ReLU activation
University of Münster（明斯特大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
梯度下降（GD）型优化方案是用整流线性单元（ReLU）激活来训练人工神经网络（ANN）的标准方法。这种方案可以被认为是与具有ReLU激活的ANN训练相关的梯度流（GF）的离散化，并且在具有ReLU激活的ANN训练中GD型优化方案的数学收敛性分析中的大多数关键困难似乎已经存在于相应的GF微分方程的动力学中。这项工作的关键主题是在具有ReLU激活和三层（一个输入层，一个隐藏层和一个输出层）的ANN训练中分析此类GF微分方程。特别地，本文证明了在目标函数可能是多维连续的情况下，以及在输入数据的概率分布关于Lebesgue测度绝对连续的情况下，每个有界GF轨迹的风险收敛于临界点的风险.此外，在这篇文章中，我们显示的情况下，一个一维仿射线性目标函数的情况下，在输入数据的概率分布符合标准的均匀分布，每个有界GF轨迹的风险收敛到零，如果初始风险是足够小的。最后，在隐藏层（1维隐藏层）上只有一个神经元的特殊情况下，我们通过证明如果初始风险足够小，则每个（不一定有界）GF轨迹的风险收敛到零来加强仿射线性目标函数的上述结果。
2021-07-09 cs.LG cs.NA math.DS
Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network
Northwestern University（西北大学）
如今，在线学习是一种吸引人的学习范式，由于最近出现的大规模应用，如在线广告投放和在线网络排名，这在实践中引起了极大的兴趣。标准的在线学习假设有限数量的样本，而在实践中，数据是无限流的。在这样的设置中，具有递减的学习率的梯度下降不起作用。我们首先介绍了滚动窗口的遗憾，这是一种新的在线流学习性能指标，它测量算法在每个固定数量的连续样本上的性能。在同一时间，我们提出了一个家庭的算法的基础上梯度下降与恒定或自适应学习率，并提供非常技术性的分析，建立遗憾的边界属性的算法。我们覆盖了凸设置，显示了在恒定和动态学习率场景中窗口大小的平方根的顺序的遗憾。我们的证明也适用于标准的在线设置，我们提供了相同的后悔订单的第一次分析（以前的证明有缺陷）。我们还研究了具有ReLU激活的两层神经网络设置。在这种情况下，我们建立，如果初始权重接近一个稳定点，相同的平方根遗憾界是可达到的。我们进行计算实验证明了所提出的算法的优越性能。
2019-11-26 cs.DS cs.LG stat.ML
Convergence Analysis of Two-layer Neural Networks with ReLU Activation
Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
近年来，基于随机梯度下降（SGD）的技术已经成为训练神经网络的标准工具。然而，为什么SGD可以在实践中训练神经网络的正式理论理解在很大程度上是缺失的。在本文中，我们通过在具有ReLU激活的双层前馈网络的丰富子集上提供SGD的收敛分析，在理解这个谜团方面取得了进展。这个子集的特征在于一个特殊的结构，称为“身份映射”。我们证明，如果输入遵循高斯分布，与标准的$O(1/\sqrt{d})$初始化的权重，SGD收敛到全局最小的多项式步骤。与普通的vanilla网络不同，“身份映射”使我们的网络不对称，因此全局最小值是唯一的。为了补充我们的理论，我们还能够通过实验证明，与普通的vanilla网络相比，具有这种映射的多层网络具有更好的性能。我们的收敛定理不同于传统的非凸优化技术。我们证明了SGD在“两个阶段”收敛到最优：在第一阶段，梯度指向错误的方向，但势函数$g$逐渐减小。然后在第二阶段，SGD进入一个很好的一点凸区域并收敛。我们还证明了恒等映射对于收敛是必要的，因为它将初始点移动到一个更好的地方进行优化。实验证实了我们的说法。
2017-11-01 cs.LG
Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms
Stanford University（斯坦福大学）
我们描述了双层向量输出ReLU神经网络训练问题的凸半无限对偶。这个半无限对偶允许有限维表示，但它的支撑是在一个凸集上，这是很难描述的。特别地，我们证明了非凸神经网络训练问题等价于一个有限维凸共正规划。我们的工作是第一个确定这种强连接的全局最优的神经网络和那些coppositive程序。因此，我们展示了如何神经网络隐式地试图通过半非负矩阵分解来解决共正程序，并从这个公式中得出关键的见解。我们描述的第一个算法可证明找到全局最小的向量输出神经网络训练问题，这是多项式的样本数为一个固定的数据秩，但指数的维度。然而，在卷积架构的情况下，计算复杂性仅在滤波器大小方面是指数的，而在所有其他参数方面是多项式的。我们描述的情况下，我们可以找到这个神经网络的全局最优训练问题，正是与软阈值SVD，并提供了一个共正松弛，保证是准确的某些类的问题，并对应于解决随机梯度下降在实践中。
2021-12-21 cs.AI cs.CC cs.LG
Benign Overfitting in Two-Layer ReLU Convolutional Neural Networks for XOR Data
The University of Hong Kong（香港大学）
针对现有良性过拟合理论多局限于线性贝叶斯最优问题的不足，研究带标签翻转噪声的XOR型分类任务，证明过参数化两层ReLU CNN在满足样本与信噪比条件时可近贝叶斯最优，否则存在固定精度差距，揭示CNN学习XOR问题的强能力。
2023-10-03 cs.LG
Tight Bounds on the Smallest Eigenvalue of the Neural Tangent Kernel for Deep ReLU Networks
MPI-MIS（马克斯·普朗克数学研究所）；Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；UCLA（加州大学洛杉矶分校）
最近的一系列工作已经通过神经切线核（NTK）分析了深度神经网络的理论特性。特别是，NTK的最小特征值与记忆能力，梯度下降算法的全局收敛性和深度网络的推广有关。然而，现有的结果要么在两层设置提供界限，或假设的NTK矩阵的频谱有界远离0的多层网络。在本文中，我们为深度ReLU网的NTK矩阵的最小特征值提供了严格的界限，无论是在无限宽度的极限情况下还是有限宽度的情况下。在有限宽度设置中，我们考虑的网络架构相当普遍：我们需要存在一个宽层，大约有$N$神经元的数量级，$N$是数据样本的数量;其余层宽度的缩放是任意的（直到对数因子）。为了获得我们的结果，我们分析了各种数量的独立利益：我们给出的最小奇异值的隐藏特征矩阵的下界，和输入输出特征映射的Lipschitz常数的上界。
2022-08-21 cs.LG stat.ML
Saddle-To-Saddle Dynamics in Deep ReLU Networks: Low-Rank Bias in the First Saddle Escape
EPFL Lausanne（日内瓦联邦理工学院拉沃斯分校）；UC Berkeley（伯克利大学）；Courant Institute, NYU（纽约大学Courant研究所）
该研究聚焦深度ReLU网络小权重初始化时梯度下降从原点鞍点逃逸的方向，证明最优逃逸方向深层存在低秩偏差，还提出网络呈现鞍点到鞍点的动力学，即梯度下降会依次访问瓶颈秩递增的鞍点。
2026-04-20 cs.AI cs.LG stat.ML
Deep-ICE: the first globally optimal algorithm for minimizing 0-1 loss in two-layer ReLU and maxout networks
本文提出首个全局最优算法，用于最小化两层ReLU和maxout网络的经验风险，其最坏时间复杂度为O(N^{DK+1})，并引入新方法处理大规模数据，显著减少误分类。
2026-05-10 cs.LG
Most ReLU Networks Suffer from $\ell^2$ Adversarial Perturbations
The Hebrew University（希伯来大学）；Google Research（谷歌研究院）
我们考虑具有随机权重的ReLU网络，其中每层的维度都在减少。我们表明，对于大多数此类网络，大多数示例$x$承认在欧几里得距离为$O\left(\frac{\|x\|}{\sqrt{d}}\right)$的对抗性扰动，其中$d$是输入维度。此外，这种扰动可以通过梯度流以及具有足够小的步长的梯度下降来发现。这个结果可以被看作是对大量对抗性例子的解释，以及它们是通过梯度下降发现的事实。
2020-10-28 cs.CR cs.LG stat.ML
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks
Technion（以色列理工学院）；Marquette University（马凯特大学）
本文研究了单隐藏层多元ReLU网络在随机梯度下降下的隐式偏差，证明了预测器拉普拉斯算子的有界性随步长增大而减小，并在MNIST上验证了该界限的紧致性，同时发现稳定的浅层网络非通用逼近器，但足够平滑的函数可被其任意逼近。
2023-06-30 cs.LG
Provable Unlearning with Gradient Ascent on Two-Layer ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）
本文理论分析梯度上升法在两层ReLU神经网络中的机器遗忘，提出$(ε, δ, τ)$-成功准则，证明其能有效逼近重训模型并保持泛化。
2025-10-16 cs.CR cs.LG cs.NE
Magnitude and Angle Dynamics in Training Single ReLU Neurons
KAIST（韩国科学技术院）
为了理解深度ReLU网络的动态学习，我们通过将其分解为幅度$w(t)$和角度$ϕ(t):= π- θ(t) $分量来研究梯度流$w(t)$的动态系统。特别是，对于具有球对称数据分布和平方损失函数的多层单ReLU神经元，我们提供幅度和角度分量的上下界来描述梯度流的动态。使用获得的边界，我们得出结论，小规模初始化会导致深层单个ReLU神经元的收敛速度缓慢。最后，利用梯度流和梯度下降的关系，我们将我们的结果推广到梯度下降方法。所有的理论结果都得到了实验的验证。
2022-10-12 cs.LG
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks
Stanford University（斯坦福大学）
我们开发的精确表示的训练两层神经网络与整流线性单元（ReLU）在一个单一的凸规划的变量多项式的训练样本的数量和隐藏的神经元的数量。我们的理论利用半无限对偶和最小范数正则化。我们证明了用标准权重衰减训练的ReLU网络等价于块$\ell_1$惩罚凸模型。此外，我们表明，某些标准的卷积线性网络是等价的半定规划，可以简化为$\ell_1$正则化的线性模型在一个多项式大小的离散傅立叶特征空间。
2020-08-15 cs.CC cs.LG stat.ML
Singular Values for ReLU Layers
尽管它们在神经网络中很流行，但我们仍然缺乏对ReLU层的彻底理论表征。本文旨在通过研究激活函数ReLU如何与层的线性组件相互作用，以及这种相互作用在神经网络成功实现其预期任务中扮演的角色，来进一步理解ReLU层。为此，我们引入了两个新工具：算子的ReLU奇异值和算子的高斯平均宽度。通过一方面提出这两个概念的理论依据，结果和解释，另一方面将ReLU奇异值和高斯平均宽度应用于训练的神经网络的数值实验和结果，我们希望给出一个全面的，以奇异值为中心的ReLU层视图。我们发现，ReLU奇异值和高斯平均宽度不仅能够实现理论见解，而且还提供了一个似乎有希望用于实际应用的度量。特别是，这些措施可以用来区分正确和不正确的分类数据，因为它穿过网络。最后，我们介绍了两个工具，根据我们的研究结果：双层和谐波修剪。
2019-08-12 cs.LG stat.ML
Representing MAX functions using two-hidden-layer ReLU networks
Johns Hopkins University（约翰斯·霍普金斯大学）
该研究针对MAX_N函数的双隐藏层ReLU网络表示问题，通过计算机辅助搜索独立得到MAX₅至MAX₈的表示，与近期Ruess等人的成果存在细微差异，为相关研究提供了新进展。
2026-08-27 cs.LG math.OC stat.ML
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Beijing University of Technology（北京工业大学）
对于一个隐藏层ReLU网络，我们证明了所有可微局部极小值在可微区域内都是全局的。我们给出了可微局部极小值的位置和损失，并表明这些局部极小值可以是孤立点或连续超平面，这取决于数据之间的相互作用，隐藏神经元的激活模式和网络大小。此外，我们还给出了鞍点和不可微局部极小点存在的充分必要条件，以及它们存在的位置。
2020-06-17 cs.LG stat.ML
Convex Geometry of ReLU-layers, Injectivity on the Ball and Local Reconstruction
Acoustics Research Institute（声学研究所）；University of Vienna（维也纳大学）
本文基于框架理论研究ReLU层在闭球上的单射性，结合凸几何视角提出一种在偏置向量上界限制下验证单射性的可行方法，并给出显式重构公式与具体重构算法。
2023-07-18 cs.LG math.OC
The Geometric Structure of Fully-Connected ReLU Layers
该研究形式化阐释了d维全连接ReLU层的几何结构，将其解释为多面体锥投影加仿射变换，推导了单隐藏ReLU层前馈网决策边界的复杂度与种类上限，并讨论了层数增加的影响。
2023-11-08 cs.LG
On Approximation Capabilities of ReLU Activation and Softmax Output Layer in Neural Networks
York University（约克大学）；Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
在本文中，我们将完善的通用逼近器理论扩展到使用无界ReLU激活函数和非线性softmax输出层的神经网络。我们已经证明，使用ReLU激活函数的足够大的神经网络可以逼近$L^1$中的任何函数，达到任意精度。此外，我们的理论结果表明，使用非线性softmax输出层的足够大的神经网络也可以近似$L^1$中的任何指标函数，这相当于任何现实的多类模式分类问题中的互斥类标签。据我们所知，这项工作是在神经网络中使用softmax输出层进行模式分类的第一个理论依据。
2020-02-10 cs.LG cs.NE stat.ML
How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer
ETH Z\"urich, D-Math, R\"amistrasse 101, CH-8092 Z\"urich, Switzerland
随机化神经网络（randomized NN），其中只有终端层的权重被优化，构成了一个强大的模型类，以减少训练神经网络模型的计算时间。与此同时，这些模型在各种回归和分类任务中的泛化能力令人惊讶。在本文中，我们给出了一个精确的宏观表征（即，函数空间中的特征）的随机化，浅NN与ReLU激活（RSN）的泛化行为。我们表明，RSN对应于一个广义加性模型（GAM）型回归，其中考虑了无限多个方向：无限广义加性模型（IGAM）。IGAM被形式化为一个特定的正则化泛函和一个相当普遍的损失的函数空间中的优化问题的解决方案。这项工作是对先前工作的多变量NN的扩展，我们展示了在某些条件下，如果输入是一维的，那么具有ReLU激活的RSN的行为就像样条回归一样。
2023-03-20 cs.LG stat.ML
Injectivity of ReLU-layers: Tools from Frame Theory
Acoustics Research Institute（声学研究所）；University of Vienna（维也纳大学）
本文从框架理论视角分析ReLU层的单射性，基于权重、偏置和数据域三要素表征其单射行为，提出有界域上最大偏置的数值近似方法及显式重构公式，为研究ReLU层信息丢失提供实用工具。
2024-11-28 cs.LG
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）
该研究针对ReLU神经网络良性过拟合机制不明的问题，为带标签翻转噪声的两层ReLU卷积神经网络建立依赖算法的风险界，证明梯度下降训练可实现近零训练损失与贝叶斯最优测试风险，揭示两类过拟合的急剧转变，且合成数据实验验证了理论。
2023-11-04 cs.LG math.OC stat.ML
Flatten-T Swish: a thresholded ReLU-Swish-like activation function for deep learning
Universiti Tun Hussein Onn Malaysia（马来西亚敦胡先翁大学）；Institute of Engineering and Management（工程与管理学院）
激活函数对于深度学习方法学习和执行复杂任务（如图像分类）至关重要。自2012年以来，修正线性单元（ReLU）已被广泛使用，并成为深度学习社区的默认激活函数。尽管ReLU很受欢迎，但是ReLU的硬零属性严重阻碍了负值在网络中的传播。因此，深度神经网络没有从负面表示中受益。在这项工作中，一个激活函数称为平坦T Swish（FTS），利用负值的好处提出。为了验证其性能，本研究使用ReLU和几个最近的激活函数评估FTS。每个激活函数使用MNIST数据集在五个不同的深度全连接神经网络（DFNN）上进行训练，深度从五层到八层不等。为了公平评估，所有DFNN都使用相同的配置设置。实验结果表明，阈值T=-0.20的FTS具有最好的综合性能。与ReLU相比，FTS（T=-0.20）在较宽的5层、较细的5层、6层、7层和8层DFNN上分别将MNIST分类精度提高了0.13%、0.70%、0.67%、1.07%和1.15%。除此之外，该研究还注意到FTS的收敛速度是ReLU的两倍。虽然也评价了其他现有激活函数，但本研究选择ReLU作为基线激活函数。
2018-12-15 cs.LG cs.NE stat.ML
On minimal representations of shallow ReLU networks
浅层ReLU网络的实现函数是连续的分段仿射函数$f:\mathbb R^d\to \mathbb R$，其中域$\mathbb R^{d}$被一组$n$超平面划分为$f$在其上仿射的单元。我们发现，$f$的最小表示使用$n$，$n+1$或$n+2$神经元，我们的特点，每三种情况下。在输入层是一维的特定情况下，最小表示总是最多使用$n+1$神经元，但在所有更高维的设置中，存在需要$n+2$神经元的函数。然后证明了表示$f$的极小网络的集合构成$C^\infty$ -子流形$M$，并导出了$M$的连通分支的维数和个数.此外，我们给出了超平面的一个标准，该标准保证所有连续的分段仿射函数都是适当的ReLU网络的实现函数。
2021-08-12 cs.LG math.ST stat.TH
On the Approximation Properties of Random ReLU Features
University of Michigan（密歇根大学）
我们通过其再生核希尔伯特空间（RKHS）研究随机ReLU特征的近似特性。我们首先证明了一个普适性定理的随机特征，其特征映射的节点的形式在神经网络的RKHS诱导。普适性结果意味着随机ReLU特征方法是一种普遍一致的学习算法。我们证明，尽管随机ReLU特征引起了RKHS的普遍性，但其中的函数组合会产生更复杂的函数，这些函数比RKHS中的函数更难近似。我们还证明了这样的复合函数可以通过具有有界权重的多层ReLU网络有效地近似。这种深度分离结果表明，随机ReLU特征模型与浅层模型具有相同的弱点。我们在实验中表明，随机ReLU特征的性能与随机傅立叶特征的性能相当，并且通常具有较低的计算成本。我们还证明，当目标函数是深度分离定理中描述的复合函数时，3层神经网络确实优于随机ReLU特征和2层神经网络。
2019-08-16 cs.LG stat.ML
