Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们研究了使用浅层ReLU神经网络从噪声数据中估计未知函数的问题。我们研究的估计量最小化平方数据拟合误差的总和加上与网络权重的平方欧几里德范数成比例的正则化项。这种最小化对应于训练具有权重衰减的神经网络的常见方法。我们量化的性能（均方误差）时，这些神经网络估计的数据生成函数属于二阶Radon域有界变差空间。这个函数空间最近被提出作为与浅层ReLU神经网络相关的自然函数空间。我们推导出这个函数空间的估计问题的极大极小下界，并证明了神经网络估计是极大极小最优的对数因子。这种极大极小化率不受维数灾难的影响。我们量化了神经网络和线性方法（包括核方法）之间的明确差距，推导出一个线性极小极大估计问题的下限，表明线性方法必然遭受灾难的维数在这个函数空间。因此，本文揭示了神经网络似乎打破了维数灾难的现象。
2022-10-12 cs.LG math.ST stat.ML
Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control
University of Minnesota（明尼苏达大学）；Honeywell Aerospace（霍尼韦尔航空航天公司）
该研究证明随机权重偏置的浅层ReLU网络对光滑函数有高概率的$O(m^{-1/2})$的$L_{\nfty}$逼近误差，并将其应用于模型参考自适应控制以获取指定精度的逼近，填补了相关理论空白。
2024-04-16 cs.LG cs.SY eess.SY
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力，证明了其在神经元数量上的最优逼近速率，并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
A Complete Symmetry Classification of Shallow ReLU Networks
Pranavkrishnan Ramakrishnan
本文研究了浅层ReLU网络参数空间的对称性，通过非可微性特性实现完整分类，突破了传统分析方法的限制。
2026-07-07 cs.LG math.AG math.CO
Error bounds for approximations with deep ReLU networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
我们研究了具有分段线性激活函数的浅层和深层神经网络的表达能力。我们建立了新的严格的上限和下限的网络复杂性的设置在Sobolev空间中的近似。特别是，我们证明了深度ReLU网络比浅层网络更有效地逼近光滑函数。在1D Lipschitz函数近似的情况下，我们描述了自适应深度6网络架构比标准浅层架构更有效。
2017-05-01 cs.LG cs.NE
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks
Technion（以色列理工学院）；Marquette University（马凯特大学）
本文研究了单隐藏层多元ReLU网络在随机梯度下降下的隐式偏差，证明了预测器拉普拉斯算子的有界性随步长增大而减小，并在MNIST上验证了该界限的紧致性，同时发现稳定的浅层网络非通用逼近器，但足够平滑的函数可被其任意逼近。
2023-06-30 cs.LG
Gradient Dynamics of Shallow Univariate ReLU Networks
New York University（纽约大学）
我们对一维输入的过参数化浅层ReLU网络的梯度动力学进行了理论和实证研究，解决了最小二乘插值。我们表明，这种网络的梯度动力学是由网络函数的非冗余参数化中的梯度流决定的。我们研究这个梯度流的主要定性特征。特别是，我们确定两个学习制度的条件：内核和自适应，这取决于在不同层的权重初始化的相对大小和初始化系数的渐近行为在大的网络宽度的限制。我们表明，学习的内核政权产生光滑的插值，曲率最小化，并减少到三次样条均匀初始化。自适应机制中的学习更倾向于线性样条，其中节点在样本点处自适应地聚类。
2019-06-18 cs.LG stat.ML
Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry
NYU（纽约大学）；UCSB（加州大学圣巴巴拉分校）
我们考虑与拟合双层ReLU网络相关的优化问题，其中标签由目标网络生成。我们利用丰富的对称性结构，分析表征的Hessian在各种家庭的虚假最小值的自然政权的输入$d$和隐藏的神经元$k$的数量是有限的。特别地，我们证明了对于$d\ge k$标准高斯输入：（a）的$dk$特征值的Hessian，$dk - O(d)$集中在零附近，（b）$Ω(d)$的特征值与$k$线性增长。虽然这种极其扭曲的光谱现象以前已经被观察过很多次，但据我们所知，这是第一次被严格地确立。我们的分析方法使用的技术，新的领域，从对称性破缺和表示理论，并进行重要的影响，我们的能力，通过局部曲率的统计推广。
2020-10-15 cs.LG math.OC stat.ML
Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
Department of Mathematical Sciences the University of Texas at Dallas Richardson, 75080 USA（德克萨斯大学达拉斯分校数学科学系）
本研究建立理论框架分析带可调漏性ReLU的浅层神经网络优化景观的非线性动力学，揭示分岔特性，给出k=5的示例验证，为神经网络优化研究提供理论支撑。
2026-09-02 cs.LG math.DS math.OC
Deep Equals Shallow for ReLU Networks in Kernel Regimes
Center for Data Science, New York University（纽约大学数据科学中心）；Inria - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）
深度网络通常被认为在近似方面比浅层网络更具表达力。事实上，某些函数可以通过深度网络比浅层网络更有效地近似，然而，没有已知的用于学习这种深度模型的易处理算法。另外，最近的一项工作表明，使用梯度下降训练的深度网络在某种过度参数化的制度下可能表现得像（易处理的）核方法，其中核由架构和初始化决定，本文重点关注这种核的近似。我们表明，对于ReLU激活，从深层全连接网络中导出的内核与其浅层两层对应物具有基本相同的近似特性，即相应积分算子的相同特征值衰减。这突出了内核框架在理解这种深度架构的好处方面的局限性。我们的主要理论结果依赖于通过核函数的可微性来表征这种特征值衰减，这也很容易适用于球面上定义的其他内核的研究。
2021-08-26 cs.LG stat.ML
Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的理论工作已经保证了通过梯度下降训练的过参数化网络可以实现任意低的训练误差，有时甚至是低的测试误差。然而，所需宽度在样本量$n$、（逆）目标误差$1/ε$和（逆）失效概率$1/δ$中的至少一个中始终是多项式。这项工作表明，在任何宽度超过$\mathrm{polylog}(n,1/ε,1/δ)$的双层ReLU网络上使用$\widetildeΩ(1/ε^2)$训练示例的梯度下降的$\widetildeΘ(1/ε)$迭代足以实现$ε$的测试误分类错误。我们还证明了随机梯度下降可以实现$ε$测试误差与多对数宽度和$\widetildeΘ(1/ε)$样本。该分析依赖于极限核的分离裕度，该分离裕度保证为正，可以区分真实标签和随机标签，并且可以在无限宽度设置中给出紧密的样本复杂度分析
2020-02-15 cs.LG math.OC stat.ML
Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference
Intel Labs（英特尔实验室）；University of Southern California（南加州大学）
针对隐私推理中 ReLU 与 MAC 操作过多的问题，提出依据卷积块 ReLU 敏感性联合移除 ReLU 并合并相邻卷积层，使 ResNet18 在 CIFAR-100 上显著降低两类操作且几乎不损失精度。
2023-04-26 cs.CR cs.LG
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数，从NTK近似视角证明早停规则能实现minimax最优收敛速率，并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL（TML，瑞士联邦理工学院）
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学，揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform
本文利用Radon变换和差异理论，证明了浅层ReLU$^k$网络在Sobolev空间上达到近乎最优的逼近率，并推广了现有结果，揭示了其适应性带来的优势。
2025-10-16 cs.LG cs.NA math.NA
Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
Texas A&M University（德克萨斯农工大学）
在本文中，我们研究了具有单个隐藏层和ReLU激活的神经网络如何插值从径向对称分布中提取的数据，其中目标标签1位于原点，0位于单位球外部，如果单位球内部没有标签。通过权值衰减正则化，在无限数据极限下，证明了存在唯一的径向对称极小元，其权值衰减正则化子和Lipschitz常数分别以$d$和$\sqrt{d}$的形式增长.我们还表明，重量衰减正则化增长指数$d$如果标签$1$施加在一个球的半径$\varepsilon$，而不仅仅是在原点。相比之下，具有两个隐藏层的神经网络可以近似目标函数而不会遇到维数灾难。
2022-09-02 cs.LG stat.ML
A Combinatorial Perspective on the Optimization of Shallow ReLU Networks
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
优化浅层ReLU网络的NP难题可以表征为对每个训练示例的激活模式进行组合搜索，然后是给定一组固定激活模式的约束凸问题。我们在这项工作中探索了ReLU优化的这种组合方面的影响。我们表明，它可以自然地通过一个几何和组合对象被称为zonotope与其顶点集同构的一组可行的激活模式。这有助于分析，并为进一步的研究提供了基础。当我们探索最佳损失对训练数据扰动的敏感性时，我们证明了它的有用性。稍后，我们讨论的方法zonotope顶点的选择及其相关的优化。过度参数化通过使随机选择的顶点更有可能包含好的解决方案来帮助训练。然后，我们介绍了一种新的多项式时间顶点选择过程，可证明挑选一个顶点包含全局最优值，只使用两倍的最小参数，以适应数据。我们进一步介绍了一个局部贪婪搜索启发式zonotope顶点，并证明它优于梯度下降欠参数化的问题。
2022-10-01 cs.LG
On the Principle of Least Symmetry Breaking in Shallow ReLU Models
NYU（纽约大学）；UCSB（加州大学圣塔芭芭拉分校）
本文提出浅层ReLU模型拟合中伪局部极小值遵循最少对称性破缺原理，并通过实验验证其在多种分布、激活函数和网络结构中的适用性。
2023-12-28 cs.LG stat.ML
Rates of Approximation by ReLU Shallow Neural Networks
Claremont Graduate University（克莱蒙特研究生大学）；University of Sydney（悉尼大学）
针对单隐藏层ReLU浅层神经网络逼近Hölder空间函数的速率这一未解决问题，本文推导得出其一致逼近速率，该速率在高维下接近最优值，为理解浅层网络学习算法效率提供了理论支撑。
2023-07-24 cs.LG stat.ML
Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs
University of Warwick（华威大学）
该研究针对单神经元学习的基础回归任务，分析了相关输入下浅层ReLU网络梯度流训练的动力学与隐式偏置，证明其收敛到零损失且偏向最小参数秩，补充了正交数据集相关研究，并通过数值实验验证了理论结论。
2023-10-02 cs.LG
Topological obstruction to the training of shallow ReLU neural networks
Politecnico di Torino（都灵理工大学）；CENTAI Institute（CENTAI研究所）
本文发现浅层ReLU神经网络在梯度流训练中，损失景观的拓扑障碍（由ReLU齐次性导致的二次曲面非连通）可阻止全局最优可达，并通过解析计算与数值实验验证。
2024-11-07 cs.LG math.AG math.AT
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
我们考虑了浅层神经网络关于变分范数的逼近率。对于S形和ReLU激活函数，已经建立了这些速率的上限，但是这些速率是否尖锐仍然是一个重要的开放问题。在这篇文章中，我们提供了一个解决这个问题的方法，证明了尖锐的下界的近似率浅神经网络，这是通过下界的$L^2$度量熵的凸包的神经网络基函数。此外，我们的方法还给出了这个凸包的$n$宽度的尖锐下界，这表明，对应于浅神经网络的变化空间不能有效地近似线性方法。这些下限适用于具有有界变差的S形激活函数和作为ReLU的幂的激活函数。我们的结果还量化了Barron谱范数比变分范数强多少，并结合以前的结果，在ReLU激活函数的情况下，给出了$L^\infty$度量熵的对数因子的渐近性。
2021-09-08 cs.LG math.ST stat.ML
Ridgeless Interpolation with Shallow ReLU Networks in $1D$ is Nearest Neighbor Curvature Extrapolation and Provably Generalizes on Lipschitz Functions
Princeton University（普林斯顿大学）
我们证明了所有单层ReLU网络$z(x;θ)$的精确几何描述，该网络具有单个线性单元和输入/输出维度，该维度等于内插给定数据集$\mathcal D=\{(x_i,f(x_i))\}$的1，并且在所有此类内插中，最小化神经元权重的$\ell_2$范数。这样的网络可以直观地被认为是那些最小化$\mathcal D$上的均方误差加上无穷小的权重衰减惩罚的网络。因此，我们将它们称为无脊ReLU插值。我们的描述证明，为了外推位于两个连续数据点之间的输入$x\in (x_i,x_{i+1})$的值$z(x;θ)$，无脊ReLU插值简单地比较$x_i$和$x_{i+1}$处的$f$的曲率的离散估计的符号，$x_{i+1}$源自数据集$\mathcal D$。如果$x_i$和$x_{i+1}$的曲率估计值具有不同的符号，则$z(x;θ)$必须在$(x_i,x_{i+1})$上是线性的。相反，如果在$x_i$和$x_{i+1}$处的曲率估计都是正的（分别为负的），则$z(x;θ)$是凸的（分别凹的）在$(x_i,x_{i+1})$上。我们的研究结果表明，无脊ReLU插值实现了学习$1d$ Lipschitz函数的最佳泛化，直到通用常数。
2021-09-27 cs.LG stat.ML
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院与数学科学学院）；Computer Science and Engineering, Ohio State University（俄亥俄州立大学计算机科学与工程系）；Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系及放射学系）
本文证明两层ReLU网络在正交可分数据上的梯度流可证明地表现出神经坍缩，放宽了无约束特征假设，并揭示了训练动态隐式偏差的作用。
2025-10-24 cs.LG math.OC
Convergence of Shallow ReLU Networks on Weakly Interacting Data
INRIA Paris（巴黎国家信息与自动化研究所）；CERMICS, Ecole Nationale des Ponts et Chaussées（土木工程与建筑学院CERMICS）；Ecole Nationale des Ponts et Chaussées（土木工程与建筑学院）
该研究探讨了浅层 ReLU 网络在弱相互作用数据下的收敛性，证明了在高概率下 $O(\log(n))$ 宽度的网络可实现全局收敛，并揭示了正交数据下的收敛速率相变现象。
2025-12-01 cs.AI cs.LG math.ST
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA（加州大学洛杉矶分校）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study（普林斯顿高等研究院）
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题，即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线，但一个关键的挑战是将学习保证带回到有限神经元设置中，在那里实际算法可以运行。为了缩小这一差距，并专注于浅神经网络，在这项工作中，我们研究了不同的正则化策略的能力，以捕获只需要有限数量的神经元的解决方案，即使在无限宽的政权。具体来说，我们考虑（i）通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19]，和（ii）变分范数正则化[巴赫~17]，兼容的平均场标度。在对激活函数的温和假设下（例如满足ReLU），我们建立了两种方案都是由只有有限数量的神经元的函数最小化的，而不管过度参数化的量。我们研究的后果，这种属性和描述的设置，其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
神经网络（NN）的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜，我们研究了浅单变量ReLU NN的学习动态，为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构，包括其临界点和不动点，海森，和海森谱。我们还表明，标准的权重初始化产生非常平坦的函数，这种平坦性，加上overparametrization和初始权重规模，是负责隐式正则化的强度和类型，与最近的工作arXiv：1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv：1906.07842的补充，该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果，但以更直观和透明的方式。展望未来，我们基于样条的方法很可能会自然地扩展到多元和深层环境，并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
On the existence of minimizers in shallow residual ReLU neural network optimization landscapes
本文证明带ReLU激活的单隐层残差神经网络在损失景观中存在极小化子，通过构造包含不连续广义响应的搜索空间闭包，并证明这些广义响应次优，从而解决了此前平滑激活函数下极小化子不存在的问题。
2024-11-19 cs.LG cs.NA math.NA
Equidistribution-based training of Free Knot Splines and ReLU Neural Networks
本文针对单变量函数逼近，提出基于等分布原理的两阶段训练方法，结合自由结点样条与预处理，实现浅层及深层ReLU神经网络的高效、良态训练，并验证其在正则、奇异及快速变化函数上的有效性。
2025-01-23 cs.LG cs.NA math.NA
Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
New York University（纽约大学）；University of Vienna（维也纳大学）
本文分析单隐藏层类 ReLU 网络在平方损失与梯度下降下的方向驻点，刻画逃逸神经元与局部最小值的关系，并阐明网络嵌入对驻点的重塑。
2025-03-16 cs.LG
Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种利用结构化神经网络对方程组进行非线性模型降阶的方法。神经网络采用“三层”网络的形式，第一层被约束为位于格拉斯曼流形上，第一个激活函数被设置为恒等式，而剩余的网络是标准的两层ReLU神经网络。格拉斯曼层确定输入空间的简化基，而其余层近似非线性输入-输出系统。训练在学习缩减基和非线性近似之间交替进行，并且被证明比固定缩减基和仅训练网络更有效。这种方法的另一个好处是，对于位于低维子空间上的数据，网络中的参数数量不需要很大。我们表明，我们的方法可以应用于科学问题的数据稀缺制度，这是典型的不太适合神经网络近似。例子包括非线性动态系统和几个航空航天工程问题的降阶建模。
2020-12-17 cs.LG cs.NA math.NA
Noisy Interpolation Learning with Shallow Univariate ReLU Networks
TTI-Chicago（芝加哥理工学院）；Hebrew University（希伯来大学）
本文首次严格分析了单变量两层ReLU网络在最小范数回归中的过拟合行为，发现用$L_1$损失衡量时过拟合是温和的，但在$L_2$损失或对训练集取期望时则呈现灾难性。
2024-03-21 cs.LG
A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
Department of Mathematics, Purdue University（数学系，普渡大学）；School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
本文提出结构引导高斯-牛顿方法，通过将浅层ReLU神经网络参数分为非线性与线性两类并交替求解，利用对称正定矩阵自然获得有效搜索方向，有效解决了不连续及尖锐过渡层函数逼近难题。
2025-07-19 cs.LG cs.NA math.NA
Landscape analysis for shallow neural networks: complete classification of critical points for affine target functions
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Münster（明斯特大学）
在本文中，我们分析了具有一个隐藏层和ReLU、Leaky ReLU或二次激活的神经网络的真实损失情况。在所有这三种情况下，我们提供了一个完整的分类的情况下，目标函数是仿射和一维的临界点。特别地，我们证明了不存在局部极大值，并澄清了鞍点的结构。此外，我们证明了非全局局部极小值只能由“死”的ReLU神经元引起。特别是，它们不会出现在Leaky ReLU或二次激活的情况下。我们的方法是一个组合的性质，并建立在仔细分析不同类型的隐藏的神经元，可以发生。
2022-07-06 cs.LG cs.NA math.NA
Population loss in shallow ReLU networks: Bias & families of critical points
UC Santa Barbara（加州大学圣塔芭芭拉分校）
本文推导了带偏置浅层ReLU网络在学生-教师核模型中的总体损失公式，证明添加偏置严格降低损失且伪极小值族可扩展，并利用Owen T函数与解析几何工具分析景观几何。
2026-09-28 cs.LG
Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究梯度下降训练两层ReLU与Leaky ReLU网络在近正交数据上的隐式偏置，证明Leaky ReLU下稳定秩收敛到1，ReLU下稳定秩有常数上界，且所有训练点渐近具有相同归一化间隔。
2023-10-29 cs.LG math.OC stat.ML
On the Expressive Power of Neural Networks
Mathematisches Institut（数学研究所）
本文提出一个包含两种表达能力的框架，系统回答宽浅层与深度窄ReLU网络之间的逼近关系、Sobolev范数下的通用逼近性以及非ReLU激活函数的适用性问题，并改进线性区域数的已知界限。
2023-05-31 cs.AI cs.LG math.CA
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响，在一个经过充分研究的教师-学生设置中，目标值由相同的架构生成，并且直接优化相对于高斯输入的群体平方损失。我们证明，虽然目标是强凸的全局最小值时，教师和学生网络拥有相同数量的神经元，它甚至不是\emph{locally convex}后，任何数量的过参数化。此外，相关的期望性质（例如，单点强凸性和Polyak-Schojasiewicz条件）甚至在局部也不成立。另一方面，我们建立的目标仍然是一点强凸的\emph{most}方向（适当定义），并显示在此属性下的优化保证。对于非全局最小值，我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的，我们通过经验验证了这一点。这些结果提供了一个可能的解释，为什么恢复全局最小值变得明显更容易，当我们过度参数化，即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere
King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）
本文为球面上浅层ReLU$^k$网络逼近建立配置相关下界，揭示其饱和阶，表明线性化神经网络逼近受经典饱和框架限制，优势有限。
2026-09-11 cs.LG cs.NA math.NA
Approximation capabilities of neural networks on unbounded domains
PAG Investment Solutions（PAG投资解决方案公司）；Hunan University（湖南大学）；Xiaoxiang Research Institute of Big Data（潇湘大数据研究院）
在本文中，我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0，1]^n上的任何L^p（p>=2）可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络不表示定义在欧几里得平面上的非零可积函数。再加上最近的一个结果，即深度ReLU网络可以任意地逼近欧几里得空间上的任何可积函数，我们为ReLU网络中多个隐藏层的优势提供了一个新的视角。最后，我们证明深度为3的ReLU网络是L^p（R^n）中的通用近似器。
2021-10-09 cs.LG stat.ML
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件，并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似，例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
Support Vectors and Gradient Dynamics of Single-Neuron ReLU Networks
KAIST（韩国科学技术院）
理解梯度下降对ReLU网络泛化能力的隐含偏差一直是机器学习研究中的一个重要研究课题。不幸的是，即使对于使用平方损失训练的单个ReLU神经元，最近也证明不可能根据模型参数的范数来表征隐式正则化（Vardi & Shamir，2021）。为了缩小理解ReLU网络有趣的泛化行为的差距，我们在这里研究了训练单神经元ReLU网络时参数空间中的梯度流动态。具体来说，我们发现了支持向量方面的隐式偏差，这在ReLU网络为什么以及如何泛化方面起着关键作用。此外，我们分析了梯度流相对于初始化的范数的大小，并表明学习的权重的范数严格通过梯度流增加。最后，我们证明了$d = 2$情况下单个ReLU神经元的全局收敛性。
2022-06-13 cs.AI cs.LG stat.ML
Training shallow ReLU networks on noisy data using hinge loss: when do we overfit and is it benign?
UCLA（加州大学洛杉矶分校）
该研究针对含噪线性可分数据上用梯度下降和铰链损失训练的两层ReLU网络，明确了干净数据间隔对应的三种训练结果，揭示了两阶段神经元动力学，并通过组合方法证明了相关结论，深化了对良性过拟合机制的理解。
2023-11-08 cs.LG
Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
School of Mathematical Sciences Fudan University（复旦大学数学学院）；School of Mathematical Sciences Institute of Natural Sciences and MOE-LSC Shanghai Jiao Tong University（上海交通大学数学学院、自然科学研究院和教育部低维量子体系科学重点实验室）；School of Mathematical Sciences Shanghai Key Laboratory for Contemporary Applied Mathematics Fudan University（复旦大学上海当代应用数学重点实验室数学学院）
本文研究浅层ReLU$^s$网络在$L^p$型空间和Sobolev空间中的逼近能力，并通过$\ell_1$路径范数控制实现非参数回归的极小化最优泛化误差。
2026-05-25 cs.LG stat.ML
Stochastic Gradient Descent Optimizes Over-parameterized Deep ReLU Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们研究了使用梯度下降和随机梯度下降训练具有整流线性单元（ReLU）激活函数的深度神经网络的问题。特别是，我们研究了二进制分类问题，并表明对于一个广泛的损失函数族，在适当的随机权重初始化下，梯度下降和随机梯度下降都可以找到过度参数化的深度ReLU网络的训练损失的全局最小值，在对训练数据的温和假设下。我们证明的关键思想是高斯随机初始化，然后是（随机）梯度下降，产生一系列迭代，这些迭代停留在以初始权重为中心的小扰动区域内，其中深度ReLU网络的经验损失函数具有良好的局部曲率特性，确保（随机）梯度下降的全局收敛。我们的理论结果有助于理解深度学习的优化，并为研究训练现代深度神经网络的优化动力学铺平了道路。
2018-12-27 cs.AI cs.LG math.OC
Agnostic Learning of General ReLU Activation Using Gradient Descent
Google Research（谷歌研究院）；Northwestern University（西北大学）
针对带非零适度偏置的单个ReLU函数的不可知学习难题，分析了梯度下降的收敛性，证明其经多项式迭代可达到与最优解误差成常数因子的效果，还给出有限样本保证并可推广至更广泛边缘分布。
2024-11-04 cs.DS cs.LG stat.ML
Magnitude and Angle Dynamics in Training Single ReLU Neurons
KAIST（韩国科学技术院）
为了理解深度ReLU网络的动态学习，我们通过将其分解为幅度$w(t)$和角度$ϕ(t):= π- θ(t) $分量来研究梯度流$w(t)$的动态系统。特别是，对于具有球对称数据分布和平方损失函数的多层单ReLU神经元，我们提供幅度和角度分量的上下界来描述梯度流的动态。使用获得的边界，我们得出结论，小规模初始化会导致深层单个ReLU神经元的收敛速度缓慢。最后，利用梯度流和梯度下降的关系，我们将我们的结果推广到梯度下降方法。所有的理论结果都得到了实验的验证。
2022-10-12 cs.LG
Directional Convergence, Benign Overfitting of Gradient Descent in leaky ReLU two-layer Neural Networks
Department of Statistical Sciences University of Toronto（统计科学系多伦多大学）
本文研究了漏损ReLU两层神经网络中梯度下降在混合数据下的良性过拟合条件，并揭示了新的相变现象。
2026-02-10 cs.LG math.ST stat.ML
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation
Harvard University（哈佛大学）
本研究探讨了 ReLU 神经网络逼近多元单项式所需神经元数量，证明了浅层网络逼近乘积函数存在指数下界，揭示了网络表达能力更依赖于深度而非整体复杂度。
2023-05-16 cs.LG stat.ML
The Disharmony between BN and ReLU Causes Gradient Explosion, but is Offset by the Correlation between Activations
KAIST（韩国科学技术院）
本文从理论和实验两方面分析了深度神经网络中BN与ReLU不和谐导致的梯度爆炸问题，发现激活值间的相关性可缓解该现象，并提出改进的自适应学习率算法以控制训练不稳定。
2023-05-21 cs.LG
On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime
Princeton University（普林斯顿大学）
我们描述了一个充要条件的收敛到最小贝叶斯风险时，训练两层ReLU-网络的梯度下降在平均场制度与全向初始参数分布。本文将Chizat和Bach最近的结果扩展到ReLU激活的网络以及没有参数可以精确实现MBR的情况。该条件不依赖于参数的初始化，只涉及神经网络实现的弱收敛性，而不涉及其参数分布。
2020-05-27 cs.LG math.AP stat.ML
Neural network integral representations with the ReLU activation function
Oak Ridge National Laboratory（橡树岭国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）
在这项工作中，我们推导出一个公式，用于使用ReLU激活函数的浅层神经网络的积分表示。我们假设外权允许球面上关于Lebesgue测度的有限$L_1$ -范数.对于单变量目标函数，我们进一步提供了所有可能表示的封闭形式公式。此外，在这种情况下，我们的公式允许一个显式解决最小$L_1$规范神经网络表示为一个给定的功能。
2020-06-11 cs.LG stat.ML
Weighted variation spaces and approximation by shallow ReLU networks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文针对有界域上浅层ReLU网络逼近问题，提出加权变差空间以给出依赖于域本身的模型类定义，并证明新模型类严格大于经典域无关类且保持相同逼近速率。
2024-10-13 cs.LG cs.NA math.NA
