Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks
Technion（以色列理工学院）；Marquette University（马凯特大学）
本文研究了单隐藏层多元ReLU网络在随机梯度下降下的隐式偏差，证明了预测器拉普拉斯算子的有界性随步长增大而减小，并在MNIST上验证了该界限的紧致性，同时发现稳定的浅层网络非通用逼近器，但足够平滑的函数可被其任意逼近。
2023-06-30 cs.LG
A Complete Symmetry Classification of Shallow ReLU Networks
Pranavkrishnan Ramakrishnan
本文研究了浅层ReLU网络参数空间的对称性，通过非可微性特性实现完整分类，突破了传统分析方法的限制。
2026-07-07 cs.LG math.AG math.CO
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
我们考虑了浅层神经网络关于变分范数的逼近率。对于S形和ReLU激活函数，已经建立了这些速率的上限，但是这些速率是否尖锐仍然是一个重要的开放问题。在这篇文章中，我们提供了一个解决这个问题的方法，证明了尖锐的下界的近似率浅神经网络，这是通过下界的$L^2$度量熵的凸包的神经网络基函数。此外，我们的方法还给出了这个凸包的$n$宽度的尖锐下界，这表明，对应于浅神经网络的变化空间不能有效地近似线性方法。这些下限适用于具有有界变差的S形激活函数和作为ReLU的幂的激活函数。我们的结果还量化了Barron谱范数比变分范数强多少，并结合以前的结果，在ReLU激活函数的情况下，给出了$L^\infty$度量熵的对数因子的渐近性。
2021-09-08 cs.LG math.ST stat.ML
Error bounds for approximations with deep ReLU networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
我们研究了具有分段线性激活函数的浅层和深层神经网络的表达能力。我们建立了新的严格的上限和下限的网络复杂性的设置在Sobolev空间中的近似。特别是，我们证明了深度ReLU网络比浅层网络更有效地逼近光滑函数。在1D Lipschitz函数近似的情况下，我们描述了自适应深度6网络架构比标准浅层架构更有效。
2017-05-01 cs.LG cs.NE
Gradient Dynamics of Shallow Univariate ReLU Networks
New York University（纽约大学）
我们对一维输入的过参数化浅层ReLU网络的梯度动力学进行了理论和实证研究，解决了最小二乘插值。我们表明，这种网络的梯度动力学是由网络函数的非冗余参数化中的梯度流决定的。我们研究这个梯度流的主要定性特征。特别是，我们确定两个学习制度的条件：内核和自适应，这取决于在不同层的权重初始化的相对大小和初始化系数的渐近行为在大的网络宽度的限制。我们表明，学习的内核政权产生光滑的插值，曲率最小化，并减少到三次样条均匀初始化。自适应机制中的学习更倾向于线性样条，其中节点在样本点处自适应地聚类。
2019-06-18 cs.LG stat.ML
A Combinatorial Perspective on the Optimization of Shallow ReLU Networks
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
优化浅层ReLU网络的NP难题可以表征为对每个训练示例的激活模式进行组合搜索，然后是给定一组固定激活模式的约束凸问题。我们在这项工作中探索了ReLU优化的这种组合方面的影响。我们表明，它可以自然地通过一个几何和组合对象被称为zonotope与其顶点集同构的一组可行的激活模式。这有助于分析，并为进一步的研究提供了基础。当我们探索最佳损失对训练数据扰动的敏感性时，我们证明了它的有用性。稍后，我们讨论的方法zonotope顶点的选择及其相关的优化。过度参数化通过使随机选择的顶点更有可能包含好的解决方案来帮助训练。然后，我们介绍了一种新的多项式时间顶点选择过程，可证明挑选一个顶点包含全局最优值，只使用两倍的最小参数，以适应数据。我们进一步介绍了一个局部贪婪搜索启发式zonotope顶点，并证明它优于梯度下降欠参数化的问题。
2022-10-01 cs.LG
Deep Equals Shallow for ReLU Networks in Kernel Regimes
Center for Data Science, New York University（纽约大学数据科学中心）；Inria - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）
深度网络通常被认为在近似方面比浅层网络更具表达力。事实上，某些函数可以通过深度网络比浅层网络更有效地近似，然而，没有已知的用于学习这种深度模型的易处理算法。另外，最近的一项工作表明，使用梯度下降训练的深度网络在某种过度参数化的制度下可能表现得像（易处理的）核方法，其中核由架构和初始化决定，本文重点关注这种核的近似。我们表明，对于ReLU激活，从深层全连接网络中导出的内核与其浅层两层对应物具有基本相同的近似特性，即相应积分算子的相同特征值衰减。这突出了内核框架在理解这种深度架构的好处方面的局限性。我们的主要理论结果依赖于通过核函数的可微性来表征这种特征值衰减，这也很容易适用于球面上定义的其他内核的研究。
2021-08-26 cs.LG stat.ML
Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs
University of Warwick（华威大学）
该研究针对单神经元学习的基础回归任务，分析了相关输入下浅层ReLU网络梯度流训练的动力学与隐式偏置，证明其收敛到零损失且偏向最小参数秩，补充了正交数据集相关研究，并通过数值实验验证了理论结论。
2023-10-02 cs.LG
Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference
Intel Labs（英特尔实验室）；University of Southern California（南加州大学）
针对隐私推理中 ReLU 与 MAC 操作过多的问题，提出依据卷积块 ReLU 敏感性联合移除 ReLU 并合并相邻卷积层，使 ResNet18 在 CIFAR-100 上显著降低两类操作且几乎不损失精度。
2023-04-26 cs.CR cs.LG
Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数，从NTK近似视角证明早停规则能实现minimax最优收敛速率，并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL（TML，瑞士联邦理工学院）
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学，揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
Texas A&M University（德克萨斯农工大学）
在本文中，我们研究了具有单个隐藏层和ReLU激活的神经网络如何插值从径向对称分布中提取的数据，其中目标标签1位于原点，0位于单位球外部，如果单位球内部没有标签。通过权值衰减正则化，在无限数据极限下，证明了存在唯一的径向对称极小元，其权值衰减正则化子和Lipschitz常数分别以$d$和$\sqrt{d}$的形式增长.我们还表明，重量衰减正则化增长指数$d$如果标签$1$施加在一个球的半径$\varepsilon$，而不仅仅是在原点。相比之下，具有两个隐藏层的神经网络可以近似目标函数而不会遇到维数灾难。
2022-09-02 cs.LG stat.ML
On the Principle of Least Symmetry Breaking in Shallow ReLU Models
NYU（纽约大学）；UCSB（加州大学圣塔芭芭拉分校）
本文提出浅层ReLU模型拟合中伪局部极小值遵循最少对称性破缺原理，并通过实验验证其在多种分布、激活函数和网络结构中的适用性。
2023-12-28 cs.LG stat.ML
Rates of Approximation by ReLU Shallow Neural Networks
Claremont Graduate University（克莱蒙特研究生大学）；University of Sydney（悉尼大学）
针对单隐藏层ReLU浅层神经网络逼近Hölder空间函数的速率这一未解决问题，本文推导得出其一致逼近速率，该速率在高维下接近最优值，为理解浅层网络学习算法效率提供了理论支撑。
2023-07-24 cs.LG stat.ML
Convergence of Shallow ReLU Networks on Weakly Interacting Data
INRIA Paris（巴黎国家信息与自动化研究所）；CERMICS, Ecole Nationale des Ponts et Chaussées（土木工程与建筑学院CERMICS）；Ecole Nationale des Ponts et Chaussées（土木工程与建筑学院）
该研究探讨了浅层 ReLU 网络在弱相互作用数据下的收敛性，证明了在高概率下 $O(\log(n))$ 宽度的网络可实现全局收敛，并揭示了正交数据下的收敛速率相变现象。
2025-12-01 cs.AI cs.LG math.ST
Approximation Rates for Shallow ReLU$^k$ Neural Networks on Sobolev Spaces via the Radon Transform
本文利用Radon变换和差异理论，证明了浅层ReLU$^k$网络在Sobolev空间上达到近乎最优的逼近率，并推广了现有结果，揭示了其适应性带来的优势。
2025-10-16 cs.LG cs.NA math.NA
Ridgeless Interpolation with Shallow ReLU Networks in $1D$ is Nearest Neighbor Curvature Extrapolation and Provably Generalizes on Lipschitz Functions
Princeton University（普林斯顿大学）
我们证明了所有单层ReLU网络$z(x;θ)$的精确几何描述，该网络具有单个线性单元和输入/输出维度，该维度等于内插给定数据集$\mathcal D=\{(x_i,f(x_i))\}$的1，并且在所有此类内插中，最小化神经元权重的$\ell_2$范数。这样的网络可以直观地被认为是那些最小化$\mathcal D$上的均方误差加上无穷小的权重衰减惩罚的网络。因此，我们将它们称为无脊ReLU插值。我们的描述证明，为了外推位于两个连续数据点之间的输入$x\in (x_i,x_{i+1})$的值$z(x;θ)$，无脊ReLU插值简单地比较$x_i$和$x_{i+1}$处的$f$的曲率的离散估计的符号，$x_{i+1}$源自数据集$\mathcal D$。如果$x_i$和$x_{i+1}$的曲率估计值具有不同的符号，则$z(x;θ)$必须在$(x_i,x_{i+1})$上是线性的。相反，如果在$x_i$和$x_{i+1}$处的曲率估计都是正的（分别为负的），则$z(x;θ)$是凸的（分别凹的）在$(x_i,x_{i+1})$上。我们的研究结果表明，无脊ReLU插值实现了学习$1d$ Lipschitz函数的最佳泛化，直到通用常数。
2021-09-27 cs.LG stat.ML
Topological obstruction to the training of shallow ReLU neural networks
Politecnico di Torino（都灵理工大学）；CENTAI Institute（CENTAI研究所）
本文发现浅层ReLU神经网络在梯度流训练中，损失景观的拓扑障碍（由ReLU齐次性导致的二次曲面非连通）可阻止全局最优可达，并通过解析计算与数值实验验证。
2024-11-07 cs.LG math.AG math.AT
Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry
NYU（纽约大学）；UCSB（加州大学圣巴巴拉分校）
我们考虑与拟合双层ReLU网络相关的优化问题，其中标签由目标网络生成。我们利用丰富的对称性结构，分析表征的Hessian在各种家庭的虚假最小值的自然政权的输入$d$和隐藏的神经元$k$的数量是有限的。特别地，我们证明了对于$d\ge k$标准高斯输入：（a）的$dk$特征值的Hessian，$dk - O(d)$集中在零附近，（b）$Ω(d)$的特征值与$k$线性增长。虽然这种极其扭曲的光谱现象以前已经被观察过很多次，但据我们所知，这是第一次被严格地确立。我们的分析方法使用的技术，新的领域，从对称性破缺和表示理论，并进行重要的影响，我们的能力，通过局部曲率的统计推广。
2020-10-15 cs.LG math.OC stat.ML
Nonlinear Dynamics In Optimization Landscape of Shallow Neural Networks with Tunable Leaky ReLU
Department of Mathematical Sciences the University of Texas at Dallas Richardson, 75080 USA（德克萨斯大学达拉斯分校数学科学系）
本研究建立理论框架分析带可调漏性ReLU的浅层神经网络优化景观的非线性动力学，揭示分岔特性，给出k=5的示例验证，为神经网络优化研究提供理论支撑。
2026-09-02 cs.LG math.DS math.OC
Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近的理论工作已经保证了通过梯度下降训练的过参数化网络可以实现任意低的训练误差，有时甚至是低的测试误差。然而，所需宽度在样本量$n$、（逆）目标误差$1/ε$和（逆）失效概率$1/δ$中的至少一个中始终是多项式。这项工作表明，在任何宽度超过$\mathrm{polylog}(n,1/ε,1/δ)$的双层ReLU网络上使用$\widetildeΩ(1/ε^2)$训练示例的梯度下降的$\widetildeΘ(1/ε)$迭代足以实现$ε$的测试误分类错误。我们还证明了随机梯度下降可以实现$ε$测试误差与多对数宽度和$\widetildeΘ(1/ε)$样本。该分析依赖于极限核的分离裕度，该分离裕度保证为正，可以区分真实标签和随机标签，并且可以在无限宽度设置中给出紧密的样本复杂度分析
2020-02-15 cs.LG math.OC stat.ML
Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
New York University（纽约大学）；University of Vienna（维也纳大学）
本文分析单隐藏层类 ReLU 网络在平方损失与梯度下降下的方向驻点，刻画逃逸神经元与局部最小值的关系，并阐明网络嵌入对驻点的重塑。
2025-03-16 cs.LG
Noisy Interpolation Learning with Shallow Univariate ReLU Networks
TTI-Chicago（芝加哥理工学院）；Hebrew University（希伯来大学）
本文首次严格分析了单变量两层ReLU网络在最小范数回归中的过拟合行为，发现用$L_1$损失衡量时过拟合是温和的，但在$L_2$损失或对训练集取期望时则呈现灾难性。
2024-03-21 cs.LG
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA（加州大学洛杉矶分校）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study（普林斯顿高等研究院）
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题，即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线，但一个关键的挑战是将学习保证带回到有限神经元设置中，在那里实际算法可以运行。为了缩小这一差距，并专注于浅神经网络，在这项工作中，我们研究了不同的正则化策略的能力，以捕获只需要有限数量的神经元的解决方案，即使在无限宽的政权。具体来说，我们考虑（i）通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19]，和（ii）变分范数正则化[巴赫~17]，兼容的平均场标度。在对激活函数的温和假设下（例如满足ReLU），我们建立了两种方案都是由只有有限数量的神经元的函数最小化的，而不管过度参数化的量。我们研究的后果，这种属性和描述的设置，其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
神经网络（NN）的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜，我们研究了浅单变量ReLU NN的学习动态，为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构，包括其临界点和不动点，海森，和海森谱。我们还表明，标准的权重初始化产生非常平坦的函数，这种平坦性，加上overparametrization和初始权重规模，是负责隐式正则化的强度和类型，与最近的工作arXiv：1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv：1906.07842的补充，该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果，但以更直观和透明的方式。展望未来，我们基于样条的方法很可能会自然地扩展到多元和深层环境，并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
Population loss in shallow ReLU networks: Bias & families of critical points
UC Santa Barbara（加州大学圣塔芭芭拉分校）
本文推导了带偏置浅层ReLU网络在学生-教师核模型中的总体损失公式，证明添加偏置严格降低损失且伪极小值族可扩展，并利用Owen T函数与解析几何工具分析景观几何。
2026-09-28 cs.LG
Equidistribution-based training of Free Knot Splines and ReLU Neural Networks
本文针对单变量函数逼近，提出基于等分布原理的两阶段训练方法，结合自由结点样条与预处理，实现浅层及深层ReLU神经网络的高效、良态训练，并验证其在正则、奇异及快速变化函数上的有效性。
2025-01-23 cs.LG cs.NA math.NA
Reduced Order Modeling using Shallow ReLU Networks with Grassmann Layers
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种利用结构化神经网络对方程组进行非线性模型降阶的方法。神经网络采用“三层”网络的形式，第一层被约束为位于格拉斯曼流形上，第一个激活函数被设置为恒等式，而剩余的网络是标准的两层ReLU神经网络。格拉斯曼层确定输入空间的简化基，而其余层近似非线性输入-输出系统。训练在学习缩减基和非线性近似之间交替进行，并且被证明比固定缩减基和仅训练网络更有效。这种方法的另一个好处是，对于位于低维子空间上的数据，网络中的参数数量不需要很大。我们表明，我们的方法可以应用于科学问题的数据稀缺制度，这是典型的不太适合神经网络近似。例子包括非线性动态系统和几个航空航天工程问题的降阶建模。
2020-12-17 cs.LG cs.NA math.NA
A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
Department of Mathematics, Purdue University（数学系，普渡大学）；School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
本文提出结构引导高斯-牛顿方法，通过将浅层ReLU神经网络参数分为非线性与线性两类并交替求解，利用对称正定矩阵自然获得有效搜索方向，有效解决了不连续及尖锐过渡层函数逼近难题。
2025-07-19 cs.LG cs.NA math.NA
Landscape analysis for shallow neural networks: complete classification of critical points for affine target functions
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Münster（明斯特大学）
在本文中，我们分析了具有一个隐藏层和ReLU、Leaky ReLU或二次激活的神经网络的真实损失情况。在所有这三种情况下，我们提供了一个完整的分类的情况下，目标函数是仿射和一维的临界点。特别地，我们证明了不存在局部极大值，并澄清了鞍点的结构。此外，我们证明了非全局局部极小值只能由“死”的ReLU神经元引起。特别是，它们不会出现在Leaky ReLU或二次激活的情况下。我们的方法是一个组合的性质，并建立在仔细分析不同类型的隐藏的神经元，可以发生。
2022-07-06 cs.LG cs.NA math.NA
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院与数学科学学院）；Computer Science and Engineering, Ohio State University（俄亥俄州立大学计算机科学与工程系）；Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系及放射学系）
本文证明两层ReLU网络在正交可分数据上的梯度流可证明地表现出神经坍缩，放宽了无约束特征假设，并揭示了训练动态隐式偏差的作用。
2025-10-24 cs.LG math.OC
On the existence of minimizers in shallow residual ReLU neural network optimization landscapes
本文证明带ReLU激活的单隐层残差神经网络在损失景观中存在极小化子，通过构造包含不连续广义响应的搜索空间闭包，并证明这些广义响应次优，从而解决了此前平滑激活函数下极小化子不存在的问题。
2024-11-19 cs.LG cs.NA math.NA
Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control
University of Minnesota（明尼苏达大学）；Honeywell Aerospace（霍尼韦尔航空航天公司）
该研究证明随机权重偏置的浅层ReLU网络对光滑函数有高概率的$O(m^{-1/2})$的$L_{\nfty}$逼近误差，并将其应用于模型参考自适应控制以获取指定精度的逼近，填补了相关理论空白。
2024-04-16 cs.LG cs.SY eess.SY
The Effects of Mild Over-parameterization on the Optimization Landscape of Shallow ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究了温和的过度参数化对$\mathbf{x}\mapsto\sum_{i=1}^k\max\{0,\mathbf{w}_i^{\top}\mathbf{x}\}$形式的简单ReLU神经网络的优化景观的影响，在一个经过充分研究的教师-学生设置中，目标值由相同的架构生成，并且直接优化相对于高斯输入的群体平方损失。我们证明，虽然目标是强凸的全局最小值时，教师和学生网络拥有相同数量的神经元，它甚至不是\emph{locally convex}后，任何数量的过参数化。此外，相关的期望性质（例如，单点强凸性和Polyak-Schojasiewicz条件）甚至在局部也不成立。另一方面，我们建立的目标仍然是一点强凸的\emph{most}方向（适当定义），并显示在此属性下的优化保证。对于非全局最小值，我们证明了即使只添加一个神经元也会将非全局最小值变成鞍点。这在某些技术条件下是成立的，我们通过经验验证了这一点。这些结果提供了一个可能的解释，为什么恢复全局最小值变得明显更容易，当我们过度参数化，即使过度参数化的量是非常温和的。
2021-07-30 cs.LG stat.ML
Function Gradient Approximation with Random Shallow ReLU Networks with Control Applications
University of Minnesota（明尼苏达大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对控制中浅层ReLU网络函数梯度逼近的理论空白，证明随机输入参数加训练输出参数可实现$O((\text{log}(m)/m)^{1/2})$的梯度误差，改进了常数项并可应用于策略评估问题。
2024-10-07 cs.LG cs.SY eess.SY
Approximation capabilities of neural networks on unbounded domains
PAG Investment Solutions（PAG投资解决方案公司）；Hunan University（湖南大学）；Xiaoxiang Research Institute of Big Data（潇湘大数据研究院）
在本文中，我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0，1]^n上的任何L^p（p>=2）可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络不表示定义在欧几里得平面上的非零可积函数。再加上最近的一个结果，即深度ReLU网络可以任意地逼近欧几里得空间上的任何可积函数，我们为ReLU网络中多个隐藏层的优势提供了一个新的视角。最后，我们证明深度为3的ReLU网络是L^p（R^n）中的通用近似器。
2021-10-09 cs.LG stat.ML
Training shallow ReLU networks on noisy data using hinge loss: when do we overfit and is it benign?
UCLA（加州大学洛杉矶分校）
该研究针对含噪线性可分数据上用梯度下降和铰链损失训练的两层ReLU网络，明确了干净数据间隔对应的三种训练结果，揭示了两阶段神经元动力学，并通过组合方法证明了相关结论，深化了对良性过拟合机制的理解。
2023-11-08 cs.LG
On the Expressive Power of Neural Networks
Mathematisches Institut（数学研究所）
本文提出一个包含两种表达能力的框架，系统回答宽浅层与深度窄ReLU网络之间的逼近关系、Sobolev范数下的通用逼近性以及非ReLU激活函数的适用性问题，并改进线性区域数的已知界限。
2023-05-31 cs.AI cs.LG math.CA
Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere
King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）
本文为球面上浅层ReLU$^k$网络逼近建立配置相关下界，揭示其饱和阶，表明线性化神经网络逼近受经典饱和框架限制，优势有限。
2026-09-11 cs.LG cs.NA math.NA
Shallow ReLU$^s$ Networks in $L^p$-Type and Sobolev Spaces: Approximation and Path-Norm Controlled Generalization
School of Mathematical Sciences Fudan University（复旦大学数学学院）；School of Mathematical Sciences Institute of Natural Sciences and MOE-LSC Shanghai Jiao Tong University（上海交通大学数学学院、自然科学研究院和教育部低维量子体系科学重点实验室）；School of Mathematical Sciences Shanghai Key Laboratory for Contemporary Applied Mathematics Fudan University（复旦大学上海当代应用数学重点实验室数学学院）
本文研究浅层ReLU$^s$网络在$L^p$型空间和Sobolev空间中的逼近能力，并通过$\ell_1$路径范数控制实现非参数回归的极小化最优泛化误差。
2026-05-25 cs.LG stat.ML
Approximating Continuous Functions by ReLU Nets of Minimal Width
Department of Mathematics, Texas A&M（德克萨斯农工大学数学系）；Trinity College, Cambridge（剑桥大学三一学院）
这篇文章关注的是带有ReLU激活的深度前馈神经网络的深度表达能力。具体来说，我们回答了以下问题：对于一个固定的$d_{in}\geq 1,$，最小宽度$w$是多少，以便具有ReLU激活、输入维度$d_{in}$、最大$w,$的隐藏层宽度和任意深度的神经网络可以任意地逼近$d_{in}$变量的任何连续实值函数？事实证明，这个最小宽度正好等于$d_{in}+1.$也就是说，如果所有的隐藏层宽度都以$d_{in}$为界，那么即使在无限深度限制下，ReLU网也只能表达非常有限的一类函数，另一方面，在$d_{in}$上的任何连续函数-维单位立方体可以通过ReLU网近似到任意精度，其中所有隐藏层的宽度都正好是$d_{in}+1.$我们的构造实际上表明，任何连续函数$f:[0,1]^{d_{in}}\to\mathbb R^{d_{out}}$可以近似为宽度为$d_{in}+d_{out}$的网。我们得到定量的深度估计这样一个近似的$f$的连续模。
2018-03-10 cs.CC cs.LG math.CO
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation
Harvard University（哈佛大学）
本研究探讨了 ReLU 神经网络逼近多元单项式所需神经元数量，证明了浅层网络逼近乘积函数存在指数下界，揭示了网络表达能力更依赖于深度而非整体复杂度。
2023-05-16 cs.LG stat.ML
Deep ReLU Networks Have Surprisingly Few Activation Patterns
Facebook AI Research（Facebook人工智能研究院）；Texas A&M University（得克萨斯农工大学）；University of Pennsylvania（宾夕法尼亚大学）
深度网络的成功部分归功于它们的表达能力：每个参数，深度网络可以近似比浅层网络更丰富的函数类。在ReLU网络中，激活模式的数量是表达能力的一个衡量标准;最大模式数量随着深度呈指数增长。然而，最近的研究表明，深度网络的实际表达能力--它们可以学习而不是表达的功能--往往远远没有达到理论上的最大值。在本文中，我们证明了ReLU网络在初始化时激活模式的平均数量受提升到输入维度的神经元总数的限制。我们的经验表明，这个界限，这是独立的深度，是紧在初始化和训练过程中，即使在记忆任务，应该最大限度地提高激活模式的数量。我们的工作表明，实现深度网络的完全表达能力在实践中可能是不可能的，至少用目前的方法是这样。
2019-10-20 cs.LG math.ST stat.ML
Neural network integral representations with the ReLU activation function
Oak Ridge National Laboratory（橡树岭国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）
在这项工作中，我们推导出一个公式，用于使用ReLU激活函数的浅层神经网络的积分表示。我们假设外权允许球面上关于Lebesgue测度的有限$L_1$ -范数.对于单变量目标函数，我们进一步提供了所有可能表示的封闭形式公式。此外，在这种情况下，我们的公式允许一个显式解决最小$L_1$规范神经网络表示为一个给定的功能。
2020-06-11 cs.LG stat.ML
From Approximation Rates to Loss-Landscape Barrier Decay in Shallow ReLU Networks
Independent Researcher（独立研究者）
本研究探讨了过参数化单隐藏层 ReLU 网络中 Lipschitz 损失景观的渐近平滑特性，通过理论证明和实验验证，发现网络宽度增加时损失景观趋于平滑，局部和全局极小值之间的能量间隙减小。
2026-08-14 cs.LG
Weighted variation spaces and approximation by shallow ReLU networks
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文针对有界域上浅层ReLU网络逼近问题，提出加权变差空间以给出依赖于域本身的模型类定义，并证明新模型类严格大于经典域无关类且保持相同逼近速率。
2024-10-13 cs.LG cs.NA math.NA
Statistical Guarantees for Approximate Stationary Points of Shallow Neural Networks
University of Hamburg（汉堡大学）；Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）
本文研究了浅层神经网络近似 stationary 点的统计保证，提出方法支持神经网络无需全局优化的数学观点，并扩展至 ReLU 神经网络。
2025-12-05 cs.LG math.ST stat.TH
Finite Samples for Shallow Neural Networks
Hangzhou Normal University（杭州师范大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究两层不可约浅层网络的有限样本可识别性，证明 ReLU 网络无法由有限样本确定识别，但可与同规模网络区分，并为 sigmoid 与 tanh 解析网络构造可精确恢复的有限样本。
2025-03-17 cs.IT cs.LG cs.NA
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University（莱顿大学）
深度神经网络（DNN）生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点，这并不一定解释了深网络的成功。在这篇文章中，我们采取了另一种方法，将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现，MARS（多元自适应回归样条）是不适当的学习DNN的意义上，对于任何给定的功能，可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数，近似这个功能，以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上，我们推导出风险比较不等式，约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
Department of Mathematics, Texas A\&M, College Station, United States
本文关注的是具有ReLU激活和有界宽度的神经网络中深度的表达能力。我们对以下问题特别感兴趣：最小宽度$w_{\text{min}}(d)$是多少，以便宽度为$w_{\text{min}}(d)$（和任意深度）的ReLU网可以任意地逼近单位立方体$[0,1]^d$上的任何连续函数？对于接近这个最小宽度的ReLU网，我们可以说近似给定函数所需的深度是多少？我们对本文的方法是基于这样的观察，即由于ReLU激活的凸性，ReLU网特别适合表示凸函数。特别地，我们证明了具有宽度$d+1$的ReLU网可以任意地逼近$d$变量的任何连续凸函数。然后，这些结果给出了宽度为$d+3.$的ReLU网对$d$维立方体$[0,1]^d$上任何连续标量函数的逼近速率的定量深度估计
2017-12-20 cs.CG cs.LG math.FA
Shallower ReLU Network Representations via Exact Linear Algebra
University of Technology Nuremberg（纽伦堡工业大学）；Brandenburg University of Technology Cottbus–Senftenberg（科特布斯-森夫滕贝格勃兰登堡工业大学）；University of Copenhagen（哥本哈根大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克科学数学研究所）；Freie Universität Berlin（柏林自由大学）
研究\(n\)个实数最大值用ReLU网络表示的问题，核心方法是将其转化为精确有理线性代数问题求解，主要贡献是给出不同\(n\)值下所需隐藏层数量，改进了相关工作的结果。
2026-09-02 cs.LG cs.NE math.CO
The minimal width of universal $p$-adic ReLU neural networks
Mathematical Institute, E\"otv\"os Lor\'；University 1117 Budapest, P\'azm\'any P\'eter s\'et\'any 1/C, Hungary；Department of Algebra；Geometry, Institute of Mathemetics, Budapest University of Technology；4mm HUN-REN Alfr\'ed R\'enyi Institute of Mathematics, Re\'altanoda utca 13--15., H-1053 Budapest, Hungary
研究确定了用于逼近 $p$-adic 空间上连续函数的 ReLU 类似激活函数神经网络的最小宽度。
2026-11-05 cs.LG math.NT
