Learning Lipschitz Functions by GD-trained Shallow Overparameterized ReLU Neural Networks
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
本文研究过参数化浅层ReLU神经网络通过早停GD学习带噪Lipschitz函数，从NTK近似视角证明早停规则能实现minimax最优收敛速率，并探讨了多种实用的停止规则。
2023-04-06 cs.LG stat.ML
Topological obstruction to the training of shallow ReLU neural networks
Politecnico di Torino（都灵理工大学）；CENTAI Institute（CENTAI研究所）
本文发现浅层ReLU神经网络在梯度流训练中，损失景观的拓扑障碍（由ReLU齐次性导致的二次曲面非连通）可阻止全局最优可达，并通过解析计算与数值实验验证。
2024-11-07 cs.LG math.AG math.AT
Loss Landscape of Shallow ReLU-like Neural Networks: Stationary Points, Saddle Escape, and Network Embedding
New York University（纽约大学）；University of Vienna（维也纳大学）
本文分析单隐藏层类 ReLU 网络在平方损失与梯度下降下的方向驻点，刻画逃逸神经元与局部最小值的关系，并阐明网络嵌入对驻点的重塑。
2025-03-16 cs.LG
Shallow neural network approximation in mixed Sobolev spaces
Zhejiang University（浙江大学）
该研究建立浅层神经网络对混合Sobolev空间的逼近理论，提出傅里叶块原理，确定ReLUᵏ等多种激活函数的最优逼近指数，为相关逼近问题提供了理论框架。
2026-10-08 cs.LG cs.NA math.NA
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA（加州大学洛杉矶分校）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study（普林斯顿高等研究院）
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题，即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线，但一个关键的挑战是将学习保证带回到有限神经元设置中，在那里实际算法可以运行。为了缩小这一差距，并专注于浅神经网络，在这项工作中，我们研究了不同的正则化策略的能力，以捕获只需要有限数量的神经元的解决方案，即使在无限宽的政权。具体来说，我们考虑（i）通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19]，和（ii）变分范数正则化[巴赫~17]，兼容的平均场标度。在对激活函数的温和假设下（例如满足ReLU），我们建立了两种方案都是由只有有限数量的神经元的函数最小化的，而不管过度参数化的量。我们研究的后果，这种属性和描述的设置，其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Finite Samples for Shallow Neural Networks
Hangzhou Normal University（杭州师范大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究两层不可约浅层网络的有限样本可识别性，证明 ReLU 网络无法由有限样本确定识别，但可与同规模网络区分，并为 sigmoid 与 tanh 解析网络构造可精确恢复的有限样本。
2025-03-17 cs.IT cs.LG cs.NA
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University（上海交通大学自然科学研究院与数学科学学院）；Computer Science and Engineering, Ohio State University（俄亥俄州立大学计算机科学与工程系）；Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系及放射学系）
本文证明两层ReLU网络在正交可分数据上的梯度流可证明地表现出神经坍缩，放宽了无约束特征假设，并揭示了训练动态隐式偏差的作用。
2025-10-24 cs.LG math.OC
Approximation capabilities of neural networks on unbounded domains
PAG Investment Solutions（PAG投资解决方案公司）；Hunan University（湖南大学）；Xiaoxiang Research Institute of Big Data（潇湘大数据研究院）
在本文中，我们证明了具有单调sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络可以任意好地逼近定义在R*[0，1]^n上的任何L^p（p>=2）可积函数。我们还证明了具有sigmoid、ReLU、ELU、Softplus或LeakyReLU激活函数的浅层神经网络不表示定义在欧几里得平面上的非零可积函数。再加上最近的一个结果，即深度ReLU网络可以任意地逼近欧几里得空间上的任何可积函数，我们为ReLU网络中多个隐藏层的优势提供了一个新的视角。最后，我们证明深度为3的ReLU网络是L^p（R^n）中的通用近似器。
2021-10-09 cs.LG stat.ML
On the Expressive Power of Neural Networks
Mathematisches Institut（数学研究所）
本文提出一个包含两种表达能力的框架，系统回答宽浅层与深度窄ReLU网络之间的逼近关系、Sobolev范数下的通用逼近性以及非ReLU激活函数的适用性问题，并改进线性区域数的已知界限。
2023-05-31 cs.AI cs.LG math.CA
Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks
我们考虑了浅层神经网络关于变分范数的逼近率。对于S形和ReLU激活函数，已经建立了这些速率的上限，但是这些速率是否尖锐仍然是一个重要的开放问题。在这篇文章中，我们提供了一个解决这个问题的方法，证明了尖锐的下界的近似率浅神经网络，这是通过下界的$L^2$度量熵的凸包的神经网络基函数。此外，我们的方法还给出了这个凸包的$n$宽度的尖锐下界，这表明，对应于浅神经网络的变化空间不能有效地近似线性方法。这些下限适用于具有有界变差的S形激活函数和作为ReLU的幂的激活函数。我们的结果还量化了Barron谱范数比变分范数强多少，并结合以前的结果，在ReLU激活函数的情况下，给出了$L^\infty$度量熵的对数因子的渐近性。
2021-09-08 cs.LG math.ST stat.ML
Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文通过构造性证明研究了ReLU$^k$深度网络精确表示高次多项式的能力，建立了参数规模上界，并证明了其在Sobolev空间、解析函数及多种变差空间中的逼近性质与适应性。
2024-01-11 cs.LG cs.NA cs.NE
Neural network integral representations with the ReLU activation function
Oak Ridge National Laboratory（橡树岭国家实验室）；University of Tennessee at Knoxville（田纳西大学诺克斯维尔分校）
在这项工作中，我们推导出一个公式，用于使用ReLU激活函数的浅层神经网络的积分表示。我们假设外权允许球面上关于Lebesgue测度的有限$L_1$ -范数.对于单变量目标函数，我们进一步提供了所有可能表示的封闭形式公式。此外，在这种情况下，我们的公式允许一个显式解决最小$L_1$规范神经网络表示为一个给定的功能。
2020-06-11 cs.LG stat.ML
On the algorithmic construction of deep ReLU networks
Daan Huybrechs（独立研究者）
本文从算法视角构造性地编程深度ReLU网络，实现精确排序等任务，并分析其递归、并行特性及深度优势。
2025-06-23 cs.LG cs.NA math.NA
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University（莱顿大学）
深度神经网络（DNN）生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点，这并不一定解释了深网络的成功。在这篇文章中，我们采取了另一种方法，将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现，MARS（多元自适应回归样条）是不适当的学习DNN的意义上，对于任何给定的功能，可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数，近似这个功能，以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上，我们推导出风险比较不等式，约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
A ReLU Dense Layer to Improve the Performance of Neural Networks
KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出Redense作为一种简单且低复杂度的方法来提高训练好的神经网络的性能。我们使用随机权重和整流线性单元（ReLU）激活函数的组合来向训练好的神经网络添加ReLU密集（ReDense）层，从而可以实现更低的训练损失。ReLU的无损流特性（LFP）是在保持小的泛化误差的同时实现较低训练损失的关键。由于具有浅结构，ReDense在训练中不会遇到梯度消失问题。实验表明，ReDense可以提高具有不同优化损失和激活函数的各种神经网络架构的训练和测试性能。最后，我们在一些最先进的架构上测试了ReDense，并在基准数据集上显示了性能改进。
2020-10-22 cs.CV cs.LG
On the convergence of group-sparse autoencoders
Harvard University（哈佛大学）；Tufts University（塔夫茨大学）
基于模型的深度学习架构的理论分析的最新方法研究了浅层ReLU网络中梯度下降的收敛性，这些网络来自于隐藏层稀疏的生成模型。受到施加结构化稀疏形式的架构的成功的启发，我们引入并研究了一种组稀疏自编码器，该编码器考虑了各种生成模型，并利用组稀疏ReLU激活函数来强制给定层的非零单元以块的形式出现。对于聚类模型，导致同一组活动单元的输入属于同一聚类。我们继续分析所提出的自动编码器的浅层实例的梯度动态，该自动编码器使用遵循组稀疏生成模型的数据进行训练。在这种情况下，我们从理论上证明了网络参数收敛到生成矩阵的邻域。我们通过数值分析验证了我们的模型，并强调了与利用传统ReLU的网络相比，具有组稀疏ReLU的网络在稀疏编码和参数恢复任务中的卓越性能。我们还提供了真实的数据实验来证实模拟结果，并强调结构化稀疏模型的聚类能力。
2022-01-21 cs.LG
Normalized gradient flow optimization in the training of ReLU artificial neural networks
Basque Center for Applied Mathematics（巴斯克应用数学中心）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
人工神经网络（ANN）的训练是当今高度相关的算法过程，在科学和工业中有许多应用。粗略地说，人工神经网络可以被视为仿射线性函数和某些固定的非线性函数之间的迭代组合，这些非线性函数通常是一维所谓的激活函数的多维版本。这种一维激活函数的最流行的选择是整流线性单位（ReLU）激活函数，其将实数映射到其正部分$ \mathbb{R} \ni x \mapsto \max\{ x, 0 \} \in \mathbb{R} $。在这篇文章中，我们提出并分析了这种ReLU ANN的标准训练过程的修改变体，在这个意义上，我们提出将负梯度流动动力学限制在ANN参数空间的一个大的子流形上，这是一个严格的$ C^{ \infty } $ -- 整个ANN参数空间的子流形，其似乎比整个ANN参数空间享有更好的正则性，但是其也足够大，足够高的维数，使得它可以表示可以通过整个ANN参数空间表示的所有ANN实现函数。在特殊的情况下，浅的ANN只有一维ANN层，我们还证明了每一个Lipschitz连续的目标函数，每个梯度流的轨迹在这个大的子流形的ANN参数空间是全局有界的。对于具有Lipschitz连续目标函数的整个ANN参数空间上的标准梯度流，即使在仅具有一维ANN层的浅ANN的情况下，证明或反驳梯度流轨迹的全局有界性仍然是一个开放的研究问题。
2022-07-13 cs.LG math.OC
Deep vs. shallow networks : An approximation theory perspective
California Institute of Technology（加州理工学院）；Claremont Graduate University（克莱蒙特研究生大学）；Massachusetts Institute of Technology（麻省理工学院）
本文简要回顾了从示例中学习的分层结构的几个最新结果，这些结果可以正式解释深度卷积神经网络在函数逼近问题中比浅的一个隐藏层结构表现得更好的条件。本文宣布了一个非光滑激活函数的新结果-ReLU函数-用于当今的神经网络，以及高斯网络。我们提出了一个新的相对维度定义，以封装函数类的稀疏性的不同概念，这些概念可能被深度网络利用，但不能被浅层网络利用，以大幅降低近似和学习所需的复杂性。
2016-08-10 cs.LG math.FA
The Expressive Power of Neural Networks: A View from the Width
Peking University（北京大学）；Key Laboratory of Machine Perception, MOE, School of EECS, Peking University（北京大学信息科学技术学院机器感知与智能教育部重点实验室）；Center for Data Science, Peking University（北京大学数据科学研究中心）；Beijing Institute of Big Data Research（北京大数据研究院）
神经网络的表达能力对于理解深度学习非常重要。现有的研究多从网络深度的角度来考虑这一问题。在本文中，我们研究了宽度如何影响神经网络的表达能力。经典的结果表明，深度有界（例如深度- $2$）网络与适当的激活函数是通用的逼近。我们展示了宽度有界ReLU网络的一个通用近似定理：宽度- $(n+4)$ ReLU网络，其中$n$是输入维度，是通用近似器。此外，除了测量零点集之外，所有函数都不能用宽度- $n$ ReLU网络近似，这表现出相变。最近的几项工作通过证明神经网络的深度效率来证明深度的好处。也就是说，有一类深度网络无法通过任何规模不超过指数界的浅网络实现。在这里，我们对ReLU网络的宽度效率提出了双重问题：是否存在无法通过尺寸不大的窄网络实现的宽网络？我们发现，存在类的宽网络，不能实现任何窄的网络，其深度不超过一个多项式的界限。另一方面，我们通过大量的实验证明，规模超过多项式以一个常数因子约束的窄网络可以以高精度逼近宽而浅的网络。我们的研究结果提供了更全面的证据，证明深度比宽度对ReLU网络的表现力更有效。
2017-11-01 cs.LG
Improving neural networks with bunches of neurons modeled by Kumaraswamy units: Preliminary study
Wrocław University of Technology（弗罗茨瓦夫理工大学）
深度神经网络最近在许多机器学习问题中取得了最先进的成果，例如，语音识别或对象识别。最近，在整流线性单元（ReLU）上的工作提供了与通常使用的S形激活函数相比神经网络性能提高的经验和理论证据。在本文中，我们研究了一种新的方式来改善神经网络，通过引入一堆副本的相同的神经元模型的广义Kumaraswamy分布。因此，我们提出了一种新的非线性激活函数，我们称之为Kumaraswamy单元，它与ReLU密切相关。在MNIST图像语料库的实验研究中，我们评估了应用于单层（浅层）神经网络的Kumaraswamy单元，并报告了与sigmoid单元，ReLU和Noisy ReLU相比，测试分类错误和测试交叉熵的显着下降。
2015-05-11 cs.LG cs.NE
How Can Deep Neural Networks Fail Even With Global Optima?
University of Southern Mississippi（南密西西比大学）
本文探讨深度神经网络即使达到全局最优解仍可能失败的问题，通过简单技巧将浅层网络扩展至任意深度，构建了在分类和函数逼近任务上表现不佳的极度过拟合网络，并进行了多激活函数与多维度的理论分析及数值验证。
2024-07-23 cs.LG cs.NA math.NA
Sample Variance Decay in Randomly Initialized ReLU Networks
Princeton University（普林斯顿大学）
在训练神经网络之前，一个经典的经验法则是随机初始化权重，这样激活的方差就可以在各层之间保持不变。传统上，由于两个权重\emph{and}样本中的随机性，使用总方差来解释这一点。或者，可以将经验法则解释为保持固定网络样本的方差。这两种解释对于浅网络来说差别不大，但是对于深ReLU网络来说，通过将总方差分解为样本方差和样本均值平方的网络平均和，这种差异会随着深度的增加而增加。我们证明，即使当总方差保持，样本方差衰减在后面的层通过分析计算的限制，无限的网络宽度，和数值模拟有限的宽度。我们证明了批量归一化消除了这种衰减，并提供了经验证据，证明在初始化时保留样本方差而不仅仅是总方差会对深度网络的训练动态产生影响。
2019-08-06 cs.LG stat.ML
The Representation Power of Neural Networks: Breaking the Curse of Dimensionality
Massachusetts Institute of Technology（麻省理工学院）
本文分析了一个神经网络逼近具有有界二阶混合导数的多元函数-- Korobov函数所需的神经元数目和训练参数。我们证明了这些数量的上界浅和深神经网络，打破维数灾难。我们的边界适用于一般的激活函数，包括ReLU。我们进一步证明，这些边界几乎匹配的最小数量的参数的任何连续函数逼近器需要近似Korobov函数，表明神经网络是近最优的函数逼近器。
2021-01-09 cs.LG cs.NA math.NA
Why Deep Neural Networks for Function Approximation?
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，人们对理解为什么深度神经网络比浅网络更受欢迎很感兴趣。我们证明了，对于一个大类的分段光滑函数，一个浅网络近似一个函数所需的神经元数量是指数大于一个深度网络所需的神经元数量为给定程度的函数近似。首先，我们考虑有界区间上的单变量函数，并要求神经网络在区间上均匀地实现$\varepsilon$的近似误差。我们表明，浅网络（即，深度不依赖于$\varepsilon$的网络）需要$Ω(\text{poly}(1/\varepsilon))$神经元而深度网络（即，深度随$1/\varepsilon$而增长的网络）需要$\mathcal{O}(\text{polylog}(1/\varepsilon))$神经元。然后，我们将这些结果推广到某些重要的多元函数类。我们的研究结果是来自神经网络，它使用整流器线性单元（ReLU）和二进制阶跃单元，两个最流行的类型的激活函数的组合。我们的分析建立在一个简单的观察基础上：两位的乘法可以由ReLU表示。
2017-03-03 cs.LG cs.NE
Approximation Rates of Shallow Neural Networks: Barron Spaces, Activation Functions and Optimality Analysis
School of Mathematical Sciences, Shenzhen University, Shenzhen 518060, China（深圳大学数学科学学院）
本文分析采用指数幂型及 ReLU$^{k}$ 激活函数的浅层神经网络，在 Barron 与 Sobolev 空间中建立多范数最优逼近速率，揭示系数、光滑性约束及维数灾难的影响。
2025-10-21 cs.LG
Deep Global-Connected Net With The Generalized Multi-Piecewise ReLU Activation in Deep Learning
University of Waterloo（滑铁卢大学）
近年来的研究表明，在计算机视觉领域，利用卷积神经网络的隐层神经元，结合精心设计的激活函数，可以获得更好的分类结果。本文首先介绍了一种新的深度学习架构，旨在减轻梯度消失问题，其中前隐层神经元可以直接与最后一个隐层连接，并馈送到最后一层进行分类。然后，我们设计了一个广义线性整流函数作为激活函数，可以通过训练的参数来逼近任意复杂的函数。我们将证明，我们的设计可以在一些对象识别和视频动作基准任务中实现类似的性能，在参数数量少得多和网络基础设施浅的情况下，这不仅在计算负担和内存使用方面有前途，而且也适用于低计算，低内存的移动场景。
2018-06-19 cs.CV cs.LG
Hidden Unit Specialization in Layered Neural Networks: ReLU vs. Sigmoidal Activation
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence（伯努利数学、计算机科学与人工智能研究所）；University of Groningen（格罗宁根大学）
我们研究分层神经网络的整流线性单元（ReLU）的建模框架随机训练过程。与S形激活函数的比较是感兴趣的中心。我们计算典型的学习曲线，在匹配的学生教师场景中，具有K个隐藏单元的浅网络。在训练集的临界规模下，系统的泛化性能通过隐藏单元的特殊化过程表现出突变。令人惊讶的是，我们的结果表明，ReLU网络的训练行为与具有S形激活的网络有质的不同。在具有K >= 3个S形隐藏单元的网络中，过渡是不连续的：即使对于非常大的训练集，专用网络配置也共存并与性能较差的状态竞争。相反，使用ReLU激活会导致所有K的连续转换：对于足够大的训练集，两个竞争的，不同的专业化状态显示出相似的泛化能力，这对于K到无穷大的大型网络来说完全一致。
2020-05-27 cond-mat.dis-nn cs.LG stat.ML
Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）
激活函数在深度神经网络中提供卓越性能方面发挥着关键作用，而整流线性单元（ReLU）是使用最广泛的激活函数之一。已经提出了各种新的激活函数和对ReLU的改进，但每种都有性能缺陷。在本文中，我们提出了一种改进的激活函数，我们称之为自然对数校正线性单元（NLReLU）。这个激活函数使用参数化自然对数变换来改进ReLU，并简单地定义为。NLReLU不仅保留了ReLU的稀疏激活特性，而且在一定程度上解决了“垂死ReLU”和梯度消失问题。它还减少了偏置移位效应和神经元数据分布在网络层之间的异方差，以加快学习过程。该方法在两个基本数据集的10个不同深度的卷积神经网络上进行了验证。实验表明，使用NLReLU的卷积神经网络比使用ReLU的卷积神经网络具有更高的准确性，并且NLReLU与其他众所周知的激活函数相当。与ReLU相比，NLReLU分别在MNIST和CIFAR-10数据集的浅卷积神经网络中使用时，平均分类准确率高出0.16%和2.04%。使用NLReLU的深度卷积神经网络的平均准确率比使用CIFAR-10数据集的平均准确率高1.35%。
2019-08-25 cs.CV cs.LG stat.ML
A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network
Department of Mathematics, Purdue University（数学系，普渡大学）；School of Mechanical Engineering, Purdue University（机械工程学院，普渡大学）
本文提出结构引导高斯-牛顿方法，通过将浅层ReLU神经网络参数分为非线性与线性两类并交替求解，利用对称正定矩阵自然获得有效搜索方向，有效解决了不连续及尖锐过渡层函数逼近难题。
2025-07-19 cs.LG cs.NA math.NA
Landscape analysis for shallow neural networks: complete classification of critical points for affine target functions
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Münster（明斯特大学）
在本文中，我们分析了具有一个隐藏层和ReLU、Leaky ReLU或二次激活的神经网络的真实损失情况。在所有这三种情况下，我们提供了一个完整的分类的情况下，目标函数是仿射和一维的临界点。特别地，我们证明了不存在局部极大值，并澄清了鞍点的结构。此外，我们证明了非全局局部极小值只能由“死”的ReLU神经元引起。特别是，它们不会出现在Leaky ReLU或二次激活的情况下。我们的方法是一个组合的性质，并建立在仔细分析不同类型的隐藏的神经元，可以发生。
2022-07-06 cs.LG cs.NA math.NA
Any Deep ReLU Network is Shallow
King’s College London（伦敦国王学院）
本文构造性地证明任何深度ReLU网络可等价改写为三层浅网络，并给出求取显式权重的算法，所得浅层网络透明且可用于解释模型行为。
2023-06-20 cs.AI cs.LG stat.ML
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc（昆泰菲公司）；Aptiv Advance Research Center（安波福先进研究中心）；The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出在隐藏层使用复杂的分段线性（PWL）激活函数，并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验，证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
Configuration-Dependent Lower Bounds for Approximation by Shallow ReLU$^k$ Networks on the Sphere
King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹大学）
本文为球面上浅层ReLU$^k$网络逼近建立配置相关下界，揭示其饱和阶，表明线性化神经网络逼近受经典饱和框架限制，优势有限。
2026-09-11 cs.LG cs.NA math.NA
Dimension independent bounds for general shallow networks
Institute of Mathematical Sciences, Claremont Graduate University（克莱蒙特研究生大学数学科学研究所）
本文证明了一个抽象定理，统一地解决了函数逼近中的两个重要问题：避免维数灾难和估计流形学习中样本外扩展的逼近度。我们考虑一个抽象的（浅）网络，包括，例如，神经网络，径向基函数网络，和内核的数据定义的流形用于函数逼近在各种设置。根据有向无环图，通过浅层网络的组合获得深度网络，表示深度网络的架构。在本文中，我们证明了维数无关的边界的逼近浅网络在非常一般的设置，我们称之为$G$ -网络在一个紧凑的度量空间，其中的概念定义的最大可区分集的基数的维数，推广的概念，一个立方体或流形的维数。我们的技术给出的界限，改善没有饱和与平滑的内核中涉及的目标函数的积分表示。在流形学习的背景下，我们的边界提供了对目标函数到环境空间的样本外扩展的近似程度的估计。我们的定理的一个结果是，如果不需要鲁棒的参数选择，使用非平滑激活函数（如ReLU）的深度网络在近似程度方面并不提供比浅网络更大的优势。
2019-11-04 cs.LG stat.ML
Sharp Bounds on the Approximation Rates, Metric Entropy, and $n$-widths of Shallow Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）
本文通过引入光滑参数化字典和脊函数类下界方法，建立了浅层神经网络变分空间在逼近率、度量熵和n-宽度上的精确上下界，涵盖ReLU^k及有界变差sigmoidal等激活函数。
2024-02-22 cs.IT cs.LG math.IT
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力，证明了其在神经元数量上的最优逼近速率，并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；DeepMind（深度思维）
训练非常深的神经网络仍然是一项极具挑战性的任务。常见的解决方案是使用快捷连接和规范化层，这两者都是流行的ResNet架构中的关键成分。然而，有强有力的证据表明，ResNet的行为更像是浅层网络的集合，而不是真正的深层网络。最近，有研究表明，深度香草网络（即没有规范化层或快捷连接的网络）可以通过对其激活函数应用某些转换来像ResNet一样快地训练。然而，这种方法（称为Deep Kernel Shaping）与ReLU并不完全兼容，并且在ImageNet上产生的网络过拟合程度远远超过ResNets。在这项工作中，我们通过开发一种与ReLU的变体-Leaky ReLU完全兼容的新型转换来纠正这种情况。我们在实验中表明，我们的方法引入的额外计算成本可以忽略不计，可以实现与ResNets（相同宽度/深度）竞争的深度香草网络的验证精度，并且显著高于使用混沌边缘（EOC）方法获得的精度。与EOC不同，我们获得的验证精度不会随着深度而变差。
2022-03-15 cs.LG stat.ML
Gradient descent provably escapes saddle points in the training of shallow ReLU networks
ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）；Nanyang Technological University（南洋理工大学）
针对现有动力系统理论正则性条件不适用于现代机器学习的问题，本文放宽条件证明中心-稳定流形定理，证明浅层ReLU网络训练中梯度下降可避开多数鞍点，有利初始化下收敛至全局最小值。
2024-09-11 cs.LG math.DS math.OC
The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks
Technion（以色列理工学院）；Marquette University（马凯特大学）
本文研究了单隐藏层多元ReLU网络在随机梯度下降下的隐式偏差，证明了预测器拉普拉斯算子的有界性随步长增大而减小，并在MNIST上验证了该界限的紧致性，同时发现稳定的浅层网络非通用逼近器，但足够平滑的函数可被其任意逼近。
2023-06-30 cs.LG
Transformative or Conservative? Conservation laws for ResNets and Transformers
ENS-PSL Univ.（巴黎高等师范学院-巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）
本文为卷积ResNet和Transformer推导并分析梯度流训练中的守恒律，证明残差块与无跳跃连接块守恒律相同，并将子集参数守恒律的刻画归结为构建块孤立分析，进而考察其在SGD离散优化下的保持性。
2025-06-06 cs.LG
On minimal representations of shallow ReLU networks
浅层ReLU网络的实现函数是连续的分段仿射函数$f:\mathbb R^d\to \mathbb R$，其中域$\mathbb R^{d}$被一组$n$超平面划分为$f$在其上仿射的单元。我们发现，$f$的最小表示使用$n$，$n+1$或$n+2$神经元，我们的特点，每三种情况下。在输入层是一维的特定情况下，最小表示总是最多使用$n+1$神经元，但在所有更高维的设置中，存在需要$n+2$神经元的函数。然后证明了表示$f$的极小网络的集合构成$C^\infty$ -子流形$M$，并导出了$M$的连通分支的维数和个数.此外，我们给出了超平面的一个标准，该标准保证所有连续的分段仿射函数都是适当的ReLU网络的实现函数。
2021-08-12 cs.LG math.ST stat.TH
Gradient Dynamics of Shallow Univariate ReLU Networks
New York University（纽约大学）
我们对一维输入的过参数化浅层ReLU网络的梯度动力学进行了理论和实证研究，解决了最小二乘插值。我们表明，这种网络的梯度动力学是由网络函数的非冗余参数化中的梯度流决定的。我们研究这个梯度流的主要定性特征。特别是，我们确定两个学习制度的条件：内核和自适应，这取决于在不同层的权重初始化的相对大小和初始化系数的渐近行为在大的网络宽度的限制。我们表明，学习的内核政权产生光滑的插值，曲率最小化，并减少到三次样条均匀初始化。自适应机制中的学习更倾向于线性样条，其中节点在样本点处自适应地聚类。
2019-06-18 cs.LG stat.ML
Nonparametric regression using over-parameterized shallow ReLU neural networks
City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）
本文证明在适当约束或正则化权重且网络宽度足够大时，过参数化浅层 ReLU 神经网络在非参数回归中可实现极大化极小最优收敛速度，并推导出局部 Rademacher 复杂度的新界限。
2024-05-15 cs.LG math.ST stat.ML
On the existence of minimizers in shallow residual ReLU neural network optimization landscapes
本文证明带ReLU激活的单隐层残差神经网络在损失景观中存在极小化子，通过构造包含不连续广义响应的搜索空间闭包，并证明这些广义响应次优，从而解决了此前平滑激活函数下极小化子不存在的问题。
2024-11-19 cs.LG cs.NA math.NA
A Combinatorial Perspective on the Optimization of Shallow ReLU Networks
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
优化浅层ReLU网络的NP难题可以表征为对每个训练示例的激活模式进行组合搜索，然后是给定一组固定激活模式的约束凸问题。我们在这项工作中探索了ReLU优化的这种组合方面的影响。我们表明，它可以自然地通过一个几何和组合对象被称为zonotope与其顶点集同构的一组可行的激活模式。这有助于分析，并为进一步的研究提供了基础。当我们探索最佳损失对训练数据扰动的敏感性时，我们证明了它的有用性。稍后，我们讨论的方法zonotope顶点的选择及其相关的优化。过度参数化通过使随机选择的顶点更有可能包含好的解决方案来帮助训练。然后，我们介绍了一种新的多项式时间顶点选择过程，可证明挑选一个顶点包含全局最优值，只使用两倍的最小参数，以适应数据。我们进一步介绍了一个局部贪婪搜索启发式zonotope顶点，并证明它优于梯度下降欠参数化的问题。
2022-10-01 cs.LG
Deep Equals Shallow for ReLU Networks in Kernel Regimes
Center for Data Science, New York University（纽约大学数据科学中心）；Inria - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学校计算机科学系）；PSL Research University（巴黎文理研究大学）
深度网络通常被认为在近似方面比浅层网络更具表达力。事实上，某些函数可以通过深度网络比浅层网络更有效地近似，然而，没有已知的用于学习这种深度模型的易处理算法。另外，最近的一项工作表明，使用梯度下降训练的深度网络在某种过度参数化的制度下可能表现得像（易处理的）核方法，其中核由架构和初始化决定，本文重点关注这种核的近似。我们表明，对于ReLU激活，从深层全连接网络中导出的内核与其浅层两层对应物具有基本相同的近似特性，即相应积分算子的相同特征值衰减。这突出了内核框架在理解这种深度架构的好处方面的局限性。我们的主要理论结果依赖于通过核函数的可微性来表征这种特征值衰减，这也很容易适用于球面上定义的其他内核的研究。
2021-08-26 cs.LG stat.ML
Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias for Correlated Inputs
University of Warwick（华威大学）
该研究针对单神经元学习的基础回归任务，分析了相关输入下浅层ReLU网络梯度流训练的动力学与隐式偏置，证明其收敛到零损失且偏向最小参数秩，补充了正交数据集相关研究，并通过数值实验验证了理论结论。
2023-10-02 cs.LG
Making Models Shallow Again: Jointly Learning to Reduce Non-Linearity and Depth for Latency-Efficient Private Inference
Intel Labs（英特尔实验室）；University of Southern California（南加州大学）
针对隐私推理中 ReLU 与 MAC 操作过多的问题，提出依据卷积块 ReLU 敏感性联合移除 ReLU 并合并相邻卷积层，使 ResNet18 在 CIFAR-100 上显著降低两类操作且几乎不损失精度。
2023-04-26 cs.CR cs.LG
How degenerate is the parametrization of neural networks with the ReLU activation function?
University of Vienna（维也纳大学）
神经网络训练通常通过使用随机梯度下降求解非凸优化问题来完成。尽管对网络参数进行了优化，但主损失函数通常仅取决于神经网络的实现，即它计算的函数。研究实现空间上的优化问题为理解神经网络训练开辟了新的途径。特别是，通常的损失函数，如均方误差和分类交叉熵在神经网络实现的空间上是凸的，它们本身是非凸的。神经网络的逼近能力可以用来处理后者的非凸性，这使我们能够建立，对于足够大的网络的局部极小值的正则化优化问题的实现空间几乎是最优的。然而，请注意，每个实现都有许多不同的、可能退化的参数化。特别地，参数化空间中的局部最小值不需要对应于实现空间中的局部最小值。为了建立这样的连接，需要实现映射的逆稳定性，这意味着实现的接近必须意味着相应参数化的接近。我们提出的病理，防止逆稳定的一般，并为浅网络，着手建立一个限制空间的参数化，我们有逆稳定w.r.t.索伯列夫范数此外，我们表明，通过优化这样的限制集，它仍然是可以学习任何功能，可以通过优化非限制集学习。
2023-02-08 cs.LG math.FA math.OC
Topology of deep neural networks
University of Chicago（芝加哥大学）；Technion – Israel Institute of Technology（以色列理工学院）
我们研究了数据集$M = M_a \cup M_b \subseteq \mathbb{R}^d$的拓扑结构，在二进制分类问题中表示两个类$a$和$b$，当它通过训练有素的神经网络的层时，即，在训练集上具有完美的精度和接近零的泛化误差（$\approx 0.01\%$）。我们的目标是揭示深度神经网络中的两个谜团：（i）像ReLU这样的非光滑激活函数优于像双曲正切这样的光滑激活函数;（ii）成功的神经网络架构依赖于具有许多层，即使浅层网络可以很好地近似任何函数。我们进行了广泛的持久性同源性的点云数据集，真实的和模拟的实验。结果一致表明：（1）神经网络通过改变拓扑结构来运行，当它通过层时，将拓扑复杂的数据集转换为拓扑简单的数据集。无论$M$的拓扑结构有多复杂，当它通过一个经过良好训练的神经网络$f : \mathbb{R}^d \to \mathbb{R}^p$时，$M_a$和$M_b$的Betti数都会大大减少;事实上，它们几乎总是减少到它们可能的最低值：$k \ge 1$的$β_k\bigl(f(M_i)\bigr) = 0$和$β_0\bigl(f(M_i)\bigr) = 1$，$i =a, b$。此外，（2）ReLU激活的Betti数的减少明显快于双曲正切激活，因为前者定义了改变拓扑的非同胚映射，而后者定义了保持拓扑的同胚映射。最后，（3）浅网络和深网络对数据集的转换方式不同…
2020-04-13 cs.LG math.AT stat.ML
Gradient flow dynamics of shallow ReLU networks for square loss and orthogonal inputs
TML, EPFL（TML，瑞士联邦理工学院）
本文研究了正交输入下单隐层ReLU网络在小初始化时的梯度流动力学，揭示了非凸优化中梯度流收敛至零损失及隐含偏置最小变化范数的特性。
2026-04-14 cs.LG stat.ML
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias
Princeton University（普林斯顿大学）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
我们研究了二元分类设置中具有单个隐藏层的单变量ReLU神经网络上梯度流（GF）的动态和隐式偏差。我们表明，当标签是由目标网络与$r$神经元的符号，在网络的初始化和数据集的采样的概率很高，GF收敛的方向（适当定义）的网络实现完美的训练精度，并具有最多$\mathcal{O}(r)$线性区域，这意味着一个泛化界。与文献中的许多其他结果不同，在对数据分布的额外假设下，我们的结果即使对于温和的过参数化也成立，其中宽度为$\tilde{\mathcal{O}}(r)$并且与样本大小无关。
2023-02-02 cs.LG stat.ML
Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
Texas A&M University（德克萨斯农工大学）
在本文中，我们研究了具有单个隐藏层和ReLU激活的神经网络如何插值从径向对称分布中提取的数据，其中目标标签1位于原点，0位于单位球外部，如果单位球内部没有标签。通过权值衰减正则化，在无限数据极限下，证明了存在唯一的径向对称极小元，其权值衰减正则化子和Lipschitz常数分别以$d$和$\sqrt{d}$的形式增长.我们还表明，重量衰减正则化增长指数$d$如果标签$1$施加在一个球的半径$\varepsilon$，而不仅仅是在原点。相比之下，具有两个隐藏层的神经网络可以近似目标函数而不会遇到维数灾难。
2022-09-02 cs.LG stat.ML
On the Principle of Least Symmetry Breaking in Shallow ReLU Models
NYU（纽约大学）；UCSB（加州大学圣塔芭芭拉分校）
本文提出浅层ReLU模型拟合中伪局部极小值遵循最少对称性破缺原理，并通过实验验证其在多种分布、激活函数和网络结构中的适用性。
2023-12-28 cs.LG stat.ML
