Gradient Descent Quantizes ReLU Network Features
Google Brain（谷歌大脑）
深度神经网络通常在过度参数化的机制下进行训练（即使用比训练示例多得多的参数），理解为什么训练收敛到泛化的解决方案仍然是一个悬而未决的问题。一些研究强调了这样一个事实，即训练过程，即小批量随机梯度下降（SGD）导致在损失景观中具有特定属性的解决方案。然而，即使使用普通的梯度下降（GD），在过参数化的情况下找到的解决方案也非常好，并且这种现象很少被理解。我们提出了在小初始化和学习率的假设下，对具有ReLU激活函数的前馈网络的这种行为进行分析，并揭示了量化效应：权重向量倾向于集中在由输入数据确定的少数方向上。因此，我们表明，对于给定的输入数据，只有100多个，“简单”的功能，可以获得，独立的网络大小。这使得这些函数类似于线性插值（对于给定的输入数据，有许多三角剖分，每个三角剖分通过线性插值确定一个函数）。我们问这种类比是否延伸到泛化性质-虽然通常的分布无关泛化性质不成立，但对于具有有界二阶导数的光滑函数，近似性质可以“解释”网络（无限大小）对未知输入的泛化。
2018-03-22 cs.LG stat.ML
The Effect of SGD Batch Size on Autoencoder Learning: Sparsity, Sharpness, and Feature Learning
University of California, Berkeley（加州大学伯克利分校）；Simons Institute for the Theory of Computing（西蒙斯计算理论研究所）
本文研究单神经元自编码器训练中SGD批量大小的影响，证明任意批量均能收敛到全局最小值，但小批量诱导稀疏且与初始化正交的特征选择，而全批量解稠密且更平坦，并引入非齐次随机游走工具证明收敛性。
2023-08-06 cs.LG stat.ML
A Counterexample to Fourier Alignment in Single-Neuron Modular Addition
该研究针对MAIS-O60问题构造反例，证明单神经元模加法训练中傅里叶对齐不成立，且失效情况在多种条件下普遍存在。
2026-08-07 cs.LG cs.NE math.OC
Numerical influence of ReLU'(0) on backpropagation
IRT Saint Exupéry（圣埃克苏佩里研究所）；ISAE-SUPAERO（法国国立高等航空航天学院）；ANITI（图卢兹人工智能跨学科研究所）；Toulouse School of Economics（图卢兹经济学院）；Université Toulouse 1 Capitole（图卢兹第一大学）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；IRIT, Université Paul Sabatier（图卢兹计算机科学研究所，保罗·萨巴捷大学）
该研究发现非光滑激活函数ReLU在0点的导数值是影响神经网络训练的超参数，在不同精度、网络和数据集上表现出差异，且重调整方法可缓冲其影响，提示非光滑问题的算法微分潜藏可调优参数。
2023-11-03 cs.AI cs.LG
Symmetric Neural-Collapse Representations with Supervised Contrastive Loss: The Impact of ReLU and Batching
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of British Columbia（不列颠哥伦比亚大学）
本文发现，在SCL的最终层引入ReLU激活，可在不损害测试准确性的情况下，有效恢复类别不平衡下学习表示的对称性，并提出了批绑定策略以确保该对称性。
2023-10-18 cs.LG stat.ML
Uniform Convergence of Gradients for Non-Convex Learning and Optimization
我们研究1）在标准的非凸学习任务中，经验风险的细化属性（特别是梯度）收敛到其人口对应物的速度，以及2）这种收敛对优化的后果。我们的分析遵循传统的规范为基础的容量控制。我们提出向量值Rademacher复杂性作为一个简单的，可组合的，用户友好的工具，以获得无量纲的一致收敛界的梯度在非凸学习问题。作为我们的技术的应用，我们给出了一个新的分析批处理梯度下降方法的非凸广义线性模型和非凸鲁棒回归，展示了如何使用任何算法，找到近似平稳点，以获得最佳的样本复杂性，即使当维度是高或可能是无限的，并允许多次通过的数据集。转向非平滑模型，我们表明-与平滑情况相反-即使对于单个ReLU，在最坏情况下也不可能获得梯度的维度无关收敛率。从积极的方面来看，在一种新的分布假设下，仍然有可能获得与维数无关的速率。
2018-11-11 cs.LG math.OC stat.ML
Understanding symmetries in deep networks
Cambridge University（剑桥大学）；University of Liège（列日大学）；Amazon Development Centre India（亚马逊印度开发中心）
最近的工作强调了典型深度网络的权重空间中存在的尺度不变性或对称性，以及它对基于欧氏梯度的随机梯度下降优化的不利影响。在这项工作中，我们展示了一个常用的深度网络，它使用卷积，批量归一化，reLU，最大池化和子采样管道，具有更复杂的对称形式，这是由网络权重的基于缩放的重新参数化引起的。我们建议通过将滤波器约束在单位范数流形上来解决权空间对称性的问题。因此，训练网络归结为在单位范数流形上使用随机梯度下降更新。基于MNIST数据集的经验证据表明，所提出的更新提高了测试性能，超出了批量归一化的效果，并且不会牺牲权重更新的计算效率。
2015-11-03 cs.AI cs.CV cs.LG
Detecting Memorization in ReLU Networks
EPFL（洛桑联邦理工学院）
我们提出了一个新的概念的“非线性”的网络层相对于一个输入批次，是基于其接近一个线性系统，这是反映在非负秩的激活矩阵。我们通过将非负因子分解应用于激活矩阵来测量这种非线性。考虑到类似样品的批次，我们发现深层的高非线性表示记忆。此外，通过逐层应用我们的方法，我们发现记忆机制由不同的阶段组成。我们在几个图像和音频数据集上训练的全连接和卷积神经网络上进行实验。我们的研究结果表明，作为记忆的指标，我们的技术可以用来执行早期停止。
2018-10-08 cs.LG stat.ML
Implicit Filter Sparsification In Convolutional Neural Networks
Max Planck Institute For Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；Ulsan National Institute of Science and Technology（蔚山科学技术院）
我们展示了卷积神经网络（CNN）中的隐式滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。通过广泛的实证研究（Mehta等人，2019）我们假设了稀疏化过程背后的机制，并发现了与文献中提出的某些滤波器稀疏化算法的惊人联系。出现，并随后修剪的选择性功能被观察到的贡献机制之一，导致功能稀疏在平价或优于某些明确的稀疏/修剪方法。在这篇研讨会文章中，我们总结了我们的发现，并指出了选择性特征惩罚的推论，这些推论也可以用作过滤器修剪的算法
2019-05-13 cs.CV cs.LG stat.ML
Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent
University of Texas at Austin（得克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）
我们使用梯度下降证明了关于高斯分布的单层神经网络学习的第一个超多项式下界。我们表明，任何分类器训练使用梯度下降相对于平方损失将无法实现小的测试误差在多项式时间访问标记的一层神经网络的样本。对于分类，我们给出了一个更强的结果，即任何统计查询（SQ）算法（包括梯度下降）都将无法在多项式时间内实现小的测试误差。以前的工作只适用于小批量运行的梯度下降，需要急剧的激活，并适用于特定类别的查询。我们的下限适用于广泛的激活类别，包括ReLU和sigmoid。我们的结果的核心依赖于一个简单的神经网络家族的新结构，这些网络相对于所有球对称分布都是完全正交的。
2020-10-22 cs.DS cs.LG stat.ML
Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks
ETH Zurich（苏黎世联邦理工学院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
已知随机初始化的神经网络随着深度的增加而变得更难训练，除非使用诸如剩余连接和批量归一化之类的架构增强。在这里，我们通过重新审视深度网络中的随机初始化与随机矩阵乘积中的谱不稳定性之间的联系来研究这一现象。考虑到随机矩阵的丰富文献，发现非规范化网络中的中间表示的秩随着深度的增加而迅速崩溃并不奇怪。在这项工作中，我们强调了一个事实，即批量归一化是避免线性和ReLU网络排名崩溃的有效策略。利用马尔可夫链理论的工具，我们得到了一个有意义的深度线性网络的秩下界。从经验上讲，我们还证明了这种秩鲁棒性可以推广到ReLU网络。最后，我们在真实世界的数据集上进行了一系列广泛的实验，证实了秩稳定性确实是训练现代深度神经架构的关键条件。
2020-06-11 cs.LG stat.ML
On Implicit Filter Level Sparsity in Convolutional Neural Networks
MPI For Informatics（马克斯·普朗克信息学研究所）；UNIST（蔚山科学技术院）；Saarland Informatics Campus（萨尔兰信息学园区）
我们研究了卷积神经网络（CNN）中出现的滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。我们进行了广泛的实验研究铸造我们的初步研究结果的假设和结论的机制，潜在的紧急过滤器水平稀疏。这项研究允许新的洞察性能之间的差距obeserved自适应和非自适应梯度下降方法在实践中。此外，分析训练策略和超参数对稀疏性的影响，为设计CNN训练策略提供了实用建议，使我们能够探索特征选择性、网络容量和泛化性能之间的权衡。最后，我们表明，隐式稀疏性可以利用神经网络加速在平价或更好地比显式稀疏/修剪方法，而不需要修改典型的训练管道。
2019-04-05 cs.CV cs.LG eess.SP
Large Spikes in Stochastic Gradient Descent: A Large-Deviations View
Technische Universität Berlin（柏林工业大学）；University of Oslo（奥斯陆大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
研究随机梯度下降中的大损失spikes，通过大偏差分析揭示其在NTK缩放下的行为，发现其分裂为膨胀和收缩阶段，且spikes出现概率至少为多项式级别，从而促进平坦解的形成。
2026-04-13 cs.LG math.PR
Demystifying Oversmoothing in Attention-Based Graph Neural Networks
Institute for Data, Systems and Society (IDSS), MIT（麻省理工学院数据、系统与社会研究所）；Laboratory for Information and Decision Systems (LIDS), MIT（麻省理工学院信息与决策系统实验室）；Department of Computing and Mathematical Sciences (CMS), Caltech（加州理工学院计算与数学科学学院）
本研究通过严格的数学分析证明，图注意力机制无法防止GNNs中的过平滑现象且会指数级丧失表达能力，并将过平滑理论框架扩展至GATs和transformers等更广泛的模型。
2024-06-04 cs.LG cs.SI stat.ML
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
University of Florida（佛罗里达大学）；Naval Postgraduate School（海军研究生院）
利用最近引入的统计和定量风险管理的概念，我们提出了一个一般的批量归一化（BN），提供加速收敛的神经网络训练相比，传统的BN。总的来说，我们表明均值和标准差并不总是BN变换中居中和缩放过程的最合适选择，特别是如果ReLU遵循归一化步骤。我们提出了一个广义批量归一化（GBN）的转换，它可以利用各种替代的偏差测量的缩放和统计中心，选择自然产生的广义偏差测量理论和风险理论一般。当与ReLU非线性结合使用时，潜在的风险理论为偏差度量和统计提供了自然的、可以说是最佳的选择。利用建议的偏差测量和统计，我们通过实验表明，训练速度比传统BN更快，通常也具有改进的出错率。总的来说，我们提出了一个更灵活的BN转换支持的一个互补的理论框架，可以潜在地指导设计选择。
2018-12-08 cs.LG stat.ML
ReLU activated Multi-Layer Neural Networks trained with Mixed Integer Linear Programs
Niederrhein University of Applied Sciences（下莱茵应用科学大学）
本文通过案例研究证明，由ReLU函数激活的多层前馈神经网络原则上可以使用混合线性规划（MILP）迭代训练，如下所示。权重是通过批量学习确定的。每批训练数据使用多次迭代。在每次迭代中，该算法从输出层开始，并将信息传播回第一个隐藏层，以使用MILP或线性规划来调整权重。对于每一层，目标是最小化其输出与相应目标输出之间的差异。最后一个（输出）层的目标输出等于地面真值。前一层的目标输出被定义为下一层的调整后的输入。对于给定的层，通过求解MILP来计算权重。然后，除了第一个隐藏层之外，还使用MILP修改输入值，以更好地将层输出与其对应的目标输出相匹配。该方法在包含手写数字的MNIST数据集上使用两个简单的网络与Tensorflow/Keras（Adam优化器）进行了测试和比较。实现了与Tensorflow/Keras相同的精度。
2021-04-09 cs.LG stat.ML
A theoretical framework for deep locally connected ReLU network
Facebook AI Research（脸书人工智能研究院）
深度卷积神经网络（DCNN）是一种深度局部连接的非线性网络，尽管它在经验上取得了成功，但理解其理论性质仍然是一个难题。在本文中，我们为此类具有ReLU非线性的网络提出了一个新的理论框架。该框架明确地制定了数据分布，有利于解开表示，并与常见的正则化技术，如批规范兼容。该框架是建立在教师-学生设置，通过扩大学生的前向/后向传播到教师的计算图。由此产生的模型不会强加不切实际的假设（例如，高斯输入、激活的独立性等）。我们的框架可以帮助促进许多实际问题的理论分析，例如过拟合，泛化，深度网络中的解纠缠表示。
2018-09-28 cs.LG stat.ML
Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks
Tencent Technology（腾讯科技）；The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）
在这项工作中，我们提出了一种新的技术，以提高神经网络的训练效率。我们的工作是基于一个很好的想法，白化的神经网络的输入可以实现快速收敛速度。考虑到独立分量必须白化这一众所周知的事实，我们在每个权重层之前引入了一个新的独立分量（IC）层，其输入将变得更加独立。然而，确定独立分量是计算密集型任务。为了克服这一挑战，我们建议通过结合两种流行的技术来实现IC层，批量归一化和Dropout，以一种新的方式，我们可以严格证明Dropout可以二次减少互信息，并线性减少任何一对神经元之间的相关性，相对于dropout层参数$p$。实验结果表明，IC层在CIFAR 10/100和ILSVRC 2012数据集上的性能始终优于基线方法，具有更稳定的训练过程，更快的收敛速度和更好的收敛极限。我们的IC层的实现使我们重新思考神经网络设计中的常见做法。例如，我们不应该将批量归一化放在ReLU之前，因为ReLU的非负响应将使权重层以次优方式更新，并且我们可以通过将批量归一化和Dropout组合在一起作为IC层来实现更好的性能。
2019-05-15 cs.LG stat.ML
Stochastic Bandits with ReLU Neural Networks
Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究针对带ReLU神经网络结构的随机多臂老虎机问题，提出OFU-ReLU及OFU-ReLU+算法，首次实现单层ReLU下$\tilde{O}(\sqrt{T})$的遗憾值上界，核心是利用ReLU分段线性结构将问题转化为变换特征空间的线性老虎机问题。
2024-05-12 cs.DS cs.LG stat.ML
Luck Matters: Understanding Training Dynamics of Deep ReLU Networks
Facebook AI Research（脸书人工智能研究院）
我们分析了训练深度ReLU网络的动态及其对泛化能力的影响。使用教师-学生设置，我们发现了隐藏学生节点接收的梯度与深度ReLU网络教师节点的激活之间的一种新关系。利用这种关系和小重叠教师节点激活的假设，我们证明了（1）权重初始化为接近教师节点的学生节点以更快的速度收敛到教师节点，以及（2）在过参数化的制度和2层的情况下，当一小部分幸运节点收敛到教师节点时，其他节点的扇出权重收敛到零。该框架提供了对深度学习中多种令人困惑的现象的深入了解，如过度参数化，隐式正则化，彩票等。我们通过显示预训练的VGG 11/16模型的大多数BatchNorm偏差为负来验证我们的假设。在（1）具有高斯输入的随机深度教师网络，（2）在CIFAR-10上预训练的教师网络和（3）广泛的消融研究上的实验验证了我们的多个理论预测。
2019-06-28 cs.LG stat.ML
The Disharmony between BN and ReLU Causes Gradient Explosion, but is Offset by the Correlation between Activations
KAIST（韩国科学技术院）
本文从理论和实验两方面分析了深度神经网络中BN与ReLU不和谐导致的梯度爆炸问题，发现激活值间的相关性可缓解该现象，并提出改进的自适应学习率算法以控制训练不稳定。
2023-05-21 cs.LG
Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；Nokia Bell Labs（诺基亚贝尔实验室）
提出通过ReLU最小化问题的对偶形式的随机近似，将两层ReLU网络转化为强凸问题，从而应用隐藏状态差分隐私分析，实现与DP-SGD相当的隐私-效用权衡。
2026-06-16 cs.CR cs.LG
Sample Variance Decay in Randomly Initialized ReLU Networks
Princeton University（普林斯顿大学）
在训练神经网络之前，一个经典的经验法则是随机初始化权重，这样激活的方差就可以在各层之间保持不变。传统上，由于两个权重\emph{and}样本中的随机性，使用总方差来解释这一点。或者，可以将经验法则解释为保持固定网络样本的方差。这两种解释对于浅网络来说差别不大，但是对于深ReLU网络来说，通过将总方差分解为样本方差和样本均值平方的网络平均和，这种差异会随着深度的增加而增加。我们证明，即使当总方差保持，样本方差衰减在后面的层通过分析计算的限制，无限的网络宽度，和数值模拟有限的宽度。我们证明了批量归一化消除了这种衰减，并提供了经验证据，证明在初始化时保留样本方差而不仅仅是总方差会对深度网络的训练动态产生影响。
2019-08-06 cs.LG stat.ML
Training (Overparametrized) Neural Networks in Near-Linear Time
KTH Royal Institute of Technology（瑞典皇家理工学院）；Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
用于训练深度神经网络的一阶梯度方法的缓慢收敛速度和病态曲率问题引发了开发更快的$\mathit{second}$ - $\mathit{order}$优化算法的持续努力，而不影响泛化误差。尽管二阶算法具有显著的收敛速度（训练批量大小$n$的$\mathit{independent}$），但在$\mathit{cost}$ $\mathit{iteration}$ $\mathit{iteration}$（反转损失函数的Hessian矩阵）中，二阶算法会导致令人生畏的减速，这使得二阶算法变得不切实际。最近，这种计算开销被[ZMG 19，CGH+19}的工作减轻，产生了用于训练多项式宽度$m$的两层过参数化神经网络的$O(mn^2)$时间二阶算法。我们展示了如何加速[CGH+19]的算法，实现用于训练（轻度过参数化）ReLU网络的$\tilde{O}(mn)$ -时间反向传播算法，该算法在全梯度（雅可比）矩阵的维度（$mn$）中接近线性。我们的算法的核心是将Gauss-Newton迭代重新表示为$\ell_2$ -回归问题，然后使用Fast-JL型降维到与$M$无关的时间上的$\mathit{precondition}$底层Gram矩阵，允许通过$\mathit{first}$ - $\mathit{order}$共轭梯度找到足够好的近似解。我们的研究结果提供了一个概念验证，即随机线性…
2020-12-09 cs.DS cs.LG stat.ML
Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）
针对非光滑优化中Adam优化器的梯度抖动问题，提出奇异性感知Adam（S-Adam），通过局部几何不稳定性（LGI）度量动态调整步长，实现稳定训练并提升泛化性能。
2026-07-21 cs.AI cs.LG math.OC
A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations
ENS（巴黎综合理工学院）；CNRS（国家科学研究中心）；Inria（法国国家信息与自动化技术研究所）；Université Claude Bernard Lyon 1（里昂第一大学）；LIP（实验室）；UMR 5668（统一研究机构）；EPFL（苏黎世联邦理工学院）
该研究针对现有ReLU网络参数空间Lipschitz界存在的缩放对称性失效问题，提出基于ℓ¹路径度量的缩放不变Lipschitz界，适用于多种架构，可通过两次前向传播计算，据此推导的对称感知剪枝准则性能媲美经典幅度剪枝且不受神经元缩放影响。
2025-06-13 cs.LG stat.ML
An Exact Mapping From ReLU Networks to Spiking Neural Networks
IBM Research Europe – Zurich（IBM欧洲研究院-苏黎世）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
深度脉冲神经网络（SNN）为低功耗人工智能提供了希望。然而，从头开始训练深度SNN或将深度人工神经网络转换为SNN而不损失性能一直是一个挑战。在这里，我们提出了一个从具有整流线性单元（ReLU）的网络到SNN的精确映射，该SNN恰好为每个神经元发出一个尖峰。对于我们的建设性证明，我们假设一个任意的多层ReLU网络，有或没有卷积层，批量归一化和最大池化层，在一些训练集上训练到高性能。此外，我们假设我们可以访问在训练期间使用的输入数据的代表性示例以及经过训练的ReLU网络的确切参数（权重和偏差）。从深度ReLU网络到SNN的映射导致CIFAR10、CIFAR100和类似于ImageNet的数据集Places365和PASS的准确率下降了0%。更一般地说，我们的工作表明，任意深度ReLU网络可以被节能的单脉冲神经网络取代，而不会损失任何性能。
2022-12-23 cs.LG cs.NE
Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
University of South Australia（南澳大学）；University of California, San Diego（加州大学圣地亚哥分校）；Western Sydney University（西悉尼大学）
批量归一化（BN）层被认为是当今最先进的深度卷积神经网络中不可或缺的重要层类型，用于计算机视觉任务，例如分类和检测。然而，BN层引入了复杂性和计算开销，这对于实时嵌入式视觉系统（例如UAV、机器人和物联网（IoT）设备）的低功率定制硬件实现的训练和/或推断是非常不期望的。当在训练期间批量大小需要非常小时，它们也是有问题的，并且诸如比BN层更近引入的剩余连接等创新可能会减少它们的影响。在本文中，我们的目标是量化的好处BN层提供的图像分类网络，在与其他选择相比。特别是，我们研究了使用移位ReLU层而不是BN层的网络。我们发现，在将宽残差网络应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的实验之后，BN层并不总是提供显著的优势。我们发现，BN层提供的准确度取决于数据集、网络大小和权重的位深度。我们的结论是，在BN层由于速度，内存或复杂性成本而不受欢迎的情况下，应该考虑使用移位ReLU层;我们发现它们可以在所有这些领域提供优势，并且通常不会带来显着的准确性成本。
2019-07-22 cs.CV cs.LG cs.NE
Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks
AI for Good Istituto Italiano di Tecnologia（AI for Good 意大利技术研究院）；DITEN University of Genoa（DITEN Genoa大学）；State Key Laboratory of Novel Software Technology School of Intelligence Science and Technology（新型软件技术国家重点实验室 智能科学与技术学院）；School of Artificial Intelligence Nanjing University（人工智能学院 南京大学）；Department of Computer Science University of Verona（计算机科学系 Verona大学）
研究训练时批量归一化在分段仿射网络中通过切换超平面几何和诱导的仿射区域分区影响局部分区精度。
2026-05-12 cs.LG stat.ML
Identity Matters in Deep Learning
Google Brain（谷歌大脑）；Stanford University（斯坦福大学）；Google（谷歌）
深度学习中一个新兴的设计原则是，深度人工神经网络的每一层都应该能够轻松地表达恒等变换。这个想法不仅激发了各种规范化技术，如\emph{batch normalization}，而且也是\emph{residual networks}取得巨大成功的关键。在这项工作中，我们把\emph{identity parameterization}的原则在一个更坚实的理论基础上进一步的经验进展。我们首先给出一个非常简单的证明，证明任意深度的线性残差网络没有虚假的局部最优解。线性前馈网络在其标准参数化中的相同结果要微妙得多。第二，我们证明了具有ReLu激活的残差网络具有通用的有限样本表达性，即网络可以表示其样本的任何函数，前提是模型的参数比样本量多。直接受到我们理论的启发，我们实验了一个非常简单的残差架构，只包含残差卷积层和ReLu激活，但没有批量归一化，dropout或max pool。我们的模型在CIFAR10、CIFAR100和ImageNet分类基准测试中对以前的全卷积网络进行了显着改进。
2018-07-20 cs.LG cs.NE stat.ML
Some Theoretical Results on Layerwise Effective Dimension Oscillations in Finite Width ReLU Networks
该研究分析有限宽度全连接ReLU网络的逐层有效维度振荡现象，推导期望秩闭式表达式，证明次高斯集中界，揭示秩振荡的有限宽度特性，完善了深度网络表达能力的相关理论。
2025-07-31 cs.LG
Farkas layers: don't shift the data, fix the geometry
McGill University（麦吉尔大学）
成功训练深度神经网络通常需要批量归一化或适当的权重初始化，这两者都有自己的挑战。我们提出了一种替代的，几何动机的训练方法。利用线性规划的基本结果，我们引入了Farkas层：一种确保至少有一个神经元在给定层活跃的方法。专注于具有ReLU激活的残差网络，我们根据经验证明了在没有批量归一化或基准数据集上广泛网络大小的初始化方法的情况下，训练能力的显着提高。
2019-10-04 cs.CV cs.LG
Diminishing Batch Normalization
Northwestern University（西北大学）；Department of Industrial Engineering（工业工程系）；Department of Industrial Engineering & Management Science（工业工程与管理科学系）；Evanston, IL 60208, USA（美国伊利诺伊州埃文斯顿市60208）
在本文中，我们提出了一个推广的批量归一化（BN）算法，递减批量归一化（DBN），其中我们更新BN参数在递减移动平均的方式。BN在加速神经网络训练阶段的收敛速度方面非常有效，它已成为一种普遍的做法。我们提出的DBN算法保持了原始BN算法的整体结构，同时引入了一些可训练参数的加权平均更新。我们提供了一个分析的DBN算法，收敛到一个固定点的可训练参数的收敛性。我们的分析可以很容易地推广到原始BN算法通过设置一些参数为常数。据作者所知，这种分析是第一次与批量归一化的收敛。我们分析了具有任意激活函数的两层模型。分析的主要挑战是一些参数通过梯度更新，而其他参数则不是。收敛性分析适用于满足我们共同假设的任何激活函数。在数值实验中，我们在具有随机梯度和ReLU激活的复杂现代CNN模型上测试了所提出的算法。我们观察到，DBN优于原始BN算法MNIST，NI和CIFAR-10数据集与合理的复杂FNN和CNN模型。
2019-02-19 cs.LG
Revealing the Structure of Deep Neural Networks via Convex Duality
Stanford University（斯坦福大学）
我们研究了正则化深度神经网络（DNN），并引入了一个凸分析框架来表征隐藏层的结构。我们表明，一组最佳的隐藏层权重的范数正则化DNN训练问题，可以明确地找到一个凸集的极值点。对于深度线性网络的特殊情况，我们证明了每个最优权重矩阵通过对偶与前一层对齐。更重要的是，我们将相同的特征应用于具有白化数据的深度ReLU网络，并证明了相同的权重对齐。作为推论，我们还证明了范数正则化的深度ReLU网络可以为一维数据集生成样条插值，这在以前只适用于双层网络。此外，我们提供了封闭形式的解决方案时，数据是排名一或白化的最佳层的权重。同样的分析也适用于使用批量归一化的架构，即使是针对任意数据。因此，我们得到了一个完整的解释最近的经验观察称为神经崩溃类手段崩溃的顶点的一个单一的等角紧框架。
2021-06-11 cs.LG stat.ML
ZC-Swish: Stabilizing Deep BN-Free Networks for Edge and Micro-Batch Applications
TU Braunschweig（Braunschweig 技术大学）
本文提出ZC-Swish激活函数，通过动态锚定激活均值近零，稳定无归一化深度网络，实现高测试准确率。
2026-04-21 cs.LG
Dynamical Isometry for Residual Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
神经网络的训练成功率、训练速度和泛化能力的好坏，关键取决于随机参数初始化的选择。已经表明，对于多个架构，初始动态等距是特别有利的。然而，用于残差块的已知初始化方案错过了该属性，并且在没有批量归一化或缺乏特征多样性的情况下，由于增加深度和不稳定性而遭受不同输入的降级的可分离性。我们提出了一个随机初始化方案RISOTTO，即使对于有限的深度和宽度，也可以使用ReLU激活函数实现剩余网络的完美动态等距。它平衡了残差和跳跃分支的贡献，不像其他方案，最初偏向跳跃连接。在实验中，我们证明，在大多数情况下，我们的方法优于初始化方案提出，使批量归一化过时，包括修复和SkipInit，并促进稳定的训练。此外，结合批量归一化，我们发现RISOTTO通常可以实现整体最佳结果。
2022-10-05 cs.LG
Characterizing signal propagation to close the performance gap in unnormalized ResNets
Deepmind（深度思维）；Google（谷歌）
批量归一化是几乎所有最先进图像分类器中的关键组件，但它也带来了实际挑战：它打破了批次内训练样本之间的独立性，可能会产生计算和内存开销，并且经常导致意外错误。基于最近对初始化时深度ResNet的理论分析，我们提出了一组简单的分析工具来表征前向传递上的信号传播，并利用这些工具来设计没有激活归一化层的高性能ResNet。我们成功的关键是最近提出的重量标准化的改编版本。我们的分析工具展示了这种技术如何通过确保每个通道的激活手段不随深度而增长，来保留具有ReLU或Swish激活函数的网络中的信号。在一系列FLOP预算中，我们的网络获得了与ImageNet上最先进的EfficientNets竞争的性能。
2021-01-27 cs.CV cs.LG stat.ML
Adversarial Reprogramming Revisited
University of Warwick（华威大学）
对抗性重编程由Elsayed、Goodfellow和Sohl-Dickstein提出，旨在通过操纵输入而不修改其权重来重新调整神经网络的用途，以执行不同的任务。我们证明了具有随机权重的双层ReLU神经网络可以被逆向重新编程，以在超立方体顶点上的Bernoulli数据模型上实现任意高的精度，前提是网络宽度不大于其输入维数。我们还实质性地加强了最近的一个关于梯度流方向收敛的结果，并得出一个推论，即在正交可分离数据集上训练双层ReLU神经网络可能导致其对抗性重编程失败。我们通过实验来支持这些理论结果，这些实验表明，只要批量归一化层被适当地初始化，即使是具有随机权重的未经训练的网络也容易受到对抗性重编程的影响。这与最近几项研究中的观察结果形成了鲜明对比，这些研究表明，对抗性重编程对于未经训练的网络来说是不可能达到任何可靠程度的。
2022-10-11 cs.LG
On Functional Dimension and Persistent Pseudodimension
Boston College（波士顿学院）
本文研究固定 ReLU 网络参数空间中冗余程度不均的问题，比较局部函数维数与持续伪维数两种复杂度度量，并指出后者可为泛化差距和双下降机制提供局部界。
2024-12-05 cs.LG math.AG math.CO
SERF: Towards better training of deep neural networks using log-Softplus ERror activation Function
University of Toronto（多伦多大学）；Stony Brook University（纽约州立大学石溪分校）
激活函数在确定训练动力学和神经网络性能方面起着关键作用。广泛采用的激活函数ReLU尽管简单有效，但缺点很少，包括垂死的ReLU问题。为了解决这些问题，我们提出了一种新的激活函数称为农奴这是自正则化和非单调的性质。和Mish一样，Serf也属于Swish函数家族。基于对具有不同最先进架构的计算机视觉（图像分类和目标检测）和自然语言处理（机器翻译，情感分类和多模态蕴涵）任务的几个实验，观察到Serf大大优于ReLU（基线）和其他激活函数，包括Swish和Mish，在更深的架构上具有明显更大的优势。消融研究进一步表明，基于Serf的架构在不同的场景中表现得比Swish和Mish更好，验证了Serf在不同深度、复杂性、优化器、学习速率、批量大小、初始化器和辍学率的有效性和兼容性。最后，我们研究了Swish和Serf之间的数学关系，从而显示了Serf的一阶导数中固有的预处理函数的影响，它提供了正则化效果，使梯度更平滑，优化更快。
2021-08-25 cs.AI cs.CV cs.LG
Static Activation Function Normalization
Data Science Institute（数据科学研究所）；Imperial College London（帝国理工学院）
最近在深度神经网络实践和随机矩阵理论的交叉点上的开创性工作将这些网络的收敛速度和鲁棒性与随机权重初始化和使用的非线性激活函数的组合联系起来。在这些原则的基础上，我们介绍了一个过程，将现有的激活函数转换成另一个具有更好的性能。我们将这种变换称为\emph{static activation normalization}。更具体地说，我们专注于应用于ReLU单元的这种规范化，并根据经验表明它显着提高了收敛鲁棒性，最大训练深度和随时性能。我们通过检查用这些激活训练的网络的经验特征值分布来验证这些说法。我们的静态激活规范化提供了第一步，使类似的精神，如批量归一化计划的好处，但没有计算成本。
2019-05-03 cs.LG stat.ML
Shifting Mean Activation Towards Zero with Bipolar Activation Functions
我们提出了一个简单的扩展ReLU家族的激活函数，使他们能够移动的平均激活跨层向零。结合适当的权重初始化，这就减少了对归一化层的需求。我们探索了多达144层的深度香草递归神经网络（RNN）的训练，并表明双极激活函数有助于在这种情况下学习。在Penn Treebank和Text 8语言建模任务中，我们获得了有竞争力的结果，改进了非门控网络的最佳报告结果。在没有批量标准化的卷积神经网络的实验中，我们发现双极激活会更快地降低训练误差，并导致CIFAR-10分类任务的测试误差更低。
2018-03-15 cs.LG cs.NE stat.ML
The Expressive Power of Tuning Only the Normalization Layers
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文首次研究冻结随机ReLU网络中仅微调归一化层的表达能力，证明在充分过参数化下可重构宽度小O(√width)倍的目标网络，且对随机稀疏化网络同样成立。
2023-07-04 cs.AI cs.LG stat.ML
Systematic evaluation of CNN advances on the ImageNet
Czech Technical University in Prague（布拉格捷克理工大学）；ELVEES NeoTek
本文系统地研究了CNN架构和学习方法的一系列最新进展对对象分类（ILSVRC）问题的影响。评估测试了以下结构选择的影响：非线性（ReLU、ELU、maxout、与批量归一化的兼容性）、合并变体（随机，最大，平均，混合），网络宽度，分类器设计（卷积，全连接，SPP），图像预处理和学习参数：学习率、批量大小、数据的清洁度等。建议的修改的性能增益首先单独测试，然后组合测试。当引入所有修改时，个体增益的总和大于观察到的改善，但“赤字”很小，表明它们的益处是独立的。我们表明，使用128x128像素的图像足以对全尺寸Caffe和VGG网的最佳网络结构做出定性结论。获得的结果比标准的224像素图像快一个数量级。
2016-06-13 cs.CV cs.LG cs.NE
Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes
Microsoft Research AI（微软研究院人工智能）
具有随机权重和偏差的宽神经网络是高斯过程，正如Neal（1995）最初观察到的那样，最近Lee et al.（2018）和Matthews et al.（2018）观察到的深度全连接网络，以及Novak et al.（2019）和Garriga-Alonso et al.（2019）观察到的深度卷积网络。我们发现，这种神经网络-高斯过程对应关系令人惊讶地扩展到所有现代前馈或循环神经网络，包括多层感知器，RNN（例如LSTM，GRU），（nD或图）卷积，池化，跳过连接，注意力，批量归一化和/或层归一化。更一般地说，我们引入了一种语言来表达神经网络计算，我们的结果包括所有这样的可表达的神经网络。这项工作作为Yang（2019）中制定的 * 张量程序 * 技术的教程，并阐明了那里获得的高斯过程结果。我们在github.com/thegregyang/GP4A上提供了简单RNN、GRU、Transformer和batchnorm+ReLU网络的高斯过程内核的开源实现。
2021-05-08 cond-mat.dis-nn cs.LG cs.NE
Explicit regularization and implicit bias in deep network classifiers trained with the square loss
已经观察到使用平方损失训练的深度ReLU网络在分类任务中表现良好。在这里，我们提供了一个理论上的理由的基础上分析相关的梯度流。我们表明，收敛到一个绝对最小范数的解决方案时，预计归一化技术，如批量归一化（BN）或重量归一化（WN）与权重衰减（WD）一起使用。的最小化，其预期误差的界限的主要属性是规范：我们证明，在所有接近插值的解决方案，与较小的Frobenius规范的未规范化的权重矩阵有更好的利润率和更好的界限上的预期分类错误。有BN但没有WD，动力系统是奇异的。隐式动态正则化--即零初始条件使动态偏向高裕度解--在无BN和无WD的情况下也是可能的。该理论产生了几个预测，包括BN和权重衰减的作用，Papyan，Han和Donoho的神经崩溃方面以及BN对网络权重的约束。
2020-12-31 cs.LG stat.ML
Order and Chaos: NTK views on DNN Normalization, Checkerboard and Boundary Artifacts
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们使用所谓的神经切线核（NTK）来分析深度神经网络（DNN）的架构特征，NTK描述了DNN在无限宽度设置中的训练和泛化。在这种情况下，我们表明，对于完全连接的DNN，随着深度的增长，出现了两种制度：“秩序”，其中（缩放的）NTK收敛到一个常数，和“混沌”，其中它收敛到克罗内克三角洲。极端的秩序会减慢训练速度，而极端的混乱会阻碍概括。使用缩放的ReLU作为非线性，我们最终进入有序状态。相反，层归一化将网络带入混沌状态。我们观察到在最后一次非线性之后应用的批量归一化（BN）的类似效果。我们在深度解卷积网络（DC-NN）中发现了相同的有序和混沌模式。我们的分析解释了所谓的棋盘图案和边界文物的外观。将网络移动到混沌状态可以防止棋盘图案;我们提出了一种基于图形的参数化方法，可以消除边界伪影;最后，我们引入了一种新的层相关学习率来提高DC-NN的收敛性。我们说明了我们的研究结果DCGAN：有序制度导致崩溃的发电机棋盘模式，这可以避免通过调整非线性达到混沌制度。因此，我们能够获得良好质量的样品的DCGAN没有BN。
2020-06-22 cs.LG stat.ML
Provable defenses against adversarial examples via the convex outer adversarial polytope
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Computer Science Department, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
我们提出了一种方法来学习基于ReLU的深度分类器，这些分类器可证明对训练数据上的范数有界对抗性扰动具有鲁棒性。对于以前看不见的例子，该方法保证检测所有对抗性例子，尽管它也可能标记一些非对抗性例子。其基本思想是考虑一个凸外近似的激活可达到通过一个范数有界扰动，我们开发了一个强大的优化过程，最大限度地减少了最坏情况下的损失在这个外部区域（通过线性规划）。至关重要的是，我们证明了这个线性规划的对偶问题可以表示为一个类似于反向传播网络的深度网络，从而产生非常有效的优化方法，可以保证鲁棒损失的界限。最终的结果是，通过对原始网络进行稍微修改后的版本（尽管可能具有更大的批量大小）执行更多的向前和向后传递，我们可以学习一个分类器，该分类器对任何范数有界的对抗攻击都具有可证明的鲁棒性。我们说明了一些任务的方法，以训练具有强大的对抗性保证的分类器（例如，对于MNIST，我们产生了一个卷积分类器，对于任何对抗攻击，具有小于$ε= 0.1$的有界$\ell_\infty$范数，可证明具有小于5.8%的测试误差），论文中所有实验的代码可在https://github.com/locuslab/convex_adversarial上获得。
2018-06-08 cs.AI cs.LG math.OC
A Training Framework for Optimal and Stable Training of Polynomial Neural Networks
Manning College of Information and Computer Science University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校信息与计算机科学学院）；Halıcıoğlu Data Science Institute University of California, San Diego（加州大学圣地亚哥分校哈利奇奥数据科学研究所）
针对多项式神经网络高次训练不稳定问题，提出 Boundary Loss 与选择性梯度裁剪框架，使最高22次模型仍稳定，并接近 ReLU 模型性能且兼容同态加密。
2025-05-16 cs.LG
Channel Equilibrium Networks for Learning Deep Representation
The Chinese University of Hong Kong（香港中文大学）；Simon Fraser University（西蒙菲莎大学）；The University of Hong Kong（香港大学）
卷积神经网络（CNN）通常通过堆叠多个构建块来构建，每个构建块包含一个归一化层，例如批量归一化（BN）和一个整流线性函数，例如ReLU。然而，这项工作表明，归一化和整流线性函数的组合导致抑制通道，其幅度较小，对学习的特征表示贡献不大，阻碍了CNN的泛化能力。与简单地删除抑制通道的现有技术不同，我们建议通过设计一种新的神经构建块（称为通道平衡（CE）块）来在训练过程中“唤醒它们”，该块使同一层的通道能够对学习的表示做出同等贡献。我们表明，CE是能够防止抑制通道的经验和理论。CE有几个吸引人的好处。(1)它可以集成到许多先进的CNN架构中，如ResNet和MobileNet，性能优于其原始网络。(2)CE与纳什均衡有着有趣的联系，纳什均衡是一个著名的非合作博弈解。(3)大量的实验表明，CE在ImageNet和COCO等各种具有挑战性的基准测试中达到了最先进的性能。
2020-02-29 cs.CV cs.LG
