Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University（斯坦福大学）
批量归一化（BN）是一种常用的技术，用于加速和稳定深度神经网络的训练。尽管其经验的成功，一个完整的理论理解BN尚未开发。在这项工作中，我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架，以获得具有BN的权重衰减正则化ReLU网络的精确凸表示，该网络可以在多项式时间内进行训练。我们的分析还表明，最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外，我们发现，梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响，我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性，用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models
New York University（纽约大学）
本文研究了无LayerNorm大语言模型中的激活函数，发现ReLU因能避免GELU引发的早期层熵过载问题，在困惑度上提升了8.2%，更适合无归一化架构。
2024-11-16 cs.AI cs.LG
Hysteresis Activation Function for Efficient Inference
Technion - Israel Institute of Technology（技术学院-以色列理工学院）；Ben-Gurion University of the Negev（贝内尔-盖隆大学）
针对ReLU的“死亡神经元”问题，提出采用可变阈值优化反向传播的HeLU激活函数，以低复杂度实现与复杂激活函数相当的性能，提升多数据集上的模型泛化能力，适配高效推理需求。
2025-10-30 cs.CL cs.LG cs.NE
Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；DeepMind（深度思维）
训练非常深的神经网络仍然是一项极具挑战性的任务。常见的解决方案是使用快捷连接和规范化层，这两者都是流行的ResNet架构中的关键成分。然而，有强有力的证据表明，ResNet的行为更像是浅层网络的集合，而不是真正的深层网络。最近，有研究表明，深度香草网络（即没有规范化层或快捷连接的网络）可以通过对其激活函数应用某些转换来像ResNet一样快地训练。然而，这种方法（称为Deep Kernel Shaping）与ReLU并不完全兼容，并且在ImageNet上产生的网络过拟合程度远远超过ResNets。在这项工作中，我们通过开发一种与ReLU的变体-Leaky ReLU完全兼容的新型转换来纠正这种情况。我们在实验中表明，我们的方法引入的额外计算成本可以忽略不计，可以实现与ResNets（相同宽度/深度）竞争的深度香草网络的验证精度，并且显著高于使用混沌边缘（EOC）方法获得的精度。与EOC不同，我们获得的验证精度不会随着深度而变差。
2022-03-15 cs.LG stat.ML
Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)
Institute of Bioinformatics（生物信息学研究所）；Johannes Kepler University（约翰内斯·开普勒大学）
我们引入了“指数线性单元”（ELU），它可以加快深度神经网络的学习速度，并提高分类精度。与整流线性单元（ReLU）、泄漏ReLU（LReLU）和参数化ReLU（PReLU）一样，ELU通过正值的恒等式缓解了消失梯度问题。然而，与具有其他激活函数的单元相比，ELU具有改进的学习特性。与ReLU相比，ELU具有负值，这允许它们将平均单元激活推向更接近零，如批量归一化，但具有较低的计算复杂性。均值移向零通过使正常梯度更接近单位自然梯度来加速学习，因为减少了偏置移位效应。虽然LReLU和PReLU也具有负值，但它们不能确保噪声鲁棒的去激活状态。ELU在较小的输入下饱和到负值，从而减少前向传播的变化和信息。因此，ELU对输入中特定现象的存在程度进行编码，而不对它们的缺失程度进行定量建模。在实验中，ELU不仅导致更快的学习，而且在超过5层的网络上比ReLU和LReLU具有更好的泛化性能。在CIFAR-100 ELU网络上，批量归一化显著优于ReLU网络，而批量归一化并没有改善ELU网络。ELU网络是CIFAR-10报告的前10名结果之一，并在CIFAR-100上产生最好的公布结果，而无需诉诸多视图评估或模型平均。在ImageNet上，与具有相同架构的ReLU网络相比，ELU网络大大加快了学习速度，对于单一作物，单一模型网络，分类误差小于10%。
2016-02-22 cs.LG
A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations
ENS（巴黎综合理工学院）；CNRS（国家科学研究中心）；Inria（法国国家信息与自动化技术研究所）；Université Claude Bernard Lyon 1（里昂第一大学）；LIP（实验室）；UMR 5668（统一研究机构）；EPFL（苏黎世联邦理工学院）
该研究针对现有ReLU网络参数空间Lipschitz界存在的缩放对称性失效问题，提出基于ℓ¹路径度量的缩放不变Lipschitz界，适用于多种架构，可通过两次前向传播计算，据此推导的对称感知剪枝准则性能媲美经典幅度剪枝且不受神经元缩放影响。
2025-06-13 cs.LG stat.ML
Parametric Variational Linear Units (PVLUs) in Deep Convolutional Networks
Montgomery High School（蒙哥马利高中）
整流线性单元是目前深度卷积神经网络中最先进的激活函数。为了解决ReLU的垂死神经元问题，我们提出了参数变分线性单元（PVLU），它为ReLU添加了一个具有可训练系数的正弦函数。除了在整个实域中引入非线性和非零梯度外，PVLU在迁移学习的上下文中实现时还充当微调机制。在一个简单的非传输顺序CNN上，PVLU替代允许CIFAR-100上的相对误差降低16.3%和11.3%（没有和有数据增强）。PVLU还在迁移学习模型上进行了测试。VGG-16和VGG-19模型在CIFAR-10上的相对误差分别减少了9.5%和10.7%。当在高斯滤波的CIFAR-10图像上训练时，VGG模型也有类似的改进。最值得注意的是，使用PVLU的微调允许CIFAR数据集上接近最先进的残差神经网络架构的相对误差降低高达并超过10%。
2021-12-16 cs.CV cs.LG
How Does BN Increase Collapsed Neural Network Filters?
SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
提高深度神经网络（DNN）的稀疏性对于网络压缩至关重要，并引起了广泛关注。在这项工作中，我们公开了一种称为过滤器崩溃的有害稀疏化过程，这在具有批量归一化（BN）和整流线性激活函数（例如ReLU，Leaky ReLU）的DNN中很常见。即使没有显式的稀疏诱导正则化，如$L_1$，它也会发生。这种现象是由BN的归一化效应引起的，它在参数空间中引入了不可训练区域，从而降低了网络容量。当网络用大的学习率（LR）或自适应LR训练器训练时，以及当网络被微调时，这种现象变得更加突出。我们分析证明，BN的参数趋于成为稀疏SGD更新与高梯度噪声和稀疏化的概率是成正比的平方学习率和成反比的尺度参数的平方BN。为了防止不期望的崩溃滤波器，我们提出了一种简单而有效的方法，称为后移位BN（psBN），它具有与BN相同的表示能力，同时能够自动使BN参数在训练期间饱和时再次可训练。使用psBN，我们可以恢复崩溃的过滤器并提高各种任务的模型性能，例如CIFAR-10上的分类和MS-COCO 2017上的目标检测。
2020-01-31 cs.LG stat.ML
How Does Fourier Analysis Network Work? A Mechanism Analysis and a New Dual-Activation Layer Proposal
本文分析了傅里叶分析网络(FAN)中正弦激活对性能的积极贡献及余弦激活的负面影响，提出双激活层(DAL)以提升训练动态和收敛速度，实验显示其在噪声信号分类、MNIST数字识别和ECG生物识别任务中表现更优。
2026-03-12 cs.LG
Rediscovering Deep Neural Networks Through Finite-State Distributions
University of Central Florida（中佛罗里达大学）
我们提出了一种思考深度神经网络的新方法，其中网络的线性和非线性组件是自然导出的，并根据概率论原理进行了证明。特别是，在我们的框架中构建的模型将概率分配给不确定的实现，导致Kullback-Leibler发散（KLD）作为线性层。在我们的模型构建中，我们还得到了一个类似于贝叶斯定理支持的ReLU激活的结构。我们框架中的非线性是规范化层，使用ReLU和Sigmoid作为元素近似。此外，池化函数是根据框架的力学推导出的空间随机变量的边缘化。因此，Max Pooling近似于上述边缘化过程。由于我们的模型由有限状态分布（FSD）作为变量和参数组成，因此可以精确计算熵和KLD等信息理论量，从而提供更客观的测量来分析网络。与现有的依赖于神经网络的设计不同，所提出的框架限制了对CNN的主观解释，并从一个全新的角度揭示了神经网络的功能。
2019-10-09 cs.LG stat.ML
Diminishing Batch Normalization
Northwestern University（西北大学）；Department of Industrial Engineering（工业工程系）；Department of Industrial Engineering & Management Science（工业工程与管理科学系）；Evanston, IL 60208, USA（美国伊利诺伊州埃文斯顿市60208）
在本文中，我们提出了一个推广的批量归一化（BN）算法，递减批量归一化（DBN），其中我们更新BN参数在递减移动平均的方式。BN在加速神经网络训练阶段的收敛速度方面非常有效，它已成为一种普遍的做法。我们提出的DBN算法保持了原始BN算法的整体结构，同时引入了一些可训练参数的加权平均更新。我们提供了一个分析的DBN算法，收敛到一个固定点的可训练参数的收敛性。我们的分析可以很容易地推广到原始BN算法通过设置一些参数为常数。据作者所知，这种分析是第一次与批量归一化的收敛。我们分析了具有任意激活函数的两层模型。分析的主要挑战是一些参数通过梯度更新，而其他参数则不是。收敛性分析适用于满足我们共同假设的任何激活函数。在数值实验中，我们在具有随机梯度和ReLU激活的复杂现代CNN模型上测试了所提出的算法。我们观察到，DBN优于原始BN算法MNIST，NI和CIFAR-10数据集与合理的复杂FNN和CNN模型。
2019-02-19 cs.LG
Zorro: A Flexible and Differentiable Parametric Family of Activation Functions That Extends ReLU and GELU
Universidad Tecnológica Nacional（阿根廷国立技术大学）；Facultad Regional Tucumán（图库曼地区学院）
本文提出Zorro激活函数族，通过融合ReLU与Sigmoid实现连续可微且灵活可调，替代ReLU以避免梯度爆炸和神经元死亡，并在多种架构上验证其有效性。
2024-09-28 cs.LG cs.NE
Activation-Adjacent Layer Normalization: Effects on Approximation Power
Beihang University（北京航空航天大学）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
本研究探讨激活相邻的LN、RMSNorm等归一化对浅层AN、PN网络近似能力的影响，推导了不同归一化下的近似宽度边界，通过实验验证了预测的近似率。
2026-10-16 cs.LG
Exploring Gradient Flow Based Saliency for DNN Model Compression
City University of Hong Kong（香港城市大学）；Baidu USA LLC（百度美国有限责任公司）
模型修剪旨在减少深度神经网络（DNN）模型大小或计算开销。传统的模型修剪方法，例如评估DNN的通道重要性的l-1修剪，过于关注每个通道的局部分析，并利用整个特征的幅度，而忽略了其与每个卷积操作后的批量归一化（BN）和ReLU层的相关性。为了克服这些问题，本文从梯度流的角度提出了一种新的模型剪枝方法。具体来说，我们首先基于泰勒展开，通过整合BN层和ReLU激活函数的影响，从理论上分析了沟道的影响。然后，建议在BN层中合并缩放参数和移位参数的一阶Talyor多项式，以有效地指示DNN中的通道的重要性。在图像分类和图像去噪两个任务上的综合实验证明了所提出的新理论和方案的优越性。代码可在https://github.com/CityU-AIM-Group/GFBS上获得。
2021-10-24 cs.CV cs.LG
