Semantic Image Synthesis with Spatially-Adaptive Normalization
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们提出了空间自适应规范化,一个简单但有效的层,用于合成逼真的图像给定的输入语义布局。以前的方法直接将语义布局作为输入提供给深度网络,然后通过卷积、归一化和非线性层堆栈进行处理。我们表明,这是次优的规范化层往往“洗掉”语义信息。为了解决这个问题,我们建议使用输入布局,通过空间自适应的学习转换来调节归一化层中的激活。在几个具有挑战性的数据集上的实验表明,所提出的方法优于现有的方法,在视觉保真度和对齐与输入布局。最后,我们的模型允许用户控制语义和风格。代码可在https://github.com/NVlabs/SPADE上获得。
2019-11-05 cs.AI cs.CV cs.GR
Normalization Layers Are All That Sharpness-Aware Minimization Needs
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
研究发现SAM仅扰动归一化层参数即可超越全参数扰动,此现象跨模型与变体成立,且非其他稀疏扰动可复制,质疑锐度降低为唯一机制。
2023-11-17 cs.CV cs.LG
To Fold or Not to Fold: a Necessary and Sufficient Condition on Batch-Normalization Layers Folding
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Datakalab(Datakalab公司);Valeo(法雷奥)
批量归一化(BN)层已经成为越来越复杂的深层神经网络架构中的基本组件。这些模型需要加速过程以在边缘设备上部署。然而,BN层由于顺序操作处理而增加了计算瓶颈:因此,加速过程的一个关键但经常被忽视的组件是BN层折叠。在本文中,我们证明了目前的BN折叠方法是次优的,有多少层可以删除。因此,我们提供了一个必要和充分条件BN折叠和相应的最佳算法。所提出的方法系统地优于现有的基线,并允许显着减少深度神经网络的推理时间。
2022-03-28 cs.CV cs.LG
MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization
Shanghai Jiao Tong University(上海交通大学)
针对批量归一化(BN)内存开销大、微批次下不准确的问题,提出仅含权重均值操作和末层BN的轻量归一化方法MimicNorm,经NTK理论验证和实验证明,可在保持准确率的同时降低约20%内存消耗。
2023-09-27 cs.AI cs.CV cs.LG
The Expressive Power of Tuning Only the Normalization Layers
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文首次研究冻结随机ReLU网络中仅微调归一化层的表达能力,证明在充分过参数化下可重构宽度小O(√width)倍的目标网络,且对随机稀疏化网络同样成立。
2023-07-04 cs.AI cs.LG stat.ML
The Hidden Power of Normalization Layers in Neural Networks: Exponential Capacity Control
School of Information and Communication Technology, Hanoi University of Science and Technology(信息与通信技术学院,河内科学技术大学)
本文通过容量控制理论揭示归一化层在深度学习中通过指数级减少Lipschitz常数,从而提升优化稳定性和泛化能力。
2026-02-22 cs.AI cs.LG stat.ML
Experimenting with Normalization Layers in Federated Learning on non-IID scenarios
University of Turin(都灵大学);Leonardo S.p.A.(莱昂纳多股份公司)
训练深度学习(DL)模型需要大型、高质量的数据集,通常由来自不同机构的数据组成。联邦学习(FL)已经成为一种通过迭代地全局聚合本地训练模型来采用来自不同机构的协作训练的数据集的隐私保护池化的方法。FL的一个关键性能挑战是在联邦参与者之间不独立且相同分布(非IID)的数据集上操作。尽管这种脆弱性无法消除,但可以通过两个超参数的适当优化来揭穿:层归一化方法和协作频率选择。在这项工作中,我们对五个不同的归一化层进行了基准测试,用于训练神经网络(NN),两个非IID数据偏斜家族和两个数据集。结果表明,广泛用于集中式DL的批量归一化不是FL的最佳选择,而组和层归一化始终优于批量归一化。类似地,频繁的模型聚合降低了收敛速度和模式质量。
2023-03-19 cs.AI cs.DC cs.LG
Spooky Action at a Distance: Normalization Layers Enable Side-Channel Spatial Communication
University of California, Berkeley(加州大学伯克利分校)
本文发现归一化层可在卷积网络中实现跨空间维度的侧信道通信,使信息超出局部感受野聚合,并提醒在扩散轨迹生成等需限制感受野的任务中谨慎使用。
2025-07-07 cs.LG
Local Context Normalization: Revisiting Local Normalization
The University of Texas at El Paso(德克萨斯大学埃尔帕索分校);Microsoft AI for Good Research Lab(微软益世AI研究实验室);Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
规范化层已被证明可以提高深度神经网络的收敛性,甚至可以增加有用的归纳偏差。在许多视觉应用中,特征的局部空间上下文是重要的,但是最常见的归一化方案包括组归一化(GN)、实例归一化(IN)和层归一化(LN),其在特征的整个空间维度上进行归一化。这可能会洗掉重要信号并降低性能。例如,在使用卫星图像的应用程序中,输入图像可以是任意大的;因此,在整个区域上进行归一化是没有意义的。另一方面,位置归一化(PN)一次仅对单个空间位置进行归一化。一个自然的折衷方案是通过本地上下文来规范化特征,同时还考虑到组级别的信息。在本文中,我们提出了局部上下文规范化(LCN):一个规范化层,其中每个特征都基于其周围的窗口及其组中的过滤器进行规范化。我们提出了一种算法解决方案,使LCN有效的任意窗口大小,即使在图像中的每个点都有一个独特的窗口。LCN在多个基准数据集中的目标检测、语义分割和实例分割应用方面优于其批量归一化(BN)、GN、IN和LN对等体,同时保持性能独立于批量大小并促进迁移学习。
2020-05-09 cs.CV cs.LG
Layer Normalization
University of Toronto(多伦多大学);Google Inc.(谷歌公司)
训练最先进的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批量归一化的技术使用神经元在一小批训练案例上的求和输入的分布来计算均值和方差,然后将其用于归一化每个训练案例上该神经元的求和输入。这显著减少了前馈神经网络的训练时间。然而,批量归一化的效果取决于最小批量的大小,如何将其应用于递归神经网络还不是很明显。在本文中,我们通过计算用于归一化的均值和方差,将批量归一化转换为层归一化,这些均值和方差来自单个训练案例中层中神经元的所有求和输入。与批量归一化一样,我们也为每个神经元提供了自己的自适应偏置和增益,这些偏置和增益在归一化之后但在非线性之前应用。与批量归一化不同,层归一化在训练和测试时执行完全相同的计算。通过在每个时间步分别计算归一化统计量,也可以直接应用于递归神经网络。层规范化在稳定递归网络中的隐藏状态动态方面非常有效。从经验上讲,我们表明,层规范化可以大大减少训练时间相比,以前公布的技术。
2016-07-21 cs.LG stat.ML
Stability of Transformers under Layer Normalization
UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校);SRI International(SRI国际);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性,推导相关边界、分析梯度反向传播影响,为残差步长缩放提供指导,其框架可用于检查新型Transformer架构的稳定性。
2026-08-10 cs.AI cs.LG math.OC
Understanding and Improving Layer Normalization
Peking University(北京大学)
层归一化(LayerNorm)是一种对中间层的分布进行归一化的技术。它可以实现更平滑的梯度,更快的训练和更好的泛化精度。然而,目前还不清楚有效性来自何处。在本文中,我们的主要贡献是进一步理解LayerNorm。许多先前的研究认为LayerNorm的成功来自于前向归一化。与他们不同的是,我们发现均值和方差的导数比通过重新居中和重新缩放后向梯度的前向归一化更重要。此外,我们发现LayerNorm的参数,包括偏置和增益,增加了过拟合的风险,并且在大多数情况下不起作用。实验表明,没有偏差和增益的简单版本的LayerNorm(LayerNorm-simple)在四个数据集上的性能优于LayerNorm。它在En-Vi机器翻译上取得了最先进的性能。为了解决过拟合问题,我们提出了一种新的归一化方法,自适应归一化(AdaNorm),通过用一个新的变换函数代替偏置和增益。实验表明,AdaNorm在八个数据集中的七个上表现出比LayerNorm更好的结果。
2019-11-16 cs.CL cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research(谷歌研究院)
批量归一化(BN)使用小批量统计数据来规范训练期间的激活,从而在小批量元素之间引入依赖性。如果mini-batch大小太小,或者元素是相关的,则这种依赖性会损害性能。已经提出了几种替代方案,例如批重正化和群归一化(GN)来解决这个问题。然而,它们要么不匹配BN的大批量的性能,或仍然表现出性能下降的小批量,或引入人工约束的模型架构。在本文中,我们提出了过滤器响应归一化(FRN)层,一个新的组合的归一化和激活函数,可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作,消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外,它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题,FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
On Separate Normalization in Self-supervised Transformers
Tufts University(塔夫茨大学);Cornell University(康奈尔大学)
本文提出为自监督Transformer中的token和[CLS]符号分别设置独立归一化层,以更好捕捉各自特征,并在图像、自然语言和图任务上平均提升2.7%性能。
2023-11-28 cs.AI cs.CL cs.LG
Enhancing Neural Network Representations with Prior Knowledge-Based Normalization
CDTA(阿尔及利亚技术发展中心)
针对深度学习训练中的偏移问题,提出基于先验知识的多模归一化方法(含CN、CN-X及无上下文时的ACN变体),在多任务中实现更优收敛与性能。
2024-10-30 cs.AI cs.LG cs.NE
On the Nonlinearity of Layer Normalization
Beihang University(北京航空航天大学);Institute of Artificial Intelligence(人工智能研究院)
本文研究了层归一化(LN)的非线性与表示能力,证明仅含少量神经元和LN层的网络可分类任意标签样本,并揭示通过分组划分放大LN非线性以指导神经架构设计的有效性。
2024-06-03 cs.AI cs.LG
Sandwich Batch Normalization: A Drop-In Replacement for Feature Distribution Heterogeneity
the University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了三明治批量归一化(SaBN),这是对批量归一化(BN)的一个令人沮丧的简单改进,只需更改几行代码。SaBN的动机是解决在许多任务中可以识别的固有特征分布异质性,这可能源于数据异质性(多个输入域)或模型异质性(动态架构,模型调节等)。我们的SaBN分解BN仿射层到一个共享的三明治仿射层,级联的几个平行的独立仿射层。具体的分析表明,在优化过程中,SaBN促进平衡的梯度规范,同时仍然保持不同的梯度方向-许多应用程序任务似乎喜欢的属性。我们证明了SaBN作为四项任务的替代品的普遍有效性:条件图像生成,神经结构搜索(NAS),对抗训练和任意风格转移。利用SaBN可以立即在CIFAR-10和ImageNet条件图像生成上实现更好的Inception Score和FID,并使用三个最先进的GANs;在NAS-Bench-201上显着提升最先进的权重共享NAS算法的性能;大幅提高对抗防御的鲁棒性和标准准确性;并产生卓越的任意风格化结果。我们还提供可视化和分析,以帮助理解为什么SaBN工作。代码可在https://github.com/VITA-Group/Sandwich-Batch-Normalization上获得。
2021-10-14 cs.AI cs.CV cs.LG
Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
ENSAE(法国国家统计与经济管理学院)
本文提出TLC方法,通过批归一化层视角减小网络深度来压缩深度神经网络,降低计算需求与延迟,并在Swin-T等模型及图像和NLP任务上得到验证。
2024-12-19 cs.CL cs.CV cs.LG
On the impact of activation and normalization in obtaining isometric embeddings at initialization
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院);INRIA-ENS-PSL Paris(法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学(巴黎))
本文研究深度神经网络初始化时倒数第二层 Gram 矩阵的退化问题,证明层归一化结合非线性激活能以指数速率将该矩阵偏置向单位矩阵,并利用 Hermite 展开式量化了该速率。
2023-11-17 cs.AI cs.LG stat.ML
A Riemannian Mean Field Formulation for Two-layer Neural Networks with Batch Normalization
Stanford University(斯坦福大学)
研究了具有批量归一化(BN)的两层神经网络的训练动力学。它被写成黎曼流形上没有BN的神经网络的训练动力学。因此,我们确定BN的影响,改变参数空间中的度量。之后,考虑了具有BN的两层神经网络的无限宽极限,并导出了训练动力学的平均场公式。平均场公式的训练动力学被证明是流形上的Wasserstein梯度流。对Wasserstein梯度流的适定性和收敛性进行了理论分析。
2021-10-17 cs.LG
Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models
Prairie View A&M University(普雷里维尤农工大学);Texas A&M University System(德克萨斯农工大学系统)
模拟硬件的快速执行速度和能效使其成为边缘部署深度学习模型的有力竞争者。然而,人们担心模拟噪声的存在会导致模型权重的变化,从而导致深度学习模型的性能下降,尽管它们具有固有的抗噪声特性。研究了当前流行的批量归一化层对深度学习模型抗噪能力的影响。通过首先在CIFAR10和CIFAR100数据集上训练具有和不具有批量归一化层的不同模型来进行该系统的研究。然后将模拟噪声注入所得模型的权重,并获得和比较模型在测试数据集上的性能。结果表明,批量归一化层的存在对深度学习模型的抗噪性能产生了负面影响,并且这种影响随着批量归一化层数的增加而增加。
2022-05-15 cs.AI cs.AR cs.LG
On the Ideal Number of Groups for Isometric Gradient Propagation
Pohang University of Science and Technology(浦项科技大学)
最近,已经提出了各种规范化层来稳定深度神经网络的训练。其中,组规范化是层归一化和实例规范化的概括,允许其使用的组的数量具有一定的自由度。然而,为了确定最佳的组数,需要基于试错的超参数调整,并且这样的实验是耗时的。在这项研究中,我们讨论了一个合理的方法来设置组数。首先,我们发现组的数量会影响组规范化层的梯度行为。基于这一观察,我们推导出理想的组数,它校准梯度尺度以促进梯度下降优化。我们提出的组数是理论上有根据的,是架构感知的,并且可以以逐层的方式为所有层提供适当的值。所提出的方法在许多神经网络架构、任务和数据集中表现出优于现有方法的性能。
2023-02-07 cs.CV cs.LG
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间,使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播,但会修改反向传播方程,以允许达到最深网络层的良好缩放梯度流,而不会出现消失或爆炸。对非常深的神经网络的测试结果表明,新技术可以做一个有效的控制梯度范数,允许在最深层的权重更新,并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
Regularity Normalization: Neuroscience-Inspired Unsupervised Attention across Neural Network Layers
Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心)
受神经元放电自适应现象的启发,我们提出了一种无监督的注意力机制--正则化(RN),它根据最小描述长度(MDL)原则计算神经网络隐空间的统计正则性.将神经网络优化过程视为部分可观察的模型选择问题,正则性归一化通过归一化因子(通用码长)来约束隐空间。我们在神经网络层上递增地计算这个通用代码,并展示了包括自上而下的注意力和其他Oracle信息等数据先验的灵活性。从经验上讲,我们的方法在处理图像分类,经典控制,过程生成的强化学习,生成建模,手写生成和各种神经网络架构的问答任务中的有限,不平衡和非平稳输入分布方面优于现有的归一化方法。最后,无监督的注意力机制是神经网络的一个有用的探测工具,它通过跟踪深度网络的层和循环时间步长的依赖性和关键学习阶段。
2021-12-23 cs.CV cs.IT cs.LG
Evolving Normalization-Activation Layers
Google Research(谷歌研究院);DeepMind
规范化层和激活函数是深度网络中的基本组件,并且通常彼此协同定位。在这里,我们建议使用自动化的方法来设计它们。我们没有单独设计它们,而是将它们统一到一个张量到张量计算图中,并从基本的数学函数开始演化其结构。这种数学函数的例子是加法、乘法和统计矩。与在主流NAS中使用高级模块相比,使用低级数学函数导致高度稀疏和大的搜索空间,这对于搜索方法来说是具有挑战性的。为了应对这一挑战,我们开发了高效的拒绝协议,以快速过滤出工作不好的候选层。我们还使用多目标进化来优化许多架构中每一层的性能,以防止过拟合。我们的方法导致了EvoNorms的发现,这是一组新的标准化激活层,具有新颖的,有时甚至是令人惊讶的结构,超越了现有的设计模式。例如,一些EvoNorms不假设归一化和激活函数必须顺序应用,也不需要将特征图居中,也不需要显式的激活函数。我们的实验表明,EvoNorms在包括ResNets,MobileNets和EfficientNets在内的图像分类模型上运行良好,但也可以很好地转移到Mask R-CNN和FPN/SpineNet进行实例分割,并转移到BigGAN进行图像合成,在许多情况下优于BatchNorm和GroupNorm。
2020-07-17 cs.CV cs.LG cs.NE
Improving Normalization with the James-Stein Estimator
University of Delaware(特拉华大学)
本文提出利用James-Stein估计量改进深度学习归一化层中均值和方差的估计,在图像分类、语义分割和3D物体分类任务上以零额外计算成本持续提升准确率,并验证了该方法对批量大小和正则化具有更强的鲁棒性。
2023-12-01 cs.CV cs.LG
Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Frontier Science and Technology(北京前沿科学技术研究院)
传统上,多层神经网络使用前一层的输出向量与传入的权向量之间的点积作为激活函数的输入。点积的结果是无界的,从而增加了大方差的风险。神经元的大方差使得模型对输入分布的变化很敏感,从而导致泛化能力差,并消除了内部的协变量偏移,从而降低了训练速度。为了约束点积和减小方差,我们提出在神经网络中使用余弦相似性或中心余弦相似性(Pearson相关系数)来代替点积,我们称之为余弦归一化。我们在MNIST,20 NEWS GROUP,CIFAR-10/100和SVHN的数据集上比较了全连接神经网络以及卷积网络中的余弦归一化与批量,权重和层归一化。实验表明,余弦归一化技术比其他归一化技术具有更好的性能。
2017-10-23 cs.AI cs.LG stat.ML
On the effect of normalization layers on Differentially Private training of deep Neural networks
Spoken Language Systems Group(口语系统研究组);Saarland Informatics Campus(萨尔兰信息学园区);Saarland University(萨尔兰大学)
差分隐私随机梯度下降(DPSGD)是基于差分隐私(DP)范式的随机梯度下降的变体,它可以减轻由于训练数据中存在敏感信息而引起的隐私威胁。然而,使用DPSGD训练深度神经网络的一个主要缺点是模型准确性的降低。在本文中,我们研究了归一化层对DPSGD性能的影响。我们证明了归一化层显著影响具有噪声参数的深度神经网络的效用,并且应该被认为是DPSGD训练的基本成分。特别是,我们提出了一种新的方法集成批量归一化与DPSGD而不会产生额外的隐私损失。通过我们的方法,我们能够训练更深的网络,并实现更好的实用性和隐私权衡。
2021-12-07 cs.CR cs.LG stat.ML
Adaptative Context Normalization: A Boost for Deep Learning in Image Processing
Sorbonne Paris Nord University(巴黎北大学);Paris-Saclay University(巴黎-萨克雷大学);UVSQ(凡尔赛大学);Center for Development of Advanced Technologies(高级技术发展中心)
本文提出自适应上下文归一化 ACN,通过学习相似数据分组的上下文参数并随反向传播训练,在保证速度与收敛的同时提升图像处理性能。
2024-09-07 cs.CV cs.LG
Positional Normalization
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
减少深度神经网络训练时间的一种流行方法是将每层的激活归一化。尽管已经提出了各种归一化方案,但它们都遵循一个共同的主题:跨空间维度进行归一化并丢弃提取的统计数据。在本文中,我们提出了一种替代的规范化方法,明显偏离这种惯例,并专门跨通道进行规范化。我们认为,通道尺寸是自然的吸引力,因为它允许我们提取在特定图像位置提取的特征的第一和第二时刻。这些矩捕获了关于输入图像和提取特征的结构信息,这开辟了一条新的途径,网络可以从特征归一化中受益:我们建议将它们重新注入到后面的层中,以保留或传输生成网络中的结构信息,而不是忽略归一化常数。代码可在https://github.com/Boyiliee/PONO上获得。
2019-12-19 cs.CV cs.LG
Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion
ETH Zürich(苏黎世联邦理工学院);KAUST(阿卜杜拉国王科技大学);MIT(麻省理工学院)
本研究针对批量归一化网络存在的深度方向梯度爆炸问题,构建了带线性激活的批量归一化MLP并基于温加滕微积分证明其任意深度梯度有界,还提出适用于部分非线性激活的激活整形方案,实现信号传播与梯度稳定的兼顾。
2023-10-03 cs.AI cs.LG
Self-Attentive Multi-Layer Aggregation with Feature Recalibration and Normalization for End-to-End Speaker Verification System
Sogang University(西江大学)
说话人嵌入生成是端到端说话人确认系统的重要组成部分。在我们之前的论文中,我们报告了基于快捷连接的多层聚合提高了说话人嵌入的代表性。然而,在多层聚合中,模型参数的数量相对较大并且未指定的变化增加。因此,我们提出了一个自我关注的多层聚合与功能重新校准和规范化的端到端的说话人确认系统。为了减少模型参数的数量,将缩放通道宽度和层深度的ResNet用作基线。为了控制训练中的可变性,应用自注意机制来执行具有丢弃规则化和批量规范化的多层聚合。然后,使用全连接层和非线性激活函数将特征重新校准层应用于聚合特征。深度长度归一化也用于端到端训练过程中的重新校准特征。使用VoxCeleb1评估数据集的实验结果表明,所提出的方法的性能与最先进的模型相当(分别使用VoxCeleb1和VoxCeleb2训练数据集的错误率分别为4.95%和2.86%)。
2020-07-28 cs.LG cs.SD eess.AS
On the Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions
AI Sweden(瑞典人工智能)
本文探讨了层归一化与动态激活函数的数学关系,从RMSNorm推导出DyISRU,并证明其在处理异常值上的准确性优于DyT。
2026-04-14 cs.AI cs.CL cs.LG
The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks
AIST(产业技术综合研究所);RIKEN CBS(理化学研究所脑科学中心)
规范化方法在提高深度学习性能方面发挥着重要作用,但其理论认识有限。为了从理论上阐明规范化的有效性,我们量化了由费舍尔信息矩阵(Fisher information matrix)确定的参数空间的几何形状,这也对应于在某些条件下损失景观的局部形状。我们分析了具有随机初始化的深度神经网络,当网络变得足够宽时,它会遭受病态的尖锐形状。我们发现,在最后一层的批量归一化有助于大幅降低这种病理锐度,如果宽度和样本数满足特定条件。相比之下,在许多设置中,中间隐藏层中的批量归一化难以减轻病理性锐度。我们还发现,层归一化也不能减轻病理性锐度。因此,我们可以得出结论,最后一层中的批量归一化显著有助于降低由噪声引起的锐度。
2019-10-28 cond-mat.dis-nn cs.LG stat.ML
LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training
DGIST(大邱庆北科学技术院)
在训练早期深度神经网络(DNN)时,通过卷积或线性层生成中间特征占用了大部分执行时间。因此,已经进行了广泛的研究以减少卷积或线性层的计算负担。然而,在最近的移动友好的DNN中,处理这些层所涉及的操作的相对数量已经显着减少。因此,其他层(如批量归一化层)的执行时间比例增加了。因此,在这项工作中,我们进行了详细的分析,批量归一化层,以有效地减少运行时开销的批量归一化过程。在深入分析的基础上,我们提出了一个非常有效的批量归一化,名为LightNorm,及其相关的硬件模块。更详细地说,我们融合了三种近似技术,即i)低位精度,ii)范围批量归一化,以及iii)块浮点。所有这些近似技术都被仔细地利用,不仅要保持中间特征图的统计数据,而且要尽量减少片外存储器访问。通过使用所提出的LightNorm硬件,我们可以在DNN训练期间实现显著的面积和能源节省,而不会影响训练精度。这使得所提出的硬件成为设备上培训的绝佳候选者。
2022-11-04 cs.AR cs.LG
Switchable Normalization for Learning-to-Normalize Deep Representation
The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学)
我们通过提出可切换归一化(SN)来解决学习归一化问题,SN学习为深度神经网络的不同归一化层选择不同的归一化器。SN采用三个不同的范围来计算统计数据(均值和方差),包括通道、层和小批量。SN通过以端到端的方式学习它们的重要性权重来在它们之间切换。它有几个好的属性。首先,它适应各种网络架构和任务。其次,它对各种批量大小都很健壮,即使在小的minibatch(例如2张图像/GPU)时也能保持高性能。第三,SN不具有敏感的超参数,不像搜索组的数量作为超参数的组归一化。没有花里胡哨的东西,SN在各种具有挑战性的基准测试中表现优于同行,如ImageNet、COCO、CityScapes、ADE 20 K、MegaFace和Kinetics。SN的分析也回答了以下三个问题:(a)它是有用的,允许每个归一化层选择自己的归一化?(b)什么影响了标准化者的选择?(c)不同的任务和数据集会偏好不同的规范化器吗?我们希望SN能够帮助简化使用并理解深度学习中的规范化技术。SN的代码已在https://github.com/switchablenorms上发布。
2019-07-22 cs.CV cs.LG
ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models
New York University(纽约大学)
本文研究了无LayerNorm大语言模型中的激活函数,发现ReLU因能避免GELU引发的早期层熵过载问题,在困惑度上提升了8.2%,更适合无归一化架构。
2024-11-16 cs.AI cs.LG
AFN: Adaptive Fusion Normalization via an Encoder-Decoder Framework
本文提出自适应融合归一化AFN,通过编码器-解码器框架统一多种归一化过程,并在领域泛化和图像分类任务中验证其优于已有归一化方法。
2024-02-19 cs.CV cs.LG
Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers
Cerebras Systems(瑟雷布拉斯系统公司)
本研究提出低运算量的逐样本梯度范数计算方法,发现Transformer模型总梯度噪声尺度可由归一化层的GNS预测,据此开发无开销的定制内核并优化批量调度,将Chinchilla最优语言模型训练时间缩短18%。
2024-11-01 cs.LG stat.ML
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping
DeepMind(深度思维);Google(谷歌)
使用Poole等人(2016)的Q/C图分析的扩展和形式化版本,以及神经切线核理论,我们确定了深度网络中存在的主要病理,这些病理阻止了它们快速训练和泛化到看不见的数据,并展示了如何通过仔细控制网络初始化时核函数的“形状”来避免这些病理。然后,我们开发了一种称为深度内核整形(DKS)的方法,该方法使用精确的参数初始化,激活函数转换和小的架构调整的组合来实现这一点,所有这些都保留了模型类。在我们的实验中,我们证明了DKS能够在Imagenet和CIFAR-10分类任务上对没有归一化层的残差网络进行SGD训练,其速度与标准ResNetV 2和Wide-ResNet模型相当,而泛化性能只有小幅下降。当使用K-FAC作为优化器时,我们在没有跳过连接的网络中获得了类似的结果。我们的结果适用于各种各样的激活函数,包括那些传统上表现非常差,如logistic sigmoid。除了DKS之外,我们还对跳过连接、规范化层、特殊激活函数(如SELU)以及各种初始化方案进行了详细分析,解释了它们作为“塑造”网络初始化时间内核的替代(最终不完整)方式的有效性。
2021-10-05 cs.AI cs.LG cs.NE
AdaDM: Enabling Normalization for Image Super-Resolution
Nanjing University(南京大学)
像批量归一化(BN)这样的归一化是一种里程碑式的技术,可以在深度学习中对中间层的分布进行归一化,从而实现更快的训练和更好的泛化精度。然而,在保真度图像超分辨率(SR)中,人们认为归一化层通过对特征进行归一化而摆脱了范围灵活性,并且它们被简单地从现代SR网络中删除。本文对这一现象进行了定量和定性的研究。我们发现,归一化层后的残差特征的标准差收缩了很多,这导致SR网络的性能下降。标准偏差反映像素值的变化量。当变化变小时,边缘将变得对网络分辨不那么有区别。为了解决这个问题,我们提出了一个自适应偏差调制器(AdaDM),其中的调制因子是自适应预测放大像素偏差。为了获得更好的泛化性能,我们将BN应用于最先进的SR网络和建议的AdaDM。同时,AdaDM中的偏差放大策略使特征中的边缘信息更具有可区分性。因此,使用BN和我们的AdaDM的SR网络可以在基准数据集上获得实质性的性能改进。大量的实验已经进行,以显示我们的方法的有效性。
2021-11-27 cs.CV cs.LG eess.IV
Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
University of South Australia(南澳大学);University of California, San Diego(加州大学圣地亚哥分校);Western Sydney University(西悉尼大学)
批量归一化(BN)层被认为是当今最先进的深度卷积神经网络中不可或缺的重要层类型,用于计算机视觉任务,例如分类和检测。然而,BN层引入了复杂性和计算开销,这对于实时嵌入式视觉系统(例如UAV、机器人和物联网(IoT)设备)的低功率定制硬件实现的训练和/或推断是非常不期望的。当在训练期间批量大小需要非常小时,它们也是有问题的,并且诸如比BN层更近引入的剩余连接等创新可能会减少它们的影响。在本文中,我们的目标是量化的好处BN层提供的图像分类网络,在与其他选择相比。特别是,我们研究了使用移位ReLU层而不是BN层的网络。我们发现,在将宽残差网络应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的实验之后,BN层并不总是提供显著的优势。我们发现,BN层提供的准确度取决于数据集、网络大小和权重的位深度。我们的结论是,在BN层由于速度,内存或复杂性成本而不受欢迎的情况下,应该考虑使用移位ReLU层;我们发现它们可以在所有这些领域提供优势,并且通常不会带来显着的准确性成本。
2019-07-22 cs.CV cs.LG cs.NE
Activation-Adjacent Layer Normalization: Effects on Approximation Power
Beihang University(北京航空航天大学);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院)
本研究探讨激活相邻的LN、RMSNorm等归一化对浅层AN、PN网络近似能力的影响,推导了不同归一化下的近似宽度边界,通过实验验证了预测的近似率。
2026-10-16 cs.LG
Peri-LN: Revisiting Normalization Layer in the Transformer Architecture
NAVER Cloud;NAVER AI Lab
本文提出Peri-LN归一化层放置策略,通过理论分析和高达3.2B参数实验证明其相比Pre-LN和Post-LN具有更均衡的方差增长、更平稳的梯度流动和更稳定的收敛表现。
2025-06-06 cs.AI cs.CL cs.LG
Continuous-Time Analysis of Adaptive Optimization and Normalization
University of Cambridge(剑桥大学);Harvard University(哈佛大学);NTT Research, Inc.(NTT研究公司)
本文提出Adam和AdamW的连续时间形式化分析,推导出确保有界更新的超参数稳定区域,揭示归一化层的隐式元自适应效应,并提出广义优化器k-Adam,深化了对深度学习训练动力学的理论理解。
2024-12-19 cs.AI cs.LG
Fixup Initialization: Residual Learning Without Normalization
MIT(麻省理工学院);Google Brain(谷歌大脑);Stanford University(斯坦福大学)
规范化层是最先进的深度神经网络架构中的主要内容。它们被广泛认为可以稳定训练,提高学习率,加速收敛和提高泛化能力,尽管它们有效性的原因仍然是一个活跃的研究课题。在这项工作中,我们通过证明没有一个感知到的好处是唯一的正常化来挑战普遍持有的信念。具体来说,我们提出了固定更新初始化(Fixup),这是一种通过适当地重新调整标准初始化来解决训练开始时梯度爆炸和消失问题的初始化。我们发现使用Fixup训练残差网络与使用归一化训练一样稳定-即使是具有10,000层的网络。此外,通过适当的正则化,Fixup可以使没有归一化的残差网络在图像分类和机器翻译中实现最先进的性能。
2019-03-12 cs.CV cs.LG stat.ML
Differentiable Learning-to-Normalize via Switchable Normalization
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院)
我们通过提出可切换归一化(SN)来解决学习归一化问题,SN学习为深度神经网络的不同归一化层选择不同的归一化器。SN采用三个不同的范围来计算统计数据(均值和方差),包括通道、层和小批量。SN通过以端到端的方式学习它们的重要性权重来在它们之间切换。它有几个好的属性。首先,它适应各种网络架构和任务(见图1)。其次,它对各种批量大小都很健壮,即使在小的minibatch(例如2张图像/GPU)时也能保持高性能。第三,SN不具有敏感的超参数,不像搜索组的数量作为超参数的组归一化。没有花里胡哨的东西,SN在各种具有挑战性的基准测试中表现优于同行,如ImageNet、COCO、CityScapes、ADE 20 K和Kinetics。还介绍了SN的分析。我们希望SN能够帮助简化使用并理解深度学习中的规范化技术。SN的代码已在https://github.com/switchablenorms/上提供。
2019-04-24 cs.CV cs.LG
Efficiently Assemble Normalization Layers and Regularization for Federated Domain Generalization
Department of Computer Science and Engineering, University of Notre Dame(Notre Dame 大学计算机科学与工程系);College of Engineering and Computer Science, VinUniversity(Vin大学工程与计算机科学学院);Open Distributed Systems, Technical University Berlin(柏林技术大学开放分布式系统)
gPerXAN通过个性化规范化和引导正则化实现联邦域泛化的高效组装,提升模型在域偏移下的泛化能力。
2026-02-16 cs.CV cs.LG
Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Group Ltd.(商汤集团有限公司)
作为一个不可或缺的组件,批量归一化(BN)通过对每个隐藏层的内部表示的分布进行归一化,成功地改进了具有小批量的深度神经网络(DNN)的训练。然而,BN的有效性将随着微批量的场景(例如,小批量中少于10个样本),因为小批量中的估计统计量在样本不足的情况下不可靠。在本文中,我们提出了一种新的归一化方法,称为批量卡尔曼归一化(BKN),用于改进和加速DNN的训练,特别是在微批量的背景下。具体来说,与现有的解决方案将每个隐藏层视为孤立系统不同,BKN将网络中的所有层视为一个整体系统,并通过考虑其所有先前层的分布来估计某个层的统计数据,模仿卡尔曼滤波的优点。BKN有两个吸引人的特性。首先,与以前的作品相比,它可以实现更稳定的训练和更快的收敛。其次,使用BKN训练DNN的性能明显优于使用BN及其变体的DNN,特别是当呈现非常小的小批量时。在ImageNet的图像分类基准测试中,使用BKN驱动的网络,我们改进了最佳发布的模型动物园结果:InceptionV 2的top-1 val准确率达到74.0%。更重要的是,使用BKN可以以极小的批量实现相当的准确性,例如在CIFAR-10/100上小64倍,在ImageNet上小8倍。
2018-02-28 cs.CV cs.LG stat.ML
FlashNorm: Fast Normalization for Transformers
OpenMachine
FlashNorm通过消除归一化权重和并行执行RMS规范化,提升Transformer模型的计算效率,减少延迟并简化实现。
2026-10-30 cs.LG
On Layer Normalization in the Transformer Architecture
Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Microsoft Research(微软研究院);Nankai University(南开大学)
Transformer广泛用于自然语言处理任务。然而,为了训练Transformer,通常需要精心设计的学习率预热阶段,这对最终性能至关重要,但会减慢优化并带来更多的超参数调整。在本文中,我们首先从理论上研究为什么学习率预热阶段是必不可少的,并表明层归一化的位置问题。具体而言,我们证明了平均场理论,在初始化时,对于原始设计的后LN Transformer,它的地方之间的残留块的层归一化,输出层附近的参数的预期梯度是大的。因此,在这些梯度上使用大的学习率会使训练不稳定。预热阶段实际上有助于避免这个问题。另一方面,我们的理论还表明,如果将层归一化放在残差块内部(最近提出的Pre-LN Transformer),则梯度在初始化时表现良好。这促使我们取消了LN前Transformers训练的热身阶段。我们在实验中表明,没有预热阶段的Pre-LN Transformers可以达到与基线相当的结果,同时在广泛的应用中需要显著减少的训练时间和超参数调整。
2020-06-29 cs.CL cs.LG stat.ML
Convolutional Normalization
随着深度神经网络被应用于复杂任务,网络和架构的规模增加,其拓扑结构也变得更加复杂。与此同时,培训变得缓慢,在某些情况下效率低下。这促使了各种规格化技术的引入,例如批量归一化和层归一化。上述归一化方法使用算术运算来计算层数据的近似统计量(主要是一阶矩和二阶矩)并使用其来归一化。上述方法使用普通蒙特卡罗方法来近似统计量,并且这种方法在近似分布复杂的统计量时失败。在这里,我们提出了一种使用加权和的方法,该方法使用深度方向的卷积神经网络来实现,不仅可以近似统计数据,还可以学习和的系数。
2021-02-19 cs.LG stat.ML
Improving Model Accuracy for Imbalanced Image Classification Tasks by Adding a Final Batch Normalization Layer: An Empirical Study
Leiden University(莱顿大学);Tel-Hai College(泰勒海学院);Migal Institute(米加尔研究所)
一些现实世界的领域,如农业和医疗保健,包括早期疾病的迹象,其记录构成一个罕见的事件,但在该阶段的精确检测是至关重要的。在这种包含复杂特征的高度不平衡分类问题中,由于其强大的检测能力,深度学习(DL)非常需要。与此同时,DL在实践中被观察到有利于多数而不是少数类别,因此遭受目标早期指示的不准确检测。为了模拟这样的场景,我们人为地从PlantVillage数据集中生成某些植物类型的偏度(99%对1%),作为通过迁移学习对稀缺视觉线索进行分类的基础。通过从某些植物类型中随机和不均匀地挑选健康和不健康的样本来形成训练集,我们将基础实验视为微调ResNet 34和VGG 19架构,然后在健康和不健康图像的平衡数据集上测试模型性能。我们根据经验观察到,在VGG 19中的输出层之前添加最终批量归一化(BN)层后,少数类的初始F1测试分数从0.29跳到0.95。我们证明了在现代CNN架构中的输出层之前利用额外的BN层在最大限度地减少训练时间和高度不平衡数据集中少数类的测试误差方面具有相当大的影响。此外,当采用最终BN时,使损失函数最小化可能不是确保少数类在此类问题中获得高F1测试分数的最佳方式。也就是说,即使在进行预测时没有足够的信心,网络也可能表现得更好;这导致了另一个关于为什么softmax输出不是DL模型的良好不确定性度量的讨论。
2020-11-12 cs.CV cs.LG
Spherical Perspective on Learning with Normalization Layers
Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Département d’informatique de l’ENS, PSL(巴黎高等师范学院计算机系(巴黎文理研究大学));Inria(法国国家信息与自动化研究所)
规范化层(Normalization Layers,NLs)广泛用于现代深度学习架构。尽管它们明显简单,但它们对优化的影响尚未完全理解。本文引入了一个球形框架,从几何角度研究了具有自然语言的神经网络的优化问题。具体地,参数组(例如卷积神经网络的滤波器)的径向不变性允许在$L_2$单位超球面上平移优化步骤。这个公式和相关的几何解释揭示了新的光的训练动态。首先推导了Adam的第一有效学习率表达式。然后证明,在存在NL的情况下,单独执行随机梯度下降(SGD)实际上相当于亚当约束到单位超球面的变体,源于该框架。最后,该分析概述了亚当以前的变体作用的现象,并通过实验验证了它们在优化过程中的重要性。
2022-05-19 cs.LG stat.ML