Spooky Action at a Distance: Normalization Layers Enable Side-Channel Spatial Communication
University of California, Berkeley(加州大学伯克利分校)
本文发现归一化层可在卷积网络中实现跨空间维度的侧信道通信,使信息超出局部感受野聚合,并提醒在扩散轨迹生成等需限制感受野的任务中谨慎使用。
2025-07-07 cs.LG
Do Normalization Layers in a Deep ConvNet Really Need to Be Distinct?
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
是的,他们有。这项工作研究了深度学习的一个视角:ConvNet中的不同规范化层是否需要不同的规范化器。这是理解这一现象的第一步。我们允许每个卷积层在可切换的归一化(SN)之前堆叠,SN学习从归一化方法池中选择归一化器。通过在ImageNet、COCO、Cityscapes和ADE 20 K上的系统实验,我们回答了三个问题:(a)允许每个归一化层选择自己的归一化器有用吗?(b)什么影响了标准化者的选择?(c)不同的任务和数据集会偏好不同的规范化器吗?我们的研究结果表明:(1)使用不同的规范化器可以提高ConvNet的学习和泛化能力;(2)规范化器的选择与深度和批量大小更相关,但与参数初始化,学习率衰减和求解器的相关性较低;(3)不同的任务和数据集在学习选择规范化器时具有不同的行为。
2018-11-19 cs.AI cs.CV cs.LG
Stability of Transformers under Layer Normalization
UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校);SRI International(SRI国际);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性,推导相关边界、分析梯度反向传播影响,为残差步长缩放提供指导,其框架可用于检查新型Transformer架构的稳定性。
2026-08-10 cs.AI cs.LG math.OC
Layer Normalization
University of Toronto(多伦多大学);Google Inc.(谷歌公司)
训练最先进的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批量归一化的技术使用神经元在一小批训练案例上的求和输入的分布来计算均值和方差,然后将其用于归一化每个训练案例上该神经元的求和输入。这显著减少了前馈神经网络的训练时间。然而,批量归一化的效果取决于最小批量的大小,如何将其应用于递归神经网络还不是很明显。在本文中,我们通过计算用于归一化的均值和方差,将批量归一化转换为层归一化,这些均值和方差来自单个训练案例中层中神经元的所有求和输入。与批量归一化一样,我们也为每个神经元提供了自己的自适应偏置和增益,这些偏置和增益在归一化之后但在非线性之前应用。与批量归一化不同,层归一化在训练和测试时执行完全相同的计算。通过在每个时间步分别计算归一化统计量,也可以直接应用于递归神经网络。层规范化在稳定递归网络中的隐藏状态动态方面非常有效。从经验上讲,我们表明,层规范化可以大大减少训练时间相比,以前公布的技术。
2016-07-21 cs.LG stat.ML
On Separate Normalization in Self-supervised Transformers
Tufts University(塔夫茨大学);Cornell University(康奈尔大学)
本文提出为自监督Transformer中的token和[CLS]符号分别设置独立归一化层,以更好捕捉各自特征,并在图像、自然语言和图任务上平均提升2.7%性能。
2023-11-28 cs.AI cs.CL cs.LG
Semantic Image Synthesis with Spatially-Adaptive Normalization
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们提出了空间自适应规范化,一个简单但有效的层,用于合成逼真的图像给定的输入语义布局。以前的方法直接将语义布局作为输入提供给深度网络,然后通过卷积、归一化和非线性层堆栈进行处理。我们表明,这是次优的规范化层往往“洗掉”语义信息。为了解决这个问题,我们建议使用输入布局,通过空间自适应的学习转换来调节归一化层中的激活。在几个具有挑战性的数据集上的实验表明,所提出的方法优于现有的方法,在视觉保真度和对齐与输入布局。最后,我们的模型允许用户控制语义和风格。代码可在https://github.com/NVlabs/SPADE上获得。
2019-11-05 cs.AI cs.CV cs.GR
On the impact of activation and normalization in obtaining isometric embeddings at initialization
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院);INRIA-ENS-PSL Paris(法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学(巴黎))
本文研究深度神经网络初始化时倒数第二层 Gram 矩阵的退化问题,证明层归一化结合非线性激活能以指数速率将该矩阵偏置向单位矩阵,并利用 Hermite 展开式量化了该速率。
2023-11-17 cs.AI cs.LG stat.ML
Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion
ETH Zürich(苏黎世联邦理工学院);KAUST(阿卜杜拉国王科技大学);MIT(麻省理工学院)
本研究针对批量归一化网络存在的深度方向梯度爆炸问题,构建了带线性激活的批量归一化MLP并基于温加滕微积分证明其任意深度梯度有界,还提出适用于部分非线性激活的激活整形方案,实现信号传播与梯度稳定的兼顾。
2023-10-03 cs.AI cs.LG
Context Normalization Layer with Applications
Sorbonne Paris Nord University(巴黎北大学);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学);Center for Development of Advanced Technologies(先进技术发展中心)
针对批归一化依赖批量大小且忽略数据分组的问题,本文提出面向图像的上下文归一化,根据样本特征自适应缩放,提升收敛速度与性能,并在多数据集上验证优于标准归一化方法。
2024-02-02 cs.AI cs.CV cs.LG
U-Net Training with Instance-Layer Normalization
Imperial College London(帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
归一化层在深度卷积神经网络(DCNN)中至关重要。已经提出了各种归一化方法。用于规范化特征图的统计数据可以在批处理、通道或实例级别进行计算。然而,在大多数现有的方法中,每个层的归一化是固定的。批量实例归一化(BIN)是最早提出的方法之一,它结合了两种不同的归一化方法,并为不同的层实现了不同的归一化。然而,BIN中存在两个潜在问题:首先,Clip函数在输入值0和1处不可微;其次,组合特征图不具有归一化分布,这对DCNN中的信号传播有害。本文提出了一种实例层规范化(ILN)层,通过使用Sigmoid函数进行特征图组合,并级联组规范化。使用U-Net作为网络架构,对右心室(RV)和左心室(LV)的图像分割进行了ILN的性能验证。实验结果表明,该方法优于传统的归一化方法,在大多数验证中具有显著的精度提高,支持了该方法的有效性。
2019-08-25 cs.CV cs.LG eess.IV
A Riemannian Mean Field Formulation for Two-layer Neural Networks with Batch Normalization
Stanford University(斯坦福大学)
研究了具有批量归一化(BN)的两层神经网络的训练动力学。它被写成黎曼流形上没有BN的神经网络的训练动力学。因此,我们确定BN的影响,改变参数空间中的度量。之后,考虑了具有BN的两层神经网络的无限宽极限,并导出了训练动力学的平均场公式。平均场公式的训练动力学被证明是流形上的Wasserstein梯度流。对Wasserstein梯度流的适定性和收敛性进行了理论分析。
2021-10-17 cs.LG
Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models
Prairie View A&M University(普雷里维尤农工大学);Texas A&M University System(德克萨斯农工大学系统)
模拟硬件的快速执行速度和能效使其成为边缘部署深度学习模型的有力竞争者。然而,人们担心模拟噪声的存在会导致模型权重的变化,从而导致深度学习模型的性能下降,尽管它们具有固有的抗噪声特性。研究了当前流行的批量归一化层对深度学习模型抗噪能力的影响。通过首先在CIFAR10和CIFAR100数据集上训练具有和不具有批量归一化层的不同模型来进行该系统的研究。然后将模拟噪声注入所得模型的权重,并获得和比较模型在测试数据集上的性能。结果表明,批量归一化层的存在对深度学习模型的抗噪性能产生了负面影响,并且这种影响随着批量归一化层数的增加而增加。
2022-05-15 cs.AI cs.AR cs.LG
Understanding and Improving Layer Normalization
Peking University(北京大学)
层归一化(LayerNorm)是一种对中间层的分布进行归一化的技术。它可以实现更平滑的梯度,更快的训练和更好的泛化精度。然而,目前还不清楚有效性来自何处。在本文中,我们的主要贡献是进一步理解LayerNorm。许多先前的研究认为LayerNorm的成功来自于前向归一化。与他们不同的是,我们发现均值和方差的导数比通过重新居中和重新缩放后向梯度的前向归一化更重要。此外,我们发现LayerNorm的参数,包括偏置和增益,增加了过拟合的风险,并且在大多数情况下不起作用。实验表明,没有偏差和增益的简单版本的LayerNorm(LayerNorm-simple)在四个数据集上的性能优于LayerNorm。它在En-Vi机器翻译上取得了最先进的性能。为了解决过拟合问题,我们提出了一种新的归一化方法,自适应归一化(AdaNorm),通过用一个新的变换函数代替偏置和增益。实验表明,AdaNorm在八个数据集中的七个上表现出比LayerNorm更好的结果。
2019-11-16 cs.CL cs.LG stat.ML
Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间,使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播,但会修改反向传播方程,以允许达到最深网络层的良好缩放梯度流,而不会出现消失或爆炸。对非常深的神经网络的测试结果表明,新技术可以做一个有效的控制梯度范数,允许在最深层的权重更新,并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
ReLU's Revival: On the Entropic Overload in Normalization-Free Large Language Models
New York University(纽约大学)
本文研究了无LayerNorm大语言模型中的激活函数,发现ReLU因能避免GELU引发的早期层熵过载问题,在困惑度上提升了8.2%,更适合无归一化架构。
2024-11-16 cs.AI cs.LG
Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning
University of Michigan(密歇根大学);Stanford University(斯坦福大学);NTT Research, Inc.(NTT研究院)
受BatchNorm的启发,深度学习中的规范化层出现了爆炸式增长。最近的工作已经确定了BatchNorm中的许多有益特性来解释其成功。然而,考虑到对替代规范化层的追求,这些属性需要被泛化,以便可以准确地预测任何给定层的成功/失败。在这项工作中,我们通过将随机初始化的深度神经网络(DNN)中BatchNorm的已知属性扩展到最近提出的几个规范化层来朝着这个目标迈出第一步。我们的主要发现如下:(i)类似于BatchNorm,基于激活的规范化层可以防止ResNets中激活的指数增长,但参数化技术需要明确的补救措施;(ii)使用GroupNorm可以确保信息向前传播,不同的样本被分配不同的激活,但增加组大小会导致不同样本的激活越来越难以区分,这解释了LayerNorm模型中的缓慢收敛速度;以及(iii)小的组大小导致较早层中的大梯度范数,因此解释了实例归一化中的训练不稳定性问题,并说明了GroupNorm中的速度-稳定性权衡。总的来说,我们的分析揭示了一组统一的机制,这些机制支撑了深度学习中规范化方法的成功,为我们系统地探索DNN规范化层的巨大设计空间提供了指南针。
2021-10-26 cs.CV cs.LG
Cosine Normalization: Using Cosine Similarity Instead of Dot Product in Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Frontier Science and Technology(北京前沿科学技术研究院)
传统上,多层神经网络使用前一层的输出向量与传入的权向量之间的点积作为激活函数的输入。点积的结果是无界的,从而增加了大方差的风险。神经元的大方差使得模型对输入分布的变化很敏感,从而导致泛化能力差,并消除了内部的协变量偏移,从而降低了训练速度。为了约束点积和减小方差,我们提出在神经网络中使用余弦相似性或中心余弦相似性(Pearson相关系数)来代替点积,我们称之为余弦归一化。我们在MNIST,20 NEWS GROUP,CIFAR-10/100和SVHN的数据集上比较了全连接神经网络以及卷积网络中的余弦归一化与批量,权重和层归一化。实验表明,余弦归一化技术比其他归一化技术具有更好的性能。
2017-10-23 cs.AI cs.LG stat.ML
Continuous-Time Analysis of Adaptive Optimization and Normalization
University of Cambridge(剑桥大学);Harvard University(哈佛大学);NTT Research, Inc.(NTT研究公司)
本文提出Adam和AdamW的连续时间形式化分析,推导出确保有界更新的超参数稳定区域,揭示归一化层的隐式元自适应效应,并提出广义优化器k-Adam,深化了对深度学习训练动力学的理论理解。
2024-12-19 cs.AI cs.LG
State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory
National University of Singapore(新加坡国立大学)
本文证明堆叠带逐层非线性激活的状态空间模型可通用逼近任意连续序列映射,同时指出其仍存在指数衰减记忆问题,并通过数值实验验证。
2023-11-01 cs.AI cs.LG math.DS
On the Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions
AI Sweden(瑞典人工智能)
本文探讨了层归一化与动态激活函数的数学关系,从RMSNorm推导出DyISRU,并证明其在处理异常值上的准确性优于DyT。
2026-04-14 cs.AI cs.CL cs.LG
MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization
Shanghai Jiao Tong University(上海交通大学)
针对批量归一化(BN)内存开销大、微批次下不准确的问题,提出仅含权重均值操作和末层BN的轻量归一化方法MimicNorm,经NTK理论验证和实验证明,可在保持准确率的同时降低约20%内存消耗。
2023-09-27 cs.AI cs.CV cs.LG
Normalization Layers Are All That Sharpness-Aware Minimization Needs
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
研究发现SAM仅扰动归一化层参数即可超越全参数扰动,此现象跨模型与变体成立,且非其他稀疏扰动可复制,质疑锐度降低为唯一机制。
2023-11-17 cs.CV cs.LG
To Fold or Not to Fold: a Necessary and Sufficient Condition on Batch-Normalization Layers Folding
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);Datakalab(Datakalab公司);Valeo(法雷奥)
批量归一化(BN)层已经成为越来越复杂的深层神经网络架构中的基本组件。这些模型需要加速过程以在边缘设备上部署。然而,BN层由于顺序操作处理而增加了计算瓶颈:因此,加速过程的一个关键但经常被忽视的组件是BN层折叠。在本文中,我们证明了目前的BN折叠方法是次优的,有多少层可以删除。因此,我们提供了一个必要和充分条件BN折叠和相应的最佳算法。所提出的方法系统地优于现有的基线,并允许显着减少深度神经网络的推理时间。
2022-03-28 cs.CV cs.LG
On the effect of normalization layers on Differentially Private training of deep Neural networks
Spoken Language Systems Group(口语系统研究组);Saarland Informatics Campus(萨尔兰信息学园区);Saarland University(萨尔兰大学)
差分隐私随机梯度下降(DPSGD)是基于差分隐私(DP)范式的随机梯度下降的变体,它可以减轻由于训练数据中存在敏感信息而引起的隐私威胁。然而,使用DPSGD训练深度神经网络的一个主要缺点是模型准确性的降低。在本文中,我们研究了归一化层对DPSGD性能的影响。我们证明了归一化层显著影响具有噪声参数的深度神经网络的效用,并且应该被认为是DPSGD训练的基本成分。特别是,我们提出了一种新的方法集成批量归一化与DPSGD而不会产生额外的隐私损失。通过我们的方法,我们能够训练更深的网络,并实现更好的实用性和隐私权衡。
2021-12-07 cs.CR cs.LG stat.ML
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping
DeepMind(深度思维);Google(谷歌)
使用Poole等人(2016)的Q/C图分析的扩展和形式化版本,以及神经切线核理论,我们确定了深度网络中存在的主要病理,这些病理阻止了它们快速训练和泛化到看不见的数据,并展示了如何通过仔细控制网络初始化时核函数的“形状”来避免这些病理。然后,我们开发了一种称为深度内核整形(DKS)的方法,该方法使用精确的参数初始化,激活函数转换和小的架构调整的组合来实现这一点,所有这些都保留了模型类。在我们的实验中,我们证明了DKS能够在Imagenet和CIFAR-10分类任务上对没有归一化层的残差网络进行SGD训练,其速度与标准ResNetV 2和Wide-ResNet模型相当,而泛化性能只有小幅下降。当使用K-FAC作为优化器时,我们在没有跳过连接的网络中获得了类似的结果。我们的结果适用于各种各样的激活函数,包括那些传统上表现非常差,如logistic sigmoid。除了DKS之外,我们还对跳过连接、规范化层、特殊激活函数(如SELU)以及各种初始化方案进行了详细分析,解释了它们作为“塑造”网络初始化时间内核的替代(最终不完整)方式的有效性。
2021-10-05 cs.AI cs.LG cs.NE
Self-Attentive Multi-Layer Aggregation with Feature Recalibration and Normalization for End-to-End Speaker Verification System
Sogang University(西江大学)
说话人嵌入生成是端到端说话人确认系统的重要组成部分。在我们之前的论文中,我们报告了基于快捷连接的多层聚合提高了说话人嵌入的代表性。然而,在多层聚合中,模型参数的数量相对较大并且未指定的变化增加。因此,我们提出了一个自我关注的多层聚合与功能重新校准和规范化的端到端的说话人确认系统。为了减少模型参数的数量,将缩放通道宽度和层深度的ResNet用作基线。为了控制训练中的可变性,应用自注意机制来执行具有丢弃规则化和批量规范化的多层聚合。然后,使用全连接层和非线性激活函数将特征重新校准层应用于聚合特征。深度长度归一化也用于端到端训练过程中的重新校准特征。使用VoxCeleb1评估数据集的实验结果表明,所提出的方法的性能与最先进的模型相当(分别使用VoxCeleb1和VoxCeleb2训练数据集的错误率分别为4.95%和2.86%)。
2020-07-28 cs.LG cs.SD eess.AS
Activation-Adjacent Layer Normalization: Effects on Approximation Power
Beihang University(北京航空航天大学);Hangzhou International Innovation Institute, Beihang University(北京航空航天大学杭州国际创新研究院)
本研究探讨激活相邻的LN、RMSNorm等归一化对浅层AN、PN网络近似能力的影响,推导了不同归一化下的近似宽度边界,通过实验验证了预测的近似率。
2026-10-16 cs.LG
Peri-LN: Revisiting Normalization Layer in the Transformer Architecture
NAVER Cloud;NAVER AI Lab
本文提出Peri-LN归一化层放置策略,通过理论分析和高达3.2B参数实验证明其相比Pre-LN和Post-LN具有更均衡的方差增长、更平稳的梯度流动和更稳定的收敛表现。
2025-06-06 cs.AI cs.CL cs.LG
LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training
DGIST(大邱庆北科学技术院)
在训练早期深度神经网络(DNN)时,通过卷积或线性层生成中间特征占用了大部分执行时间。因此,已经进行了广泛的研究以减少卷积或线性层的计算负担。然而,在最近的移动友好的DNN中,处理这些层所涉及的操作的相对数量已经显着减少。因此,其他层(如批量归一化层)的执行时间比例增加了。因此,在这项工作中,我们进行了详细的分析,批量归一化层,以有效地减少运行时开销的批量归一化过程。在深入分析的基础上,我们提出了一个非常有效的批量归一化,名为LightNorm,及其相关的硬件模块。更详细地说,我们融合了三种近似技术,即i)低位精度,ii)范围批量归一化,以及iii)块浮点。所有这些近似技术都被仔细地利用,不仅要保持中间特征图的统计数据,而且要尽量减少片外存储器访问。通过使用所提出的LightNorm硬件,我们可以在DNN训练期间实现显著的面积和能源节省,而不会影响训练精度。这使得所提出的硬件成为设备上培训的绝佳候选者。
2022-11-04 cs.AR cs.LG
The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks
AIST(产业技术综合研究所);RIKEN CBS(理化学研究所脑科学中心)
规范化方法在提高深度学习性能方面发挥着重要作用,但其理论认识有限。为了从理论上阐明规范化的有效性,我们量化了由费舍尔信息矩阵(Fisher information matrix)确定的参数空间的几何形状,这也对应于在某些条件下损失景观的局部形状。我们分析了具有随机初始化的深度神经网络,当网络变得足够宽时,它会遭受病态的尖锐形状。我们发现,在最后一层的批量归一化有助于大幅降低这种病理锐度,如果宽度和样本数满足特定条件。相比之下,在许多设置中,中间隐藏层中的批量归一化难以减轻病理性锐度。我们还发现,层归一化也不能减轻病理性锐度。因此,我们可以得出结论,最后一层中的批量归一化显著有助于降低由噪声引起的锐度。
2019-10-28 cond-mat.dis-nn cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research(谷歌研究院)
批量归一化(BN)使用小批量统计数据来规范训练期间的激活,从而在小批量元素之间引入依赖性。如果mini-batch大小太小,或者元素是相关的,则这种依赖性会损害性能。已经提出了几种替代方案,例如批重正化和群归一化(GN)来解决这个问题。然而,它们要么不匹配BN的大批量的性能,或仍然表现出性能下降的小批量,或引入人工约束的模型架构。在本文中,我们提出了过滤器响应归一化(FRN)层,一个新的组合的归一化和激活函数,可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作,消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外,它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题,FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers
Cerebras Systems(瑟雷布拉斯系统公司)
本研究提出低运算量的逐样本梯度范数计算方法,发现Transformer模型总梯度噪声尺度可由归一化层的GNS预测,据此开发无开销的定制内核并优化批量调度,将Chinchilla最优语言模型训练时间缩短18%。
2024-11-01 cs.LG stat.ML
Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
ENSAE(法国国家统计与经济管理学院)
本文提出TLC方法,通过批归一化层视角减小网络深度来压缩深度神经网络,降低计算需求与延迟,并在Swin-T等模型及图像和NLP任务上得到验证。
2024-12-19 cs.CL cs.CV cs.LG
Regularity Normalization: Neuroscience-Inspired Unsupervised Attention across Neural Network Layers
Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心)
受神经元放电自适应现象的启发,我们提出了一种无监督的注意力机制--正则化(RN),它根据最小描述长度(MDL)原则计算神经网络隐空间的统计正则性.将神经网络优化过程视为部分可观察的模型选择问题,正则性归一化通过归一化因子(通用码长)来约束隐空间。我们在神经网络层上递增地计算这个通用代码,并展示了包括自上而下的注意力和其他Oracle信息等数据先验的灵活性。从经验上讲,我们的方法在处理图像分类,经典控制,过程生成的强化学习,生成建模,手写生成和各种神经网络架构的问答任务中的有限,不平衡和非平稳输入分布方面优于现有的归一化方法。最后,无监督的注意力机制是神经网络的一个有用的探测工具,它通过跟踪深度网络的层和循环时间步长的依赖性和关键学习阶段。
2021-12-23 cs.CV cs.IT cs.LG
FlashNorm: Fast Normalization for Transformers
OpenMachine
FlashNorm通过消除归一化权重和并行执行RMS规范化,提升Transformer模型的计算效率,减少延迟并简化实现。
2026-10-30 cs.LG
Sandwich Batch Normalization: A Drop-In Replacement for Feature Distribution Heterogeneity
the University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了三明治批量归一化(SaBN),这是对批量归一化(BN)的一个令人沮丧的简单改进,只需更改几行代码。SaBN的动机是解决在许多任务中可以识别的固有特征分布异质性,这可能源于数据异质性(多个输入域)或模型异质性(动态架构,模型调节等)。我们的SaBN分解BN仿射层到一个共享的三明治仿射层,级联的几个平行的独立仿射层。具体的分析表明,在优化过程中,SaBN促进平衡的梯度规范,同时仍然保持不同的梯度方向-许多应用程序任务似乎喜欢的属性。我们证明了SaBN作为四项任务的替代品的普遍有效性:条件图像生成,神经结构搜索(NAS),对抗训练和任意风格转移。利用SaBN可以立即在CIFAR-10和ImageNet条件图像生成上实现更好的Inception Score和FID,并使用三个最先进的GANs;在NAS-Bench-201上显着提升最先进的权重共享NAS算法的性能;大幅提高对抗防御的鲁棒性和标准准确性;并产生卓越的任意风格化结果。我们还提供可视化和分析,以帮助理解为什么SaBN工作。代码可在https://github.com/VITA-Group/Sandwich-Batch-Normalization上获得。
2021-10-14 cs.AI cs.CV cs.LG
Evolving Normalization-Activation Layers
Google Research(谷歌研究院);DeepMind
规范化层和激活函数是深度网络中的基本组件,并且通常彼此协同定位。在这里,我们建议使用自动化的方法来设计它们。我们没有单独设计它们,而是将它们统一到一个张量到张量计算图中,并从基本的数学函数开始演化其结构。这种数学函数的例子是加法、乘法和统计矩。与在主流NAS中使用高级模块相比,使用低级数学函数导致高度稀疏和大的搜索空间,这对于搜索方法来说是具有挑战性的。为了应对这一挑战,我们开发了高效的拒绝协议,以快速过滤出工作不好的候选层。我们还使用多目标进化来优化许多架构中每一层的性能,以防止过拟合。我们的方法导致了EvoNorms的发现,这是一组新的标准化激活层,具有新颖的,有时甚至是令人惊讶的结构,超越了现有的设计模式。例如,一些EvoNorms不假设归一化和激活函数必须顺序应用,也不需要将特征图居中,也不需要显式的激活函数。我们的实验表明,EvoNorms在包括ResNets,MobileNets和EfficientNets在内的图像分类模型上运行良好,但也可以很好地转移到Mask R-CNN和FPN/SpineNet进行实例分割,并转移到BigGAN进行图像合成,在许多情况下优于BatchNorm和GroupNorm。
2020-07-17 cs.CV cs.LG cs.NE
Local Context Normalization: Revisiting Local Normalization
The University of Texas at El Paso(德克萨斯大学埃尔帕索分校);Microsoft AI for Good Research Lab(微软益世AI研究实验室);Georgia Institute of Technology(佐治亚理工学院);Microsoft Research(微软研究院)
规范化层已被证明可以提高深度神经网络的收敛性,甚至可以增加有用的归纳偏差。在许多视觉应用中,特征的局部空间上下文是重要的,但是最常见的归一化方案包括组归一化(GN)、实例归一化(IN)和层归一化(LN),其在特征的整个空间维度上进行归一化。这可能会洗掉重要信号并降低性能。例如,在使用卫星图像的应用程序中,输入图像可以是任意大的;因此,在整个区域上进行归一化是没有意义的。另一方面,位置归一化(PN)一次仅对单个空间位置进行归一化。一个自然的折衷方案是通过本地上下文来规范化特征,同时还考虑到组级别的信息。在本文中,我们提出了局部上下文规范化(LCN):一个规范化层,其中每个特征都基于其周围的窗口及其组中的过滤器进行规范化。我们提出了一种算法解决方案,使LCN有效的任意窗口大小,即使在图像中的每个点都有一个独特的窗口。LCN在多个基准数据集中的目标检测、语义分割和实例分割应用方面优于其批量归一化(BN)、GN、IN和LN对等体,同时保持性能独立于批量大小并促进迁移学习。
2020-05-09 cs.CV cs.LG
Rethinking Normalization Methods in Federated Learning
Duke University(杜克大学);IBM Research AI(IBM研究院人工智能)
本文揭示联邦学习中外部协变量偏移导致设备贡献被抹除及批归一化失效,并提出层归一化可缓解该问题,在CIFAR10非IID实验中取得更快收敛和更优精度。
2022-10-07 cs.LG
Convolutional Normalization
随着深度神经网络被应用于复杂任务,网络和架构的规模增加,其拓扑结构也变得更加复杂。与此同时,培训变得缓慢,在某些情况下效率低下。这促使了各种规格化技术的引入,例如批量归一化和层归一化。上述归一化方法使用算术运算来计算层数据的近似统计量(主要是一阶矩和二阶矩)并使用其来归一化。上述方法使用普通蒙特卡罗方法来近似统计量,并且这种方法在近似分布复杂的统计量时失败。在这里,我们提出了一种使用加权和的方法,该方法使用深度方向的卷积神经网络来实现,不仅可以近似统计数据,还可以学习和的系数。
2021-02-19 cs.LG stat.ML
On the Ideal Number of Groups for Isometric Gradient Propagation
Pohang University of Science and Technology(浦项科技大学)
最近,已经提出了各种规范化层来稳定深度神经网络的训练。其中,组规范化是层归一化和实例规范化的概括,允许其使用的组的数量具有一定的自由度。然而,为了确定最佳的组数,需要基于试错的超参数调整,并且这样的实验是耗时的。在这项研究中,我们讨论了一个合理的方法来设置组数。首先,我们发现组的数量会影响组规范化层的梯度行为。基于这一观察,我们推导出理想的组数,它校准梯度尺度以促进梯度下降优化。我们提出的组数是理论上有根据的,是架构感知的,并且可以以逐层的方式为所有层提供适当的值。所提出的方法在许多神经网络架构、任务和数据集中表现出优于现有方法的性能。
2023-02-07 cs.CV cs.LG
On Layer Normalization in the Transformer Architecture
Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Microsoft Research(微软研究院);Nankai University(南开大学)
Transformer广泛用于自然语言处理任务。然而,为了训练Transformer,通常需要精心设计的学习率预热阶段,这对最终性能至关重要,但会减慢优化并带来更多的超参数调整。在本文中,我们首先从理论上研究为什么学习率预热阶段是必不可少的,并表明层归一化的位置问题。具体而言,我们证明了平均场理论,在初始化时,对于原始设计的后LN Transformer,它的地方之间的残留块的层归一化,输出层附近的参数的预期梯度是大的。因此,在这些梯度上使用大的学习率会使训练不稳定。预热阶段实际上有助于避免这个问题。另一方面,我们的理论还表明,如果将层归一化放在残差块内部(最近提出的Pre-LN Transformer),则梯度在初始化时表现良好。这促使我们取消了LN前Transformers训练的热身阶段。我们在实验中表明,没有预热阶段的Pre-LN Transformers可以达到与基线相当的结果,同时在广泛的应用中需要显著减少的训练时间和超参数调整。
2020-06-29 cs.CL cs.LG stat.ML
Counting with Attention and LayerNorm: Norm Scaling and Representation Geometry
New York University Abu Dhabi(纽约大学阿布扎比分校)
该研究针对Transformer长序列计数失败问题,分析单注意力层计数的参数成本,推导不同归一化与读出方式的计数速率,通过实验验证后归一化模型的两种读出差异。
2026-10-14 cs.LG
Spherical Perspective on Learning with Normalization Layers
Ecole des Ponts(巴黎桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Département d’informatique de l’ENS, PSL(巴黎高等师范学院计算机系(巴黎文理研究大学));Inria(法国国家信息与自动化研究所)
规范化层(Normalization Layers,NLs)广泛用于现代深度学习架构。尽管它们明显简单,但它们对优化的影响尚未完全理解。本文引入了一个球形框架,从几何角度研究了具有自然语言的神经网络的优化问题。具体地,参数组(例如卷积神经网络的滤波器)的径向不变性允许在$L_2$单位超球面上平移优化步骤。这个公式和相关的几何解释揭示了新的光的训练动态。首先推导了Adam的第一有效学习率表达式。然后证明,在存在NL的情况下,单独执行随机梯度下降(SGD)实际上相当于亚当约束到单位超球面的变体,源于该框架。最后,该分析概述了亚当以前的变体作用的现象,并通过实验验证了它们在优化过程中的重要性。
2022-05-19 cs.LG stat.ML
AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
KIIT(卡林加工业技术学院)
研究Transformer中归一化策略选择问题,通过实验发现不同任务中静态与自适应归一化的表现差异,提出AutoNorm-S训练策略,通过门控冻结计划减轻优化不稳定性,在多基准测试中取得良好性能。
2026-07-14 cs.LG
Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction
Sina Weibo Corp(新浪微博公司)
归一化已经成为许多用于机器学习任务的深度神经网络中最基本的组件之一,而深度神经网络也已广泛用于CTR估计领域。在大多数提出的深度神经网络模型中,很少有模型利用归一化方法。虽然一些工作,如深度和交叉网络(DCN)和神经因子分解机(NFM)在结构的MLP部分使用批量归一化,但还没有深入研究归一化对DNN排名系统的影响。在本文中,我们进行了广泛使用的规范化模式的效果进行了系统的研究,通过应用各种规范化方法的DNN模型的特征嵌入和MLP部分。在三个真实数据集上进行了大量的实验,实验结果表明,正确的归一化显著提高了模型的性能。本文还提出了一种新的有效的基于LayerNorm的归一化方法--仅方差LayerNorm(VO-LN)。基于上述观察,还提出了一种归一化增强的DNN模型NormDNN。对于DNN模型的归一化在CTR估计中起作用的原因,我们发现归一化的方差起主要作用,并给出了解释。
2020-07-07 cs.LG stat.ML
SeeDNorm: Self-Rescaled Dynamic Normalization
School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航大学)
SeeDNorm通过动态调整缩放系数提升模型表示能力,在保持输入范数信息的同时实现自适应动态归一化,有效提升大语言模型及计算机视觉任务的性能。
2026-02-11 cs.LG
Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget
研究发现Transformer中MLP非线性浪费问题,通过门控技术将部分MLP替换为线性层,从而降低困惑度并提升性能。
2026-03-06 cs.CL cs.LG
Methods of improving LLM training stability
NVIDIA(英伟达)
本文针对大语言模型训练不稳定问题,通过分析Transformer各线性层输出增长,提出在Proj、FC2或QKV层后施加层归一化及结合softmax capping的方法,成功将学习率提升1.5倍并显著降低困惑度。
2024-10-22 cs.CL cs.LG
Improving Normalization with the James-Stein Estimator
University of Delaware(特拉华大学)
本文提出利用James-Stein估计量改进深度学习归一化层中均值和方差的估计,在图像分类、语义分割和3D物体分类任务上以零额外计算成本持续提升准确率,并验证了该方法对批量大小和正则化具有更强的鲁棒性。
2023-12-01 cs.CV cs.LG
Extended Deep Adaptive Input Normalization for Preprocessing Time Series Data for Neural Networks
Imperial College London(伦敦帝国学院);American Express(美国运通公司)
提出EDAIN自适应归一化层,端到端学习时间序列数据的归一化方式,在合成数据、信用违约和限价订单簿数据集上优于传统方法。
2024-02-29 cs.LG stat.ML
Positional Normalization
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院)
减少深度神经网络训练时间的一种流行方法是将每层的激活归一化。尽管已经提出了各种归一化方案,但它们都遵循一个共同的主题:跨空间维度进行归一化并丢弃提取的统计数据。在本文中,我们提出了一种替代的规范化方法,明显偏离这种惯例,并专门跨通道进行规范化。我们认为,通道尺寸是自然的吸引力,因为它允许我们提取在特定图像位置提取的特征的第一和第二时刻。这些矩捕获了关于输入图像和提取特征的结构信息,这开辟了一条新的途径,网络可以从特征归一化中受益:我们建议将它们重新注入到后面的层中,以保留或传输生成网络中的结构信息,而不是忽略归一化常数。代码可在https://github.com/Boyiliee/PONO上获得。
2019-12-19 cs.CV cs.LG
Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
University of South Australia(南澳大学);University of California, San Diego(加州大学圣地亚哥分校);Western Sydney University(西悉尼大学)
批量归一化(BN)层被认为是当今最先进的深度卷积神经网络中不可或缺的重要层类型,用于计算机视觉任务,例如分类和检测。然而,BN层引入了复杂性和计算开销,这对于实时嵌入式视觉系统(例如UAV、机器人和物联网(IoT)设备)的低功率定制硬件实现的训练和/或推断是非常不期望的。当在训练期间批量大小需要非常小时,它们也是有问题的,并且诸如比BN层更近引入的剩余连接等创新可能会减少它们的影响。在本文中,我们的目标是量化的好处BN层提供的图像分类网络,在与其他选择相比。特别是,我们研究了使用移位ReLU层而不是BN层的网络。我们发现,在将宽残差网络应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的实验之后,BN层并不总是提供显著的优势。我们发现,BN层提供的准确度取决于数据集、网络大小和权重的位深度。我们的结论是,在BN层由于速度,内存或复杂性成本而不受欢迎的情况下,应该考虑使用移位ReLU层;我们发现它们可以在所有这些领域提供优势,并且通常不会带来显着的准确性成本。
2019-07-22 cs.CV cs.LG cs.NE
SparseOpt: Addressing Normalization-induced Gradient Skew in Sparse Training
University of Calgary(卡尔加里大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);CISPA Helmholtz Center for Information Security(CISPA海德堡信息安全中心)
针对动态稀疏训练收敛慢的问题,通过分析批归一化对稀疏训练的不利影响,提出稀疏感知优化器SparseOpt,实现更快的收敛和更好的泛化。
2026-05-26 cs.LG