How Does Batch Normalization Help Optimization?
MIT(麻省理工学院)
批量归一化(BatchNorm)是一种广泛采用的技术,可以更快、更稳定地训练深度神经网络(DNN)。尽管BatchNorm很普遍,但其有效性的确切原因仍然知之甚少。流行的观点是,这种有效性源于在训练期间控制层的输入分布的变化,以减少所谓的“内部协变量偏移”。在这项工作中,我们证明了这种层输入的分布稳定性与BatchNorm的成功关系不大。相反,我们发现了BatchNorm对训练过程的一个更根本的影响:它使优化环境变得更加平滑。这种平滑性导致梯度的预测性和稳定性更高,从而允许更快的训练。
2019-04-15 cs.LG cs.NE stat.ML
Exponential convergence rates for Batch Normalization: The power of length-direction decoupling in non-convex optimization
ETH Zurich(苏黎世联邦理工学院)
规范化技术(如批量规范化)已成功应用于训练深度神经网络。然而,尽管它有明显的经验优势,批量标准化成功背后的原因大多是假设的。我们在这里的目的是从经典优化的角度提供一个更深入的理论理解。我们对这一目标的主要贡献是识别机器学习领域中的各种问题实例,其中% -在某些假设下-批量归一化可以证明加速优化。我们认为,这种加速是由于批量归一化将优化任务分解为分别优化参数的长度和方向。这使得基于梯度的方法能够利用损失景观中有利的全局结构,我们证明了这种结构存在于学习半空间问题和高斯输入的神经网络训练中。因此,我们将批量归一化从一个有效的实用启发式算法转化为这些设置的可证明收敛算法。此外,我们证实了我们的分析与经验证据表明,我们的理论结果在更广泛的背景下的有效性。
2018-10-06 cs.LG stat.ML
Revisit Batch Normalization: New Understanding from an Optimization View and a Refinement via Composition Optimization
University of Rochester(罗切斯特大学)
批量归一化(BN)已广泛用于深度学习,以实现更快的训练过程和更好的结果模型。然而,BN是否有效很大程度上取决于在训练期间如何构建批次,如果批次上的统计数据不接近整个数据集上的统计数据,则可能不会收敛到所需的解决方案。在本文中,我们试图从优化的角度来理解BN,制定的最优化问题,激励BN。通过对最优化问题的分析,我们证明了BN何时起作用,何时不起作用。然后,我们提出了一种改进的BN的基础上组成的优化技术,称为全归一化(FN),以减轻问题的BN时,批次没有构建理想的。我们提供了收敛分析FN和实证研究其有效性,以改善BN。
2018-10-15 cs.LG math.OC
Theoretical Insight into Batch Normalization: Data Dependant Auto-Tuning of Regularization Rate
批量归一化广泛用于深度学习中,以规范化中间激活。众所周知,深度网络的训练复杂性增加,需要仔细初始化权重,需要较低的学习率等。这些问题已经通过批量归一化(\textbf{BN})解决,通过将激活的输入归一化为零均值和单位标准差。将这种批量归一化作为训练过程的一部分,可以大大加快深度网络的训练过程。一个新的研究领域已经开始研究\textbf{BN}成功背后的确切理论解释。大多数这些理论见解试图解释\textbf{BN}的好处,将它们放在优化,权重标度不变性和正则化的影响上。尽管\textbf{BN}在加速泛化方面取得了不可否认的成功,但在分析上将\textbf{BN}的效果与正则化参数联系起来的差距仍然缺失。本文的目的是提出的数据依赖的正则化参数的\textbf{BN}的分析证明。我们提出了\textbf{BN}作为一个约束优化施加在非\textbf{BN}的权重,通过它,我们证明了它的数据统计依赖的正则化参数的自动调整。我们还给出了分析证明其行为下的噪声输入的情况下,这揭示了信号与噪声调整的正则化参数。我们还通过MNIST数据集实验的经验结果证实了我们的主张。
2022-10-18 cs.LG stat.ML
Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift
Jagiellonian University(雅盖隆大学);Nomagic;New York University(纽约大学)
最近的研究表明,在半监督学习中使用未标记的数据并不总是有益的,甚至可能损害泛化,特别是当未标记和标记的示例之间存在类别不匹配时。我们在CIFAR-10和ImageNet数据集上研究了图像分类的这种现象,并应用了许多其他形式的域偏移(例如盐和胡椒噪声)。我们的主要贡献是分裂批量归一化(Split-BN),一种当额外的未标记数据来自移位分布时改善SSL的技术。我们实现它通过使用单独的批量归一化统计未标记的例子。由于其简单性,我们建议将其作为标准实践。最后,我们分析了域转移如何影响SSL训练过程。特别是,我们发现,在训练过程中,在未标记和标记的示例之间,后期层中隐藏激活的统计数据变得明显不同。
2019-04-06 cs.LG stat.ML
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University(中山大学);University of Oxford(牛津大学)
提出了一种权值相似性度量方法,可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性,我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值,该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法,研究了多层感知器(MLP)、卷积神经网络(CNN)和递归神经网络(RNN)的权值相似性度量,发现用随机梯度下降(SGD)算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
ZNorm: Z-Score Gradient Normalization Accelerating Skip-Connected Network Training without Architectural Modification
Stony Brook University(石溪大学)
针对深度神经网络尤其是跳跃连接架构的梯度消失与爆炸问题,提出无需修改网络结构的ZNorm梯度归一化方法,经多数据集验证其性能优于现有方法,可有效提升训练效率与医学影像等场景的模型效果。
2024-12-09 cs.LG
On the Effects of Batch and Weight Normalization in Generative Adversarial Networks
University of Southern California(南加州大学);Pinscreen;USC Institute for Creative Technologies(南加州大学创新技术研究院)
生成对抗网络(GANs)是一种高效的无监督学习框架,可以生成非常清晰的数据,即使是具有复杂、高度多峰分布的图像。然而,众所周知,GANs非常难以训练,存在模式崩溃和干扰视觉伪影等问题。批量归一化(BN)技术已被引入到解决的训练。虽然BN在开始时加速了训练,但我们的实验表明,BN的使用可能不稳定,并对训练模型的质量产生负面影响。BN和许多其他最近的计划,以改善GAN培训的评估是阻碍了缺乏一个有效的客观质量措施的GAN模型。为了解决这些问题,我们首先引入了一种用于GAN训练的权重归一化(WN)方法,该方法显着提高了生成样本的稳定性,效率和质量。为了进行系统的评估,我们在测试集上引入平方欧几里德重建误差作为新的客观度量,以评估生成样本的速度,稳定性和质量方面的训练性能。我们在常用数据集(CelebA,LSUN bedroom和CIFAR-10)上使用标准DCGAN架构进行的实验表明,对于GANs,使用WN进行训练通常优于BN,重建的均方损失降低了10%,并且比BN获得了更好的定性结果。我们进一步证明了WN在用CelebA数据集训练的21层ResNet上的稳定性。本文的代码可在https://github.com/stormraiser/gan-weightnorm-resnet上获得
2017-12-04 cs.CV cs.LG stat.ML
Accelerating Training of Batch Normalization: A Manifold Perspective
University of Chinese Academy of Sciences(中国科学院大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
批量归一化(BN)已成为各种深度神经网络的关键组件。具有BN的网络对正线性尺度变换具有不变性,这使得存在无穷多个不同权值尺度的功能等价网络。然而,使用一阶方法(例如随机梯度下降)优化这些等效网络将获得一系列收敛到不同局部最优值的迭代,这是由于它们在训练过程中的梯度不同。为了解决这个问题,我们提出了一个商流形\emph{PSI manifold},其中所有的等效权的网络BN被视为相同的元素。接下来,我们在建议的PSI流形上构造梯度下降和随机梯度下降来训练具有BN的网络。这两个算法保证了每一组等价权值(由正重标度引起)收敛到等价最优解。此外,我们给出了算法在PSI流形上的收敛速度。实验结果表明,与欧氏权值空间上的算法相比,该方法加快了训练速度。最后,实验结果表明,我们的算法一致提高现有的方法在收敛速度和泛化能力在各种实验设置。
2022-06-06 cs.LG
SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training
Microsoft Research(微软研究院)
针对自适应优化器内存开销大的问题,提出无状态优化器SWAN,通过对SGD梯度做归一化和白化处理,在大语言模型训练中实现与Adam相当甚至更优的性能,同时大幅降低内存成本、提升训练速度。
2025-02-21 cs.AI cs.LG
Stochastic Whitening Batch Normalization
LG Electronics Canada(LG电子加拿大公司);LG Electronics USA(LG电子美国公司)
批量归一化(BN)是一种用于训练深度神经网络(DNN)的流行技术。BN使用缩放和移位来规范化小批量的激活,以加速收敛并提高泛化能力。最近提出的迭代归一化(IterNorm)方法通过使用牛顿方法迭代地白化激活来改善这些特性。然而,由于牛顿方法在每个训练步骤中独立地对白化矩阵进行迭代,因此在连续步骤之间没有共享信息。在这项工作中,而不是在每个时间步的白化矩阵的精确计算,我们估计它逐渐在训练过程中以在线的方式,使用我们提出的随机白化批量归一化(SWBN)算法。我们表明,虽然SWBN提高了DNN的收敛速度和泛化能力,但其计算开销低于IterNorm。由于所提出的方法的高效率,它可以很容易地在大多数DNN架构与大量的层。我们提供了全面的实验和BN,IterNorm和SWBN层之间的比较,以证明所提出的技术在传统的(多镜头)图像分类和Few-Shot分类任务的有效性。
2021-06-03 cs.CV cs.LG
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky(数学系,肯塔基大学)
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法,分析了AdaGrad、RMSProp、Adam等算法的加速机制,并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
REX: Revisiting Budgeted Training with an Improved Schedule
Rice University(莱斯大学)
深度学习从业者通常在计算和货币预算上操作。因此,设计在任何预算下都能表现良好的优化算法至关重要。线性学习率调度被认为是最好的学习率感知的时间表,因为它在低预算制度中优于大多数其他时间表。另一方面,学习率调度--例如\texttt{30-60-90}步骤调度--已知在模型可以训练许多时期时实现高性能。然而,它往往是不知道一个人的预算是大还是小的先验,因此,学习率调度的最佳选择是在个案的基础上。在本文中,我们将学习率调度选择问题框架化为$i)$选择简档(即,对学习率调度进行建模的连续函数),以及$ii)$选择采样率(即,学习率从该简档被更新/采样的频率)。我们提出了一种新的配置文件和采样率组合称为反射指数(REX)的时间表,我们评估了7个不同的实验设置与SGD和亚当优化。REX在低预算状态下优于线性调度,同时在高预算和低预算状态下匹配或超过几种最先进的学习率调度(线性、阶跃、指数、余弦、平台阶跃衰减和OneCycle)的性能。此外,REX不需要额外的计算、存储或超参数。
2021-07-09 cs.LG
Layer Normalization
University of Toronto(多伦多大学);Google Inc.(谷歌公司)
训练最先进的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批量归一化的技术使用神经元在一小批训练案例上的求和输入的分布来计算均值和方差,然后将其用于归一化每个训练案例上该神经元的求和输入。这显著减少了前馈神经网络的训练时间。然而,批量归一化的效果取决于最小批量的大小,如何将其应用于递归神经网络还不是很明显。在本文中,我们通过计算用于归一化的均值和方差,将批量归一化转换为层归一化,这些均值和方差来自单个训练案例中层中神经元的所有求和输入。与批量归一化一样,我们也为每个神经元提供了自己的自适应偏置和增益,这些偏置和增益在归一化之后但在非线性之前应用。与批量归一化不同,层归一化在训练和测试时执行完全相同的计算。通过在每个时间步分别计算归一化统计量,也可以直接应用于递归神经网络。层规范化在稳定递归网络中的隐藏状态动态方面非常有效。从经验上讲,我们表明,层规范化可以大大减少训练时间相比,以前公布的技术。
2016-07-21 cs.LG stat.ML
Normalization Techniques in Training DNNs: Methodology, Analysis and Application
Inception Institute of Artificial Intelligence(人工智能 inception 研究所)
规范化技术对于加速深度神经网络(DNN)的训练和提高其泛化能力至关重要,并已成功用于各种应用。本文回顾和评论DNN训练背景下的规范化方法的过去,现在和未来。我们从优化的角度提供了不同方法背后的主要动机的统一图片,并提出了一个分类法来理解它们之间的相似性和差异。具体来说,我们将最具代表性的归一化激活方法的流水线分解为三个部分:归一化区域划分,归一化操作和归一化表示恢复。通过这样做,我们为设计新的归一化技术提供了见解。最后,我们讨论了目前的进展,在理解规范化方法,并提供了一个全面的审查的应用程序的特定任务,它可以有效地解决关键问题。
2020-09-27 cs.CV cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems(赛博拉思系统公司)
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似,它对样本维度进行归一化。虽然联机规格化不使用批次,但它与批量归一化一样精确。我们解决了批量归一化的理论局限性,通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下,如递归网络,全连接网络,以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay
HSE University(俄罗斯国立高等经济学院);Yandex(Yandex公司);AIRI(人工智能研究所)
用批量归一化和权重衰减训练神经网络近年来已成为一种常见的做法。在这项工作中,我们表明,它们的组合使用可能会导致优化动力学的一个令人惊讶的周期性行为:训练过程经常表现出不稳定,但是,不会导致完全发散,而是导致一个新的训练期。我们从经验和理论的角度严格调查所发现的周期性行为的机制,并分析它在实践中发生的条件。我们还证明,周期性行为可以被视为两个以前相反的观点与批量归一化和权重衰减,即均衡假设和不稳定的假设训练的推广。
2022-01-15 cs.LG stat.ML
How Does Batch Normalization Help Binary Training?
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Montreal(蒙特利尔大学)
二进制神经网络(BNN)的训练困难,且精度下降。在实践中,在缺少批量归一化(BatchNorm)层的情况下,BNN无法训练。我们发现BatchNorm的主要作用是避免BNN中的梯度爆炸。这一发现表明,为全精度网络开发的常用初始化方法与BNN无关。我们对BatchNorm在二进制训练中的作用进行了理论研究,并得到了数值实验的支持。
2020-04-29 cs.LG stat.ML
Mean Shift Rejection: Training Deep Neural Networks Without Minibatch Statistics or Normalization
AI Foundation(AI基金会)
已知深度卷积神经网络在高学习率的训练期间是不稳定的,除非采用归一化技术。归一化权重或激活允许使用更高的学习率,从而导致更快的收敛和更高的测试精度。批量归一化需要近似数据集统计的小批量统计,但这会导致额外的计算和内存成本,并导致分布式训练的通信瓶颈。权重标准化和仅初始化方案无法实现可比的测试精度。我们引入了对训练不稳定性原因的新理解,并提供了一种独立于归一化和小批量统计的技术。我们的方法将训练不稳定性视为空间共模信号,通过将模型放置在整个训练过程中保持的通道零均值等倾线上来抑制该信号。首先,我们应用具有整体单位核幅度的滤波器核的通道式零均值初始化。在每个训练步骤中,我们修改空间内核的梯度,以便减去它们的加权通道平均值,以保持共模抑制条件。这可以防止均值漂移的发生。这种新技术允许直接训练测试图,以便训练和测试模型是相同的。我们还证明了在训练过程中在整个网络中注入随机噪声可以提高泛化能力。这是基于这样的想法,即作为副作用,由于数据集近似的弱点,批量归一化通过注入小批量噪声来执行深度数据增强。与批量归一化相比,我们的技术实现了更高的准确性,并且首次表明小批量和归一化对于最先进的训练是不必要的。
2019-11-29 cs.CV cs.LG stat.ML
Generalizable Adversarial Training via Spectral Normalization
Stanford University(斯坦福大学)
深度神经网络(DNN)已经为各种监督学习任务设定了基准。然而,经过训练的DNN通常对输入的微小对抗性扰动缺乏鲁棒性,这破坏了它们真正的实用性。最近的工作通过使用对抗性扰动训练样本拟合网络来提高DNN的鲁棒性,但改进的性能仍然远远低于非对抗性设置中的性能。这种差距的很大一部分可以归因于对抗性训练导致的泛化性能下降。在这项工作中,我们将边际损失的概念扩展到对抗性设置,并限制了在几种著名的基于梯度的攻击方案下训练的DNN的泛化误差,从而激发了一种基于DNN权重矩阵的谱归一化的有效正则化方案。我们还提供了一种计算效率高的方法,用于在深度卷积网络中使用任意步幅和填充方案对卷积层的谱范数进行归一化。我们在数据集、网络架构和对抗训练方案的组合上广泛评估了谱归一化的能力。该代码可在https://github.com/jessemzhang/dl_spectral_normalization上获得。
2018-11-19 cs.LG stat.ML
Channel Normalization in Convolutional Neural Network avoids Vanishing Gradients
Rice University(莱斯大学);Technical University of Munich(慕尼黑工业大学)
规范化层广泛用于深度神经网络以稳定训练。在本文中,我们考虑在单个训练样本上用梯度下降训练卷积神经网络。这种优化问题出现在最近的解决逆问题的方法中,例如深度图像先验或深度解码器。我们表明,对于这种设置,通道归一化,中心和归一化每个通道单独,避免消失的梯度,而如果没有归一化,梯度消失,从而防止有效的优化。这种效应在深度单通道线性卷积网络中普遍存在,我们证明了在没有通道归一化的情况下,梯度下降至少需要指数级的许多步骤才能接近最佳值。相反,使用通道归一化,梯度保持有界,从而避免梯度爆炸。
2019-07-22 cs.LG stat.ML
On the effect of normalization layers on Differentially Private training of deep Neural networks
Spoken Language Systems Group(口语系统研究组);Saarland Informatics Campus(萨尔兰信息学园区);Saarland University(萨尔兰大学)
差分隐私随机梯度下降(DPSGD)是基于差分隐私(DP)范式的随机梯度下降的变体,它可以减轻由于训练数据中存在敏感信息而引起的隐私威胁。然而,使用DPSGD训练深度神经网络的一个主要缺点是模型准确性的降低。在本文中,我们研究了归一化层对DPSGD性能的影响。我们证明了归一化层显著影响具有噪声参数的深度神经网络的效用,并且应该被认为是DPSGD训练的基本成分。特别是,我们提出了一种新的方法集成批量归一化与DPSGD而不会产生额外的隐私损失。通过我们的方法,我们能够训练更深的网络,并实现更好的实用性和隐私权衡。
2021-12-07 cs.CR cs.LG stat.ML
Spectral Normalization for Generative Adversarial Networks
Preferred Networks, Inc.(优选网络公司);Ritsumeikan University(立命馆大学);National Institute of Informatics(国立信息学研究所)
生成对抗网络研究中的一个挑战是其训练的不稳定性。在本文中,我们提出了一种新的权重归一化技术,称为频谱归一化,以稳定训练的神经网络。我们新的规范化技术计算量小,易于纳入现有的实现。我们在CIFAR 10、STL-10和ILSVRC 2012数据集上测试了光谱归一化的有效性,并通过实验证实了光谱归一化GANs(SN-GANs)能够生成相对于先前训练稳定技术质量更好或相等的图像。
2018-02-16 cs.CV cs.LG stat.ML
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
SUNY Buffalo(纽约州立大学布法罗分校)
虽然批量归一化(BN)的作者确定并解决了训练深度网络中涉及的一个重要问题-内部协变量偏移-但当前的解决方案存在一定的缺陷。具体而言,BN依赖于训练期间逐层输入归一化的批量统计,这使得对隐藏层的输入(分布)的平均值和标准差的估计由于偏移参数值(特别是在初始训练时期期间)而对于验证不准确。此外,BN不能在训练期间与批量1一起使用。我们通过提出一种非自适应的归一化技术来消除内部协变量的偏移,我们称之为归一化传播来解决这些缺点。我们的方法不依赖于批量统计,而是在每一层中使用与数据无关的平均值和标准差的参数估计,因此与BN相比计算速度更快。我们利用了这样的观察结果,即在深度网络中,校正线性单元之前的预激活遵循高斯分布,并且一旦任何给定数据集的第一和第二顺序统计量被归一化,我们就可以向前传播这种归一化,而无需重新计算隐藏层的近似统计量。
2016-07-12 cs.LG stat.ML
Fixup Initialization: Residual Learning Without Normalization
MIT(麻省理工学院);Google Brain(谷歌大脑);Stanford University(斯坦福大学)
规范化层是最先进的深度神经网络架构中的主要内容。它们被广泛认为可以稳定训练,提高学习率,加速收敛和提高泛化能力,尽管它们有效性的原因仍然是一个活跃的研究课题。在这项工作中,我们通过证明没有一个感知到的好处是唯一的正常化来挑战普遍持有的信念。具体来说,我们提出了固定更新初始化(Fixup),这是一种通过适当地重新调整标准初始化来解决训练开始时梯度爆炸和消失问题的初始化。我们发现使用Fixup训练残差网络与使用归一化训练一样稳定-即使是具有10,000层的网络。此外,通过适当的正则化,Fixup可以使没有归一化的残差网络在图像分类和机器翻译中实现最先进的性能。
2019-03-12 cs.CV cs.LG stat.ML
Batch Normalization in Quantized Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在计算硬件上实现量化的神经网络导致相当大的速度提高和存储器节省。然而,量化的深度网络很难训练,而批量归一化(BatchNorm)层在训练全精度和量化的网络中起着重要作用。大多数关于BatchNorm的研究都集中在全精度网络上,很少有研究了解BatchNorm在量化训练中的影响。我们表明BatchNorm避免了梯度爆炸,这是违反直觉的,最近在其他研究人员的数值实验中观察到的。
2020-04-29 cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research(谷歌研究院)
批量归一化(BN)使用小批量统计数据来规范训练期间的激活,从而在小批量元素之间引入依赖性。如果mini-batch大小太小,或者元素是相关的,则这种依赖性会损害性能。已经提出了几种替代方案,例如批重正化和群归一化(GN)来解决这个问题。然而,它们要么不匹配BN的大批量的性能,或仍然表现出性能下降的小批量,或引入人工约束的模型架构。在本文中,我们提出了过滤器响应归一化(FRN)层,一个新的组合的归一化和激活函数,可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作,消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外,它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题,FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks
Tencent Technology(腾讯科技);The Chinese University of Hong Kong(香港中文大学);Nankai University(南开大学)
在这项工作中,我们提出了一种新的技术,以提高神经网络的训练效率。我们的工作是基于一个很好的想法,白化的神经网络的输入可以实现快速收敛速度。考虑到独立分量必须白化这一众所周知的事实,我们在每个权重层之前引入了一个新的独立分量(IC)层,其输入将变得更加独立。然而,确定独立分量是计算密集型任务。为了克服这一挑战,我们建议通过结合两种流行的技术来实现IC层,批量归一化和Dropout,以一种新的方式,我们可以严格证明Dropout可以二次减少互信息,并线性减少任何一对神经元之间的相关性,相对于dropout层参数$p$。实验结果表明,IC层在CIFAR 10/100和ILSVRC 2012数据集上的性能始终优于基线方法,具有更稳定的训练过程,更快的收敛速度和更好的收敛极限。我们的IC层的实现使我们重新思考神经网络设计中的常见做法。例如,我们不应该将批量归一化放在ReLU之前,因为ReLU的非负响应将使权重层以次优方式更新,并且我们可以通过将批量归一化和Dropout组合在一起作为IC层来实现更好的性能。
2019-05-15 cs.LG stat.ML
Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training
Graphcore Research(Graphcore研究院)
最近的研究致力于提高图像分类的训练和推理效率。这项工作通常集中在显式地提高理论效率,通常以每FLOP的ImageNet验证准确度来衡量。然而,这些理论上的节省在实践中被证明是具有挑战性的,特别是在高性能训练加速器上。在这项工作中,我们专注于提高最先进的EfficientNet模型在一类新的加速器Graphcore IPU上的实际效率。我们通过以下方式扩展这一系列模型来做到这一点:(i)将dependency卷积推广到组卷积;(ii)添加代理归一化激活,以匹配批量归一化性能与批量无关统计数据;(iii)通过降低训练分辨率和以更高分辨率进行廉价微调来减少计算。我们发现这三种方法都提高了训练和推理的实际效率。代码可在https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient获得。
2021-08-26 cs.CV cs.LG stat.ML
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training
Princeton University(普林斯顿大学);Zhongguancun Haihua Institute for Frontier Information Technology(中关村海华前沿信息技术研究院);Peking University(北京大学);Pazhou Lab(琶洲实验室);Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
已知归一化有助于深度神经网络的优化。奇怪的是,不同的架构需要专门的规范化方法。在本文中,我们研究了什么样的归一化对图神经网络(GNNs)是有效的。首先,我们调整和评估现有的方法从其他领域的GNN。与BatchNorm和LayerNorm相比,InstanceNorm实现了更快的收敛。我们通过展示InstanceNorm作为GNN的预处理器来提供解释,但是由于图数据集中的批量噪声,BatchNorm的预处理效果较弱。其次,我们证明了InstanceNorm中的移位操作会导致高度正则图的GNNs的表达能力下降。我们通过提出具有可学习转变的GraphNorm来解决这个问题。经验上,与使用其他归一化的GNN相比,使用GraphNorm的GNN收敛得更快。GraphNorm还提高了GNN的泛化能力,在图分类基准测试中实现了更好的性能。
2021-06-11 cs.LG math.OC stat.ML
Accelerating Training of Deep Neural Networks with a Standardization Loss
University of California, Berkeley(加州大学伯克利分校);Google AI(谷歌人工智能)
加速神经网络训练的一个重大进展是规范化方法的发展,允许更快和更准确地训练深度模型。这些进步带来了实际的挑战:例如,批量归一化将单个示例的预测与批量中的其他示例联系起来,导致网络严重依赖于批量大小。层归一化和组归一化依赖于数据,因此必须连续使用,即使在测试时也是如此。为了解决使用显式归一化技术所产生的问题,我们建议用一个简单的次要目标损失来取代现有的归一化方法,我们称之为标准化损失。该公式在不同的批量大小中是灵活和鲁棒的,并且令人惊讶的是,该次要目标加速了对主要训练目标的学习。因为它是一种训练损失,所以它在测试时被简单地删除,并且不需要进一步的努力来保持正常化的激活。我们发现,标准化损失加速了小型和大型图像分类实验的训练,适用于各种架构,并且在不同批量大小的训练中具有很大的鲁棒性。
2019-03-03 cs.AI cs.CV cs.LG
Why Spectral Normalization Stabilizes GANs: Analysis and Improvements
Carnegie Mellon University(卡内基梅隆大学)
频谱归一化(SN)是一种广泛使用的技术,用于提高生成对抗网络(GANs)的稳定性和样本质量。然而,目前对SN为什么有效的理解有限。在这项工作中,我们表明,SN控制两个重要的故障模式的GAN培训:爆炸和消失的梯度。我们的证明说明了与成功的LeCun初始化的(也许是无意的)联系。这种联系有助于解释为什么GANs最流行的SN实现不需要超参数调整,而更严格的SN实现具有开箱即用的经验性能差。与仅在训练开始时控制梯度消失的LeCun初始化不同,SN在整个训练过程中保留了此属性。基于这种理论理解,我们提出了一种新的光谱归一化技术:双向缩放光谱归一化(BSSN),它结合了后来对LeCun初始化的改进:Xavier初始化和Kaiming初始化。理论上,我们证明了BSSN比SN提供了更好的梯度控制。从经验上讲,我们证明了它在几个基准数据集上的样本质量和训练稳定性方面优于SN。
2021-04-08 cs.CV cs.LG stat.ML
On Fragile Features and Batch Normalization in Adversarial Training
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
现代深度学习架构利用批量归一化(BN)来稳定训练并提高准确性。已经表明,单独的BN层是令人惊讶的表现力。然而,在对抗性示例的鲁棒性方面,BN被认为会增加脆弱性。也就是说,BN有助于学习脆弱的特征。尽管如此,BN仍然用于对抗训练,这是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用,我们研究了BN的表达能力在多大程度上可以用于增强脆弱特征,而不是随机特征。在CIFAR10上,我们发现仅对BN层进行对抗性微调可以产生非平凡的对抗性鲁棒性。相反,从头开始只对抗训练BN层,无法传达有意义的对抗鲁棒性。我们的研究结果表明,脆弱特征可以用于学习具有中等对抗鲁棒性的模型,而随机特征则不能
2022-04-26 cs.CR cs.CV cs.LG
An Empirical Investigation of Global and Local Normalization for Recurrent Neural Sequence Models Using a Continuous Relaxation to Beam Search
Carnegie Mellon University(卡内基梅隆大学);Deepmind(深度思考);University of California, San Diego(加利福尼亚大学圣迭戈分校)
全局归一化神经序列模型被认为优于其局部归一化等效模型,因为它们可以改善标签偏差的影响。然而,当考虑对整个输入序列有条件的高容量神经参数化时,两个模型类在它们能够表示的分布方面理论上是等价的。因此,在现代神经方法的背景下,全局归一化的实际优势仍然不清楚。在本文中,我们试图通过实证研究来阐明这一问题。我们通过束搜索的连续松弛来扩展搜索感知训练的方法(Goyal等人,2017 b),以便通过简单的反向传播来训练全局归一化的递归序列模型。然后,我们使用这种技术进行全球规范化,高容量编码器和搜索感知优化之间的相互作用的实证研究。我们观察到,在不精确搜索的背景下,全局归一化神经模型仍然比局部归一化模型更有效。此外,由于我们的训练方法对预训练模型的热启动敏感,我们还提出了一种新的基于自归一化的初始化策略,用于预训练全局归一化模型。我们在两个任务上对我们的方法进行了分析:CCG超级标记和机器翻译,并在使用搜索感知训练的同时,在不同条件下展示了全局规范化的重要性。
2019-04-15 cs.CL cs.LG stat.ML
Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong(香港中文大学);SenseTime Group Ltd.(商汤集团有限公司)
作为一个不可或缺的组件,批量归一化(BN)通过对每个隐藏层的内部表示的分布进行归一化,成功地改进了具有小批量的深度神经网络(DNN)的训练。然而,BN的有效性将随着微批量的场景(例如,小批量中少于10个样本),因为小批量中的估计统计量在样本不足的情况下不可靠。在本文中,我们提出了一种新的归一化方法,称为批量卡尔曼归一化(BKN),用于改进和加速DNN的训练,特别是在微批量的背景下。具体来说,与现有的解决方案将每个隐藏层视为孤立系统不同,BKN将网络中的所有层视为一个整体系统,并通过考虑其所有先前层的分布来估计某个层的统计数据,模仿卡尔曼滤波的优点。BKN有两个吸引人的特性。首先,与以前的作品相比,它可以实现更稳定的训练和更快的收敛。其次,使用BKN训练DNN的性能明显优于使用BN及其变体的DNN,特别是当呈现非常小的小批量时。在ImageNet的图像分类基准测试中,使用BKN驱动的网络,我们改进了最佳发布的模型动物园结果:InceptionV 2的top-1 val准确率达到74.0%。更重要的是,使用BKN可以以极小的批量实现相当的准确性,例如在CIFAR-10/100上小64倍,在ImageNet上小8倍。
2018-02-28 cs.CV cs.LG stat.ML
Budgeted Learning of Naive-Bayes Classifiers
University of Alberta(阿尔伯塔大学)
通常,获取训练数据具有相关联的成本。我们考虑的情况下,学习者可以购买数据在训练过程中,受预算。特别地,我们研究了每个特征标签都有相关成本的情况,并且在训练过程中获得的所有特征标签的总成本不得超过预算。本文比较了在给定预算和朴素贝叶斯模型参数的当前信念状态的情况下,选择下一个购买哪个特征标签的方法。而主动学习传统上专注于查询选择的近视(贪婪)策略,本文提出了一种将预算知识融入决策过程的易处理的方法,它提高了绩效。
2012-10-19 cs.LG stat.ML
Four Things Everyone Should Know to Improve Batch Normalization
University of Auckland(奥克兰大学)
大多数神经网络架构的一个关键组成部分是使用规范化层,例如批量归一化。尽管它在优化深层架构方面的常见用途和巨大效用,但在批量归一化上进行一般性改进以及了解适合其他增强的情况都是具有挑战性的。在本文中,我们确定了对批量归一化的通用形式的四项改进以及它们的工作环境,从而在所有批量大小下获得性能提升,同时在训练期间不需要额外的计算。这些贡献包括:提出了一种推理方法,用于推理规范化统计中的当前示例,固定训练与推理差异;识别和验证Ghost批量归一化对小批量和中等批量的强大正则化效果;检查权重衰减正则化对缩放和移位参数gamma和beta的影响;通过结合Batch和Group Normalization的优势,为非常小的批量确定一种新的规范化算法。我们在六个数据集上实证验证了我们的结果:CIFAR-100,SVHN,Caltech-256,Oxford Flowers-102,CUB-2011和ImageNet。
2020-02-14 cs.CV cs.LG stat.ML
Class Normalization for (Continual)? Generalized Zero-Shot Learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院)
规范化技术已被证明是在传统的监督学习制度中成功训练的关键因素。然而,在零样本学习(zero-shot learning,简称ZRL)的世界里,这些想法只受到了边缘关注。本文从理论和实践两个方面研究了网络环境下的规范化问题。首先,我们对零样本学习中使用的两种流行技巧进行了理论解释:normalize+scale和attributes normalization,并表明它们通过在向前传递过程中保留方差来帮助训练。接下来,我们证明了它们不足以规范化一个深度的XML模型,并提出了类规范化(CN):一个规范化方案,它在可证明性和实践中都证明了这个问题。第三,我们表明,与传统的分类器相比,EML模型通常有更多的不规则损失面,所提出的方法部分地解决了这个问题。然后,我们在4个标准的MLP数据集上测试了我们的方法,并通过一个简单的MLP优化,没有任何花哨的东西,并且训练速度快了50倍,胜过了复杂的现代SotA。最后,我们将CNOL推广到一个更广泛的问题--持续的CNOL,并为这个新设置引入一些原则性的度量标准和严格的基线。项目页面位于https://universome.github.io/class-norm。
2021-04-14 cs.CV cs.LG stat.ML
Transformers without Tears: Improving the Normalization of Self-Attention
University of Notre Dame(圣母大学);Amazon AWS AI(亚马逊AWS人工智能)
我们评估了三个简单的、以规范化为中心的变化,以改进Transformer培训。首先,我们证明了预范数残差连接(PreNorm)和较小的初始化可以实现无预热,基于验证的训练,具有较大的学习率。其次,我们提出了使用单个尺度参数(ScaleNorm)的$\ell_2$归一化,以实现更快的训练和更好的性能。最后,我们重申了将词嵌入规范化为固定长度(FixNorm)的有效性。在基于TED Talks的语料库中的五个低资源翻译对上,这些变化总是收敛的,在最先进的双语基线上给出平均+1.1 BLEU,在IWELT的15个英语-越南语上给出新的32.8 BLEU。我们观察到更清晰的性能曲线,更一致的梯度规范,以及激活缩放和解码器深度之间的线性关系。令人惊讶的是,在高资源设置(WMT'14英语-德语)中,ScaleNorm和FixNorm仍然具有竞争力,但PreNorm降低了性能。
2019-12-30 cs.CL cs.LG stat.ML
Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks
AI for Good Istituto Italiano di Tecnologia(AI for Good 意大利技术研究院);DITEN University of Genoa(DITEN Genoa大学);State Key Laboratory of Novel Software Technology School of Intelligence Science and Technology(新型软件技术国家重点实验室 智能科学与技术学院);School of Artificial Intelligence Nanjing University(人工智能学院 南京大学);Department of Computer Science University of Verona(计算机科学系 Verona大学)
研究训练时批量归一化在分段仿射网络中通过切换超平面几何和诱导的仿射区域分区影响局部分区精度。
2026-11-17 cs.LG stat.ML
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
University of Florida(佛罗里达大学);Naval Postgraduate School(海军研究生院)
利用最近引入的统计和定量风险管理的概念,我们提出了一个一般的批量归一化(BN),提供加速收敛的神经网络训练相比,传统的BN。总的来说,我们表明均值和标准差并不总是BN变换中居中和缩放过程的最合适选择,特别是如果ReLU遵循归一化步骤。我们提出了一个广义批量归一化(GBN)的转换,它可以利用各种替代的偏差测量的缩放和统计中心,选择自然产生的广义偏差测量理论和风险理论一般。当与ReLU非线性结合使用时,潜在的风险理论为偏差度量和统计提供了自然的、可以说是最佳的选择。利用建议的偏差测量和统计,我们通过实验表明,训练速度比传统BN更快,通常也具有改进的出错率。总的来说,我们提出了一个更灵活的BN转换支持的一个互补的理论框架,可以潜在地指导设计选择。
2018-12-08 cs.LG stat.ML
Batch Normalization is a Cause of Adversarial Vulnerability
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Waterloo(滑铁卢大学);Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University College London(伦敦大学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Google Brain(谷歌大脑)
批量归一化(batch normalization)通常用于稳定和加速深度神经网络中的训练。在许多情况下,它确实减少了实现低训练误差所需的参数更新次数。然而,它也降低了对小的对抗性输入扰动和噪声的鲁棒性,如我们在五个标准数据集上所示。此外,用权重衰减代替批量范数足以消除对抗脆弱性与输入维度之间的关系。我们的工作是一致的平均场分析,发现批量规范导致爆炸梯度。
2019-05-29 cs.LG stat.ML
Instance Enhancement Batch Normalization: an Adaptive Regulator of Batch Noise
National University of Singapore(新加坡国立大学);Northwestern University(西北大学);Purdue University(普渡大学);New Oriental AI Research Academy(新东方人工智能研究院)
批量归一化(BN)(Ioffe和Szegedy 2015)通过一批图像的统计数据对输入图像的特征进行归一化,因此BN将噪声带入训练损失的梯度。以往的研究表明,噪声对于深度神经网络的优化和泛化是重要的,但过多的噪声会损害网络的性能。本文提出了一种新的观点,即自注意机制可以通过增强实例特定信息来调节噪声,从而获得更好的正则化效果。因此,我们提出了一种基于注意力的BN称为实例增强批量归一化(IEBN),通过简单的线性变换重新校准每个通道的信息。IEBN具有良好的噪声调节和稳定网络训练的能力,即使在训练过程中存在两种噪声攻击,也能提高泛化能力。最后,IEBN优于BN,只有一个光参数增量在图像分类任务为不同的网络结构和基准数据集。
2019-09-18 cs.CV cs.LG stat.ML
On Feature Normalization and Data Augmentation
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);ASAPP(ASAPP公司);Facebook AI(Facebook人工智能实验室)
时刻(A.K.A.,平均值和标准偏差)在训练图像识别模型时通常作为噪声被去除,以增加稳定性并减少训练时间。然而,在图像生成领域,矩扮演着更加核心的角色。研究表明,实例归一化和位置归一化提取的矩可以粗略地捕捉图像的风格和形状信息。而不是被丢弃,这些时刻是工具的生成过程。在本文中,我们提出了矩交换,一个隐式的数据增强方法,鼓励模型利用矩信息也识别模型。具体来说,我们将一个训练图像的学习特征的矩替换为另一个训练图像的学习特征的矩,并对目标标签进行插值--迫使模型除了从归一化特征中提取训练信号外,还从矩中提取训练信号。由于我们的方法速度快,完全在特征空间中操作,并且混合了与现有方法不同的信号,因此可以将其与现有的增强方法有效地结合起来。我们在几个识别基准数据集上证明了它的有效性,它提高了高度竞争的基线网络的泛化能力,具有显着的一致性。
2021-03-30 cs.CL cs.CV cs.LG
Why Regularized Auto-Encoders learn Sparse Representation?
SUNY Buffalo(纽约州立大学布法罗分校)
虽然Batch Normalization(BN)的作者确定并解决了训练深度网络所涉及的一个重要问题-- \textit{Internal Covariate Shift} --但目前的解决方案存在某些缺陷。例如,BN依赖于训练期间逐层输入归一化的批量统计,这使得对隐藏层的输入(分布)的平均值和标准差的估计由于偏移参数值而不准确(特别是在初始训练时期期间)。BN的另一个基本问题是它不能在训练期间与批量大小的$ 1 $一起使用。我们提出了一个非自适应的归一化技术,我们称之为\textit{Normalization Propagation},以消除协变量移位BN的这些缺点。我们的方法不依赖于批量统计,而是在每一层中使用与数据无关的平均值和标准差的参数估计,因此与BN相比计算速度更快。我们利用了这样的观察结果,即在深度网络中,校正线性单元之前的预激活遵循高斯分布,并且一旦任何给定数据集的第一和第二顺序统计量被归一化,我们就可以向前传播这种归一化,而无需重新计算隐藏层的近似统计量。
2016-06-17 cs.CV cs.LG stat.ML
A Generative Model for Score Normalization in Speaker Recognition
Nuance Communications, Inc.(Nuance通信公司)
我们提出了一个理论框架来思考分数归一化,这证实了在(公认脆弱的)理想条件下不需要归一化。然而,如果这些条件不满足,例如在训练和运行时之间的数据集转换,我们的理论揭示了分数之间的依赖关系,可以通过分数归一化等策略来利用。事实上,它已经证明了一遍又一遍的实验,各种ad-hoc得分归一化食谱做工作。我们首次尝试使用概率论来设计一个生成分数空间归一化模型,该模型在文本相关的RSR 2015数据库上对ZT范数进行了类似的改进。
2017-09-28 cs.LG cs.SD eess.AS
Emergence of Grid-like Representations by Training Recurrent Networks with Conformal Normalization
University of California, Los Angeles(加州大学洛杉矶分校);UT Southwestern Medical Center(德克萨斯大学西南医学中心);UT Austin(德克萨斯大学奥斯汀分校)
本文提出对 RNN 输入速度进行共形归一化,使高维神经表征位移与二维物理位移成比例,从理论和实验上证明该机制是各类循环网络涌现六边形网格模式的关键。
2024-02-20 cs.LG q-bio.NC stat.ML
Transfer Learning for Speech Recognition on a Budget
Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
自动语音识别(ASR)系统的端到端训练需要大量数据和计算资源。我们探索基于模型自适应的迁移学习,作为在受限的GPU内存、吞吐量和训练数据下训练ASR模型的方法。我们进行了几个系统的实验,适应Wav2Letter卷积神经网络最初训练英语ASR的德语。我们表明,这种技术可以更快地训练消费级资源,同时需要更少的训练数据,以达到相同的准确性,从而降低其他语言的培训ASR模型的成本。模型内省表明,对网络权重的小调整足以获得良好的性能,特别是对于内层。
2017-06-01 cs.CL cs.LG cs.NE
Towards Understanding Regularization in Batch Normalization
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学)
本文通过理论分析探讨了批量归一化在神经网络训练中的收敛性和泛化能力,揭示了批量归一化作为隐式正则化的作用,并通过实验验证了其在卷积神经网络中的正则化特性。
2019-04-24 cs.CV cs.LG cs.SY