Towards an Adversarially Robust Normalization Approach
Kyung-He University（庆熙大学）；Information Technology University（信息技术大学）
批量归一化（BatchNorm）对于提高深度神经网络的性能和加速训练是有效的。然而，它也被证明是对抗脆弱性的一个原因，即，没有它的网络对对抗攻击更健壮。在本文中，我们研究了BatchNorm如何导致这种漏洞，并提出了新的规范化，对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布，这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设，取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现，如果我们使用这些统计数据，BatchNorm的对抗性脆弱性就会消失。但是，如果没有估计的批次统计数据，我们就不能在实践中使用BatchNorm。为了减轻这种情况，我们提出了鲁棒归一化（RobustNorm）; BatchNorm的一个对抗性鲁棒版本。我们的实验表明，使用RobustNorm训练的模型在对抗环境中表现更好，同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
Layer Normalization
University of Toronto（多伦多大学）；Google Inc.（谷歌公司）
训练最先进的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批量归一化的技术使用神经元在一小批训练案例上的求和输入的分布来计算均值和方差，然后将其用于归一化每个训练案例上该神经元的求和输入。这显著减少了前馈神经网络的训练时间。然而，批量归一化的效果取决于最小批量的大小，如何将其应用于递归神经网络还不是很明显。在本文中，我们通过计算用于归一化的均值和方差，将批量归一化转换为层归一化，这些均值和方差来自单个训练案例中层中神经元的所有求和输入。与批量归一化一样，我们也为每个神经元提供了自己的自适应偏置和增益，这些偏置和增益在归一化之后但在非线性之前应用。与批量归一化不同，层归一化在训练和测试时执行完全相同的计算。通过在每个时间步分别计算归一化统计量，也可以直接应用于递归神经网络。层规范化在稳定递归网络中的隐藏状态动态方面非常有效。从经验上讲，我们表明，层规范化可以大大减少训练时间相比，以前公布的技术。
2016-07-21 cs.LG stat.ML
Unsupervised Out-of-Distribution Detection with Batch Normalization
Stanford University（斯坦福大学）
来自生成模型的似然比是用于检测分布外（OoD）样本的自然统计量。然而，与来自训练分布的样本相比，生成模型已被证明为OoD样本分配更高的可能性，从而防止简单的基于阈值的检测规则。我们证明，OoD检测失败，即使使用更复杂的统计数据的基础上的个人样本的可能性。为了解决这些问题，我们提出了一种新的方法，利用批量归一化。我们认为，生成模型的批量归一化挑战了传统的独立同分布。数据假设，并改变相应的最大似然目标。基于这一见解，我们建议利用批量依赖关系进行OoD检测。实证结果表明，这导致更强大的检测高维图像。
2019-10-21 cs.LG stat.ML
Finet: Using Fine-grained Batch Normalization to Train Light-weight Neural Networks
为了构建轻量级网络，我们提出了一种新的规范化，细粒度批量归一化（FBN）。与批量归一化（BN）不同的是，FBN对加权输入的最终求和进行归一化，而FBN对求和的中间状态进行归一化。我们提出了一种新的轻量级网络的基础上FBN，称为Finet。在训练时，具有FBN的卷积层可以被视为反向瓶颈机制。FBN可以在推理时融合到卷积中。融合后的Finet采用等通道宽度的标准卷积，从而提高了推理效率。在ImageNet分类数据集上，Finet实现了最先进的性能（43M FLOPs的准确率为65.706%，303M FLOPs的准确率为73.786%），而且，实验表明Finet比其他最先进的轻量级网络更有效。
2020-05-14 cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems（赛博拉思系统公司）
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似，它对样本维度进行归一化。虽然联机规格化不使用批次，但它与批量归一化一样精确。我们解决了批量归一化的理论局限性，通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下，如递归网络，全连接网络，以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
Four Things Everyone Should Know to Improve Batch Normalization
University of Auckland（奥克兰大学）
大多数神经网络架构的一个关键组成部分是使用规范化层，例如批量归一化。尽管它在优化深层架构方面的常见用途和巨大效用，但在批量归一化上进行一般性改进以及了解适合其他增强的情况都是具有挑战性的。在本文中，我们确定了对批量归一化的通用形式的四项改进以及它们的工作环境，从而在所有批量大小下获得性能提升，同时在训练期间不需要额外的计算。这些贡献包括：提出了一种推理方法，用于推理规范化统计中的当前示例，固定训练与推理差异;识别和验证Ghost批量归一化对小批量和中等批量的强大正则化效果;检查权重衰减正则化对缩放和移位参数gamma和beta的影响;通过结合Batch和Group Normalization的优势，为非常小的批量确定一种新的规范化算法。我们在六个数据集上实证验证了我们的结果：CIFAR-100，SVHN，Caltech-256，Oxford Flowers-102，CUB-2011和ImageNet。
2020-02-14 cs.CV cs.LG stat.ML
Training Deep Neural Networks Without Batch Normalization
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
训练神经网络是一个优化问题，通过梯度下降找到一组合适的参数可能是一项困难的任务。在培训之前和培训期间，已经开发了一系列技术来帮助这一过程。其中最重要和最广泛使用的一类方法是归一化。神经元接收零均值和单位方差分布的输入通常是有利的，因此我们在第一层之前使用关于数据集的统计数据对其进行归一化。然而，对于网络内部的中间激活，不能保证该属性。在网络内部实施此属性的一种广泛使用的方法是批量归一化。它被开发用于对抗网络内部的协变量偏移。从经验上讲，它是已知的工作，但缺乏理论上的理解，其有效性和潜在的缺点，它可能会在实践中使用。本文详细研究了批量归一化方法，并将其与权值归一化、梯度裁剪和丢弃等方法进行了比较。这项工作的主要目的是，以确定是否有可能有效地训练网络时，批量归一化是通过适应的训练过程中删除。
2020-08-18 cs.LG stat.ML
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
On Batch Orthogonalization Layers
University of Ottawa（渥太华大学）
批量归一化在许多最先进的网络中已经变得无处不在。它可以加速训练并产生良好的性能结果。然而，有各种其他的替代标准化，例如正交标准化。本文的目的是探讨可能的替代方案，以通道归一化与正交归一化层。的算法的性能进行比较，连同BN规定的性能指标。
2018-12-07 cs.LG stat.ML
Batch Normalization is a Cause of Adversarial Vulnerability
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Waterloo（滑铁卢大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Google Brain（谷歌大脑）
批量归一化（batch normalization）通常用于稳定和加速深度神经网络中的训练。在许多情况下，它确实减少了实现低训练误差所需的参数更新次数。然而，它也降低了对小的对抗性输入扰动和噪声的鲁棒性，如我们在五个标准数据集上所示。此外，用权重衰减代替批量范数足以消除对抗脆弱性与输入维度之间的关系。我们的工作是一致的平均场分析，发现批量规范导致爆炸梯度。
2019-05-29 cs.LG stat.ML
On the Periodic Behavior of Neural Network Training with Batch Normalization and Weight Decay
HSE University（俄罗斯国立高等经济学院）；Yandex（Yandex公司）；AIRI（人工智能研究所）
用批量归一化和权重衰减训练神经网络近年来已成为一种常见的做法。在这项工作中，我们表明，它们的组合使用可能会导致优化动力学的一个令人惊讶的周期性行为：训练过程经常表现出不稳定，但是，不会导致完全发散，而是导致一个新的训练期。我们从经验和理论的角度严格调查所发现的周期性行为的机制，并分析它在实践中发生的条件。我们还证明，周期性行为可以被视为两个以前相反的观点与批量归一化和权重衰减，即均衡假设和不稳定的假设训练的推广。
2022-01-15 cs.LG stat.ML
Batch Normalization Sampling
Tsinghua University（清华大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
近年来，深度神经网络（DNN）蓬勃发展，其中批量归一化（BN）起着不可或缺的作用。然而，已经观察到BN由于还原操作而成本高。在本文中，我们建议通过在每次迭代中只对一小部分数据进行采样进行归一化来缓解这个问题。具体来说，我们将其建模为统计抽样问题，并确定通过对相关性较低的数据进行抽样，可以大大减少BN中统计估计所需的数据数量，从而直接简化了约简操作。基于这一结论，本文提出了两种采样策略：“批量采样”（从每批样本中随机抽取若干个样本）和“特征采样”（从所有样本的每个特征图中随机抽取一个小块），兼顾了计算效率和样本相关性。此外，我们引入了一个非常简单的BN的变体，称为虚拟数据集归一化（VDN），它可以用很少的合成随机样本很好地归一化激活。所有提出的方法都在各种数据集和网络上进行了评估，其中GPU上的整体训练加速高达20%，而无需任何专业库的支持，并且准确性和收敛速度的损失可以忽略不计。最后，我们将我们的工作扩展到“微批量归一化“问题，并在小批量的情况下产生与现有方法相当的性能。
2018-11-02 cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Cross-Iteration Batch Normalization
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
批量归一化的一个众所周知的问题是，在小批量的情况下，其有效性显著降低。当一个小批量包含很少的例子时，在训练迭代期间，不能可靠地从它估计定义规范化的统计数据。为了解决这个问题，我们提出了交叉迭代批量归一化（CBN），其中的例子，从多个最近的迭代联合使用，以提高估计质量。在多次迭代中计算统计数据的一个挑战是，由于网络权重的变化，来自不同迭代的网络激活彼此不可比较。因此，我们通过一种基于泰勒多项式的技术补偿网络权重的变化，从而可以准确地估计统计数据，并有效地应用批量归一化。在目标检测和图像分类与小的小批量大小，CBN被发现优于原来的批量归一化和直接计算的统计数据在以前的迭代没有建议的补偿技术。代码可在https://github.com/Howal/Cross-iterationBatchNorm上获得。
2021-03-25 cs.CV cs.LG stat.ML
Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift
Jagiellonian University（雅盖隆大学）；Nomagic；New York University（纽约大学）
最近的研究表明，在半监督学习中使用未标记的数据并不总是有益的，甚至可能损害泛化，特别是当未标记和标记的示例之间存在类别不匹配时。我们在CIFAR-10和ImageNet数据集上研究了图像分类的这种现象，并应用了许多其他形式的域偏移（例如盐和胡椒噪声）。我们的主要贡献是分裂批量归一化（Split-BN），一种当额外的未标记数据来自移位分布时改善SSL的技术。我们实现它通过使用单独的批量归一化统计未标记的例子。由于其简单性，我们建议将其作为标准实践。最后，我们分析了域转移如何影响SSL训练过程。特别是，我们发现，在训练过程中，在未标记和标记的示例之间，后期层中隐藏激活的统计数据变得明显不同。
2019-04-06 cs.LG stat.ML
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
University of Florida（佛罗里达大学）；Naval Postgraduate School（海军研究生院）
利用最近引入的统计和定量风险管理的概念，我们提出了一个一般的批量归一化（BN），提供加速收敛的神经网络训练相比，传统的BN。总的来说，我们表明均值和标准差并不总是BN变换中居中和缩放过程的最合适选择，特别是如果ReLU遵循归一化步骤。我们提出了一个广义批量归一化（GBN）的转换，它可以利用各种替代的偏差测量的缩放和统计中心，选择自然产生的广义偏差测量理论和风险理论一般。当与ReLU非线性结合使用时，潜在的风险理论为偏差度量和统计提供了自然的、可以说是最佳的选择。利用建议的偏差测量和统计，我们通过实验表明，训练速度比传统BN更快，通常也具有改进的出错率。总的来说，我们提出了一个更灵活的BN转换支持的一个互补的理论框架，可以潜在地指导设计选择。
2018-12-08 cs.LG stat.ML
Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks
ETH Zurich（苏黎世联邦理工学院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
已知随机初始化的神经网络随着深度的增加而变得更难训练，除非使用诸如剩余连接和批量归一化之类的架构增强。在这里，我们通过重新审视深度网络中的随机初始化与随机矩阵乘积中的谱不稳定性之间的联系来研究这一现象。考虑到随机矩阵的丰富文献，发现非规范化网络中的中间表示的秩随着深度的增加而迅速崩溃并不奇怪。在这项工作中，我们强调了一个事实，即批量归一化是避免线性和ReLU网络排名崩溃的有效策略。利用马尔可夫链理论的工具，我们得到了一个有意义的深度线性网络的秩下界。从经验上讲，我们还证明了这种秩鲁棒性可以推广到ReLU网络。最后，我们在真实世界的数据集上进行了一系列广泛的实验，证实了秩稳定性确实是训练现代深度神经架构的关键条件。
2020-06-11 cs.LG stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization
Fudan University（复旦大学）；Megvii Technology（旷视科技）
批量归一化（BN）是深度学习领域中应用最广泛的技术之一。但是，如果批量大小不足，其性能会严重下降。这一弱点限制了BN在许多计算机视觉任务（如检测或分割）中的使用，由于内存消耗的限制，批量大小通常很小。因此，许多改进的归一化技术被提出，这些技术要么不能完全恢复BN的性能，要么必须在推理过程中引入额外的非线性运算，增加巨大的消耗。在本文中，我们发现，有两个额外的批量统计参与BN的反向传播，这是从来没有得到很好的讨论。与梯度相关的额外批量统计也会严重影响深度神经网络的训练。在此基础上，提出了一种新的归一化方法--移动平均批量归一化（MABN）。MABN可以完全恢复香草BN在小批量情况下的性能，而无需在推理过程中引入任何额外的非线性操作。我们通过理论分析和实验证明了MABN的优点。我们的实验证明了MABN在包括ImageNet和COCO在内的多个计算机视觉任务中的有效性。该代码已在https://github.com/megvii-model/MABN上发布。
2020-04-08 cs.CV cs.LG stat.ML
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；POSTECH（浦项科技大学）
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域，同时允许它们共享所有其他模型参数，这是通过两阶段算法实现的。在第一阶段，我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如，MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意，这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出，我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估，并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Theoretical Insight into Batch Normalization: Data Dependant Auto-Tuning of Regularization Rate
批量归一化广泛用于深度学习中，以规范化中间激活。众所周知，深度网络的训练复杂性增加，需要仔细初始化权重，需要较低的学习率等。这些问题已经通过批量归一化（\textbf{BN}）解决，通过将激活的输入归一化为零均值和单位标准差。将这种批量归一化作为训练过程的一部分，可以大大加快深度网络的训练过程。一个新的研究领域已经开始研究\textbf{BN}成功背后的确切理论解释。大多数这些理论见解试图解释\textbf{BN}的好处，将它们放在优化，权重标度不变性和正则化的影响上。尽管\textbf{BN}在加速泛化方面取得了不可否认的成功，但在分析上将\textbf{BN}的效果与正则化参数联系起来的差距仍然缺失。本文的目的是提出的数据依赖的正则化参数的\textbf{BN}的分析证明。我们提出了\textbf{BN}作为一个约束优化施加在非\textbf{BN}的权重，通过它，我们证明了它的数据统计依赖的正则化参数的自动调整。我们还给出了分析证明其行为下的噪声输入的情况下，这揭示了信号与噪声调整的正则化参数。我们还通过MNIST数据集实验的经验结果证实了我们的主张。
2022-10-18 cs.LG stat.ML
How Does Batch Normalization Help Optimization?
MIT（麻省理工学院）
批量归一化（BatchNorm）是一种广泛采用的技术，可以更快、更稳定地训练深度神经网络（DNN）。尽管BatchNorm很普遍，但其有效性的确切原因仍然知之甚少。流行的观点是，这种有效性源于在训练期间控制层的输入分布的变化，以减少所谓的“内部协变量偏移”。在这项工作中，我们证明了这种层输入的分布稳定性与BatchNorm的成功关系不大。相反，我们发现了BatchNorm对训练过程的一个更根本的影响：它使优化环境变得更加平滑。这种平滑性导致梯度的预测性和稳定性更高，从而允许更快的训练。
2019-04-15 cs.LG cs.NE stat.ML
Riemannian batch normalization for SPD neural networks
Thales Air Systems（泰雷兹空中系统公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
协方差矩阵由于其能够捕捉数据中有趣的结构而在机器学习应用中引起了人们的关注。主要的挑战是需要考虑它们所属的对称正定（SPD）矩阵的黎曼流形的特殊几何。在深度网络的背景下，最近已经提出了这些矩阵的几种架构。在我们的文章中，我们介绍了一个黎曼批量归一化（batchnorm）算法，它推广了欧几里德网中使用的算法。这个新的层利用流形上的几何运算，特别是黎曼重心，并行传输和非线性结构矩阵变换。我们推导出一个新的流形约束梯度下降算法工作在SPD矩阵的空间，允许学习batchnorm层。我们验证了我们提出的方法与实验在三个不同的上下文中不同的数据类型：从雷达观测的无人机识别数据集，并从视频和动作捕捉数据的情感和动作识别数据集。实验结果表明，黎曼批范数系统地给出了更好的分类性能相比，领先的方法和一个显着的鲁棒性缺乏数据。
2019-09-12 cs.LG stat.ML
Improvement of Batch Normalization in Imbalanced Data
Yamagata University（山形大学）
在这项研究中，我们考虑在数据不平衡的环境下基于神经网络的分类问题。不平衡数据集的学习是机器学习领域中最重要和最实用的问题之一。基于代价敏感方法的加权损失函数是一种非常有效的非平衡数据集处理方法。在这项研究中，我们考虑了加权损失函数和批量归一化（BN）的组合。BN是深度学习最新发展中的一种强大的标准技术。这两种方法的简单组合会导致大小不匹配问题，这是由于两种方法中数据集有效大小的解释之间不匹配。我们提出了一个简单的修改BN来纠正大小不匹配，并证明了这种修改后的BN是有效的数据不平衡的环境。
2019-11-25 cs.LG stat.ML
Recurrent Batch Normalization
MILA - Université de Montréal（MILA - 蒙特利尔大学）
我们提出了一种LSTM的重新参数化，它为递归神经网络带来了批量归一化的好处。鉴于以前的工作只适用于批量归一化的输入到隐藏的RNN的转换，我们证明了它是可能的，也是有益的批量归一化隐藏到隐藏的过渡，从而减少内部协变量偏移之间的时间步长。我们评估我们的建议，如序列分类，语言建模和问答的各种顺序问题。我们的实证结果表明，我们的批量规范化LSTM始终导致更快的收敛和更好的泛化。
2017-02-28 cs.LG
Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks
DeepMind（深度思维）
批量归一化极大地增加了残差网络的最大可训练深度，这一优势对于深度残差网络在广泛的基准测试中取得经验性成功至关重要。我们发现，这一关键的好处，因为在初始化，批量归一化缩小规模的剩余分支相对于跳过连接，通过一个归一化因子的网络深度的平方根的顺序。这确保了在训练的早期，由深度网络中的归一化残差块计算的函数接近于单位函数（平均而言）。我们利用这一洞察力开发了一个简单的初始化方案，可以训练深度残差网络，而无需归一化。我们还提供了对残差网络的详细实证研究，阐明了尽管批量归一化网络可以用更大的学习率进行训练，但这种效果仅在特定的计算机制中有益，并且当批量大小很小时，这种效果微乎其微。
2020-12-09 cs.CV cs.LG stat.ML
Batch normalization does not improve initialization
Carl von Ossietzky Universität（卡尔·冯·奥西茨基大学）
本文针对Santurkar和Tsipras关于批归一化改善初始化的论断，提出反例证明其不成立，表明批归一化并不能改善初始化。
2025-02-25 cs.LG math.PR
Theoretical Analysis of Auto Rate-Tuning by Batch Normalization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tsinghus University（清华大学）
批量归一化（BN）已成为跨不同架构的深度学习的基石，似乎有助于优化和泛化。虽然这一想法具有直观的意义，但缺乏对其有效性的理论分析。这里提供了理论支持，它的一个固定的属性，即，能够让梯度下降成功的学习率较少的调整。结果表明，即使我们固定尺度不变参数的学习率（例如，具有BN的每一层的权重）到常数（例如，$0.3$），梯度下降仍然接近稳定点（即，梯度为零的解决方案）在$T$迭代中的$T^{-1/2}$的速率中，渐进地匹配梯度下降的最佳界限与良好调整的学习率。对于随机梯度下降，也给出了收敛速度为$T^{-1/4}$的类似结果。
2018-12-10 cs.LG stat.ML
Instance Enhancement Batch Normalization: an Adaptive Regulator of Batch Noise
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Purdue University（普渡大学）；New Oriental AI Research Academy（新东方人工智能研究院）
批量归一化（BN）（Ioffe和Szegedy 2015）通过一批图像的统计数据对输入图像的特征进行归一化，因此BN将噪声带入训练损失的梯度。以往的研究表明，噪声对于深度神经网络的优化和泛化是重要的，但过多的噪声会损害网络的性能。本文提出了一种新的观点，即自注意机制可以通过增强实例特定信息来调节噪声，从而获得更好的正则化效果。因此，我们提出了一种基于注意力的BN称为实例增强批量归一化（IEBN），通过简单的线性变换重新校准每个通道的信息。IEBN具有良好的噪声调节和稳定网络训练的能力，即使在训练过程中存在两种噪声攻击，也能提高泛化能力。最后，IEBN优于BN，只有一个光参数增量在图像分类任务为不同的网络结构和基准数据集。
2019-09-18 cs.CV cs.LG stat.ML
Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks
Tencent Technology（腾讯科技）；The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）
在这项工作中，我们提出了一种新的技术，以提高神经网络的训练效率。我们的工作是基于一个很好的想法，白化的神经网络的输入可以实现快速收敛速度。考虑到独立分量必须白化这一众所周知的事实，我们在每个权重层之前引入了一个新的独立分量（IC）层，其输入将变得更加独立。然而，确定独立分量是计算密集型任务。为了克服这一挑战，我们建议通过结合两种流行的技术来实现IC层，批量归一化和Dropout，以一种新的方式，我们可以严格证明Dropout可以二次减少互信息，并线性减少任何一对神经元之间的相关性，相对于dropout层参数$p$。实验结果表明，IC层在CIFAR 10/100和ILSVRC 2012数据集上的性能始终优于基线方法，具有更稳定的训练过程，更快的收敛速度和更好的收敛极限。我们的IC层的实现使我们重新思考神经网络设计中的常见做法。例如，我们不应该将批量归一化放在ReLU之前，因为ReLU的非负响应将使权重层以次优方式更新，并且我们可以通过将批量归一化和Dropout组合在一起作为IC层来实现更好的性能。
2019-05-15 cs.LG stat.ML
Batch Normalization for Neural Networks on Complex Domains
ETIS, UMR 8051, CY Cergy Paris University, ENSEA, CNRS, Cergy, France（ETIS，UMR 8051，CY 塞尔吉巴黎大学，ENSEA，CNRS，塞尔吉，法国）
本文提出复杂域上神经网络的批归一化层，通过改进现有黎曼批归一化层，提升训练稳定性与准确性，并在雷达杂波分类、节点分类和动作识别中验证了方法的有效性。
2026-05-01 cs.LG stat.ML
Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network
Nokia Technologies（诺基亚技术）
我们重新审视模糊神经网络与广义汉明距离的基石概念，它提供了一个新的和理论上合理的框架，重新解释许多有用的神经网络技术方面的模糊逻辑。特别是，我们推测和经验表明，著名的批量归一化（BN）技术实际上适应的归一化偏差，使其近似的公正的偏见引起的广义汉明距离。一旦在分析上强制执行了应有的偏差，就不需要对偏差项进行优化，也不需要复杂的批量归一化。同样根据广义汉明距离，流行的校正线性单元（ReLU）可以被视为在网络输入和权重之间设置最小汉明距离阈值。一方面，这种阈值方案可以通过在神经元输出的两个极端上引入双阈值来改进。另一方面，ReLU被证明是不必要的，可以从为MNIST分类等简单任务训练的网络中删除。所提出的广义海明网络（GHN）不仅适合在模糊逻辑理论中进行严格的分析和解释，而且还在各种学习任务上表现出快速的学习速度、良好的控制行为和最先进的性能。
2017-10-27 cs.LG stat.ML
Decorrelated Batch Normalization
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）
批量归一化（BN）能够通过在小批量内居中和缩放激活来加速深度模型的训练。在这项工作中，我们提出了去相关批量归一化（DBN），它不仅中心和规模的激活，但白化。我们探索了多种白化技术，发现PCA白化会导致一个我们称之为随机轴交换的问题，这对学习是不利的。我们表明，ZCA美白不受这个问题，允许成功的学习。DBN保留了BN的优良特性，进一步提高了BN的优化效率和泛化能力。我们设计了全面的实验来证明DBN可以提高BN在多层感知器和卷积神经网络上的性能。此外，我们不断提高CIFAR-10、CIFAR-100和ImageNet上残差网络的准确性。
2018-04-23 cs.CV cs.LG stat.ML
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
SUNY Buffalo（纽约州立大学布法罗分校）
虽然批量归一化（BN）的作者确定并解决了训练深度网络中涉及的一个重要问题-内部协变量偏移-但当前的解决方案存在一定的缺陷。具体而言，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值（特别是在初始训练时期期间）而对于验证不准确。此外，BN不能在训练期间与批量1一起使用。我们通过提出一种非自适应的归一化技术来消除内部协变量的偏移，我们称之为归一化传播来解决这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-07-12 cs.LG stat.ML
An Empirical Study of Batch Normalization and Group Normalization in Conditional Computation
批量归一化已被广泛用于改进深度神经网络中的优化。虽然批量统计中的不确定性可以作为正则化器，但使用这些特定于训练集的数据集统计会损害某些任务的泛化。最近，已经提出了用于归一化神经网络中的特征激活的替代方法。其中，组归一化已被证明产生类似的，在某些领域甚至优于性能的批量归一化。所有这些方法都在归一化操作之后利用学习的仿射变换来增加表示能力。条件计算中使用的方法将这些转换的参数定义为条件信息的可学习函数。在这项工作中，我们研究是否以及在那里的条件制定组规范化可以提高泛化相比，条件批量归一化。我们评估了视觉问答、少样本学习和条件图像生成任务的表现。
2019-07-31 cs.CV cs.LG
Consistent Batch Normalization for Weighted Loss in Imbalanced-Data Environment
Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）；FUJITSU BROAD SOLUTION & CONSULTING Inc.（富士通广义解决方案咨询有限公司）
在这项研究中，分类问题的基础上，前馈神经网络在数据不平衡的环境被认为是。不平衡数据集的学习是机器学习领域中最重要的实际问题之一。基于代价敏感方法的加权损失函数（WLF）是一种众所周知的非平衡数据集的有效方法。WLF和批量归一化（BN）的组合被认为是在这项研究中。BN被认为是深度学习最新发展中的一种强大的标准技术。这两种方法的简单组合会导致大小不一致的问题，这是由于两种方法中数据集有效大小的解释之间不匹配。一个简单的修改BN，称为加权BN（WBN），提出了纠正的大小不匹配。WBN的概念简单而自然。在数据不平衡的环境中，所提出的方法进行了验证，使用数值实验。
2020-05-13 cs.LG stat.ML
Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift
Nanjing University of Science and Technology（南京理工大学）；Tsinghua University（清华大学）
本文首先回答了这样一个问题：“为什么两个最强大的技术Dropout和批量归一化（BN）往往会导致更差的性能，当他们结合在一起？“在理论和统计方面。从理论上讲，我们发现当我们将网络的状态从训练转移到测试时，Dropout会改变特定神经单元的方差。然而，BN将在测试阶段保持其统计方差，该统计方差是从整个学习过程中累积的。该方差的不一致性（我们将此方案命名为“方差移位”）导致推理中的不稳定数值行为，最终导致在BN之前应用Dropout时出现更多错误预测。在DenseNet、ResNet、ResNeXt和Wide ResNet上进行的彻底实验证实了我们的发现。根据发现的机制，我们接下来探索了几种修改Dropout的策略，并试图通过避免方差转移风险来克服它们组合的局限性。
2018-01-16 cs.LG stat.ML
Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Ltd.（商汤集团有限公司）
作为一个不可或缺的组件，批量归一化（BN）通过对每个隐藏层的内部表示的分布进行归一化，成功地改进了具有小批量的深度神经网络（DNN）的训练。然而，BN的有效性将随着微批量的场景（例如，小批量中少于10个样本），因为小批量中的估计统计量在样本不足的情况下不可靠。在本文中，我们提出了一种新的归一化方法，称为批量卡尔曼归一化（BKN），用于改进和加速DNN的训练，特别是在微批量的背景下。具体来说，与现有的解决方案将每个隐藏层视为孤立系统不同，BKN将网络中的所有层视为一个整体系统，并通过考虑其所有先前层的分布来估计某个层的统计数据，模仿卡尔曼滤波的优点。BKN有两个吸引人的特性。首先，与以前的作品相比，它可以实现更稳定的训练和更快的收敛。其次，使用BKN训练DNN的性能明显优于使用BN及其变体的DNN，特别是当呈现非常小的小批量时。在ImageNet的图像分类基准测试中，使用BKN驱动的网络，我们改进了最佳发布的模型动物园结果：InceptionV 2的top-1 val准确率达到74.0%。更重要的是，使用BKN可以以极小的批量实现相当的准确性，例如在CIFAR-10/100上小64倍，在ImageNet上小8倍。
2018-02-28 cs.CV cs.LG stat.ML
Mean-field Analysis of Batch Normalization
Northwestern University（西北大学）；Tunnel；The Graduate Center（研究生院）；The City University of New York（纽约市立大学）
批量归一化（BatchNorm）是现代神经网络架构的一个非常有用的组件，可以使用更高的学习率进行优化，并实现更快的收敛。在本文中，我们使用平均场理论来分析量化BatchNorm对由全连接层和卷积层组成的多层网络的损耗格局几何形状的影响。我们发现，它有一个平坦化的影响损失景观，量化的最大特征值的Fisher信息矩阵。然后，这些发现被用来证明使用BatchNorm的网络使用更大的学习率，我们提供了最大允许学习率的定量表征，以确保收敛。实验支持我们理论上预测的最大学习率，并进一步表明，具有较小BatchNorm参数值的网络在相同数量的训练时期后实现较低的损失。
2019-03-06 cond-mat.dis-nn cs.LG stat.ML
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien（维也纳工业大学）；University of Vienna（维也纳大学）
本文提出了一种新的归一化层--批处理层归一化（BLN），以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本，在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算，在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据，其统计配置在很大程度上取决于执行的任务，训练数据的量，和批量的大小。实验结果表明，BLN在卷积神经网络和递归神经网络中具有应用潜力，其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取（https：//github.com/A2Amir/Batch-Layer-Normalization）。
2022-09-19 cs.AI cs.LG cs.NE
Optimal Quantization for Batch Normalization in Neural Network Deployments and Beyond
Center for Data Science（数据科学中心）；Peking University（北京大学）；Megvii（旷视科技）；School of Mathematical Sciences（数学科学学院）
量化神经网络（Quantized Neural Networks，QNN）使用低位宽的定点数来表示权值参数和激活，由于其节省计算资源和结果的可重复性，常用于实际应用中。批量归一化（BN）对QNN提出了要求在倒数运算中使用浮点数的挑战，并且先前的QNN要么要求以高精度计算BN，要么以启发式方式将BN修改为某些变体。在这项工作中，我们提出了一种新的方法，通过将两个浮点的仿射变换转换为具有共享量化尺度的定点操作，来实现BBN，这对于硬件加速和模型部署是友好的。通过严格的理论分析和数值分析，我们证实了我们的方法保持相同的输出。通过在CIFAR和ImageNet数据集上的层级实验，验证了我们的量化方法的准确性和效率。我们也相信，我们的方法是潜在的有用的其他问题涉及量化。
2020-08-30 cs.LG stat.ML
An Empirical Analysis of the Shift and Scale Parameters in BatchNorm
San Jose State University（圣何塞州立大学）
批量归一化（BatchNorm）是一种改进深度神经网络（尤其是卷积神经网络（CNN））训练的技术。经验证明，BatchNorm提高了性能、稳定性和准确性，尽管这种改进的原因尚不清楚。BatchNorm包括一个标准化步骤以及可训练的移位和缩放参数。在本文中，我们经验性地研究了归一化步骤对BatchNorm成功的相对贡献，与通过移位和缩放进行的重新参数化相比。为了进行我们的实验，我们在PyTorch中实现了两个新的优化器，即我们称为AffineLayer的BatchNorm版本，其中包括没有归一化的重新参数化步骤，以及仅具有归一化步骤的版本，我们称之为BatchNorm-minus。我们将AffineLayer和BatchNorm-minus实现的性能与标准BatchNorm进行了比较，并将其与未使用批量归一化的情况进行了比较。我们在标准图像数据集和多个批量大小上使用四种ResNet架构（ResNet 18，ResNet 34，ResNet 50和ResNet 101）进行实验。在其他研究结果中，我们提供了经验证据表明，BatchNorm的成功可能主要来自于改进的权重初始化。
2023-03-22 cs.LG
Normalizing the Normalizers: Comparing and Extending Network Normalization Schemes
University of Toronto（多伦多大学）；Baylor College of Medicine（贝勒医学院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
规范化技术最近才开始在监督学习任务中使用。批量归一化利用小批量统计来归一化激活。这被证明可以加快训练速度并产生更好的模型。然而，在处理递归神经网络时，它的成功非常有限。另一方面，层归一化对层内所有活动的激活进行归一化。这被证明在经常性环境中工作良好。在本文中，我们提出了一个统一的规范化技术，作为分裂规范化的形式，其中包括层和批量归一化的特殊情况。我们的第二个贡献是发现，这些规范化方案的一个小的修改，结合稀疏正则化的激活，导致显着的好处超过标准的规范化技术。我们在卷积神经网络和递归神经网络的背景下证明了我们的统一分裂归一化框架的有效性，在图像分类，语言建模以及超分辨率方面显示了基线的改进。
2017-03-06 cs.LG stat.ML
Adaptive Batch Normalization for Training Data with Heterogeneous Features
Umm Al-Qura University（乌姆·库拉大学）；Assiut University（艾斯尤特大学）
批量归一化（BN）是许多深度学习应用的重要预处理步骤。由于它是一个依赖于数据的过程，对于某些同构数据集来说，它是一个冗余甚至是性能下降的过程。在本文中，我们提出了一个早期阶段的可行性评估方法，估计应用BN对给定的数据批次的好处。该方法使用了一种新的基于阈值的方法来分类的训练数据批次分为两组，根据其需要进行规范化。基于所考虑批次的特征异质性来决定是否需要进行归一化。所提出的方法是一个预训练处理，这意味着没有训练开销。评估结果表明，所提出的方法实现了更好的性能，主要是在小批量比传统的BN使用MNIST，时尚MNIST，CIFAR-10，CIFAR-100数据集。此外，通过减少内部变量变换的发生，提高了网络的稳定性。
2022-11-30 cs.LG
Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks
AI for Good Istituto Italiano di Tecnologia（AI for Good 意大利技术研究院）；DITEN University of Genoa（DITEN Genoa大学）；State Key Laboratory of Novel Software Technology School of Intelligence Science and Technology（新型软件技术国家重点实验室 智能科学与技术学院）；School of Artificial Intelligence Nanjing University（人工智能学院 南京大学）；Department of Computer Science University of Verona（计算机科学系 Verona大学）
研究训练时批量归一化在分段仿射网络中通过切换超平面几何和诱导的仿射区域分区影响局部分区精度。
2026-05-12 cs.LG stat.ML
Impact of Batch Normalization on Convolutional Network Representations
North-West University（西北大学）；CAIR（先进智能研究中心）；NITheCS（南非国家理论与计算科学研究所）；SANSA（南非国家空间局）
本文研究批量归一化（BatchNorm）对卷积网络隐藏表示的影响，发现其对泛化的作用不依赖于表示稀疏性，而在于增强更有利的隐式聚类特征。
2025-02-13 cs.LG
Whitening and Coloring batch transform for GANs
University of Trento（特伦托大学）；Department of Information Engineering and Computer Science (DISI)（信息工程与计算机科学系（DISI））
批量归一化（BN）是一种用于加速和稳定训练的常用技术。另一方面，BN的可学习参数通常用于条件生成对抗网络（cGAN），用于使用条件批量归一化（cBN）表示类特定信息。在本文中，我们建议使用基于白化和着色的批量归一化来推广BN和cBN。我们表明，我们的条件着色可以表示分类条件信息，这在很大程度上有助于cGAN的定性结果。此外，我们证明了全特征白化在一般的GAN场景中是重要的，在这种场景中，训练过程是非常不稳定的。我们在不同的数据集上测试我们的方法，并使用不同的GAN网络和训练协议，在所有测试框架中显示出一致的改进。我们的CIFAR-10条件结果高于此数据集上的所有以前的作品。
2019-02-25 cs.LG stat.ML
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift
Google Research（谷歌研究院）
协变量偏移已被证明会大幅降低预测准确性和深度学习模型的不确定性估计的校准。这是令人担忧的，因为协变量偏移在广泛的现实世界部署设置中普遍存在。然而，在本文中，我们注意到，经常有可能在预测时间之前访问少量未标记的移位数据。这个有趣的观察使一个简单但令人惊讶的有效方法，我们称之为预测时间批量归一化，显着提高模型的准确性和校准下协变量偏移。使用这一行代码更改，我们在最近的协变量偏移基准测试中实现了最先进的技术，在具有挑战性的ImageNet-C数据集上实现了60.28\%的mCE;据我们所知，这是任何不包含额外数据增强或修改训练管道的模型的最佳结果。我们发现，预测时间批量归一化提供了互补的好处，现有的国家的最先进的方法，以提高鲁棒性（例如，深度集成）和结合这两个进一步提高性能。我们的研究结果得到了详细测量的效果，这种策略对模型的行为在严格的消融在各种数据集模式。然而，当与预训练一起使用时，该方法的结果好坏参半，并且在更自然的数据集转移类型下似乎表现不佳，因此值得进一步研究。我们在图中包含了数据链接以提高可重复性，包括一个Python笔记本，可以在https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof上运行以轻松修改我们的分析。
2021-01-14 cs.LG stat.ML
Continual Normalization: Rethinking Batch Normalization for Online Continual Learning
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
现有的持续学习方法使用批量归一化（BN）来促进训练并改进跨任务的泛化。然而，持续学习数据的非i.i. d和非平稳性质，特别是在在线设置中，放大了BN中训练和测试之间的差异，并阻碍了旧任务的执行。在这项工作中，我们研究了BN在在线持续学习中的跨任务归一化效应，其中BN使用偏向当前任务的时刻对测试数据进行归一化，从而导致更高的灾难性遗忘。这种限制促使我们提出一种简单而有效的方法，我们称之为连续归一化（CN），以促进类似于BN的训练，同时减轻其负面影响。在不同的持续学习算法和在线场景上的大量实验表明，CN是BN的直接替代品，可以提供实质性的性能改进。我们的实现可在\url{https://github.com/phquang/Continual-Normalization}上获得。
2022-03-30 cs.LG
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Google Inc.（谷歌公司）
训练深度神经网络是复杂的，因为在训练过程中，随着前一层的参数变化，每层输入的分布都会发生变化。这就需要较低的学习率和仔细的参数初始化，从而减慢了训练速度，并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量偏移，并通过规范化层输入来解决这个问题。我们的方法将标准化作为模型架构的一部分，并为每个训练小批量执行标准化。批量归一化使我们能够使用更高的学习率，并且不必太小心初始化。它还充当正则化器，在某些情况下消除了对Dropout的需要。应用于最先进的图像分类模型，批量归一化实现了相同的准确性，训练步骤减少了14倍，并大大超过了原始模型。使用批量归一化网络的集合，我们改进了ImageNet分类的最佳结果：达到4.9%的前5名验证错误（和4.8%的测试错误），超过了人类评分员的准确性。
2015-03-02 cs.LG
Adjusting for Dropout Variance in Batch Normalization and Weight Initialization
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们展示了如何通过校正权重初始化和批量归一化来调整由丢弃引入的方差，从而获得更高的准确度。虽然dropout可以在训练和测试之间保留神经元的预期输入，但输入的方差不同。因此，我们提出了一个新的权重初始化通过校正辍学率的影响和任意的非线性方差的影响，通过简单的校正标量。由于使用dropout训练的批量归一化估计层的传入分布的方差，其中一些输入被丢弃，因此训练和测试之间的方差也不同。在使用批量归一化和dropout训练网络后，我们只需在dropout关闭的情况下更新批量归一化的方差移动平均值，并在没有数据增强的情况下获得CIFAR-10和CIFAR-100的最新水平。
2017-03-23 cs.LG cs.NE
Norm matters: efficient and accurate normalization schemes in deep networks
Intel（英特尔）
在过去的几年里，批量归一化一直被广泛用于深度网络，可以为各种应用提供更快的训练和高性能。然而，其优点背后的原因仍然没有答案，有几个缺点阻碍了它用于某些任务。在这项工作中，我们提出了一个新的观点，规范化方法和权重衰减的目的和功能，作为工具，解耦权重的规范从底层的优化目标。该属性突出了规范化、权重衰减和学习率调整等实践之间的联系。我们提出了几种替代广泛使用的$L^2$批处理规范，使用规范化的$L^1$和$L^\infty$空间，可以大大提高数值稳定性，在低精度的实现，以及提供计算和内存的好处。我们证明，这样的方法使第一批规范的替代工作的半精度实现。最后，我们提出了一个修改的权重归一化，这提高了其性能的大规模任务。
2019-02-07 cs.LG stat.ML
A Quantitative Analysis of the Effect of Batch Normalization on Gradient Descent
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
尽管其经验上的成功和最近的理论进展，一般缺乏定量分析的效果批量归一化（BN）的梯度下降的收敛性和稳定性。在本文中，我们提供了这样一个分析的简单问题的普通最小二乘（OLS）。由于梯度下降（GD）的精确动力学性质是完全已知的OLS问题，它允许我们隔离和比较BN的附加效果。更准确地说，我们表明，与GD，梯度下降BN（BNGD）收敛于任意学习率的权重，收敛保持线性温和的条件下。此外，我们量化了两个不同的来源的加速BNGD GD-一个是由于过度参数化，提高了有效的条件数，另一个是由于有一个大范围的学习率引起快速下降。这些现象将BNGD与GD区分开来，并且可以解释其大部分鲁棒性特性。数值实验定量地证实了这些发现，这进一步表明，在OLS中的BNGD的许多未被发现的属性也被定性地观察到在更复杂的监督学习问题。
2019-05-09 cs.LG stat.ML
Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation
LIRIS - UMR 5205 CNRS（法国国家科学研究中心LIRIS联合研究单位5205）；Ecole Centrale de Lyon（里昂中央理工学院）；LVMH Recherche - Parfums et cosmetiques（路威酩轩香水化妆品研究中心）
神经网络缺乏透明度仍然是其使用的主要突破口。分层相关性传播技术构建热图，表示模型决策中每个输入的相关性。相关性从深层神经网络的最后一层向后传播到第一层。分层相关传播不管理规范化层，在这项工作中，我们提出了一种方法，包括规范化层。具体来说，我们构建了一个等效的网络，融合了归一化层和卷积层或全连接层。用我们的方法在MNIST和CIFAR 10数据集上获得的热图对于卷积层来说更准确。我们的研究还防止了在包括连接层和归一化层的组合的网络中使用分层相关传播。
2020-02-24 cs.AI cs.LG stat.ML
