Rethinking the Distribution Gap of Person Re-identification with Camera-based Batch Normalization
Tsinghua University（清华大学）；Huawei Inc.（华为公司）；University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
人员重新识别（ReID）的根本困难在于学习各个摄像头之间的对应关系。它强烈要求昂贵的相机间注释，但训练的模型不能保证很好地转移到以前看不见的相机。这些问题极大地限制了ReID的应用。本文对传统ReID方法的工作机制进行了反思，并提出了一种新的解决方案。通过一种有效的基于摄像机的批量归一化（CBN）算子，将所有摄像机的图像数据集中到同一个子空间，从而缩小了任意摄像机对之间的分布差距。这种一致性带来了两个好处。首先，经过训练的模型具有更好的能力，可以在具有不可见摄像头的场景中进行泛化，并在多个训练集之间进行传输。其次，我们可以依靠相机内注释（由于缺乏跨相机信息，之前一直被低估）来实现具有竞争力的ReID性能。广泛的ReID任务的实验证明了我们的方法的有效性。该代码可在https://github.com/automan000/Camera-based-Person-ReID上获得。
2020-07-18 cs.CV
Rethinking Normalization and Elimination Singularity in Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
本文从消除奇异性的角度研究了神经网络的规范化方法。消除奇点对应于训练轨迹上的点，在这些点上，神经元始终被停用。它们在损失景观中导致退化流形，这将减慢训练并损害模型性能。我们表明，基于通道的归一化（例如层归一化和组归一化）无法保证消除奇点的距离远，相反，批量归一化通过设计避免模型过于接近它们。为了解决这个问题，我们提出了BatchChannel Normalization（BCN），它使用批处理知识来避免在通道归一化模型的训练中消除奇异点。与批量归一化不同，BCN能够在大批量和微批量训练设置中运行。在图像分类、目标检测、实例分割和语义分割等多个任务上验证了BCN的有效性。代码在这里：https://github.com/joe-siyuan-qiao/Batch-Channel-Normalization。
2019-11-21 cs.CV
Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework
Shanghai Jiao Tong University（上海交通大学）
该研究识别出批量归一化中的特征凝聚问题，提出两阶段统一框架UBN，通过阈值抑制凝聚、统归一化变体增强BN，在多视觉任务与骨干网络上显著提升性能并加快收敛。
2024-03-08 cs.AI cs.CV
$L_2$BN: Enhancing Batch Normalization by Equalizing the $L_2$ Norms of Features
本文从区分度的角度对批量归一化进行了分析，发现了以往研究忽略的缺点：样本特征的$l_2$范数差异会阻碍批量归一化获得更有区分度的类间特征和更紧凑的类内特征。为了解决这个问题，我们提出了一个简单而有效的方法来均衡样本特征的$l_2$范数。具体地说，我们在将每个样本特征送入批量归一化之前对其进行$l_2$归一化，因此这些特征具有相同的幅度。由于所提出的方法结合了$l_2$规范化和批量归一化，我们将我们的方法命名为$L_2$ BN。$L_2$ BN可以增强类内特征的紧密性，扩大类间特征的差异性。$L_2$ BN易于实现，并且可以在没有任何附加参数或超参数的情况下发挥其效果。我们评估的有效性$L_2$ BN通过广泛的实验与各种型号的图像分类和声场景分类任务。结果表明，$L_2$ BN可以提高各种神经网络模型的泛化能力，并取得了显着的性能改善。
2023-03-21 cs.AI cs.CV
Extended Batch Normalization
State Key Laboratory of Computer Architecture, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所计算机体系结构国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）
批量归一化（BN）已经成为训练现代深度网络的标准技术。然而，当批量变小时，其有效性降低，因为批量统计估计变得不准确。这阻碍了批量归一化用于1）训练较大的模型，其需要受存储器消耗约束的小批量，2）在存储器资源有限的移动或嵌入式设备上训练。在本文中，我们提出了一个简单而有效的方法，称为扩展的批量归一化（EBN）。对于NCHW格式的特征图，扩展的批量归一化与批量归一化相同地计算沿（N，H，W）维度的平均值，以保持批量归一化的优点。为了缓解小批量引起的问题，扩展的批量归一化计算沿（N，C，H，W）维的标准差，从而扩大了计算标准差的样本数量。我们分别在MNIST、CIFAR-10/100、STL-10和ImageNet的数据集上比较了扩展批量归一化与批量归一化和组归一化。实验表明，扩展批量归一化解决了小批量下批量归一化的问题，同时在大批量下获得了接近批量归一化的性能。
2020-03-12 cs.CV
Domain Adaptation on Semantic Segmentation with Separate Affine Transformation in Batch Normalization
University of Ottawa（渥太华大学）
近年来，用于语义分割的无监督领域自适应算法引起了许多研究者的关注。他们中的许多人采取了一种方法来设计一个复杂的系统，以便更好地调整源和目标域之间的差距。相反，我们专注于深度神经网络的基本结构，批量归一化，并建议用我们提出的分离仿射变换（SEAT）来取代共享仿射变换。所提出的SEAT简单，易于实现，易于集成到现有的基于对抗学习的UDA方法中。此外，为了进一步提高自适应质量，我们引入了多级自适应，在将较低级别的功能添加到较高级别的功能之前，将它们馈送到自适应器，而不像其他人那样添加额外的自适应器。实验结果表明，与其他UDA方法相比，所提出的方法在不损失性能准确性的情况下，具有较低的复杂度。
2021-10-14 cs.AI cs.CV
Batch Normalization Tells You Which Filter is Important
Seoul National University（首尔国立大学）
过滤器修剪的目标是搜索不重要的过滤器以去除，从而使卷积神经网络（CNN）高效而不牺牲过程中的性能。挑战在于找到可以帮助确定每个过滤器对于神经网络的最终输出有多重要或相关的信息。在这项工作中，我们分享了我们的观察结果，即预训练CNN的批量归一化（BN）参数可用于估计激活输出的特征分布，而无需处理训练数据。根据观察，我们提出了一种简单而有效的过滤器修剪方法，通过基于预训练CNN的BN参数评估每个过滤器的重要性。在CIFAR-10和ImageNet上的实验结果表明，该方法在精确度下降与减少计算复杂性和剪枝网络参数数量之间取得了良好的平衡，无论是否进行微调。
2022-04-23 cs.AI cs.CV
Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification
IIT Delhi（印度理工学院德里分校）；Shoolini University（舒利尼大学）；MANNU University（曼努大学）；NIT Srinagar（斯利那加国立技术学院）
本文探索用组归一化替代批归一化以解决小批大小下批统计量不准确的问题，在ImageNet上训练ResNet-50时以批大小2实现10.6%错误率，并验证其可自然迁移到微调阶段。
2024-04-01 cs.CV
Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks
Brno University of Technology（布尔诺理工大学）
批量归一化的广泛使用使训练更深的神经网络成为可能，并获得更稳定、更快的结果。然而，批量归一化在训练期间使用大批量时效果最好，并且由于最先进的分割卷积神经网络架构对内存的要求非常高，因此在当前硬件上通常不可能实现大批量。我们评估了替代的归一化方法，提出了解决这个问题的问题，从三维CT扫描的二进制脊柱分割。我们的结果表明，在有限的批量大小神经网络训练环境中的实例规范化的有效性。在所有比较的方法中，实例归一化达到了最高的结果，Dice系数= 0.96，这与我们之前通过更长训练时间的更深网络获得的结果相当。我们还表明，与没有任何归一化方法的网络相比，本实验中使用的实例归一化实现具有计算时间效率。
2020-11-23 cs.CV
A New Look at Ghost Normalization
University of St Andrews（圣安德鲁斯大学）
批量归一化（BatchNorm）是一种有效但知之甚少的神经网络优化技术。通常假设BatchNorm性能下降到较小的批量大小是因为它必须使用较小的样本大小来估计层统计信息。然而，最近，Ghost normalization（GhostNorm）是BatchNorm的一个变体，它明确使用较小的样本量进行归一化，已被证明在某些数据集中改进了BatchNorm。我们的贡献是：（i）我们发现了GhostNorm独有的正则化源，而不仅仅是BatchNorm的扩展，（ii）描述了三种类型的GhostNorm实现，其中两种采用BatchNorm作为底层规范化技术，（iii）通过可视化GhostNorm的损失情况，我们观察到GhostNorm与BatchNorm相比始终降低平滑度，（iv）我们引入了顺序归一化（SeqNorm），并报告了在CIFAR-10和CIFAR-100数据集上优于最先进方法的性能。
2020-07-16 cs.CV
Proxy-Normalizing Activations to Match Batch Normalization while Removing Batch Dependence
Graphcore Research（Graphcore研究院）
我们调查的原因与批次无关的归一化性能下降。我们发现，原型技术的层归一化和实例归一化都诱导故障模式的出现在神经网络的预激活：（i）层归一化导致崩溃的通道方式的常数函数;（ii）实例归一化导致缺乏可变性的实例统计，症状的改变的表现力。为了减轻故障模式（i）而不加重故障模式（ii），我们引入了技术“代理规范化”，使用代理分布规范化后激活。当与层归一化或组归一化结合使用时，这种独立于批处理的归一化可以模拟批量归一化的行为，并始终匹配或超过其性能。
2022-04-03 cs.CV cs.LG stat.ML
Batch Normalization and the impact of batch structure on the behavior of deep convolution networks
Department of Computing, Imperial College London（帝国理工学院计算机系）
批量归一化于2015年引入，通过将当前批次的激活归一化为零均值和单位方差来加速深度卷积网络的训练。这里给出的结果显示了批量归一化的一个有趣方面，其中控制训练批次的形状可以影响网络将学习的内容。如果训练批次被构造为平衡批次（每类一个图像），并且使用批次自身的均值和方差对平衡测试批次进行推断，则条件结果将显著改善。该网络使用关于平衡批次中的简单图像的强信息，并通过共享的均值和方差来传播它，以帮助确定同一批次中较难图像的身份。平衡测试批次需要测试图像的标签，这在实践中是不可用的，但是可以使用不太严格并且可能不需要测试图像标签的批次结构来进行进一步的调查。条件的结果表明，出错率几乎减少到零的非平凡的数据集，如CIFAR10的类的数量少。
2018-02-21 cs.CV
TTN: A Domain-Shift Aware Batch Normalization in Test-Time Adaptation
Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm AI Research（高通人工智能研究院）；KAIST（韩国科学技术院）
提出了一种新的测试时自适应批量归一化策略。最近的测试时自适应方法严重依赖于修改的批量归一化，即，transductive批量归一化（TBN），计算当前测试批次的均值和方差，而不是使用从源数据获得的运行均值和方差，即，传统的批量归一化（CBN）。采用采用测试批统计的TBN可以减轻域转移引起的性能下降。然而，使用测试数据重新估计归一化统计量依赖于不切实际的假设，即测试批次应该足够大并且从i.i.d.流，我们观察到，以前的方法与TBN显示临界性能下降没有假设。在本文中，我们确定，CBN和TBN是在一个权衡关系，并提出了一个新的测试时间归一化（TTN）的方法，通过调整CBN和TBN之间的重要性，根据每个BN层的域偏移敏感性的统计插值。我们提出的TTN提高了模型的鲁棒性，在广泛的批量大小和各种现实的评估情况下转移域。TTN广泛适用于其他测试时自适应方法，依赖于通过反向传播更新模型参数。我们证明，采用TTN进一步提高了它们的性能，并在各种标准基准测试中实现了最先进的性能。
2023-02-18 cs.CV
An Empirical Study of Batch Normalization and Group Normalization in Conditional Computation
批量归一化已被广泛用于改进深度神经网络中的优化。虽然批量统计中的不确定性可以作为正则化器，但使用这些特定于训练集的数据集统计会损害某些任务的泛化。最近，已经提出了用于归一化神经网络中的特征激活的替代方法。其中，组归一化已被证明产生类似的，在某些领域甚至优于性能的批量归一化。所有这些方法都在归一化操作之后利用学习的仿射变换来增加表示能力。条件计算中使用的方法将这些转换的参数定义为条件信息的可学习函数。在这项工作中，我们研究是否以及在那里的条件制定组规范化可以提高泛化相比，条件批量归一化。我们评估了视觉问答、少样本学习和条件图像生成任务的表现。
2019-07-31 cs.CV cs.LG
Delving into the Estimation Shift of Batch Normalization in a Network
Beihang University（北京航空航天大学）；Southeast University（东南大学）
批量归一化（BN）是深度学习中的里程碑式技术。它在训练过程中使用小批量统计数据，但在推理过程中使用估计的总体统计数据来规范化激活。本文主要研究人口统计的估计问题。我们定义了BN的估计偏移量，以定量衡量其估计的人口统计数据与预期人口统计数据之间的差异。我们的主要观察结果是，由于BN在网络中的堆叠，估计偏移可以累积，这对测试性能有不利影响。我们进一步发现无批次归一化（BFN）可以阻止这种估计偏移的累积。这些观察激发了我们设计XBNBlock的动机，在残差式网络的瓶颈块中用BFN替换一个BN。在ImageNet和COCO基准测试上的实验表明，XBNBlock一致地提高了不同架构的性能，包括ResNet和ResNeXt，并且似乎对分布偏移更鲁棒。
2022-03-21 cs.AI cs.CV cs.LG
Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization
College of Biomedical Engineering & Instrument Science（生物医学工程与仪器科学学院）；Zhejiang University（浙江大学）
无数据量化是一种在不访问原始训练数据的情况下将神经网络压缩到低位宽的任务。现有的无数据量化方法由于激活限幅范围和量化误差的不准确，特别是对于低比特宽度，会导致严重的性能下降。在本文中，我们提出了一个简单而有效的无数据量化方法，准确的激活裁剪和自适应批量归一化。精确激活裁剪（AAC）通过利用来自全精度模型的精确激活信息来提高模型精度。自适应批量归一化首先提出通过自适应地更新批量归一化层来解决来自分布变化的量化误差。大量的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在ImageNet数据集上达到ResNet 18的64.33%的top-1准确率，比现有的最先进的方法有3.7%的绝对改进。
2022-06-22 cs.AI cs.CV cs.LG
Four Things Everyone Should Know to Improve Batch Normalization
University of Auckland（奥克兰大学）
大多数神经网络架构的一个关键组成部分是使用规范化层，例如批量归一化。尽管它在优化深层架构方面的常见用途和巨大效用，但在批量归一化上进行一般性改进以及了解适合其他增强的情况都是具有挑战性的。在本文中，我们确定了对批量归一化的通用形式的四项改进以及它们的工作环境，从而在所有批量大小下获得性能提升，同时在训练期间不需要额外的计算。这些贡献包括：提出了一种推理方法，用于推理规范化统计中的当前示例，固定训练与推理差异;识别和验证Ghost批量归一化对小批量和中等批量的强大正则化效果;检查权重衰减正则化对缩放和移位参数gamma和beta的影响;通过结合Batch和Group Normalization的优势，为非常小的批量确定一种新的规范化算法。我们在六个数据集上实证验证了我们的结果：CIFAR-100，SVHN，Caltech-256，Oxford Flowers-102，CUB-2011和ImageNet。
2020-02-14 cs.CV cs.LG stat.ML
Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch
Yale University（耶鲁大学）
脉冲神经网络（SNN）最近已经成为深度学习的替代方案，这是由于稀疏、异步和二进制事件（或脉冲）驱动的处理，可以在神经形态硬件上产生巨大的能效效益。然而，从头开始训练高精度和低延迟的SNN受到尖峰神经元的不可微性质的影响。为了解决SNN中的这个训练问题，我们重新审视了批量归一化，并提出了一种时间批量归一化通过时间（BNTT）技术。到目前为止，大多数先前的SNN工作都忽略了批量归一化，认为它对训练时间SNN无效。与以前的工作不同，我们提出的BNTT沿着时间轴的BNTT层的参数，以捕捉尖峰的时间动态。BNTT中随时间演变的可学习参数允许神经元通过不同的时间步长控制其尖峰速率，从而实现从头开始的低延迟和低能量训练。我们在CIFAR-10、CIFAR-100、Tiny-ImageNet和事件驱动的DVS-CIFAR 10数据集上进行了实验。BNTT允许我们从头开始训练深度SNN架构，这是第一次，在复杂的数据集上，只有25-30个时间步长。我们还提出了一个提前退出算法，使用BNTT中的参数分布，以减少在推理的延迟，进一步提高能源效率。
2021-11-10 cs.AI cs.CV cs.NE
Sandwich Batch Normalization: A Drop-In Replacement for Feature Distribution Heterogeneity
the University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了三明治批量归一化（SaBN），这是对批量归一化（BN）的一个令人沮丧的简单改进，只需更改几行代码。SaBN的动机是解决在许多任务中可以识别的固有特征分布异质性，这可能源于数据异质性（多个输入域）或模型异质性（动态架构，模型调节等）。我们的SaBN分解BN仿射层到一个共享的三明治仿射层，级联的几个平行的独立仿射层。具体的分析表明，在优化过程中，SaBN促进平衡的梯度规范，同时仍然保持不同的梯度方向-许多应用程序任务似乎喜欢的属性。我们证明了SaBN作为四项任务的替代品的普遍有效性：条件图像生成，神经结构搜索（NAS），对抗训练和任意风格转移。利用SaBN可以立即在CIFAR-10和ImageNet条件图像生成上实现更好的Inception Score和FID，并使用三个最先进的GANs;在NAS-Bench-201上显着提升最先进的权重共享NAS算法的性能;大幅提高对抗防御的鲁棒性和标准准确性;并产生卓越的任意风格化结果。我们还提供可视化和分析，以帮助理解为什么SaBN工作。代码可在https://github.com/VITA-Group/Sandwich-Batch-Normalization上获得。
2021-10-14 cs.AI cs.CV cs.LG
ImageNet pre-trained models with batch normalization
Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
在ImageNet上预训练的卷积神经网络（CNN）是大多数最先进方法的支柱。在本文中，我们为Caffe框架提供了一组新的预训练模型，这些模型具有流行的最先进的架构。第一个版本包括带有生成脚本的残差网络（ResNets）以及AlexNet和VGG19的批处理规范化变体。所有型号都优于具有相同架构的以前型号。模型和训练代码可在http://www.inf-cv.uni-jena.de/Research/CNN+Models.html和https://github.com/cvjena/cnn-models上获得
2016-12-06 cs.CV
Batch Normalization in the final layer of generative networks
Dublin City University（都柏林城市大学）
生成网络在生成照片级真实感图像方面表现出了巨大的潜力。尽管如此，围绕它们的理论仍然是一个活跃的研究领域。生成网络的许多有用的工作都依赖于能够产生良好结果的算法。其中一个技巧是建议不要在生成器网络的最后一层使用批量归一化。许多最先进的生成网络架构都使用这种启发式方法，但这样做的原因并不一致。本文将表明，这不一定是一个很好的启发式和批量归一化可以在生成器网络的最后一层是有益的，无论是通过将其放置在最后的非线性激活，通常是$tanh$或取代最终的$tanh$激活与批量归一化和裁剪。我们表明，这可以通过将生成器与目标分布的图像颜色值的平均值和标准差相匹配来更快地训练生成器网络。
2018-05-18 cs.CV
Batch Group Normalization
Imperial College London（帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）；Queen Mary University of London（伦敦玛丽女王大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
深度卷积神经网络（DCNN）的训练是困难且耗时的。规范化是有效的解决办法之一。在以往的归一化方法中，批量归一化（BN）在中、大批量时性能较好，对多视觉任务具有良好的泛化能力，但在小批量时性能明显下降。在本文中，我们发现BN在极大批量时饱和，即，每个工人128张图像，即，GPU，以及提出的退化/饱和BN在小/超大批量是由嘈杂/混乱的统计计算。因此，在不增加新的可训练参数，使用多层或多次迭代的信息，或引入额外的计算，批量组归一化（BGN）提出解决噪声/混乱的统计计算BN在小/超大批量的引入通道，高度和宽度尺寸来补偿。该算法采用了分组归一化（GN）中的分组技术，并使用超参数G来控制用于统计计算的特征实例的数量，从而为不同的批量提供既不嘈杂也不混乱的统计量。我们的经验表明，BGN在广泛的视觉任务中，包括图像分类，神经结构搜索（NAS），对抗学习，少样本学习（FSL）和无监督领域自适应（UDA），始终优于BN，实例归一化（IN），层归一化（LN），GN和位置归一化（PN），表明其良好的性能，对批量的稳定性和广泛的推广性。例如，在ImageNet上训练ResNet-50，批量大小为2，BN达到了66.512%的Top1准确率，而BGN达到了76.096%，有显著的提高。
2020-12-09 cs.CV cs.LG
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Cross-Iteration Batch Normalization
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
批量归一化的一个众所周知的问题是，在小批量的情况下，其有效性显著降低。当一个小批量包含很少的例子时，在训练迭代期间，不能可靠地从它估计定义规范化的统计数据。为了解决这个问题，我们提出了交叉迭代批量归一化（CBN），其中的例子，从多个最近的迭代联合使用，以提高估计质量。在多次迭代中计算统计数据的一个挑战是，由于网络权重的变化，来自不同迭代的网络激活彼此不可比较。因此，我们通过一种基于泰勒多项式的技术补偿网络权重的变化，从而可以准确地估计统计数据，并有效地应用批量归一化。在目标检测和图像分类与小的小批量大小，CBN被发现优于原来的批量归一化和直接计算的统计数据在以前的迭代没有建议的补偿技术。代码可在https://github.com/Howal/Cross-iterationBatchNorm上获得。
2021-03-25 cs.CV cs.LG stat.ML
Easy Batch Normalization
ITMO University（ITMO大学）；Artificial Intelligence Research Institute（人工智能研究所）；Tubingen Universitat（图宾根大学）
结果表明，对抗性示例可以提高对象识别。但他们的反面是什么，简单的例子？简单的示例是机器学习模型以高置信度正确分类的样本。在我们的论文中，我们正在探索在神经网络的训练过程中使用简单示例的潜在好处。我们建议使用一个辅助的批量归一化简单的例子，标准和强大的精度提高。
2022-07-18 cs.CV cs.LG
Batch Normalization Is Blind to the First and Second Derivatives of the Loss
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们证明了BN操作的效果上的反向传播的一阶和二阶导数的损失。在对损失函数进行泰勒级数展开时，证明了BN运算可以屏蔽损失的一阶项和大部分二阶项的影响。我们还发现，这样的问题是由BN操作的标准化阶段造成的。实验结果验证了我们的理论结论，我们已经发现，BN操作显着影响在特定的任务中的特征表示，其中不同的样本的损失共享类似的解析公式。
2022-06-02 cs.AI cs.CV cs.LG
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization
Fudan University（复旦大学）；Megvii Technology（旷视科技）
批量归一化（BN）是深度学习领域中应用最广泛的技术之一。但是，如果批量大小不足，其性能会严重下降。这一弱点限制了BN在许多计算机视觉任务（如检测或分割）中的使用，由于内存消耗的限制，批量大小通常很小。因此，许多改进的归一化技术被提出，这些技术要么不能完全恢复BN的性能，要么必须在推理过程中引入额外的非线性运算，增加巨大的消耗。在本文中，我们发现，有两个额外的批量统计参与BN的反向传播，这是从来没有得到很好的讨论。与梯度相关的额外批量统计也会严重影响深度神经网络的训练。在此基础上，提出了一种新的归一化方法--移动平均批量归一化（MABN）。MABN可以完全恢复香草BN在小批量情况下的性能，而无需在推理过程中引入任何额外的非线性操作。我们通过理论分析和实验证明了MABN的优点。我们的实验证明了MABN在包括ImageNet和COCO在内的多个计算机视觉任务中的有效性。该代码已在https://github.com/megvii-model/MABN上发布。
2020-04-08 cs.CV cs.LG stat.ML
The Loss Surface of Residual Networks: Ensembles and the Role of Batch Normalization
Tel Aviv University（特拉维夫大学）
与相同深度的传统网络相比，深度残差网络在性能上具有优势，并且可以在极端深度下训练。最近的研究表明，残差网络的行为就像相对较浅的网络的集合。我们证明了这些集合是动态的：虽然最初虚拟集合的深度大多低于网络深度的一半，但随着训练的进行，它会变得越来越深。控制动态集合行为的主要机制是引入的缩放，例如，通过批量归一化技术。作为我们分析的主要工具，我们采用了广义自旋玻璃模型，我们也使用它来研究剩余网络优化中的临界点数量。
2016-11-08 cs.CV
Batch Normalization in Cytometry Data by kNN-Graph Preservation
New Mexico State University（新墨西哥州立大学）；The University of New South Wales（新南威尔士大学）；Australian National University（澳大利亚国立大学）
针对CyTOF数据批次效应，提出基于残差神经网络和雅可比代价函数的点集配准方法，通过kNN图保持实现拓扑保留的批归一化，确保跨条件比较分析的可靠性。
2025-07-09 cs.CV
A Batch Normalization Classifier for Domain Adaptation
Blue Well 8, LLC（Blue Well 8有限责任公司）；Pioneer Square Labs（先锋广场实验室）
调整模型以在其训练集之外的不可预见数据上表现良好是一个常见的问题，继续激励新的方法。我们证明了在softmax激活之前，在输出层中应用批量归一化，可以在改进的ResNet模型中提高视觉数据域的泛化能力。该方法增加的计算复杂性度可以忽略不计，但优于许多明确学习对齐数据域的领域自适应方法。我们基准测试这种技术的家庭数据集，并表明，批量归一化与其他领先的方法是有竞争力的。我们表明，这种方法是不敏感的源数据在适应过程中的存在，并进一步提出训练张量分布的影响趋于稀疏。代码可在https://github.com/matthewbehrend/BNC上获得
2021-03-22 cs.CV cs.LG
Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks
DeepMind（深度思维）
批量归一化极大地增加了残差网络的最大可训练深度，这一优势对于深度残差网络在广泛的基准测试中取得经验性成功至关重要。我们发现，这一关键的好处，因为在初始化，批量归一化缩小规模的剩余分支相对于跳过连接，通过一个归一化因子的网络深度的平方根的顺序。这确保了在训练的早期，由深度网络中的归一化残差块计算的函数接近于单位函数（平均而言）。我们利用这一洞察力开发了一个简单的初始化方案，可以训练深度残差网络，而无需归一化。我们还提供了对残差网络的详细实证研究，阐明了尽管批量归一化网络可以用更大的学习率进行训练，但这种效果仅在特定的计算机制中有益，并且当批量大小很小时，这种效果微乎其微。
2020-12-09 cs.CV cs.LG stat.ML
MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization
Shanghai Jiao Tong University（上海交通大学）
针对批量归一化（BN）内存开销大、微批次下不准确的问题，提出仅含权重均值操作和末层BN的轻量归一化方法MimicNorm，经NTK理论验证和实验证明，可在保持准确率的同时降低约20%内存消耗。
2023-09-27 cs.AI cs.CV cs.LG
Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks
Lunit Inc.（Lunit公司）
现实世界的图像识别经常受到视觉风格的变化的挑战，包括对象纹理，照明条件，过滤效果等，虽然这些变化已被认为是隐式处理更多的训练数据和更深的网络，最近的图像风格转移的进展表明，它也可以显式地操纵的风格信息。将这一想法扩展到一般的视觉识别问题，我们提出了批量实例规范化（BIN）来显式规范化图像中不必要的样式。考虑到某些风格特征在区分任务中起着至关重要的作用，BIN学习选择性地只规范化干扰风格，同时保留有用的风格。所提出的归一化模块可以很容易地集成到现有的网络架构中，如残差网络，并令人惊讶地提高了各种场景下的识别性能。此外，实验验证，BIN有效地适应完全不同的任务，如对象分类和风格转移，通过控制之间的权衡保留和删除风格的变化。BIN可以使用流行的深度学习框架仅用几行代码实现。
2019-04-25 cs.CV
Group Normalization
Facebook AI Research (FAIR)（脸书人工智能研究院）
批量归一化（BN）是深度学习发展中的一项里程碑式技术，它使各种网络能够进行训练。然而，沿批次维度的归一化引入了问题- BN的误差在批次大小变小时迅速增加，这是由不准确的批次统计估计引起的。这限制了BN用于训练更大的模型和将特征转移到计算机视觉任务（包括检测、分割和视频）的使用，这些任务需要小批量处理，受到内存消耗的限制。在本文中，我们提出了群归一化（GN）作为BN的一个简单的替代方案。GN将通道划分为组，并在每个组内计算归一化的均值和方差。GN的计算与批量大小无关，其精度在很大的批量大小范围内都是稳定的。在ImageNet中训练的ResNet-50上，当使用批量大小为2时，GN的误差比BN的误差低10.6%;当使用典型的批量大小时，GN与BN相当，并且优于其他归一化变体。此外，GN可以自然地从预训练转移到微调。GN在COCO中的目标检测和分割以及Kinetics中的视频分类方面都优于其基于BN的同行，这表明GN可以在各种任务中有效地取代强大的BN。GN可以在现代库中通过几行代码轻松实现。
2018-06-11 cs.CV cs.LG
An Empirical Study on Position of the Batch Normalization Layer in Convolutional Neural Networks
在本文中，我们研究了如何通过改变批量归一化（BN）层的位置来影响卷积神经网络（CNN）的训练。我们选择了三种不同的卷积神经网络进行实验。这些网络是AlexNet、VGG-16和ResNet- 20。我们表明，BN算法提供的训练速度可以通过使用BN层的其他位置而不是其原始论文所建议的位置来提高。此外，我们还讨论了BN层在某个位置如何帮助训练一个网络，而不是另一个网络。在本研究中，BN层的三个不同的位置进行了研究。这些职位是：卷积层和非线性激活函数之间的BN层，非线性激活函数之后的BN层，以及最后，每个卷积层之前的BN层。
2020-04-23 cs.CV
Instance Enhancement Batch Normalization: an Adaptive Regulator of Batch Noise
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Purdue University（普渡大学）；New Oriental AI Research Academy（新东方人工智能研究院）
批量归一化（BN）（Ioffe和Szegedy 2015）通过一批图像的统计数据对输入图像的特征进行归一化，因此BN将噪声带入训练损失的梯度。以往的研究表明，噪声对于深度神经网络的优化和泛化是重要的，但过多的噪声会损害网络的性能。本文提出了一种新的观点，即自注意机制可以通过增强实例特定信息来调节噪声，从而获得更好的正则化效果。因此，我们提出了一种基于注意力的BN称为实例增强批量归一化（IEBN），通过简单的线性变换重新校准每个通道的信息。IEBN具有良好的噪声调节和稳定网络训练的能力，即使在训练过程中存在两种噪声攻击，也能提高泛化能力。最后，IEBN优于BN，只有一个光参数增量在图像分类任务为不同的网络结构和基准数据集。
2019-09-18 cs.CV cs.LG stat.ML
Decorrelated Batch Normalization
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）
批量归一化（BN）能够通过在小批量内居中和缩放激活来加速深度模型的训练。在这项工作中，我们提出了去相关批量归一化（DBN），它不仅中心和规模的激活，但白化。我们探索了多种白化技术，发现PCA白化会导致一个我们称之为随机轴交换的问题，这对学习是不利的。我们表明，ZCA美白不受这个问题，允许成功的学习。DBN保留了BN的优良特性，进一步提高了BN的优化效率和泛化能力。我们设计了全面的实验来证明DBN可以提高BN在多层感知器和卷积神经网络上的性能。此外，我们不断提高CIFAR-10、CIFAR-100和ImageNet上残差网络的准确性。
2018-04-23 cs.CV cs.LG stat.ML
SPOC learner's final grade prediction based on a novel sampling batch normalization embedded neural network method
Nanjing University of Science and Technology（南京理工大学）；University of California, Davis（加州大学戴维斯分校）；Nanjing University of Finance & Economics（南京财经大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Jiangsu Guidgine Educational Evaluation Inc（江苏Guidgine教育评估有限公司）
近年来，小型私人在线课程（Small Private Online Courses，SPOC）发展迅速，它能够高度定制和个性化，以适应多变的教育需求，其中机器学习技术被探索用于总结和预测学习者的表现，主要集中在最终成绩。然而，问题是SPOC学习者的最终成绩普遍严重不平衡，这阻碍了预测模型的训练。为解决这一问题，提出了一种嵌入深度神经网络（SBNEDNN）的采样批量归一化方法。首先定义一个组合指标来衡量数据的分布情况，然后建立一个规则来指导抽样过程。其次，将批量归一化（BN）修正层嵌入到全连接神经网络中，解决了数据不平衡问题。与其他三种深度学习方法的实验结果证明了该方法的优越性。
2022-11-11 cs.CV
EvalNorm: Estimating Batch Normalization Statistics for Evaluation
Google Research（谷歌研究院）；University of Maryland, College Park（马里兰大学帕克分校）
批量归一化（BN）对于深度学习非常有效，并且被广泛使用。然而，当使用小的minibatch进行训练时，使用BN的模型表现出显着的性能下降。在本文中，我们研究BN的这种特殊行为，以更好地理解这个问题，并找出原因。我们提出了“EvalNorm”来解决这个问题，通过估计校正的归一化统计数据，在评估过程中用于BN。EvalNorm支持在模型训练时在线估计校正后的统计量，并且不影响模型的训练方案。因此，EvalNorm也可以与现有的预训练模型一起使用，使它们能够从我们的方法中受益。EvalNorm为使用较小批次训练的模型带来了很大的收益。我们的实验表明，EvalNorm在ImageNet验证集上的batchsize为2时比vanilla BN的性能好6.18%（绝对值），并且在各种设置中的COCO目标检测基准测试中获得了1.5到7.0点（绝对值）的增益。
2019-08-13 cs.CV cs.LG
Stochastic Whitening Batch Normalization
LG Electronics Canada（LG电子加拿大公司）；LG Electronics USA（LG电子美国公司）
批量归一化（BN）是一种用于训练深度神经网络（DNN）的流行技术。BN使用缩放和移位来规范化小批量的激活，以加速收敛并提高泛化能力。最近提出的迭代归一化（IterNorm）方法通过使用牛顿方法迭代地白化激活来改善这些特性。然而，由于牛顿方法在每个训练步骤中独立地对白化矩阵进行迭代，因此在连续步骤之间没有共享信息。在这项工作中，而不是在每个时间步的白化矩阵的精确计算，我们估计它逐渐在训练过程中以在线的方式，使用我们提出的随机白化批量归一化（SWBN）算法。我们表明，虽然SWBN提高了DNN的收敛速度和泛化能力，但其计算开销低于IterNorm。由于所提出的方法的高效率，它可以很容易地在大多数DNN架构与大量的层。我们提供了全面的实验和BN，IterNorm和SWBN层之间的比较，以证明所提出的技术在传统的（多镜头）图像分类和Few-Shot分类任务的有效性。
2021-06-03 cs.CV cs.LG
Revisiting Batch Normalization for Improving Corruption Robustness
Korea Advanced Institute of Science Technology (KAIST)（韩国科学技术院）
在干净图像上训练的DNN的性能已被证明在测试图像具有常见损坏时会下降。在这项工作中，我们解释腐败的鲁棒性作为一个域的转变，并提出纠正批量归一化（BN）统计，以提高模型的鲁棒性。这是由于将从干净域到腐败域的转变视为由BN统计表示的风格转变。我们发现，简单地估计和适应BN统计的几个（例如32）表示样本，没有重新训练的模型，提高腐败的鲁棒性，由一个大幅度的基准数据集与广泛的模型架构。例如，在ImageNet-C上，统计数据自适应将ResNet 50的top1准确率从39.2%提高到48.7%。此外，我们发现这种技术可以进一步提高最先进的鲁棒模型从58.1%到63.3%。
2021-01-28 cs.CV
Improving Generalization of Batch Whitening by Convolutional Unit Optimization
KAIST（韩国科学技术院）
批量白化是一种通过将输入特征转换为零均值（居中）和单位方差（缩放）以及通过消除通道之间的线性相关性（解相关）来加速和稳定训练的技术。在使用批量归一化进行经验优化的常用结构中，归一化层出现在卷积和激活函数之间。以下批处理白化研究采用了相同的结构，而没有进一步的分析;甚至批处理白化是在线性层的输入被白化的前提下分析的。为了弥补这一缺陷，我们提出了一种新的卷积单元，它与理论相一致，我们的方法总体上提高了批量白化的性能。此外，我们通过研究特征的秩和相关性来证明原始卷积单元的无效性。由于我们的方法是现成的白化模块，我们使用迭代归一化（IterNorm），最先进的白化模块，并在五个图像分类数据集上获得显着提高的性能：CIFAR-10，CIFAR-100，CUB-200-2011，Stanford Dogs和ImageNet。值得注意的是，我们验证了我们的方法在使用大学习率、组大小和迭代次数时提高了白化的稳定性和性能。
2021-11-02 cs.AI cs.CV stat.ML
BN-NAS: Neural Architecture Search with Batch Normalization
The University of Sydney（悉尼大学）；BAIDU USA LLC（百度美国有限责任公司）；University of Oxford（牛津大学）；SenseTime Group Limited（商汤科技集团）
提出了基于批量归一化的神经结构搜索算法（BN-NAS），以加速神经结构搜索（NAS）。BN-NAS可以显著减少NAS中模型训练和评估所需的时间。具体来说，为了快速评估，我们提出了一个基于BN的指标，用于在非常早期的训练阶段预测子网性能。基于BN的指标进一步便于我们通过在超网训练期间仅训练BN参数来提高训练效率。这是基于我们的观察，即训练整个超网是不必要的，而只训练BN参数加速了网络架构搜索的网络收敛。大量的实验表明，我们的方法可以显着缩短训练超网的时间超过10倍，缩短评估时间超过60万倍，而不损失准确性。
2021-08-16 cs.CV
Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Ltd.（商汤集团有限公司）
作为一个不可或缺的组件，批量归一化（BN）通过对每个隐藏层的内部表示的分布进行归一化，成功地改进了具有小批量的深度神经网络（DNN）的训练。然而，BN的有效性将随着微批量的场景（例如，小批量中少于10个样本），因为小批量中的估计统计量在样本不足的情况下不可靠。在本文中，我们提出了一种新的归一化方法，称为批量卡尔曼归一化（BKN），用于改进和加速DNN的训练，特别是在微批量的背景下。具体来说，与现有的解决方案将每个隐藏层视为孤立系统不同，BKN将网络中的所有层视为一个整体系统，并通过考虑其所有先前层的分布来估计某个层的统计数据，模仿卡尔曼滤波的优点。BKN有两个吸引人的特性。首先，与以前的作品相比，它可以实现更稳定的训练和更快的收敛。其次，使用BKN训练DNN的性能明显优于使用BN及其变体的DNN，特别是当呈现非常小的小批量时。在ImageNet的图像分类基准测试中，使用BKN驱动的网络，我们改进了最佳发布的模型动物园结果：InceptionV 2的top-1 val准确率达到74.0%。更重要的是，使用BKN可以以极小的批量实现相当的准确性，例如在CIFAR-10/100上小64倍，在ImageNet上小8倍。
2018-02-28 cs.CV cs.LG stat.ML
How to Use Dropout Correctly on Residual Networks with Batch Normalization
Pohang University of Science and Technology（浦项科技大学）
对于深度神经网络的稳定优化，dropout和批量归一化等正则化方法已被用于各种任务中。然而，应用dropout的正确位置很少被讨论，并且根据实践者的不同而采用不同的位置。在这项研究中，我们调查的正确位置应用辍学。我们证明，对于具有批量归一化的残差网络，在某些位置应用dropout可以提高性能，而在其他位置应用dropout则会降低性能。在理论分析的基础上，我们给出了应用dropout的正确位置的指导原则：在最后一个批量归一化之后，残差分支中最后一个权值层之前应用一个dropout。我们提供了详细的理论解释来支持这一说法，并通过模块测试来证明它们。此外，我们研究了产生最终预测的头部中dropout的正确位置。虽然目前的共识是在全局平均池化之后应用dropout，但我们证明了在全局平均池化之前应用dropout会导致更稳定的输出。通过使用不同的数据集和模型的实验，所提出的准则进行了验证。
2023-02-13 cs.CV cs.LG
Double Forward Propagation for Memorized Batch Normalization
South China University of Technology（华南理工大学）
批量归一化（BN）是设计深度神经网络（DNN）的标准组件。虽然标准BN可以显著加速DNN的训练并提高泛化性能，但它有几个潜在的限制，可能会妨碍训练和推理的性能。在训练阶段，BN依赖于使用单个minibatch估计数据的均值和方差。因此，当批量非常小或数据采样不佳时，BN可能不稳定。在推理阶段，BN经常使用所谓的移动均值和移动方差来代替批量统计，即，BN中的训练和推理规则不一致。对于这些问题，我们提出了一个记忆的批量归一化（MBN），它考虑了多个最近的批次，以获得更准确和强大的统计。请注意，每个批次的SGD更新后，模型参数将发生变化，特征也将相应变化，从而导致所考虑批次的更新前后出现分布偏移。为了缓解这个问题，我们提出了一个简单的双前向计划MBN，可以进一步提高性能。与相关方法相比，所提出的MBN表现出一致的行为，在训练和推理。实验结果表明，采用Double-Forward方法训练的MBN模型大大降低了数据的敏感性，并显著提高了泛化性能。
2020-10-10 cs.CV cs.LG
Guidelines for the Regularization of Gammas in Batch Normalization for Deep Residual Networks
POSTECH（浦项科技大学）
神经网络中的L2正则化权重被广泛用作标准训练技巧。然而，伽马的L2正则化，批量归一化的可训练参数，仍然是一个未讨论的谜，并根据库和从业者以不同的方式应用。本文研究了Gamma的L2正则化是否有效。为了探索这个问题，我们考虑了两种方法：1）方差控制，使残差网络的行为像单位映射和2）稳定的优化，通过提高有效的学习率。通过两个分析，我们指定了理想的和不理想的伽马应用L2正则化，并提出了四个指导方针来管理它们。在几个实验中，我们观察到了对四个类别的gamma应用L2正则化所导致的性能的增加和减少，这与我们的四个准则是一致的。我们提出的指导方针通过各种任务和架构进行了验证，包括残差网络和Transformers的变体。
2022-05-15 cs.CV
To Fold or Not to Fold: a Necessary and Sufficient Condition on Batch-Normalization Layers Folding
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；Datakalab（Datakalab公司）；Valeo（法雷奥）
批量归一化（BN）层已经成为越来越复杂的深层神经网络架构中的基本组件。这些模型需要加速过程以在边缘设备上部署。然而，BN层由于顺序操作处理而增加了计算瓶颈：因此，加速过程的一个关键但经常被忽视的组件是BN层折叠。在本文中，我们证明了目前的BN折叠方法是次优的，有多少层可以删除。因此，我们提供了一个必要和充分条件BN折叠和相应的最佳算法。所提出的方法系统地优于现有的基线，并允许显着减少深度神经网络的推理时间。
2022-03-28 cs.CV cs.LG
Batch Normalization with Enhanced Linear Transformation
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of California Santa Cruz（加利福尼亚大学圣克鲁兹分校）
批量归一化（BN）是现代深度网络中的基本单元，其中设计了线性变换模块以提高BN拟合复杂数据分布的灵活性。本文论证了适当地增强该线性变换模块可以有效地提高BN的能力。具体来说，我们建议额外考虑每个神经元的邻域来计算线性变换的输出，而不是使用单个神经元。我们的方法名为BNET，可以在大多数深度学习库中用2-3行代码实现。尽管简单，BNET在广泛的骨干和可视化基准测试中带来了一致的性能增益。此外，我们验证了BNET加速网络训练的收敛，并通过相应地分配具有较大权重的重要神经元来增强空间信息。该代码可在https://github.com/yuhuixu1993/BNET上获得。
2020-11-28 cs.CV
Test-time Batch Normalization
Xi’an Jiaotong University（西安交通大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
深度神经网络经常会在训练和测试之间遭受数据分布偏移，并且观察批统计来反映这种偏移。在本文中，针对缓解测试时间的分布偏移，我们重新审视了训练过程中的批量归一化（BN），并揭示了有利于测试时间优化的两个关键见解：$(i)$保持与训练相同的梯度反向传播形式，以及$(ii)$使用数据集级统计进行鲁棒优化和推理。基于这两个见解，我们提出了一种新的测试时BN层设计，GpreBN，这是在测试过程中优化，最大限度地减少熵损失。我们验证了我们的方法在两个典型的分布偏移的设置，即，领域泛化和鲁棒性任务。我们的GpreBN显著提高了测试时间性能，并达到了最先进的结果。
2022-05-20 cs.CV cs.LG
Accelerating Training of Deep Neural Networks with a Standardization Loss
University of California, Berkeley（加州大学伯克利分校）；Google AI（谷歌人工智能）
加速神经网络训练的一个重大进展是规范化方法的发展，允许更快和更准确地训练深度模型。这些进步带来了实际的挑战：例如，批量归一化将单个示例的预测与批量中的其他示例联系起来，导致网络严重依赖于批量大小。层归一化和组归一化依赖于数据，因此必须连续使用，即使在测试时也是如此。为了解决使用显式归一化技术所产生的问题，我们建议用一个简单的次要目标损失来取代现有的归一化方法，我们称之为标准化损失。该公式在不同的批量大小中是灵活和鲁棒的，并且令人惊讶的是，该次要目标加速了对主要训练目标的学习。因为它是一种训练损失，所以它在测试时被简单地删除，并且不需要进一步的努力来保持正常化的激活。我们发现，标准化损失加速了小型和大型图像分类实验的训练，适用于各种架构，并且在不同批量大小的训练中具有很大的鲁棒性。
2019-03-03 cs.AI cs.CV cs.LG
MixNorm: Test-Time Adaptation Through Online Normalization Estimation
University of Southern California（南加州大学）；Facebook AI
我们提出了一种简单而有效的方法来估计测试期间的批范数统计量，以快速适应源模型的目标测试样本。被称为测试时自适应，大多数以前的工作研究这个任务遵循两个假设，在他们的评估，其中（1）测试样本一起作为一个大的批次，（2）都来自一个单一的测试分布。然而，在实践中，这两个假设可能站不住脚的原因，我们提出了两个新的评估设置，批量大小是任意的，并考虑多个分布。与以前的方法不同，需要在测试时间内大量的单一分布来计算稳定的批量范数统计量，我们的方法避免了对大型在线批次的任何依赖，并且能够用单个样本估计准确的批量范数统计量。该方法在测试时自适应任务中的新提出的设置中显着优于最新技术水平，并且还展示了在各种其他设置中的改进，例如无源无监督领域自适应和Zero-Shot分类。
2021-10-21 cs.CV
Patch-aware Batch Normalization for Improving Cross-domain Robustness
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对跨域分布差异导致模型性能下降的问题，提出块感知批归一化PBN，通过分块归一化结合全局统计量增强参数鲁棒性，可替代常规BN集成到现有方法中，在多视觉任务上验证有效。
2024-09-14 cs.CV
Iterative Normalization: Beyond Standardization towards Efficient Whitening
Inception Institute of Artificial Intelligence (IIAI)（人工智能起源研究所）
批量归一化（BN）被广泛用于加速神经网络训练并通过在小批量内执行标准化来提高泛化能力。去相关批量归一化（DBN）通过白化进一步增强了上述有效性。然而，DBN在很大程度上依赖于大批量或特征分解，这在GPU上效率很低。我们提出了迭代归一化（IterNorm），它采用牛顿迭代更有效的白化，同时避免了特征分解。此外，我们开发了一个全面的研究，以显示IterNorm有更好的优化和泛化之间的权衡，理论和实验的支持。为此，我们专门引入了随机归一化扰动（SND），它测量了样本在应用于归一化操作时的固有随机不确定性。在SND的支持下，我们从优化的角度对一些现象提供了自然的解释，例如，为什么DBN的逐组白化通常优于全白化，以及为什么BN的准确性随着批量大小的减小而退化。我们通过在BN和DBN上对CIFAR-10和ImageNet进行的大量实验，证明了IterNorm的性能不断提高。
2019-04-06 cs.CV cs.LG
