Backward Gradient Normalization in Deep Neural Networks
我们介绍了一种新的技术梯度归一化在神经网络训练。在反向传递期间，使用在网络架构内的某些点处引入的归一化层来重新缩放梯度。这些规范化节点不会影响前向活动传播，但会修改反向传播方程，以允许达到最深网络层的良好缩放梯度流，而不会出现消失或爆炸。对非常深的神经网络的测试结果表明，新技术可以做一个有效的控制梯度范数，允许在最深层的权重更新，并提高网络的精度在几个实验条件。
2021-06-17 cs.LG
On the effect of normalization layers on Differentially Private training of deep Neural networks
Spoken Language Systems Group（口语系统研究组）；Saarland Informatics Campus（萨尔兰信息学园区）；Saarland University（萨尔兰大学）
差分隐私随机梯度下降（DPSGD）是基于差分隐私（DP）范式的随机梯度下降的变体，它可以减轻由于训练数据中存在敏感信息而引起的隐私威胁。然而，使用DPSGD训练深度神经网络的一个主要缺点是模型准确性的降低。在本文中，我们研究了归一化层对DPSGD性能的影响。我们证明了归一化层显著影响具有噪声参数的深度神经网络的效用，并且应该被认为是DPSGD训练的基本成分。特别是，我们提出了一种新的方法集成批量归一化与DPSGD而不会产生额外的隐私损失。通过我们的方法，我们能够训练更深的网络，并实现更好的实用性和隐私权衡。
2021-12-07 cs.CR cs.LG stat.ML
Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation
LIRIS - UMR 5205 CNRS（法国国家科学研究中心LIRIS联合研究单位5205）；Ecole Centrale de Lyon（里昂中央理工学院）；LVMH Recherche - Parfums et cosmetiques（路威酩轩香水化妆品研究中心）
神经网络缺乏透明度仍然是其使用的主要突破口。分层相关性传播技术构建热图，表示模型决策中每个输入的相关性。相关性从深层神经网络的最后一层向后传播到第一层。分层相关传播不管理规范化层，在这项工作中，我们提出了一种方法，包括规范化层。具体来说，我们构建了一个等效的网络，融合了归一化层和卷积层或全连接层。用我们的方法在MNIST和CIFAR 10数据集上获得的热图对于卷积层来说更准确。我们的研究还防止了在包括连接层和归一化层的组合的网络中使用分层相关传播。
2020-02-24 cs.AI cs.LG stat.ML
Stochastic Normalizations as Bayesian Learning
Czech Technical University in Prague（布拉格捷克理工大学）
在这项工作中，我们研究了批量归一化（BN）提高深度网络泛化性能的原因。我们认为，一个主要的原因，区别于数据无关的归一化方法，是随机性的批量统计。这种随机性出现在参数中，而不是在激活中，并承认作为一个实际的贝叶斯学习的解释。我们将这个想法应用到其他（确定性）规范化技术，这些技术不考虑批量大小。我们表明，他们的泛化性能可以显着提高贝叶斯学习的相同形式。我们获得了与BN相当的测试性能，同时，通过近似贝叶斯后验，更好的验证损失适合于随后的输出不确定性估计。
2018-11-01 cs.LG cs.NE stat.ML
Mode Normalization
University of Edinburgh（爱丁堡大学）
规范化方法是深度学习工具箱中的核心构建块。它们可以加速和稳定训练，同时减少对手动调整学习率调度的依赖。当从多模态分布中学习时，批量归一化（BN）的有效性降低，可以说是最突出的归一化方法。作为补救措施，我们提出了一种更灵活的方法：通过将归一化扩展到多个均值和方差，我们实时检测数据模式，联合归一化共享共同特征的样本。我们证明了我们的方法优于BN和其他广泛使用的归一化技术在几个实验中，包括单任务和多任务数据集。
2018-10-12 cs.LG stat.ML
Weight Rescaling: Effective and Robust Regularization for Deep Neural Networks with Batch Normalization
City University of Hong Kong（香港城市大学）
在具有批量归一化的深度神经网络（BN-DNN）的训练实践中，权重衰减通常用于确保良好的泛化，其中由于归一化，一些卷积层对于权重重新缩放是不变的。在本文中，我们证明了权重衰减的实际使用仍然有一些未解决的问题，尽管现有的理论工作解释的权重衰减在BN-DNN的效果。一方面，当使用非自适应学习率（例如，具有动量的SGD）时，有效学习率甚至在初始训练阶段之后继续增加，这导致许多神经架构中的过拟合效应。另一方面，在SGDM和自适应学习率优化器（如Adam）中，权重衰减对泛化的影响对超参数非常敏感。因此，找到最佳权重衰减参数需要广泛的参数搜索。为了解决这些弱点，我们建议使用一个简单而有效的权重重新缩放（WRS）计划作为权重衰减的替代方案，规范的权重范数。WRS通过显式地将其重新缩放为单位范数来控制权重范数，这防止了梯度的大幅增加，但也确保了足够大的有效学习率以提高泛化能力。在图像分类、目标检测、语义分割和人群计数等多种计算机视觉应用中，与权重衰减、隐式权重重缩放（权重标准化）和梯度投影（AdamP）相比，WRS具有更好的有效性和鲁棒性。
2022-06-18 cs.LG stat.ML
Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；NTT Research, Inc.（NTT研究院）
受BatchNorm的启发，深度学习中的规范化层出现了爆炸式增长。最近的工作已经确定了BatchNorm中的许多有益特性来解释其成功。然而，考虑到对替代规范化层的追求，这些属性需要被泛化，以便可以准确地预测任何给定层的成功/失败。在这项工作中，我们通过将随机初始化的深度神经网络（DNN）中BatchNorm的已知属性扩展到最近提出的几个规范化层来朝着这个目标迈出第一步。我们的主要发现如下：（i）类似于BatchNorm，基于激活的规范化层可以防止ResNets中激活的指数增长，但参数化技术需要明确的补救措施;（ii）使用GroupNorm可以确保信息向前传播，不同的样本被分配不同的激活，但增加组大小会导致不同样本的激活越来越难以区分，这解释了LayerNorm模型中的缓慢收敛速度;以及（iii）小的组大小导致较早层中的大梯度范数，因此解释了实例归一化中的训练不稳定性问题，并说明了GroupNorm中的速度-稳定性权衡。总的来说，我们的分析揭示了一组统一的机制，这些机制支撑了深度学习中规范化方法的成功，为我们系统地探索DNN规范化层的巨大设计空间提供了指南针。
2021-10-26 cs.CV cs.LG
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research（谷歌研究院）
批量归一化（BN）使用小批量统计数据来规范训练期间的激活，从而在小批量元素之间引入依赖性。如果mini-batch大小太小，或者元素是相关的，则这种依赖性会损害性能。已经提出了几种替代方案，例如批重正化和群归一化（GN）来解决这个问题。然而，它们要么不匹配BN的大批量的性能，或仍然表现出性能下降的小批量，或引入人工约束的模型架构。在本文中，我们提出了过滤器响应归一化（FRN）层，一个新的组合的归一化和激活函数，可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作，消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外，它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题，FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Effect of Batch Normalization on Noise Resistant Property of Deep Learning Models
Prairie View A&M University（普雷里维尤农工大学）；Texas A&M University System（德克萨斯农工大学系统）
模拟硬件的快速执行速度和能效使其成为边缘部署深度学习模型的有力竞争者。然而，人们担心模拟噪声的存在会导致模型权重的变化，从而导致深度学习模型的性能下降，尽管它们具有固有的抗噪声特性。研究了当前流行的批量归一化层对深度学习模型抗噪能力的影响。通过首先在CIFAR10和CIFAR100数据集上训练具有和不具有批量归一化层的不同模型来进行该系统的研究。然后将模拟噪声注入所得模型的权重，并获得和比较模型在测试数据集上的性能。结果表明，批量归一化层的存在对深度学习模型的抗噪性能产生了负面影响，并且这种影响随着批量归一化层数的增加而增加。
2022-05-15 cs.AI cs.AR cs.LG
The Hidden Power of Normalization Layers in Neural Networks: Exponential Capacity Control
School of Information and Communication Technology, Hanoi University of Science and Technology（信息与通信技术学院，河内科学技术大学）
本文通过容量控制理论揭示归一化层在深度学习中通过指数级减少Lipschitz常数，从而提升优化稳定性和泛化能力。
2026-02-22 cs.AI cs.LG stat.ML
Convolutional Normalization
随着深度神经网络被应用于复杂任务，网络和架构的规模增加，其拓扑结构也变得更加复杂。与此同时，培训变得缓慢，在某些情况下效率低下。这促使了各种规格化技术的引入，例如批量归一化和层归一化。上述归一化方法使用算术运算来计算层数据的近似统计量（主要是一阶矩和二阶矩）并使用其来归一化。上述方法使用普通蒙特卡罗方法来近似统计量，并且这种方法在近似分布复杂的统计量时失败。在这里，我们提出了一种使用加权和的方法，该方法使用深度方向的卷积神经网络来实现，不仅可以近似统计数据，还可以学习和的系数。
2021-02-19 cs.LG stat.ML
Spherical Perspective on Learning with Normalization Layers
Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；Département d’informatique de l’ENS, PSL（巴黎高等师范学院计算机系（巴黎文理研究大学））；Inria（法国国家信息与自动化研究所）
规范化层（Normalization Layers，NLs）广泛用于现代深度学习架构。尽管它们明显简单，但它们对优化的影响尚未完全理解。本文引入了一个球形框架，从几何角度研究了具有自然语言的神经网络的优化问题。具体地，参数组（例如卷积神经网络的滤波器）的径向不变性允许在$L_2$单位超球面上平移优化步骤。这个公式和相关的几何解释揭示了新的光的训练动态。首先推导了Adam的第一有效学习率表达式。然后证明，在存在NL的情况下，单独执行随机梯度下降（SGD）实际上相当于亚当约束到单位超球面的变体，源于该框架。最后，该分析概述了亚当以前的变体作用的现象，并通过实验验证了它们在优化过程中的重要性。
2022-05-19 cs.LG stat.ML
Static Activation Function Normalization
Data Science Institute（数据科学研究所）；Imperial College London（帝国理工学院）
最近在深度神经网络实践和随机矩阵理论的交叉点上的开创性工作将这些网络的收敛速度和鲁棒性与随机权重初始化和使用的非线性激活函数的组合联系起来。在这些原则的基础上，我们介绍了一个过程，将现有的激活函数转换成另一个具有更好的性能。我们将这种变换称为\emph{static activation normalization}。更具体地说，我们专注于应用于ReLU单元的这种规范化，并根据经验表明它显着提高了收敛鲁棒性，最大训练深度和随时性能。我们通过检查用这些激活训练的网络的经验特征值分布来验证这些说法。我们的静态激活规范化提供了第一步，使类似的精神，如批量归一化计划的好处，但没有计算成本。
2019-05-03 cs.LG stat.ML
The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks
AIST（产业技术综合研究所）；RIKEN CBS（理化学研究所脑科学中心）
规范化方法在提高深度学习性能方面发挥着重要作用，但其理论认识有限。为了从理论上阐明规范化的有效性，我们量化了由费舍尔信息矩阵（Fisher information matrix）确定的参数空间的几何形状，这也对应于在某些条件下损失景观的局部形状。我们分析了具有随机初始化的深度神经网络，当网络变得足够宽时，它会遭受病态的尖锐形状。我们发现，在最后一层的批量归一化有助于大幅降低这种病理锐度，如果宽度和样本数满足特定条件。相比之下，在许多设置中，中间隐藏层中的批量归一化难以减轻病理性锐度。我们还发现，层归一化也不能减轻病理性锐度。因此，我们可以得出结论，最后一层中的批量归一化显著有助于降低由噪声引起的锐度。
2019-10-28 cond-mat.dis-nn cs.LG stat.ML
State Derivative Normalization for Continuous-Time Deep Neural Networks
RPTU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Eindhoven University of Technology（埃因霍温理工大学）；Institute for Computer Science and Control（计算机科学与控制研究所）
针对连续时间状态空间模型估计中隐状态、隐状态导数及时间区间归一化不当引发的数值与优化问题，提出基于状态导数归一化常数的耦合解决方法，推导了常数获取方式，并在级联水箱系统基准上验证了有效性。
2024-05-14 cs.LG cs.SY eess.SY
Vanishing Component Analysis with Contrastive Normalization
Tokyo Metropolitan University（东京都立大学）；The University of Tokyo（东京大学）；Chiba University（千叶大学）
消失成分分析（VCA）计算样本的消失理想的近似生成元，进一步用于提取样本的非线性特征。最近的研究表明，近似生成元的归一化起着重要的作用，不同的归一化导致不同性质的生成元。在本文中，受最近的自监督框架的启发，我们提出了一种VCA的对比归一化方法，其中我们将生成器施加到目标样本上，并在变换后的样本上进行归一化。我们从理论上表明，对比归一化增强了VCA的鉴别能力，并提供了代数解释的VCA下，我们的规范化。数值实验证明了该方法的有效性。这是第一个研究，以定制的近似发电机消失的理想，以获得歧视性的功能。
2022-10-27 cs.LG cs.SC
Do Normalization Layers in a Deep ConvNet Really Need to Be Distinct?
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
是的，他们有。这项工作研究了深度学习的一个视角：ConvNet中的不同规范化层是否需要不同的规范化器。这是理解这一现象的第一步。我们允许每个卷积层在可切换的归一化（SN）之前堆叠，SN学习从归一化方法池中选择归一化器。通过在ImageNet、COCO、Cityscapes和ADE 20 K上的系统实验，我们回答了三个问题：（a）允许每个归一化层选择自己的归一化器有用吗？(b)什么影响了标准化者的选择？(c)不同的任务和数据集会偏好不同的规范化器吗？我们的研究结果表明：（1）使用不同的规范化器可以提高ConvNet的学习和泛化能力;（2）规范化器的选择与深度和批量大小更相关，但与参数初始化，学习率衰减和求解器的相关性较低;（3）不同的任务和数据集在学习选择规范化器时具有不同的行为。
2018-11-19 cs.AI cs.CV cs.LG
PSDNorm: Test-Time Temporal Normalization for Deep Learning in Sleep Staging
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化技术研究院）；CEA（法国原子能委员会）；École Polytechnique（巴黎政治学院）；IP Paris（巴黎信息处理中心）；UMR 7641（7641号研究所）
PSDNorm通过利用Monge映射和时间上下文，在深度学习中实现睡眠分期的测试时时间归一化，提升了模型在不同数据集上的性能和鲁棒性。
2026-01-30 cs.LG
Accelerating Training of Deep Neural Networks with a Standardization Loss
University of California, Berkeley（加州大学伯克利分校）；Google AI（谷歌人工智能）
加速神经网络训练的一个重大进展是规范化方法的发展，允许更快和更准确地训练深度模型。这些进步带来了实际的挑战：例如，批量归一化将单个示例的预测与批量中的其他示例联系起来，导致网络严重依赖于批量大小。层归一化和组归一化依赖于数据，因此必须连续使用，即使在测试时也是如此。为了解决使用显式归一化技术所产生的问题，我们建议用一个简单的次要目标损失来取代现有的归一化方法，我们称之为标准化损失。该公式在不同的批量大小中是灵活和鲁棒的，并且令人惊讶的是，该次要目标加速了对主要训练目标的学习。因为它是一种训练损失，所以它在测试时被简单地删除，并且不需要进一步的努力来保持正常化的激活。我们发现，标准化损失加速了小型和大型图像分类实验的训练，适用于各种架构，并且在不同批量大小的训练中具有很大的鲁棒性。
2019-03-03 cs.AI cs.CV cs.LG
High-Performance Large-Scale Image Recognition Without Normalization
DeepMind（深度思维）
批量归一化是大多数图像分类模型的关键组成部分，但它有许多不希望的属性，源于它对批量大小和样本之间的相互作用的依赖。虽然最近的工作已经成功地训练了没有归一化层的深度ResNet，但这些模型与最好的批量归一化网络的测试精度不匹配，并且对于大的学习率或强数据增强来说往往不稳定。在这项工作中，我们开发了一种自适应的梯度裁剪技术，克服了这些不稳定性，并设计了一个显着改进的类归一化自由ResNets。我们较小的模型与ImageNet上EfficientNet-B7的测试精度相匹配，同时训练速度提高了8.7倍，我们最大的模型达到了86.5%的最先进的顶级精度。此外，Normalizer-Free模型在ImageNet上对3亿张标记图像的数据集进行大规模预训练后，在ImageNet上进行微调时，其性能明显优于批量归一化模型，我们的最佳模型的准确率为89.2%。我们的代码可以在https://github.com/deepmind/ deepmind-research/tree/master/nfnets上找到
2021-02-11 cs.CV cs.LG stat.ML
Switchable Normalization for Learning-to-Normalize Deep Representation
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
我们通过提出可切换归一化（SN）来解决学习归一化问题，SN学习为深度神经网络的不同归一化层选择不同的归一化器。SN采用三个不同的范围来计算统计数据（均值和方差），包括通道、层和小批量。SN通过以端到端的方式学习它们的重要性权重来在它们之间切换。它有几个好的属性。首先，它适应各种网络架构和任务。其次，它对各种批量大小都很健壮，即使在小的minibatch（例如2张图像/GPU）时也能保持高性能。第三，SN不具有敏感的超参数，不像搜索组的数量作为超参数的组归一化。没有花里胡哨的东西，SN在各种具有挑战性的基准测试中表现优于同行，如ImageNet、COCO、CityScapes、ADE 20 K、MegaFace和Kinetics。SN的分析也回答了以下三个问题：（a）它是有用的，允许每个归一化层选择自己的归一化？(b)什么影响了标准化者的选择？(c)不同的任务和数据集会偏好不同的规范化器吗？我们希望SN能够帮助简化使用并理解深度学习中的规范化技术。SN的代码已在https://github.com/switchablenorms上发布。
2019-07-22 cs.CV cs.LG
Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Ltd.（商汤集团有限公司）
作为一个不可或缺的组件，批量归一化（BN）通过对每个隐藏层的内部表示的分布进行归一化，成功地改进了具有小批量的深度神经网络（DNN）的训练。然而，BN的有效性将随着微批量的场景（例如，小批量中少于10个样本），因为小批量中的估计统计量在样本不足的情况下不可靠。在本文中，我们提出了一种新的归一化方法，称为批量卡尔曼归一化（BKN），用于改进和加速DNN的训练，特别是在微批量的背景下。具体来说，与现有的解决方案将每个隐藏层视为孤立系统不同，BKN将网络中的所有层视为一个整体系统，并通过考虑其所有先前层的分布来估计某个层的统计数据，模仿卡尔曼滤波的优点。BKN有两个吸引人的特性。首先，与以前的作品相比，它可以实现更稳定的训练和更快的收敛。其次，使用BKN训练DNN的性能明显优于使用BN及其变体的DNN，特别是当呈现非常小的小批量时。在ImageNet的图像分类基准测试中，使用BKN驱动的网络，我们改进了最佳发布的模型动物园结果：InceptionV 2的top-1 val准确率达到74.0%。更重要的是，使用BKN可以以极小的批量实现相当的准确性，例如在CIFAR-10/100上小64倍，在ImageNet上小8倍。
2018-02-28 cs.CV cs.LG stat.ML
On Bridging the Gap between Mean Field and Finite Width in Deep Random Neural Networks with Batch Normalization
ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）；INRIA-ENS-PSL Paris（巴黎法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学）
平均场理论在神经网络的理论研究中有着广泛的应用。在本文中，我们分析了深度的平均场预测浓度的作用，特别是深层多层感知器（MLP）与批量归一化（BN）在初始化。通过将网络宽度缩放到无穷大，假设平均场预测会受到随深度放大的逐层误差的影响。我们证明，BN稳定的分布表示，避免了平均场预测的误差传播。这种稳定，其特征在于由几何混合属性，使我们能够建立浓度边界的平均场预测无限深神经网络具有有限的宽度。
2023-02-20 cs.AI cs.LG math.ST
Till the Layers Collapse: Compressing a Deep Neural Network through the Lenses of Batch Normalization Layers
ENSAE（法国国家统计与经济管理学院）
本文提出TLC方法，通过批归一化层视角减小网络深度来压缩深度神经网络，降低计算需求与延迟，并在Swin-T等模型及图像和NLP任务上得到验证。
2024-12-19 cs.CL cs.CV cs.LG
Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction
Princeton University（普林斯顿大学）
归一化层（例如，批量归一化、层归一化）被引入来帮助解决非常深的网络中的优化困难，但它们显然也有助于泛化，即使在不那么深的网络中。出于长期以来的信念，平坦的最小值导致更好的泛化，本文给出了数学分析和支持实验表明，归一化（连同伴随的重量衰减）鼓励GD，以减少损失表面的尖锐性。这里的“锐度”是仔细定义的，因为损失是尺度不变的，这是归一化的一个已知结果。具体来说，对于一个相当广泛的类神经网络与规范化，我们的理论解释了如何GD与有限的学习率进入所谓的边缘稳定（EoS）制度，并通过一个连续的尖锐度降低流的GD在这个制度的轨迹特征。
2023-01-17 cs.AI cs.LG
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks
Signal Processing and Speech Communication Laboratory（信号处理与语音通信实验室）；Graz University of Technology（格拉茨技术大学）
深度神经网络在很大程度上依赖于归一化方法来提高其性能和学习行为。虽然规范化方法促进了越来越深入和有效的架构的发展，但它们也增加了噪声和输入损坏的脆弱性。然而，在大多数应用中，噪声是无处不在和多样化的;这通常会导致机器学习系统完全失败，因为它们无法处理训练和测试期间输入分布之间的不匹配。最常见的归一化方法是批量归一化，它减少了训练期间的分布偏移，但对测试期间输入分布的变化不可知。这使得批量归一化在测试期间出现噪声时易于性能下降。基于样本的归一化方法可以校正激活分布的线性变换，但不能减轻分布形状的变化;这使得网络容易受到无法反映在归一化参数中的分布变化的影响。我们提出了一种无监督的非参数分布校正方法，该方法适应每层的激活分布。这通过最小化1-D Wasserstein距离来减少训练和测试时间分布之间的不匹配。在我们的实验中，我们的经验表明，该方法有效地减少了强烈的图像损坏的影响，从而提高了分类性能，而不需要重新训练或微调模型。
2021-10-05 cs.CV cs.LG
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping
DeepMind（深度思维）；Google（谷歌）
使用Poole等人（2016）的Q/C图分析的扩展和形式化版本，以及神经切线核理论，我们确定了深度网络中存在的主要病理，这些病理阻止了它们快速训练和泛化到看不见的数据，并展示了如何通过仔细控制网络初始化时核函数的“形状”来避免这些病理。然后，我们开发了一种称为深度内核整形（DKS）的方法，该方法使用精确的参数初始化，激活函数转换和小的架构调整的组合来实现这一点，所有这些都保留了模型类。在我们的实验中，我们证明了DKS能够在Imagenet和CIFAR-10分类任务上对没有归一化层的残差网络进行SGD训练，其速度与标准ResNetV 2和Wide-ResNet模型相当，而泛化性能只有小幅下降。当使用K-FAC作为优化器时，我们在没有跳过连接的网络中获得了类似的结果。我们的结果适用于各种各样的激活函数，包括那些传统上表现非常差，如logistic sigmoid。除了DKS之外，我们还对跳过连接、规范化层、特殊激活函数（如SELU）以及各种初始化方案进行了详细分析，解释了它们作为“塑造”网络初始化时间内核的替代（最终不完整）方式的有效性。
2021-10-05 cs.AI cs.LG cs.NE
Normalization Techniques in Training DNNs: Methodology, Analysis and Application
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
规范化技术对于加速深度神经网络（DNN）的训练和提高其泛化能力至关重要，并已成功用于各种应用。本文回顾和评论DNN训练背景下的规范化方法的过去，现在和未来。我们从优化的角度提供了不同方法背后的主要动机的统一图片，并提出了一个分类法来理解它们之间的相似性和差异。具体来说，我们将最具代表性的归一化激活方法的流水线分解为三个部分：归一化区域划分，归一化操作和归一化表示恢复。通过这样做，我们为设计新的归一化技术提供了见解。最后，我们讨论了目前的进展，在理解规范化方法，并提供了一个全面的审查的应用程序的特定任务，它可以有效地解决关键问题。
2020-09-27 cs.CV cs.LG stat.ML
Understanding Unconventional Preprocessors in Deep Convolutional Neural Networks for Face Identification
Baze University（巴泽大学）；The University of the West of England（西英格兰大学）
深度网络在物体和人脸识别等应用领域取得了巨大的成功。性能提升归因于网络架构的不同方面，例如：卷积层的深度、激活函数、池化、批量归一化、前向和反向传播等等。然而，很少强调预处理器。因此，在本文中，网络的预处理模块是不同的预处理方法，同时保持恒定的网络架构的其他方面，调查预处理对网络的贡献。常用的预处理器是数据增强和归一化，并被称为传统的预处理器。其他被称为非常规预处理器，它们是：颜色空间转换器; HSV，CIE L*a*b* 和YCBCR，灰度分辨率预处理器;基于全平面和基于平面的图像量化，照明归一化和不敏感特征预处理，使用：直方图均衡化（HE），局部对比度归一化（LN）和完整的面部结构模式（CFSP）。为了实现固定的网络参数，采用具有迁移学习的CNN。来自Inception-V3网络的高级特征向量的知识被转移到离线预处理的LFW目标数据;并使用SoftMax分类器进行人脸识别。实验表明，在将RGB数据馈送到CNN之前，可以通过使用HE、基于全平面和基于平面的量化、rgbGELog和YCBCR预处理器对RGB数据进行预处理来提高深度网络的辨别能力。然而，为了获得最佳性能，需要正确设置具有增强和/或归一化的预处理数据。基于平面的图像量化被发现增加了邻域像素的均匀性，并利用减少的位深度以获得更好的存储效率。
2019-05-02 cs.CV cs.LG stat.ML
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization
Fudan University（复旦大学）；Megvii Technology（旷视科技）
批量归一化（BN）是深度学习领域中应用最广泛的技术之一。但是，如果批量大小不足，其性能会严重下降。这一弱点限制了BN在许多计算机视觉任务（如检测或分割）中的使用，由于内存消耗的限制，批量大小通常很小。因此，许多改进的归一化技术被提出，这些技术要么不能完全恢复BN的性能，要么必须在推理过程中引入额外的非线性运算，增加巨大的消耗。在本文中，我们发现，有两个额外的批量统计参与BN的反向传播，这是从来没有得到很好的讨论。与梯度相关的额外批量统计也会严重影响深度神经网络的训练。在此基础上，提出了一种新的归一化方法--移动平均批量归一化（MABN）。MABN可以完全恢复香草BN在小批量情况下的性能，而无需在推理过程中引入任何额外的非线性操作。我们通过理论分析和实验证明了MABN的优点。我们的实验证明了MABN在包括ImageNet和COCO在内的多个计算机视觉任务中的有效性。该代码已在https://github.com/megvii-model/MABN上发布。
2020-04-08 cs.CV cs.LG stat.ML
Adaptative Context Normalization: A Boost for Deep Learning in Image Processing
Sorbonne Paris Nord University（巴黎北大学）；Paris-Saclay University（巴黎-萨克雷大学）；UVSQ（凡尔赛大学）；Center for Development of Advanced Technologies（高级技术发展中心）
本文提出自适应上下文归一化 ACN，通过学习相似数据分组的上下文参数并随反向传播训练，在保证速度与收敛的同时提升图像处理性能。
2024-09-07 cs.CV cs.LG
Four Things Everyone Should Know to Improve Batch Normalization
University of Auckland（奥克兰大学）
大多数神经网络架构的一个关键组成部分是使用规范化层，例如批量归一化。尽管它在优化深层架构方面的常见用途和巨大效用，但在批量归一化上进行一般性改进以及了解适合其他增强的情况都是具有挑战性的。在本文中，我们确定了对批量归一化的通用形式的四项改进以及它们的工作环境，从而在所有批量大小下获得性能提升，同时在训练期间不需要额外的计算。这些贡献包括：提出了一种推理方法，用于推理规范化统计中的当前示例，固定训练与推理差异;识别和验证Ghost批量归一化对小批量和中等批量的强大正则化效果;检查权重衰减正则化对缩放和移位参数gamma和beta的影响;通过结合Batch和Group Normalization的优势，为非常小的批量确定一种新的规范化算法。我们在六个数据集上实证验证了我们的结果：CIFAR-100，SVHN，Caltech-256，Oxford Flowers-102，CUB-2011和ImageNet。
2020-02-14 cs.CV cs.LG stat.ML
AFN: Adaptive Fusion Normalization via an Encoder-Decoder Framework
本文提出自适应融合归一化AFN，通过编码器-解码器框架统一多种归一化过程，并在领域泛化和图像分类任务中验证其优于已有归一化方法。
2024-02-19 cs.CV cs.LG
To Fold or Not to Fold: a Necessary and Sufficient Condition on Batch-Normalization Layers Folding
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；Datakalab（Datakalab公司）；Valeo（法雷奥）
批量归一化（BN）层已经成为越来越复杂的深层神经网络架构中的基本组件。这些模型需要加速过程以在边缘设备上部署。然而，BN层由于顺序操作处理而增加了计算瓶颈：因此，加速过程的一个关键但经常被忽视的组件是BN层折叠。在本文中，我们证明了目前的BN折叠方法是次优的，有多少层可以删除。因此，我们提供了一个必要和充分条件BN折叠和相应的最佳算法。所提出的方法系统地优于现有的基线，并允许显着减少深度神经网络的推理时间。
2022-03-28 cs.CV cs.LG
Single-bit-per-weight deep convolutional neural networks without batch-normalization layers for embedded systems
University of South Australia（南澳大学）；University of California, San Diego（加州大学圣地亚哥分校）；Western Sydney University（西悉尼大学）
批量归一化（BN）层被认为是当今最先进的深度卷积神经网络中不可或缺的重要层类型，用于计算机视觉任务，例如分类和检测。然而，BN层引入了复杂性和计算开销，这对于实时嵌入式视觉系统（例如UAV、机器人和物联网（IoT）设备）的低功率定制硬件实现的训练和/或推断是非常不期望的。当在训练期间批量大小需要非常小时，它们也是有问题的，并且诸如比BN层更近引入的剩余连接等创新可能会减少它们的影响。在本文中，我们的目标是量化的好处BN层提供的图像分类网络，在与其他选择相比。特别是，我们研究了使用移位ReLU层而不是BN层的网络。我们发现，在将宽残差网络应用于ImageNet、CIFAR 10和CIFAR 100图像分类数据集的实验之后，BN层并不总是提供显著的优势。我们发现，BN层提供的准确度取决于数据集、网络大小和权重的位深度。我们的结论是，在BN层由于速度，内存或复杂性成本而不受欢迎的情况下，应该考虑使用移位ReLU层;我们发现它们可以在所有这些领域提供优势，并且通常不会带来显着的准确性成本。
2019-07-22 cs.CV cs.LG cs.NE
Optimization and Generalization Guarantees for Weight Normalization
VMware Research（威睿研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）
本文首次为深度权重归一化网络提供优化与泛化的理论保证，通过Hessian谱范数界建立训练收敛性，并给出与宽度无关、随深度次线性增长的泛化界。
2025-01-20 cs.AI cs.LG math.OC
Continuous-Time Analysis of Adaptive Optimization and Normalization
University of Cambridge（剑桥大学）；Harvard University（哈佛大学）；NTT Research, Inc.（NTT研究公司）
本文提出Adam和AdamW的连续时间形式化分析，推导出确保有界更新的超参数稳定区域，揭示归一化层的隐式元自适应效应，并提出广义优化器k-Adam，深化了对深度学习训练动力学的理论理解。
2024-12-19 cs.AI cs.LG
StableGrad: Backward Scale Control without Batch Normalization
Universitat Politècnica de València（巴塞罗那理工大学）；Universitat Jaume I（Jaime I 大学）
本文提出StableGrad，一种在无需批量归一化的情况下通过优化器层面控制权重-梯度缩放来稳定深度神经网络训练的方法，特别适用于物理信息神经网络等场景。
2026-05-19 cs.AI cs.LG
Differentiable Learning-to-Normalize via Switchable Normalization
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）
我们通过提出可切换归一化（SN）来解决学习归一化问题，SN学习为深度神经网络的不同归一化层选择不同的归一化器。SN采用三个不同的范围来计算统计数据（均值和方差），包括通道、层和小批量。SN通过以端到端的方式学习它们的重要性权重来在它们之间切换。它有几个好的属性。首先，它适应各种网络架构和任务（见图1）。其次，它对各种批量大小都很健壮，即使在小的minibatch（例如2张图像/GPU）时也能保持高性能。第三，SN不具有敏感的超参数，不像搜索组的数量作为超参数的组归一化。没有花里胡哨的东西，SN在各种具有挑战性的基准测试中表现优于同行，如ImageNet、COCO、CityScapes、ADE 20 K和Kinetics。还介绍了SN的分析。我们希望SN能够帮助简化使用并理解深度学习中的规范化技术。SN的代码已在https://github.com/switchablenorms/上提供。
2019-04-24 cs.CV cs.LG
Deep Neural Models for Medical Concept Normalization in User-Generated Texts
Kazan Federal University（喀山联邦大学）；Samsung-PDMI Joint AI Center（三星-PDMI联合人工智能中心）；PDMI RAS（俄罗斯科学院PDMI研究所）
本研究针对用户生成文本中医学概念规范化问题，提出利用循环神经网络和上下文词表示模型进行序列学习，在三个基准上显著优于现有最先进模型。
2019-07-18 cs.CL cs.IR cs.LG
On the Normalization of Confusion Matrices: Methods and Geometric Interpretations
LIRIS, INSA Lyon, CNRS (UMR 5205)（LIRIS，里昂国立应用科学学院，法国国家科学研究中心（UMR 5205））；Caisse d’Epargne Rhône Alpes, Tour Incity, Lyon（法国储蓄银行罗讷-阿尔卑斯分行，因西蒂大厦，里昂）
本文提出双随机标准化方法，通过迭代比例拟合分离混淆矩阵中的类间相似性和分布偏置，从而更准确地诊断模型行为并改进性能。
2026-03-30 cs.LG
Gradient Normalization & Depth Based Decay For Deep Learning
在本文中，我们介绍了一种新的方法，梯度归一化和衰减的深度。我们的方法利用了对深度神经网络中的所有梯度进行归一化的简单概念，然后相对于它们在网络中的深度衰减所述梯度。我们提出的归一化和衰减技术可以与大多数当前最先进的优化器结合使用，并且是对任何网络的非常简单的添加。这种方法虽然简单，但在最先进的网络（如DenseNet和ResNet）上的图像分类任务以及用于自然语言处理任务的LSTM上的收敛时间有所改善。
2018-02-28 cs.LG stat.ML
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
SUNY Buffalo（纽约州立大学布法罗分校）
虽然批量归一化（BN）的作者确定并解决了训练深度网络中涉及的一个重要问题-内部协变量偏移-但当前的解决方案存在一定的缺陷。具体而言，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值（特别是在初始训练时期期间）而对于验证不准确。此外，BN不能在训练期间与批量1一起使用。我们通过提出一种非自适应的归一化技术来消除内部协变量的偏移，我们称之为归一化传播来解决这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-07-12 cs.LG stat.ML
Impact of Data Normalization on Deep Neural Network for Time Series Forecasting
在过去的几年里，已经观察到深度神经网络（DNN）在图像分类、语音识别方面取得了巨大的成功。但是DNN在时间序列预测方面面临着巨大的挑战，因为大多数时间序列数据本质上是非线性的，并且行为是高度动态的。时间序列预测对我们的社会经济环境有很大的影响。因此，为了应对这些挑战，需要重新定义DNN模型，并记住这一点，在将数据馈送到DNN模型之前，需要考虑数据预处理，网络架构和网络参数。数据规范化是学习所采用的基本数据预处理技术。时间序列预测的有效性在很大程度上取决于数据归一化技术。在本文中，在将数据输入DNN模型之前，对时间序列数据使用不同的归一化方法，我们试图找出每种归一化技术对DNN预测时间序列的影响。本文采用深度递归神经网络（DRNN），利用孟买证券交易所（BSE）和纽约证券交易所（NYSE）的时间序列数据，对BSE和NYSE的收盘指数进行了预测。
2019-01-07 cs.LG stat.ML
Deep Gradient Boosting -- Layer-wise Input Normalization of Neural Networks
随机梯度下降（SGD）由于其许多理想的属性，一直是用于训练深度神经网络的主要优化方法。SGD的一个更显著和最不被理解的特性是，即使神经网络有数百万个参数，它也能相对较好地概括看不见的数据。我们假设，在某些情况下，它是可取的放松其固有的泛化性能，并引入一个扩展的SGD称为深梯度提升（DGB）。DGB的关键思想是使用链式规则推断的反向传播梯度可以被视为梯度提升问题的伪残差目标。因此，在神经网络的每一层，通过使用线性基学习器解决相应的提升问题来计算权重更新。由此产生的权重更新公式也可以被视为在前向传递期间到达每一层的数据的归一化过程。当作为一个单独的输入规范化层（INN）实现时，新的架构与没有规范化层的相同架构相比，在图像识别任务上表现出更好的性能。与批量归一化（BN）相反，INN没有可学习的参数，但它在CIFAR 10和ImageNet分类任务上的性能与之匹配。
2020-07-02 cs.LG stat.ML
Training Deep Neural Networks Without Batch Normalization
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
训练神经网络是一个优化问题，通过梯度下降找到一组合适的参数可能是一项困难的任务。在培训之前和培训期间，已经开发了一系列技术来帮助这一过程。其中最重要和最广泛使用的一类方法是归一化。神经元接收零均值和单位方差分布的输入通常是有利的，因此我们在第一层之前使用关于数据集的统计数据对其进行归一化。然而，对于网络内部的中间激活，不能保证该属性。在网络内部实施此属性的一种广泛使用的方法是批量归一化。它被开发用于对抗网络内部的协变量偏移。从经验上讲，它是已知的工作，但缺乏理论上的理解，其有效性和潜在的缺点，它可能会在实践中使用。本文详细研究了批量归一化方法，并将其与权值归一化、梯度裁剪和丢弃等方法进行了比较。这项工作的主要目的是，以确定是否有可能有效地训练网络时，批量归一化是通过适应的训练过程中删除。
2020-08-18 cs.LG stat.ML
Mean Spectral Normalization of Deep Neural Networks for Embedded Automation
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
深度神经网络（DNN）已经开始在自动化系统领域蓬勃发展，这是由于最近在标准化各个方面（如架构，优化技术和正则化）方面取得的进展。在本文中，我们采取了一种更好地理解谱归一化（SN）及其对更广泛的深度学习模型的标准化正则化的潜力的方法。我们进行了几个实验来研究它们的训练动态，与无处不在的批量归一化（BN）相比，SN增加了梯度稀疏性并控制了梯度方差。此外，我们表明，SN遭受的现象，我们称之为均值漂移效应，这减轻了它的性能。然后，我们提出了一种称为平均谱归一化（MSN）的权重重新参数化来解决平均漂移，从而显着提高网络的性能。我们的模型在实践中比BN快16%，并且可训练的参数更少。我们还展示了我们的MSN对于小型，中型和大型CNN的性能-分别为3层CNN，VGG 7和DenseNet-BC-以及使用生成对抗网络（GANs）的无监督图像生成任务，以评估其适用于广泛的嵌入式自动化任务。
2019-07-09 cs.LG stat.ML
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
University of Florida（佛罗里达大学）；Naval Postgraduate School（海军研究生院）
利用最近引入的统计和定量风险管理的概念，我们提出了一个一般的批量归一化（BN），提供加速收敛的神经网络训练相比，传统的BN。总的来说，我们表明均值和标准差并不总是BN变换中居中和缩放过程的最合适选择，特别是如果ReLU遵循归一化步骤。我们提出了一个广义批量归一化（GBN）的转换，它可以利用各种替代的偏差测量的缩放和统计中心，选择自然产生的广义偏差测量理论和风险理论一般。当与ReLU非线性结合使用时，潜在的风险理论为偏差度量和统计提供了自然的、可以说是最佳的选择。利用建议的偏差测量和统计，我们通过实验表明，训练速度比传统BN更快，通常也具有改进的出错率。总的来说，我们提出了一个更灵活的BN转换支持的一个互补的理论框架，可以潜在地指导设计选择。
2018-12-08 cs.LG stat.ML
Deep Normalization for Speaker Vectors
Tsinghua University（清华大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
深度说话人嵌入在说话人识别任务中表现出了最先进的性能。然而，这种方法的一个潜在问题是，从深度嵌入模型导出的扬声器向量对于每个单独的扬声器往往是非高斯的，并且对于不同扬声器的分布是非均匀的。这些不规则的分布会严重影响说话人识别的性能，特别是对于流行的PLDA评分方法，它假设均匀高斯分布。在本文中，我们认为，深说话人向量需要深度归一化，并提出了一种基于新的判别归一化流（DNF）模型的深度归一化方法。我们使用广泛使用的SITW和CNCeleb语料库的实验证明了所提出的方法的有效性。在这些实验中，基于DNF的规范化提供了大量的性能增益，并且在域外测试中也显示出强大的泛化能力。
2020-11-02 cs.LG cs.SD eess.AS
Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks
DeepMind（深度思维）
批量归一化极大地增加了残差网络的最大可训练深度，这一优势对于深度残差网络在广泛的基准测试中取得经验性成功至关重要。我们发现，这一关键的好处，因为在初始化，批量归一化缩小规模的剩余分支相对于跳过连接，通过一个归一化因子的网络深度的平方根的顺序。这确保了在训练的早期，由深度网络中的归一化残差块计算的函数接近于单位函数（平均而言）。我们利用这一洞察力开发了一个简单的初始化方案，可以训练深度残差网络，而无需归一化。我们还提供了对残差网络的详细实证研究，阐明了尽管批量归一化网络可以用更大的学习率进行训练，但这种效果仅在特定的计算机制中有益，并且当批量大小很小时，这种效果微乎其微。
2020-12-09 cs.CV cs.LG stat.ML
GAS-Norm: Score-Driven Adaptive Normalization for Non-Stationary Time Series Forecasting in Deep Learning
University of Pisa（比萨大学）；Scuola Normale Superiore（高等师范学院）
针对深度神经网络在非平稳时间序列预测中表现不佳的问题，提出结合GAS模型与DNN的自适应归一化方法GAS-Norm，可适配任意预测模型，在25种设置中21种提升了性能。
2024-10-04 cs.LG stat.ML
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
Contextual Normalization Applied to Aircraft Gas Turbine Engine Diagnosis
航空燃气涡轮发动机故障诊断是一个复杂的问题。它涉及多项任务，包括快速准确地解释发动机传感器数据中的模式。我们已经研究了上下文规范化的软件工具的开发，以帮助发动机维修技术人员与传感器数据的解释。上下文规范化是机器学习的一种新策略。它处理由于上下文因素而导致的数据变化，而不是引擎的健康状况。它通过以上下文敏感的方式规范化数据来实现这一点。这种学习策略是在测试单元中使用飞机燃气涡轮发动机的242个观察结果开发和测试的，其中每个观察结果由在12秒间隔内收集的大约12，000个数字组成。有八类观察：七类故意植入的故障和一个健康的类。我们比较了两种实现学习策略的方法：线性回归和基于实例的学习。我们有三个主要结果。(1)对于给定的问题，基于实例的学习比线性回归更有效。(2)对于这个问题，上下文规范化比其他常见的规范化形式效果更好。(3)这里描述的算法可以作为一个有用的软件工具的基础，用于帮助技术人员解释传感器数据。
2002-12-11 cs.CE cs.CV cs.LG
Mean Shift Rejection: Training Deep Neural Networks Without Minibatch Statistics or Normalization
AI Foundation（AI基金会）
已知深度卷积神经网络在高学习率的训练期间是不稳定的，除非采用归一化技术。归一化权重或激活允许使用更高的学习率，从而导致更快的收敛和更高的测试精度。批量归一化需要近似数据集统计的小批量统计，但这会导致额外的计算和内存成本，并导致分布式训练的通信瓶颈。权重标准化和仅初始化方案无法实现可比的测试精度。我们引入了对训练不稳定性原因的新理解，并提供了一种独立于归一化和小批量统计的技术。我们的方法将训练不稳定性视为空间共模信号，通过将模型放置在整个训练过程中保持的通道零均值等倾线上来抑制该信号。首先，我们应用具有整体单位核幅度的滤波器核的通道式零均值初始化。在每个训练步骤中，我们修改空间内核的梯度，以便减去它们的加权通道平均值，以保持共模抑制条件。这可以防止均值漂移的发生。这种新技术允许直接训练测试图，以便训练和测试模型是相同的。我们还证明了在训练过程中在整个网络中注入随机噪声可以提高泛化能力。这是基于这样的想法，即作为副作用，由于数据集近似的弱点，批量归一化通过注入小批量噪声来执行深度数据增强。与批量归一化相比，我们的技术实现了更高的准确性，并且首次表明小批量和归一化对于最先进的训练是不必要的。
2019-11-29 cs.CV cs.LG stat.ML
