Mode Normalization
University of Edinburgh(爱丁堡大学)
规范化方法是深度学习工具箱中的核心构建块。它们可以加速和稳定训练,同时减少对手动调整学习率调度的依赖。当从多模态分布中学习时,批量归一化(BN)的有效性降低,可以说是最突出的归一化方法。作为补救措施,我们提出了一种更灵活的方法:通过将归一化扩展到多个均值和方差,我们实时检测数据模式,联合归一化共享共同特征的样本。我们证明了我们的方法优于BN和其他广泛使用的归一化技术在几个实验中,包括单任务和多任务数据集。
2018-10-12 cs.LG stat.ML
AdaDM: Enabling Normalization for Image Super-Resolution
Nanjing University(南京大学)
像批量归一化(BN)这样的归一化是一种里程碑式的技术,可以在深度学习中对中间层的分布进行归一化,从而实现更快的训练和更好的泛化精度。然而,在保真度图像超分辨率(SR)中,人们认为归一化层通过对特征进行归一化而摆脱了范围灵活性,并且它们被简单地从现代SR网络中删除。本文对这一现象进行了定量和定性的研究。我们发现,归一化层后的残差特征的标准差收缩了很多,这导致SR网络的性能下降。标准偏差反映像素值的变化量。当变化变小时,边缘将变得对网络分辨不那么有区别。为了解决这个问题,我们提出了一个自适应偏差调制器(AdaDM),其中的调制因子是自适应预测放大像素偏差。为了获得更好的泛化性能,我们将BN应用于最先进的SR网络和建议的AdaDM。同时,AdaDM中的偏差放大策略使特征中的边缘信息更具有可区分性。因此,使用BN和我们的AdaDM的SR网络可以在基准数据集上获得实质性的性能改进。大量的实验已经进行,以显示我们的方法的有效性。
2021-11-27 cs.CV cs.LG eess.IV
Instance-Level Meta Normalization
National Tsing Hua University(国立清华大学);Academia Sinica(中央研究院)
本文提出了一种规范化机制,称为实例级Meta Normalization(ILM~Norm),以解决学习规范化的问题。ILM~Norm通过特征前馈和梯度反向传播路径学习预测归一化参数。ILM~Norm提供了一种Meta规范化机制,并具有几个良好的属性。它可以很容易地插入到现有的实例级规范化方案中,如实例规范化、层归一化或组规范化。ILM~Norm单独规范化每个实例,因此即使在使用小型minibatch时也能保持高性能。实验结果表明,ILM~Norm能很好地适应不同的网络结构和任务,并能持续提高原有模型的性能。代码可在url{https:github.com/Gasoonjia/ILM-Norm.
2019-04-06 cs.CV cs.LG stat.ML
LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training
DGIST(大邱庆北科学技术院)
在训练早期深度神经网络(DNN)时,通过卷积或线性层生成中间特征占用了大部分执行时间。因此,已经进行了广泛的研究以减少卷积或线性层的计算负担。然而,在最近的移动友好的DNN中,处理这些层所涉及的操作的相对数量已经显着减少。因此,其他层(如批量归一化层)的执行时间比例增加了。因此,在这项工作中,我们进行了详细的分析,批量归一化层,以有效地减少运行时开销的批量归一化过程。在深入分析的基础上,我们提出了一个非常有效的批量归一化,名为LightNorm,及其相关的硬件模块。更详细地说,我们融合了三种近似技术,即i)低位精度,ii)范围批量归一化,以及iii)块浮点。所有这些近似技术都被仔细地利用,不仅要保持中间特征图的统计数据,而且要尽量减少片外存储器访问。通过使用所提出的LightNorm硬件,我们可以在DNN训练期间实现显著的面积和能源节省,而不会影响训练精度。这使得所提出的硬件成为设备上培训的绝佳候选者。
2022-11-04 cs.AR cs.LG
Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction
Sina Weibo Corp(新浪微博公司)
归一化已经成为许多用于机器学习任务的深度神经网络中最基本的组件之一,而深度神经网络也已广泛用于CTR估计领域。在大多数提出的深度神经网络模型中,很少有模型利用归一化方法。虽然一些工作,如深度和交叉网络(DCN)和神经因子分解机(NFM)在结构的MLP部分使用批量归一化,但还没有深入研究归一化对DNN排名系统的影响。在本文中,我们进行了广泛使用的规范化模式的效果进行了系统的研究,通过应用各种规范化方法的DNN模型的特征嵌入和MLP部分。在三个真实数据集上进行了大量的实验,实验结果表明,正确的归一化显著提高了模型的性能。本文还提出了一种新的有效的基于LayerNorm的归一化方法--仅方差LayerNorm(VO-LN)。基于上述观察,还提出了一种归一化增强的DNN模型NormDNN。对于DNN模型的归一化在CTR估计中起作用的原因,我们发现归一化的方差起主要作用,并给出了解释。
2020-07-07 cs.LG stat.ML
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien(维也纳工业大学);University of Vienna(维也纳大学)
本文提出了一种新的归一化层--批处理层归一化(BLN),以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本,在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算,在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据,其统计配置在很大程度上取决于执行的任务,训练数据的量,和批量的大小。实验结果表明,BLN在卷积神经网络和递归神经网络中具有应用潜力,其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取(https://github.com/A2Amir/Batch-Layer-Normalization)。
2022-09-19 cs.AI cs.LG cs.NE
The Expressive Power of Tuning Only the Normalization Layers
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文首次研究冻结随机ReLU网络中仅微调归一化层的表达能力,证明在充分过参数化下可重构宽度小O(√width)倍的目标网络,且对随机稀疏化网络同样成立。
2023-07-04 cs.AI cs.LG stat.ML
Spatially Controllable Image Synthesis with Internal Representation Collaging
The University of Tokyo(东京大学);Preferred Networks, Inc.(Preferred Networks公司)
我们提出了一种新的基于CNN的图像编辑策略,该策略允许用户通过在训练好的GAN模型中操纵图像的特征空间表示来改变图像在任意区域上的语义信息。我们将介绍我们的策略的两种变体:(1)空间条件批量归一化(sCBN),一种具有用户可指定空间权重图的条件批量归一化,以及(2)特征混合,一种直接修改中间特征的方法。我们的方法可以用来编辑人工图像和真实图像,他们都可以与任何GAN与条件归一化层一起使用。我们将通过在不同数据集上训练的各种类型的GANs上的实验来证明我们方法的强大功能。代码将在https://github.com/pfnet-research/neural-collage上提供。
2019-04-09 cs.CV cs.LG
Context Normalization Layer with Applications
Sorbonne Paris Nord University(巴黎北大学);University of Versailles(凡尔赛大学);Université Paris-Saclay(巴黎萨克雷大学);Center for Development of Advanced Technologies(先进技术发展中心)
针对批归一化依赖批量大小且忽略数据分组的问题,本文提出面向图像的上下文归一化,根据样本特征自适应缩放,提升收敛速度与性能,并在多数据集上验证优于标准归一化方法。
2024-02-02 cs.AI cs.CV cs.LG
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart(斯图加特大学);Advantest Europe GmbH(爱德万测试欧洲有限公司)
特征选择通常被用作机器学习中最重要的预处理技术之一,因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此,通过利用特征选择,可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法,但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块(FM-模块)。该方法几乎不需要超参数,可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明,我们的方法易于使用,与其他最先进的基于深度学习的特征选择方法相比,具有更优越的性能。
2021-04-23 cs.LG
Adaptive Batch Normalization for Training Data with Heterogeneous Features
Umm Al-Qura University(乌姆·库拉大学);Assiut University(艾斯尤特大学)
批量归一化(BN)是许多深度学习应用的重要预处理步骤。由于它是一个依赖于数据的过程,对于某些同构数据集来说,它是一个冗余甚至是性能下降的过程。在本文中,我们提出了一个早期阶段的可行性评估方法,估计应用BN对给定的数据批次的好处。该方法使用了一种新的基于阈值的方法来分类的训练数据批次分为两组,根据其需要进行规范化。基于所考虑批次的特征异质性来决定是否需要进行归一化。所提出的方法是一个预训练处理,这意味着没有训练开销。评估结果表明,所提出的方法实现了更好的性能,主要是在小批量比传统的BN使用MNIST,时尚MNIST,CIFAR-10,CIFAR-100数据集。此外,通过减少内部变量变换的发生,提高了网络的稳定性。
2022-11-30 cs.LG
FAN: Feature Adaptation Network for Surveillance Face Recognition and Normalization
Michigan State University(密歇根州立大学);Youtu Lab, Tencent(腾讯优图实验室)
本文研究了监控图像中的人脸识别和归一化问题。侦查是一个具有挑战性的问题,在执法中具有重要的价值。尽管最近的进展,在传统的FR,较少的努力一直致力于监督FR。为了弥合这一差距,我们提出了一个功能自适应网络(FAN),共同执行监督FR和规范化。我们的人脸归一化主要作用于图像分辨率方面,与人脸超分辨率密切相关。然而,以前的人脸超分辨率方法需要具有像素到像素对应关系的成对训练数据,这通常在现实世界的低分辨率和高分辨率人脸之间不可用。FAN可以利用配对和未配对的数据,因为我们将特征分解为身份和非身份分量,并适应身份特征的分布,这打破了当前人脸超分辨率方法的限制。我们进一步提出了一种随机尺度增强方案来学习分辨率鲁棒的身份特征,与之前的固定尺度增强相比具有优势。在LFW、WIDER FACE、QUML-SurvFace和SCface数据集上的大量实验表明了该方法在监测FR和归一化方面的有效性。
2020-10-02 cs.CV cs.LG
Mahalanobis++: Improving OOD Detection via Feature Normalization
针对马氏距离OOD检测性能不稳定的问题,提出对特征进行ℓ2归一化以符合高斯假设,在44个模型上显著且一致地提升检测效果,优于现有方法。
2025-05-23 cs.CV cs.LG
Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization
New York University(纽约大学);New York University School of Medicine(纽约大学医学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
外部变量是与特定任务无关的变量,但严重影响可用数据的分布。在这项工作中,我们证明了这些变量的存在会降低深度学习模型的性能。我们研究了三个数据集,其中有一个强大的影响,已知的外来变量:分类中风患者的上身运动,手术活动的注释,并识别损坏的图像。用批量归一化训练的模型学习高度依赖于无关变量的特征。在批量归一化中,用于归一化特征的统计量是从训练集学习的,并在测试时固定,这在存在变化的无关变量的情况下会产生不匹配。我们证明了在推理过程中自适应地估计特征统计,如在实例归一化中,解决了这个问题,产生了对无关变量的变化更鲁棒的归一化特征。这导致不同网络架构和特征统计选择的性能显著提高。
2020-02-25 cs.LG stat.ML
Adversarial Feature Augmentation and Normalization for Visual Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Corporation(微软公司)
计算机视觉的最新进展利用对抗性数据增强来改善分类模型的泛化能力。在这里,我们提出了一种有效且高效的替代方案,提倡对中间特征嵌入进行对抗性增强,而不是依赖于计算成本高昂的像素级扰动。我们提出了对抗性特征增强和规范化(A-FAN),它(i)首先使用整合了灵活的扰动强度尺度的对抗性特征来增强视觉识别模型,(ii)然后从批量归一化中提取对抗性特征统计数据,并通过特征规范化将其重新注入到干净的特征中。我们使用具有代表性的骨干网络在各种视觉识别任务中验证了所提出的方法,包括用于分类的ResNets和EfficientNets,用于检测的Faster-RCNN和用于分割的Deeplab V3+。大量的实验表明,A-FAN在分类、检测和分割任务的各种数据集(如CIFAR-10、CIFAR-100、ImageNet、Pascal VOC 2007、Pascal VOC 2012、COCO 2017和Cityspaces)上的强基线上产生了一致的泛化改进。全面的消融研究和详细的分析还表明,向特定模块和分类/检测/分割主干层添加扰动会产生最佳性能。代码和预训练模型将在https://github.com/VITA-Group/CV_A-FAN上提供。
2021-03-22 cs.AI cs.CV cs.LG
Spectral Batch Normalization: Normalization in the Frequency Domain
Robert Bosch GmbH(罗伯特·博世有限公司);University of Stuttgart(斯图加特大学)
本文提出谱批归一化(SBN),通过在频域对特征图归一化来防止深度网络中特征图爆炸,促进频率分量均匀分布,从而增强正则化效果并提升网络性能。
2023-06-29 cs.CV cs.LG
Feature Normalization Prevents Collapse of Non-contrastive Learning Dynamics
The Institute of Statistical Mathematics(统计数学研究所)
该研究针对非对比学习的表示坍缩问题,通过引入含特征归一化的余弦损失拓展了现有动力学理论,发现余弦损失诱导的六阶动力学生成稳定平衡点,证明特征归一化可鲁棒防止动力学坍缩。
2025-06-11 cs.LG stat.ML
Metadata Normalization
Stanford University(斯坦福大学)
批量归一化(BN)及其变体在对抗由深度学习方法的训练步骤引起的协变量偏移方面取得了巨大成功。虽然这些技术通过使用批量统计数据进行标准化来规范化特征分布,但它们并没有纠正外部变量或多个分布对特征的影响。这种额外的变量,在这里被称为元数据,可能会产生偏差或混淆效应(例如,当从面部图像分类性别时的种族)。我们引入了元数据规范化(MDN)层,这是一种新的批量级操作,可以在训练框架内端到端使用,以纠正元数据对特征分布的影响。MDN采用了传统上用于预处理的回归分析技术,以消除(回归)元数据在训练过程中对模型特征的影响。我们利用基于距离相关性的度量来量化元数据的分布偏差,并证明我们的方法成功地消除了元数据对四种不同设置的影响:一个合成,一个2D图像,一个视频和一个3D医学图像数据集。
2021-05-05 cs.LG
Robust Face Recognition using Local Illumination Normalization and Discriminant Feature Point Selection
Kim Il Sung University(金日成大学)
人脸识别系统必须对人脸表情、光照、头部姿态和年龄等各种因素的变化具有鲁棒性。特别是,对光照变化的鲁棒性是人脸识别系统实际应用中需要解决的最重要的问题之一。Gabor小波由于能够模拟人类视觉系统的功能而被广泛应用于人脸检测和识别中。本文提出了一种在局部光照变化下保持稳定的Gabor小波特征提取方法,并给出了实验结果,证明了该方法的有效性。
2012-12-11 cs.CV cs.LG
On Fragile Features and Batch Normalization in Adversarial Training
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
现代深度学习架构利用批量归一化(BN)来稳定训练并提高准确性。已经表明,单独的BN层是令人惊讶的表现力。然而,在对抗性示例的鲁棒性方面,BN被认为会增加脆弱性。也就是说,BN有助于学习脆弱的特征。尽管如此,BN仍然用于对抗训练,这是学习鲁棒特征的事实标准。为了阐明BN在对抗训练中的作用,我们研究了BN的表达能力在多大程度上可以用于增强脆弱特征,而不是随机特征。在CIFAR10上,我们发现仅对BN层进行对抗性微调可以产生非平凡的对抗性鲁棒性。相反,从头开始只对抗训练BN层,无法传达有意义的对抗鲁棒性。我们的研究结果表明,脆弱特征可以用于学习具有中等对抗鲁棒性的模型,而随机特征则不能
2022-04-26 cs.CR cs.CV cs.LG
Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay
Georgia Institute of Technology(佐治亚理工学院)
本文研究批归一化和权重衰减对神经坍缩出现的影响,建立了仅依赖权重衰减值、训练损失和最后一层批归一化的渐近下界,并通过实验验证了这些因素对神经坍缩强度的作用。
2024-09-04 cs.LG
Feature Normalization for Fine-tuning Self-Supervised Models in Speech Enhancement
Yonsei University(延世大学)
针对预训练自监督语音表征模型用于语音增强时的特征不匹配问题,提出采用特征归一化技术衔接模块,结合多种预训练模型均实现了语音质量的显著提升。
2023-06-14 cs.LG cs.SD eess.AS
Supervised Quantile Normalization for Low-rank Matrix Approximation
Google Research, Brain Team(谷歌研究院脑团队);New York University(纽约大学)
低秩矩阵分解是机器学习中的基本构建块,例如用于总结基因表达谱数据或单词文档计数。为了对离群值和特征之间的尺度差异具有鲁棒性,矩阵因子分解步骤通常在ad-hoc特征归一化步骤之前,例如\texttt{tf-idf}缩放或数据白化。我们建议在这项工作中学习这些归一化运算符与因子分解本身。更确切地说,给定$n$个体上测量的$d$特征的$d\times n$矩阵$X$,我们建议学习分位数归一化算子的参数,该分位数归一化算子可以对$X$和/或其因子分解$UV$的值进行逐行操作,以提高$X$本身的低秩表示的质量。通过引入使用最优传输构建的新的可微分位数归一化算子来促进这种优化,从而在现有工作的基础上提供新的结果(Cuturi et al. 2019)。我们证明了这些技术在合成和基因组学数据集上的适用性。
2020-07-03 cs.LG stat.ML
Understanding the Role of Layer Normalization in Label-Skewed Federated Learning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文揭示了层归一化通过其关键机制特征归一化(FN)控制特征坍塌和局部过拟合,从而显著加速联邦学习在极端标签偏移下的全局训练收敛并保持对学习率的鲁棒性。
2024-02-15 cs.LG stat.ML
On Feature Normalization and Data Augmentation
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);ASAPP(ASAPP公司);Facebook AI(Facebook人工智能实验室)
时刻(A.K.A.,平均值和标准偏差)在训练图像识别模型时通常作为噪声被去除,以增加稳定性并减少训练时间。然而,在图像生成领域,矩扮演着更加核心的角色。研究表明,实例归一化和位置归一化提取的矩可以粗略地捕捉图像的风格和形状信息。而不是被丢弃,这些时刻是工具的生成过程。在本文中,我们提出了矩交换,一个隐式的数据增强方法,鼓励模型利用矩信息也识别模型。具体来说,我们将一个训练图像的学习特征的矩替换为另一个训练图像的学习特征的矩,并对目标标签进行插值--迫使模型除了从归一化特征中提取训练信号外,还从矩中提取训练信号。由于我们的方法速度快,完全在特征空间中操作,并且混合了与现有方法不同的信号,因此可以将其与现有的增强方法有效地结合起来。我们在几个识别基准数据集上证明了它的有效性,它提高了高度竞争的基线网络的泛化能力,具有显着的一致性。
2021-03-30 cs.CL cs.CV cs.LG
FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning
KAIST(韩国科学技术院);Graduate School of AI, KAIST(韩国科学技术院人工智能研究生院);SAIT(三星先进技术研究院)
本文提出FedFN方法,通过特征归一化更新缓解联邦学习中的数据异质性问题,实验证明其在预训练ResNet18和基础模型上均表现优越。
2023-11-22 cs.AI cs.CV cs.LG
Batch Normalization Increases Adversarial Vulnerability and Decreases Adversarial Transferability: A Non-Robust Feature Perspective
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
批量归一化(BN)由于改进了收敛性而被广泛用于现代深度神经网络(DNN)中。观察到BN提高了模型的准确性,同时以对抗性鲁棒性为代价。ML社区越来越有兴趣了解BN对DNN的影响,特别是与模型鲁棒性相关的影响。这项工作试图从非鲁棒特征的角度来理解BN对DNN的影响。简单地说,准确性的提高可以归因于更好地利用有用的功能。目前还不清楚BN是否主要倾向于学习鲁棒特征(RF)或非鲁棒特征(NRF)。我们的工作提出了实证证据,支持BN转向模型更加依赖于NRF。为了便于分析这种功能的鲁棒性转变,我们提出了一个框架,用于将鲁棒性有用性分解为鲁棒性和有用性。在所提出的框架下进行的广泛分析产生了关于DNN鲁棒性行为的有价值的见解,例如DNN首先主要学习RF,然后学习NRF。RF比NRF传输更好的见解进一步激发了简单的技术来加强基于传输的黑箱攻击。
2021-10-07 cs.CV cs.LG stat.ML
Domain Generalization with Relaxed Instance Frequency-wise Normalization for Multi-device Acoustic Scene Classification
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies, Inc.(高通技术公司)
在图像处理中使用二维卷积神经网络(2D-CNNs)时,可以利用通道统计量来处理域信息,而实例归一化是一种很有前途的获得域不变特征的方法。然而,与图像处理不同,我们分析了音频特征中的域相关信息在频率统计中占主导地位,而不是信道统计。出于我们的分析,我们引入了宽松的实例频率归一化(RFN):一个即插即用,沿频率轴的显式归一化模块,可以消除音频特征中的实例特定域差异,同时放松有用的判别信息的不必要损失。从经验上讲,简单地将RFN添加到网络中,与声学场景分类上的先前领域泛化方法相比显示出明显的裕度,并且对于多个音频设备产生改进的鲁棒性。特别是,所提出的RFN赢得了DCASE 2021挑战TASK 1A,低复杂度的声学场景分类与多个设备,具有明确的利润率,RFN是我们的技术报告的扩展工作。
2022-06-24 cs.LG cs.SD eess.AS
FedBN: Federated Learning on Non-IID Features via Local Batch Normalization
Yale University(耶鲁大学);Princeton University(普林斯顿大学);The Chinese University of Hong Kong(香港中文大学);Iowa State University(爱荷华州立大学);Monash University(蒙纳士大学)
新兴的联邦学习(FL)范式致力于在网络边缘实现深度模型的协作训练,而无需集中聚合原始数据,从而提高数据隐私。在大多数情况下,本地客户端之间独立且相同分布的样本的假设不适用于联邦学习设置。在此设置下,神经网络训练性能可能会根据数据分布而显著变化,甚至损害训练收敛。以前的大部分工作都集中在标签分布或客户端转移的差异上。与这些设置不同,我们解决了FL的一个重要问题,例如,医学成像中的不同扫描仪/传感器、自动驾驶中的不同场景分布(高速公路与城市),其中本地客户端存储与其他客户端相比具有不同分布的示例,我们将其表示为特征移位非IID。在这项工作中,我们提出了一种有效的方法,使用本地批量归一化,以减轻平均模型之前的特征偏移。由此产生的方案,称为FedBN,优于经典的FedAvg,以及国家的最先进的非iid数据(FedProx)在我们广泛的实验。这些实证结果得到了收敛分析的支持,该分析表明,在简化的设置中,FedBN具有比FedAvg更快的收敛速度。代码可在https://github.com/med-air/FedBN上获得。
2021-05-11 cs.LG
Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在本文中,我们提出了一种新的领域自适应方法的无源设置。在这种情况下,我们无法在自适应过程中访问源数据,而给出了未标记的目标数据和用源数据预训练的模型。由于缺乏源数据,我们不能像典型的领域自适应算法那样直接匹配域之间的数据分布。为了解决这个问题,我们建议利用存储在预训练模型中的批量归一化统计数据来近似未观察到的源数据的分布。具体来说,我们在自适应过程中固定模型的分类器部分,只微调剩余的特征编码器部分,以便编码器提取的特征的批量归一化统计数据与存储在固定分类器中的特征相匹配。此外,我们还最大化特征和分类器输出之间的互信息,以进一步提高分类性能。实验结果表明,我们的方法实现了竞争力的性能与国家的最先进的领域自适应方法,即使它不需要访问源数据。
2021-01-19 cs.CV cs.LG
Confounder-Free Continual Learning via Recursive Feature Normalization
Stanford University, Stanford, United States(斯坦福大学)
针对持续学习中混杂因素导致的有偏预测和灾难性遗忘问题,提出可集成于任意深度架构的递归MDN层,利用递归最小二乘回归更新内部状态,实现跨人群公平预测。
2025-08-06 cs.CV cs.LG
Exploiting Spiking Dynamics with Spatial-temporal Feature Normalization in Graph Learning
Center for Brain-Inspired Computing Research (CBICR)(类脑计算研究中心);Tsinghua University(清华大学)
具有内在动力学的生物尖峰神经元是大脑在复杂环境中处理多模态信息的强大表征和学习能力的基础。尽管最近脉冲神经网络(SNN)在处理欧氏空间任务方面取得了巨大的进展,但利用SNN处理由图数据表示的非欧氏空间数据仍然具有挑战性,主要是由于缺乏有效的建模框架和有用的训练技术。在这里,我们提出了一个通用的基于尖峰的建模框架,可以直接训练SNN进行图学习。通过时空展开的尖峰数据流的节点功能,我们将图卷积过滤器尖峰动力学和形式化的协同学习范式。考虑到尖峰表示和尖峰动力学的独特特征,我们提出了一种适用于SNN的时空特征归一化(STFN)技术来加速收敛。我们将我们的方法实例化为两个尖峰图模型,包括图卷积SNN和图注意SNN,并在三个节点分类基准测试(包括Cora,Citeseer和Pubmed)上验证其性能。我们的模型可以实现与最先进的图神经网络(GNN)模型具有更低的计算成本相当的性能,表现出极大的好处,神经形态硬件上的执行,并促进神经形态应用程序在图形场景。
2021-06-30 cs.LG cs.NE
FeatureNorm: L2 Feature Normalization for Dynamic Graph Embedding
The Chinese University of Hong Kong(香港中文大学)
动态图出现在大量实际场景中,例如社交网络、通信网络和金融交易网络。给定一个动态图,学习一个图表示是基本的和必不可少的,该图表示不仅要保持结构上的接近性,而且还要共同捕获时间演变的模式。近年来,图卷积网络在非欧应用领域得到了广泛的研究和应用。GCN的主要成功之处在于它近似于拉普拉斯平滑,特别是在处理依赖关系和在节点内传递消息方面。事实上,这种平滑技术不仅可以鼓励必须链接的节点对变得更接近,而且还可以推动不能链接的节点对收缩在一起,这可能会导致严重的特征收缩或过度平滑问题,特别是当在多个层或步骤中堆叠图卷积时。对于学习时间演化模式,一个自然的解决方案是保留历史状态并将其与当前交互相结合以获得最新的表示。那么,按照目前流行的方法显式或隐式地叠加图卷积时,会出现严重的特征收缩或过平滑问题,使得节点过于相似而无法区分。为了解决动态图嵌入中的这个问题,首先分析了节点嵌入空间的收缩特性,然后设计了一种简单而通用的方法,该方法利用L2特征归一化约束将所有节点重新缩放到单位球的超球面中,使得节点不会收缩在一起,而相似的节点仍然可以靠近。在四个真实动态图数据集上的实验结果表明了该方法的有效性。
2021-06-14 cs.CG cs.LG
Bi-Encoders based Species Normalization -- Pairwise Sentence Learning to Rank
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);UTS(悉尼科技大学);Climate Change Cluster(气候变化集群)
提出一种基于Bi-Encoders和BERT重排序的深度学习方法,将物种命名实体规范化视为成对学习排序问题,无需特征工程,在LINNAEUS和S800语料库上优于现有技术。
2023-10-22 cs.CL cs.LG
The Choice of Normalization Influences Shrinkage in Regularized Regression
Department of Mathematical Sciences, University of Copenhagen(哥本哈根大学数学科学系);Department of Statistics, Lund University(吕勒欧大学统计系)
本文首次系统研究归一化方法对套索、岭和弹性网络回归的影响,发现二值特征的类别平衡会干扰系数估计,并提出按方差/标准差缩放特征或惩罚权重以缓解该问题。
2025-07-03 cs.LG stat.ME stat.ML
A Clustering Framework for Lexical Normalization of Roman Urdu
Stevens Institute of Technology(史蒂文斯理工学院);City University of New York(纽约城市大学);Lahore University of Management Sciences(拉合尔管理科学大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Information Technology University(信息技术大学)
针对罗马乌尔都语缺乏标准拼写导致的规范化难题,本文提出一个基于特征的聚类框架,集成语音算法UrduPhone、字符串匹配和相似度函数及聚类算法Lex-Var,以处理字符级变体并实现词汇规范化。
2020-03-31 cs.CL cs.LG
Addressing the Intra-class Mode Collapse Problem using Adaptive Input Image Normalization in GAN-based X-ray Images
Munster Technological University(芒斯特理工大学)
由于目标疾病的罕见性,生物医学图像数据集可能不平衡。生成对抗网络通过生成合成图像来增强数据集,在解决这种不平衡方面发挥着关键作用。重要的是生成包含各种特征的合成图像,以准确地表示训练图像中存在的特征的分布。此外,合成图像中缺乏多样特征会降低机器学习分类器的性能。模式崩溃问题可能会影响生成对抗网络生成多样化图像的能力。模式崩溃有两种:类内和类间。在本文中,类内模式崩溃的问题进行了研究,其后续的影响的多样性的合成X射线图像进行评估。这项工作提供了一个经验证明的好处,集成自适应输入图像归一化的深度卷积GAN,以减轻类内模式崩溃问题。结果表明,自适应输入图像归一化的DCGAN优于DCGAN与未归一化的X射线图像的优越多样性分数明显。
2022-04-12 cs.CV cs.LG eess.IV
Solving the Spike Feature Information Vanishing Problem in Spiking Deep Q Network with Potential Based Normalization
Research Center for Brain-inspired Intelligence, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所类脑智能研究中心);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences(中国科学院脑科学与智能技术卓越创新中心)
脑启发脉冲神经网络(SNN)已成功应用于许多模式识别领域。基于深度结构的神经网络在图像分类、目标检测等感知任务中取得了显著的效果。然而,深度SNN在强化学习(RL)任务中的应用仍然是一个有待探索的问题。虽然之前已经有关于SNN和RL结合的研究,但大多数都集中在使用浅网络或使用ANN-SNN转换方法来实现尖峰深度Q网络(SDQN)的机器人控制问题。在这项工作中,我们从数学上分析了SDQN中尖峰信号特征消失的问题,并提出了一种基于势层归一化(pbLN)的方法来直接训练尖峰深度Q网络。实验结果表明,与现有的ANN-SNN转换方法和其他SDQN算法相比,所提出的pbLN尖峰深度Q网络(PL-SDQN)在Atari游戏任务上取得了更好的性能.
2022-06-08 cs.AI cs.LG cs.NE
Improving cluster recovery with feature rescaling factors
University of Essex(埃塞克斯大学)
数据预处理阶段是聚类的关键。特征可以使用不同的尺度来描述实体。为了纠正这一点,人们通常应用特征归一化,旨在重新缩放特征,以便在所选聚类算法的目标函数中没有一个特征压倒其他特征。在本文中,我们认为,重新缩放过程不应该对待所有的功能相同。相反,它应该倾向于对聚类更有意义的特征。考虑到这一点,我们引入了一个功能重新缩放的方法,考虑到集群内的每个功能的相关度。我们全面的模拟研究,进行真实和合成数据,有和没有噪声功能,清楚地表明,聚类方法,使用建议的数据规范化策略,明显优于那些使用传统的数据规范化。
2020-12-01 cs.LG
Knowledge distillation via adaptive instance normalization
Computer Vision Laboratory, University of Nottingham, UK(诺丁汉大学计算机视觉实验室);Samsung AI Center, Cambridge, UK(三星人工智能中心剑桥);Queen Mary University of London, London, UK(伦敦玛丽女王大学)
本文通过知识蒸馏来解决模型压缩问题。为此,我们提出了一种新的知识蒸馏方法的基础上转移的特征统计,特别是通道明智的均值和方差,从教师到学生。我们的方法超越了标准的方式,通过$L_2$损失,我们发现它是有限的有效性,强制学生的均值和方差与教师的均值和方差相似。具体来说,我们提出了一个新的损失的基础上自适应实例规范化,有效地转移的特征统计。其主要思想是通过自适应实例规范化(以学生为条件)将学习到的统计数据传输回教师,并让教师网络通过损失“评估”学生学习到的统计数据是否可靠地传输。我们表明,我们的蒸馏方法优于其他国家的最先进的蒸馏方法在一个大的实验设置,包括不同的(a)网络架构,(b)师生能力,(c)数据集,和(d)域。
2020-03-09 cs.CV cs.LG
Batch Normalization Sampling
Tsinghua University(清华大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
近年来,深度神经网络(DNN)蓬勃发展,其中批量归一化(BN)起着不可或缺的作用。然而,已经观察到BN由于还原操作而成本高。在本文中,我们建议通过在每次迭代中只对一小部分数据进行采样进行归一化来缓解这个问题。具体来说,我们将其建模为统计抽样问题,并确定通过对相关性较低的数据进行抽样,可以大大减少BN中统计估计所需的数据数量,从而直接简化了约简操作。基于这一结论,本文提出了两种采样策略:“批量采样”(从每批样本中随机抽取若干个样本)和“特征采样”(从所有样本的每个特征图中随机抽取一个小块),兼顾了计算效率和样本相关性。此外,我们引入了一个非常简单的BN的变体,称为虚拟数据集归一化(VDN),它可以用很少的合成随机样本很好地归一化激活。所有提出的方法都在各种数据集和网络上进行了评估,其中GPU上的整体训练加速高达20%,而无需任何专业库的支持,并且准确性和收敛速度的损失可以忽略不计。最后,我们将我们的工作扩展到“微批量归一化“问题,并在小批量的情况下产生与现有方法相当的性能。
2018-11-02 cs.LG stat.ML
Using a Generative Adversarial Network for CT Normalization and its Impact on Radiomic Features
University of California, Los Angeles(加州大学洛杉矶分校)
计算机辅助诊断(CADx)系统帮助放射科医生使用基于形态和纹理(放射组学)的特征在胸部CT扫描中识别和分类潜在的恶性肺结节。然而,放射组学特征对由于剂量水平和切片厚度的变化而导致的采集差异敏感。本研究探讨了从异质CT扫描作为输入生成归一化扫描的可行性。我们从40个低剂量胸部CT扫描中获得投影数据,模拟10%,25%和50%剂量的采集,并在1.0mm和2.0mm层厚下重建扫描。使用3D生成对抗网络(GAN)同时将减少剂量、厚切片(2.0 mm)图像标准化为正常剂量(100%)、薄切片(1.0 mm)图像。我们使用峰值信噪比(PSNR),结构相似性指数(SSIM)和学习感知图像块相似性(LPIPS)评价归一化图像质量。与基线CNN方法相比,我们的GAN将感知相似性提高了35%。我们的分析还表明,基于GAN的方法在9个研究的放射组学特征中导致了显著更小的误差(p值< 0.05)。这些结果表明,GANs可用于归一化异质CT图像,并减少放射组学特征值的变化。
2020-01-22 cs.CV cs.LG eess.IV
Supervised Batch Normalization
针对批量归一化在多样数据分布下失效的问题,提出监督批量归一化,通过预识别数据模式实现有效归一化,在CIFAR-100上提升15.13%准确率,并在域适应中优于BN。
2024-05-27 cs.LG
Domain-Aware Fine-Tuning: Enhancing Neural Network Adaptability
Seoul National University(首尔大学);HodooAI Lab(HodooAI实验室)
本文提出领域感知微调(DAFT)方法,通过批量归一化转换及线性探测与微调的集成,有效减轻微调过程中的特征畸变,在分布内和分布外数据集上均显著提升了模型性能。
2024-03-26 cs.CV cs.LG
Diagnosing Batch Normalization in Class Incremental Learning
Xi’an Jiaotong University(西安交通大学);The Macau University of Science and Technology(澳门科技大学)
广泛的研究已经将深度神经网络(DNN)应用于类增量学习(Class-IL)中。作为DNN的构建块,批量归一化(BN)对中间特征图进行了优化,并已被广泛验证以提高训练稳定性和收敛性。然而,我们认为在类IL模型中直接使用标准BN对表示学习和分类器训练都是有害的,从而加剧了灾难性遗忘。在本文中,我们调查的影响BN类IL模型,说明这样的BN困境。我们进一步提出BN技巧来解决这个问题,通过训练一个更好的特征提取器,同时消除分类偏差。在不引入额外超参数的情况下,我们将BN技巧应用于三种基于基线排练的方法,ER,DER++和iCaRL。通过对Seq-CIFAR-10、Seq-CIFAR-100和Seq-Tiny-ImageNet的基准数据集进行的综合实验,我们表明BN技巧可以为所有采用的基线带来显着的性能提升,揭示了其在这一研究领域的潜在通用性。
2022-02-16 cs.CV cs.LG
Distance Functions and Normalization Under Stream Scenarios
Universidade Federal do Paraná(巴拉那联邦大学);Pontífica Universidade Católica do Paraná(巴拉那天主教大学);Universidade Estadual de Ponta Grossa(蓬塔格罗萨州立大学);École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院)
本文研究了流数据中距离函数与归一化的挑战,比较了不同归一化方法对分类准确率的影响,指出不归一化结合Canberra距离在未知数据特性时表现良好。
2023-07-04 cs.LG
Feature Normalization under Finite Training Budgets
University of Copenhagen(哥本哈根大学)
该研究针对有限训练预算,对比标准化与未缩放训练的稀有子群风险,推导相关公式,明确不同信号族下的最优方法,还分析了观测复用等场景下的排序变化。
2026-10-14 cs.LG math.OC stat.ML
An Architecture Built for Federated Learning: Addressing Data Heterogeneity through Adaptive Normalization-Free Feature Recalibration
Department of Computer Science, City St. George’s, University of London(伦敦大学城市圣乔治学院计算机科学系);BioMedIA, Department of Computing, Imperial College London(伦敦帝国理工学院计算系BioMedIA)
针对联邦学习中客户端数据异质性导致的性能下降问题,提出自适应无归一化特征重校准(ANFR)架构,结合权重标准化与通道注意力,兼容多种聚合方法,实现隐私与效用的平衡,并显著优于基线。
2025-09-08 cs.AI cs.CV cs.LG
Learning to Balance: Diverse Normalization for Cloth-Changing Person Re-Identification
The University of Tokyo(东京大学);The Hong Kong Polytechnic University(香港理工大学);Jilin University(吉林大学)
本文提出 Diverse Norm 模块,通过正交空间扩展和通道注意力分离服装与身份特征,并采用样本重加权策略优化,无需额外数据即可显著提升换衣行人重识别性能。
2024-10-14 cs.AI cs.CV cs.LG
Ischemic Stroke Identification Based on EEG and EOG using 1D Convolutional Neural Network and Batch Normalization
Universitas Indonesia(印度尼西亚大学);Bogor Agricultural University(茂物农业大学)
2015年,中风是印度尼西亚的头号死亡原因。大多数类型的中风是缺血性的。诊断中风的标准工具是CT扫描。对于像印度尼西亚这样的发展中国家,CT扫描的可用性非常有限,而且仍然相对昂贵。由于可用性,另一种可能在印度尼西亚诊断中风的设备是EEG。缺血性中风的发生是由于阻塞,这可以使中风患者的脑血流量(CBF)变得低于正常人(对照)的CBF,从而使EEG信号减速。在这项研究中,我们执行的一维卷积神经网络(1DCNN)的能力,以构建分类模型,可以区分EEG和EOG中风数据从EEG和EOG控制数据。为了加快训练过程,我们使用了批量归一化。涉及62人的数据对象,并从留一的情况下,重复测量五次,我们得到的平均准确度0.86(F-得分0.861),只有在200个epoch。该结果优于作为比较器的所有浅层和流行的分类器(准确率0.69和F-Score 0.72的最佳结果)。我们的研究中使用的特征只有24个手工特征,特征提取过程简单。
2016-10-06 cs.LG cs.NE
Mechanisms for Integrated Feature Normalization and Remaining Useful Life Estimation Using LSTMs Applied to Hard-Disks
Vanderbilt University(范德堡大学)
随着智能社区的兴起,提高整体系统可用性正成为一个主要问题。为了提高系统中组件的可靠性,我们提出了一个推理模型来预测这些组件的剩余使用寿命(RUL)。在本文中,我们与后端数据服务器的组件,如硬盘,受到降级。深度长短期记忆(LSTM)网络被用作这个快速、数据驱动的决策框架的主干,并动态捕获传入数据的模式。在这篇文章中,我们讨论了神经网络的体系结构,并描述了选择各种超参数的机制。此外,我们描述了从高度无组织和类别不平衡的大数据中提取有效训练集所面临的挑战,并通过在线模拟集建立了大量数据预处理,特征提取和验证的在线预测方法,其中硬盘的剩余使用寿命未知。我们的算法在预测接近故障的设备的临界区附近的RUL方面表现得特别好。使用所提出的方法,我们能够预测磁盘是否会在未来十天内失败,平均精度为0.8435。我们还表明,在特定模型上训练的架构可以通过迁移学习来预测来自同一制造商的不同型号设备的RUL。
2019-06-17 cs.LG stat.ML
SphereFace Revived: Unifying Hyperspherical Face Recognition
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Alan Turing Institute(阿兰·图灵研究所);Carnegie Mellon University(卡内基梅隆大学)
本文讨论了开集协议下的深度人脸识别问题,在适当选择的度量空间下,理想的人脸特征期望具有比最小类间距离更小的最大类内距离。为此,超球面人脸识别作为一个很有前途的研究方向,受到了越来越多的关注,并逐渐成为人脸识别研究的一个主要热点。作为超球面人脸识别领域最早的研究成果之一,SphereFace明确提出了学习具有大类间角间隔的人脸嵌入。然而,SphereFace仍然存在严重的训练不稳定性,限制了其在实际中的应用。为了解决这个问题,我们引入了一个统一的框架来理解超球面人脸识别中的大角度边缘。在此框架下,我们扩展了对SphereFace的研究,并提出了一种具有更好训练稳定性的改进变体-- SphereFace-R。具体来说,我们提出了两种新的方法来实现乘法余量,并研究了三种不同的特征归一化方案(无特征归一化,硬特征归一化和软特征归一化)下的SphereFace-R。并提出了“特色梯度分离”的实施策略,以稳定训练。在SphereFace-R上进行的大量实验表明,它始终优于最先进的方法或与之竞争。
2022-03-16 cs.AI cs.CV cs.LG
Adaptive Input-image Normalization for Solving the Mode Collapse Problem in GAN-based X-ray Images
Department of Computer Science, Munster Technological University, Cork, Ireland(计算机科学系,穆斯廷技术大学,科克,爱尔兰)
本文提出通过自适应输入图像归一化技术缓解GAN生成X射线图像中模式崩溃问题,提升图像多样性和分类性能。
2024-04-29 cs.CV cs.LG eess.IV
A Universal and Robust Framework for Multiple Gas Recognition Based-on Spherical Normalization-Coupled Mahalanobis Algorithm
Shandong University(山东大学);Hong Kong Polytechnic University(香港理工大学);Suzhou Research Institute of Shandong University(山东大学苏州研究院)
本文提出了一种通用且鲁棒的多气体识别框架,通过球面归一化和马氏算法提升开放集气体识别的准确性和稳定性。
2026-01-05 cs.AI cs.LG eess.SP