Semantic Image Synthesis with Spatially-Adaptive Normalization
UC Berkeley(加州大学伯克利分校);NVIDIA(英伟达);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
我们提出了空间自适应规范化,一个简单但有效的层,用于合成逼真的图像给定的输入语义布局。以前的方法直接将语义布局作为输入提供给深度网络,然后通过卷积、归一化和非线性层堆栈进行处理。我们表明,这是次优的规范化层往往“洗掉”语义信息。为了解决这个问题,我们建议使用输入布局,通过空间自适应的学习转换来调节归一化层中的激活。在几个具有挑战性的数据集上的实验表明,所提出的方法优于现有的方法,在视觉保真度和对齐与输入布局。最后,我们的模型允许用户控制语义和风格。代码可在https://github.com/NVlabs/SPADE上获得。
2019-11-05 cs.AI cs.CV cs.GR
Evolving Multi-Scale Normalization for Time Series Forecasting under Distribution Shifts
Alibaba Group(阿里巴巴集团);Imperial College London(伦敦帝国学院);The University of Hong Kong(香港大学);Squirrel Ai Learning(松鼠AI学习)
针对时间序列预测中的分布偏移问题,本文提出模型无关的演化多尺度归一化框架EvoMSN,通过多尺度统计预测、自适应集成和协同演化优化提升主流预测方法性能。
2024-09-29 cs.LG stat.ML
Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization
College of Biomedical Engineering & Instrument Science(生物医学工程与仪器科学学院);Zhejiang University(浙江大学)
无数据量化是一种在不访问原始训练数据的情况下将神经网络压缩到低位宽的任务。现有的无数据量化方法由于激活限幅范围和量化误差的不准确,特别是对于低比特宽度,会导致严重的性能下降。在本文中,我们提出了一个简单而有效的无数据量化方法,准确的激活裁剪和自适应批量归一化。精确激活裁剪(AAC)通过利用来自全精度模型的精确激活信息来提高模型精度。自适应批量归一化首先提出通过自适应地更新批量归一化层来解决来自分布变化的量化误差。大量的实验表明,所提出的无数据量化方法可以产生令人惊讶的性能,在ImageNet数据集上达到ResNet 18的64.33%的top-1准确率,比现有的最先进的方法有3.7%的绝对改进。
2022-06-22 cs.AI cs.CV cs.LG
Border basis computation with gradient-weighted normalization
Graduate School of Engineering, Chiba University(千叶大学工学研究生院)
多项式的正规化在消失理想的近似基计算中起着至关重要的作用。系数正规化是计算机代数中最常用的一种方法,它用多项式的系数范数对多项式进行正规化。受机器学习最新发展的启发,本研究提出了梯度加权归一化方法来计算消失理想的近似边界基。梯度加权归一化的数据依赖性导致更好的抗扰动稳定性和输入点缩放的一致性,这是系数归一化无法实现的。在现有的系数归一化算法中,只需要对梯度归一化做一个细微的改变。对算法的分析仍然可以进行小的修改,并且算法的时间复杂度的数量级保持不变。我们还证明,与系数归一化,这并不提供缩放一致性属性,缩放点(例如,作为预处理)可能导致近似基计算失败。这项研究是第一个从理论上强调尺度在近似基础计算中的重要作用,并提出了数据相关归一化的实用性。
2022-07-01 cs.LG cs.SC math.AC
Continuous-Time Analysis of Adaptive Optimization and Normalization
University of Cambridge(剑桥大学);Harvard University(哈佛大学);NTT Research, Inc.(NTT研究公司)
本文提出Adam和AdamW的连续时间形式化分析,推导出确保有界更新的超参数稳定区域,揭示归一化层的隐式元自适应效应,并提出广义优化器k-Adam,深化了对深度学习训练动力学的理论理解。
2024-12-19 cs.AI cs.LG
Adaptive Normalization Mamba with Multi Scale Trend Decomposition and Patch MoE Encoding
KhuyngHee Univ(金英大学)
AdaMamba通过自适应归一化、多尺度趋势分解和补丁MoE编码提升时间序列预测的稳定性和准确性。
2025-12-07 cs.AI cs.LG
Enhancing Multivariate Time Series-based Solar Flare Prediction with Multifaceted Preprocessing and Contrastive Learning
Utah State University(犹他州立大学)
本研究提出了一种新颖的预处理流程和结合对比学习与GRU回归模型的ContReg分类器,用于基于多元时间序列的太阳耀斑预测,显著提升了TSS得分并超越了现有方法。
2024-09-21 astro-ph.SR cs.AI cs.LG
One-Way Coupling via Patchwise Adaptive Normalization in Transformer Surrogates
Mistral AI(米斯特拉尔人工智能公司);ASML The Netherlands B.V(阿斯麦荷兰有限公司)
本文提出分块自适应归一化(PAdaNorm),将其应用于受Walrus启发的Transformer PDE代理模型,可提升长时程预测精度、保持物理约束并降低推理FLOPs,消融实验验证了其有效性。
2026-10-14 cs.LG
A Comparative Study on How Data Normalization Affects Zero-Shot Generalization in Time Series Foundation Models
Siemens AG(西门子股份公司);Ludwig Maximilian University of Munich(慕尼黑大学)
本研究比较了数据标准化对时间序列基础模型零样本泛化能力的影响,发现REVIN方法在效率和准确性之间实现了最佳权衡。
2026-01-29 cs.AI cs.LG
ANAct: Adaptive Normalization for Activation Functions
School of Computer and Communication(计算机与通信学院);Lanzhou University of Technology(兰州理工大学)
本文提出ANAct,通过动态归一化激活函数以稳定梯度方差,提升CNN和残差网络性能,如归一化Swish在Tiny ImageNet上准确率提升1.4%。
2024-02-05 cs.AI cs.LG
AdaDM: Enabling Normalization for Image Super-Resolution
Nanjing University(南京大学)
像批量归一化(BN)这样的归一化是一种里程碑式的技术,可以在深度学习中对中间层的分布进行归一化,从而实现更快的训练和更好的泛化精度。然而,在保真度图像超分辨率(SR)中,人们认为归一化层通过对特征进行归一化而摆脱了范围灵活性,并且它们被简单地从现代SR网络中删除。本文对这一现象进行了定量和定性的研究。我们发现,归一化层后的残差特征的标准差收缩了很多,这导致SR网络的性能下降。标准偏差反映像素值的变化量。当变化变小时,边缘将变得对网络分辨不那么有区别。为了解决这个问题,我们提出了一个自适应偏差调制器(AdaDM),其中的调制因子是自适应预测放大像素偏差。为了获得更好的泛化性能,我们将BN应用于最先进的SR网络和建议的AdaDM。同时,AdaDM中的偏差放大策略使特征中的边缘信息更具有可区分性。因此,使用BN和我们的AdaDM的SR网络可以在基准数据集上获得实质性的性能改进。大量的实验已经进行,以显示我们的方法的有效性。
2021-11-27 cs.CV cs.LG eess.IV
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien(维也纳工业大学);University of Vienna(维也纳大学)
本文提出了一种新的归一化层--批处理层归一化(BLN),以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本,在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算,在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据,其统计配置在很大程度上取决于执行的任务,训练数据的量,和批量的大小。实验结果表明,BLN在卷积神经网络和递归神经网络中具有应用潜力,其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取(https://github.com/A2Amir/Batch-Layer-Normalization)。
2022-09-19 cs.AI cs.LG cs.NE
Enhancing Neural Network Representations with Prior Knowledge-Based Normalization
CDTA(阿尔及利亚技术发展中心)
针对深度学习训练中的偏移问题,提出基于先验知识的多模归一化方法(含CN、CN-X及无上下文时的ACN变体),在多任务中实现更优收敛与性能。
2024-10-30 cs.AI cs.LG cs.NE
Attributing Preprocessing Invariance in Spectral Foundation Models
ESCP Business School(ESCP商学院);OpluxCare Co., Ltd.(欧普乐康护理有限公司);The University of Hong Kong(香港大学);Nanjing University(南京大学)
该研究以拉曼光谱基础模型为例,指出其声称的预处理不变性多源于归一化而非学习,多数系统的归一化已消除相关变换,训练编码器未带来显著增益。
2026-09-18 cs.AI cs.CE cs.LG
Systematic Comparison of the Influence of Different Data Preprocessing Methods on the Performance of Gait Classifications Using Machine Learning
Johannes Gutenberg-University(美因茨大学);Fraunhofer-Institute of Intelligent Analysis and Information Systems (IAIS)(弗劳恩霍夫智能分析与信息系统研究所);Competence Center Machine Learning Rhine-Ruhr (ML2R)(莱茵-鲁尔机器学习能力中心);Zagazig University(扎加齐克大学);Qimoto(奇莫托);Shanghai University of Sport(上海体育学院)
人类运动的特点是运动系统内高度非线性和多维的相互作用。最近,对机器学习应用的日益重视已经对步态分析领域做出了重大贡献,例如,提高分类性能。为了保证机器学习模型的通用性,通常在分类之前对测量的原始数据进行不同的数据预处理步骤。在过去,各种方法已被用于这些预处理步骤中的每一个。然而,几乎没有任何标准程序或这些不同的方法及其对分类性能的影响的系统比较。因此,本分析的目的是比较常用的数据预处理步骤的不同组合,并测试它们对步态模式分类性能的影响。一个公开的数据集内的步态模式的变化被用于此分析。42名健康受试者进行了为期1天的6次15次步态试验。对于每个试验,两个测力板记录3D地面反作用力(GRF)。采用GRF滤波、时间导数、时间归一化、数据简化、权重归一化和数据缩放等步骤对数据进行预处理。随后,从每个预处理步骤的所有方法的组合进行了分析,通过比较他们的预测性能,在六个会话分类使用支持向量机,随机森林分类器,多层感知器,和卷积神经网络。总之,目前的研究结果提供了第一个特定领域的建议,常用的数据预处理方法,并可能有助于建立更具可比性和更强大的分类模型的基础上机器学习,适合于实际应用。
2020-07-30 cs.LG stat.ML
Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization
New York University(纽约大学);New York University School of Medicine(纽约大学医学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
外部变量是与特定任务无关的变量,但严重影响可用数据的分布。在这项工作中,我们证明了这些变量的存在会降低深度学习模型的性能。我们研究了三个数据集,其中有一个强大的影响,已知的外来变量:分类中风患者的上身运动,手术活动的注释,并识别损坏的图像。用批量归一化训练的模型学习高度依赖于无关变量的特征。在批量归一化中,用于归一化特征的统计量是从训练集学习的,并在测试时固定,这在存在变化的无关变量的情况下会产生不匹配。我们证明了在推理过程中自适应地估计特征统计,如在实例归一化中,解决了这个问题,产生了对无关变量的变化更鲁棒的归一化特征。这导致不同网络架构和特征统计选择的性能显著提高。
2020-02-25 cs.LG stat.ML
Convolutional Neural Networks for Neuroimaging in Parkinson's Disease: Is Preprocessing Needed?
University of Granada(格拉纳达大学);University of Malaga(马拉加大学)
本研究探讨了在帕金森病核脑成像分析中,CNN模型是否仍需空间和强度归一化预处理,发现三维ALEXNET能有效弥补空间差异并达到94.1%准确率,但强度归一化对结果影响显著不可忽视。
2023-11-21 cs.CV cs.LG
A Multi-Step Comparative Framework for Anomaly Detection in IoT Data Streams
Alwasl University(阿尔瓦斯勒大学);Western University(西安大略大学)
针对物联网异常检测中预处理与模型交互研究不足的问题,提出多步比较框架,在IoTID20上评估三种算法,发现GBoosting准确率最高,为实际应用提供指导。
2025-05-22 cs.LG
Weighted Data Normalization Based on Eigenvalues for Artificial Neural Network Classification
East China Normal University(华东师范大学)
人工神经网络(ANN)是解决学习问题的一种非常有用的工具。提高人工神经网络的性能主要可以从优化网络结构和对原始数据进行归一化两个方面来实现。它完全利用了不同功能应该扮演不同角色的事实。该方法首先对原始数据进行主成分分析(PCA)预处理,然后对主成分进行特征值加权。从几个方面分析了其理论基础和适用场合。三个分类问题的主动学习算法来验证所提出的方法。实验结果表明,该方法能显著提高人工神经网络的性能。
2017-12-24 cs.LG stat.ML
STAR: Adaptive Spatial-Temporal Normalization for Unified Microservice Incident Management
本文提出STAR框架,通过时间与空间自适应归一化,统一处理微服务异常检测、故障分诊和根因定位,在两个真实基准上超越现有方法。
2026-10-20 cs.AI cs.LG
Unsupervised Adaptive Normalization
LIPN, UMR CNRS 7030(法国国家科学研究中心UMR 7030 LIPN);DAVID laboratory(DAVID实验室);L2TI laboratory(L2TI实验室)
针对 BN 等归一化依赖批量或难以适应激活动态分布的问题,本文提出 UAN,将高斯混合聚类与网络训练统一,以同步更新的聚类参数归一化激活,从而稳定梯度并提升分类与领域适应性能。
2024-09-07 cs.LG
Wavelet-based Disentangled Adaptive Normalization for Non-stationary Times Series Forecasting
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
针对非平稳时间序列多成分特性被忽视的问题,提出与模型无关的WDAN框架,利用小波分解并分别归一化趋势与波动,实验表明其可跨骨干模型持续提升预测精度。
2025-06-06 cs.LG
Covariance Matrix Construction with Preprocessing-Based Spatial Sampling for Robust Adaptive Beamforming
针对自适应波束形成中导向向量失配与协方差矩阵重构问题,提出基于预处理空间采样的鲁棒方法,通过干扰DoA估计、功率谱采样等实现IPNC矩阵重构,性能优于现有方法。
2025-09-30 cs.IT cs.LG eess.SP
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA(米拉研究所);Université de Montréal(蒙特利尔大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
层归一化是最近引入的一种技术,用于对深度神经网络中的神经元活动进行归一化,以提高训练速度和稳定性。在本文中,我们介绍了一种新的层归一化技术称为动态层归一化(DLN)的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数,DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同,我们提出的方法不需要额外的自适应数据或扬声器信息,如i向量。此外,模型大小是固定的,因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型,并在大词汇量ASR实验的两个基准数据集上进行评估:WSJ和TED-LIUM版本2。实验结果表明,我们的DLN提高了神经声学模型的转录准确性,通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
Adaptive Batch Normalization for Training Data with Heterogeneous Features
Umm Al-Qura University(乌姆·库拉大学);Assiut University(艾斯尤特大学)
批量归一化(BN)是许多深度学习应用的重要预处理步骤。由于它是一个依赖于数据的过程,对于某些同构数据集来说,它是一个冗余甚至是性能下降的过程。在本文中,我们提出了一个早期阶段的可行性评估方法,估计应用BN对给定的数据批次的好处。该方法使用了一种新的基于阈值的方法来分类的训练数据批次分为两组,根据其需要进行规范化。基于所考虑批次的特征异质性来决定是否需要进行归一化。所提出的方法是一个预训练处理,这意味着没有训练开销。评估结果表明,所提出的方法实现了更好的性能,主要是在小批量比传统的BN使用MNIST,时尚MNIST,CIFAR-10,CIFAR-100数据集。此外,通过减少内部变量变换的发生,提高了网络的稳定性。
2022-11-30 cs.LG
CLeAN: Continual Learning Adaptive Normalization in Dynamic Environments
Department of Computer Science and Engineering(计算机科学与工程系);University of Bologna(博洛尼亚大学)
本文提出CLeAN,一种针对动态环境持续学习的自适应归一化方法,通过EMA模块更新可学习参数,提升模型在新数据上的性能并减少灾难性遗忘。
2026-03-18 cs.AI cs.LG
PreSto: An In-Storage Data Preprocessing System for Training Recommendation Models
School of Electrical Engineering KAIST(韩国科学技术院电气工程学院)
针对推荐系统训练中CPU预处理成本高、存在特征操作瓶颈的问题,提出利用存储内处理技术的PreSto系统,将瓶颈操作卸载至ISP单元,显著提升预处理速度、成本与能源效率。
2024-06-11 cs.AI cs.AR cs.LG
Reframing preprocessing selection as model-internal calibration in near-infrared spectroscopy: A large-scale benchmark of operator-adaptive PLS and Ridge models
CIRAD, UMR AGAP Institut(CIRAD,AGAP研究院);UMR AGAP Institut, Univ Montpellier, CIRAD, INRAE, Institut Agro(AGAP研究院,蒙彼利埃大学,CIRAD,INRAE,农业研究院);Laboratoire Cogitamus(Cogitamus实验室)
本文研究了在近红外光谱学中,将预处理选择重新定义为模型内部校准的方法,通过大规模基准测试比较运算符自适应PLS和岭模型的性能和效率。
2026-06-03 cs.LG eess.SP stat.ML
Deep Adaptive Input Normalization for Time Series Forecasting
Tampere University(坦佩雷大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Aarhus University(奥胡斯大学)
深度学习(DL)模型可以用来处理时间序列分析任务,并取得巨大成功。然而,如果数据没有被适当地归一化,DL模型的性能会迅速退化。当DL用于金融时间序列预测任务时,这个问题更加明显,其中数据的非平稳和多模态性质构成了重大挑战,并严重影响了DL模型的性能。在这项工作中,一个简单的,但有效的,神经层,这是能够自适应规范化的输入时间序列,同时考虑到数据的分布,提出。所提出的层使用反向传播以端到端的方式进行训练,与其他评估的归一化方案相比,性能得到了显着提高。所提出的方法不同于传统的归一化方法,因为它学习如何为给定的任务执行归一化,而不是使用固定的归一化方案。同时,它可以直接应用于任何新的时间序列,而不需要重新训练。使用一个大规模的限价订单簿数据集,以及负荷预测数据集证明了所提出的方法的有效性。
2019-09-22 cs.LG q-fin.CP
Knowledge distillation via adaptive instance normalization
Computer Vision Laboratory, University of Nottingham, UK(诺丁汉大学计算机视觉实验室);Samsung AI Center, Cambridge, UK(三星人工智能中心剑桥);Queen Mary University of London, London, UK(伦敦玛丽女王大学)
本文通过知识蒸馏来解决模型压缩问题。为此,我们提出了一种新的知识蒸馏方法的基础上转移的特征统计,特别是通道明智的均值和方差,从教师到学生。我们的方法超越了标准的方式,通过$L_2$损失,我们发现它是有限的有效性,强制学生的均值和方差与教师的均值和方差相似。具体来说,我们提出了一个新的损失的基础上自适应实例规范化,有效地转移的特征统计。其主要思想是通过自适应实例规范化(以学生为条件)将学习到的统计数据传输回教师,并让教师网络通过损失“评估”学生学习到的统计数据是否可靠地传输。我们表明,我们的蒸馏方法优于其他国家的最先进的蒸馏方法在一个大的实验设置,包括不同的(a)网络架构,(b)师生能力,(c)数据集,和(d)域。
2020-03-09 cs.CV cs.LG
GRANOLA: Adaptive Normalization for Graph Neural Networks
University of Cambridge(剑桥大学);Purdue University(普渡大学);Technion(以色列理工学院);NVIDIA Research(英伟达研究院)
针对现有归一化层难以适配图结构数据的问题,提出基于随机节点特征传播的图自适应归一化层GRANOLA,经理论与多基准实验验证,其在同时间复杂度下性能优于现有方法。
2024-10-31 cs.AI cs.LG
Why GRPO Needs Normalization: A Local-Curvature Perspective on Adaptive Gradients
Department of Aeronautics and Astronautics, MIT(麻省理工学院航空与宇航系);Department of Statistics, University of Wisconsin--Madison(威斯康星大学麦迪逊分校统计系);Department of Informatics, King's College London(伦敦国王学院信息学系);Department of Computer Sciences, University of Wisconsin--Madison(威斯康星大学麦迪逊分校计算机科学系)
GRPO中标准差规范化通过局部曲率视角解释了其自适应梯度机制,理论和实验表明规范化能提升收敛速度并优化训练阶段表现。
2026-10-02 cs.LG
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart(斯图加特大学);Advantest Europe GmbH(爱德万测试欧洲有限公司)
特征选择通常被用作机器学习中最重要的预处理技术之一,因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此,通过利用特征选择,可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法,但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块(FM-模块)。该方法几乎不需要超参数,可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明,我们的方法易于使用,与其他最先进的基于深度学习的特征选择方法相比,具有更优越的性能。
2021-04-23 cs.LG
Frequency Adaptive Normalization For Non-stationary Time Series Forecasting
Central South University(中南大学);University of Amsterdam(阿姆斯特丹大学);Zhejiang Lab(之江实验室)
本文提出频率自适应归一化(FAN),通过傅里叶变换识别实例级主要频率成分并建模输入输出频率差异,以同时处理非平稳时间序列中的动态趋势和季节性模式,在多个模型和数据集上显著提升预测精度。
2024-09-30 cs.AI cs.LG
Unpaired Image Translation via Adaptive Convolution-based Normalization
Korea University(高丽大学)
图像内容和风格信息的分离在近年来图像翻译的成功中发挥了重要作用。在这种情况下,如何将给定的样式注入到包含其自身内容的输入图像中是一个重要的问题,但是现有的方法遵循相对简单的方法,留下了改进的空间,特别是在并入显著的样式变化时。作为回应,我们提出了一种先进的归一化技术,基于自适应卷积(AdaCoN),为了正确地施加到输入图像的内容的样式信息。详细地,在以逐通道方式局部标准化内容表示之后,AdaCoN执行自适应卷积,其中卷积滤波器权重使用编码的样式表示来动态估计。AdaCoN的灵活性可以处理涉及重大风格更改的复杂图像翻译任务。我们的定性和定量实验表明,我们提出的方法对现有的各种方法,注入到内容的风格的优越性。
2019-11-29 cs.CV cs.LG eess.IV
SIAN: Style-Guided Instance-Adaptive Normalization for Multi-Organ Histopathology Image Synthesis
University of Idaho(爱达荷大学)
现有的用于组织病理学图像合成的深度神经网络无法生成与不同器官对齐的图像样式,并且无法生成聚类细胞核的准确边界。为了解决这些问题,我们提出了一种风格引导的实例自适应归一化(SIAN)方法来合成逼真的颜色分布和纹理的组织病理学图像从不同的器官。SIAN包括语义化、风格化、实例化和转调四个阶段。前两个阶段通过使用语义映射和学习的图像风格向量来合成图像语义和风格。实例化模块集成几何和拓扑信息,生成精确的细胞核边界。我们在多器官数据集上验证了所提出的方法,广泛的实验结果表明,所提出的方法比四种最先进的方法为五个器官生成更逼真的组织病理学图像。通过将所提出的方法的合成图像合并到模型训练中,实例分割网络可以实现最先进的性能。
2023-01-24 cs.CV cs.LG eess.IV
Addressing the Intra-class Mode Collapse Problem using Adaptive Input Image Normalization in GAN-based X-ray Images
Munster Technological University(芒斯特理工大学)
由于目标疾病的罕见性,生物医学图像数据集可能不平衡。生成对抗网络通过生成合成图像来增强数据集,在解决这种不平衡方面发挥着关键作用。重要的是生成包含各种特征的合成图像,以准确地表示训练图像中存在的特征的分布。此外,合成图像中缺乏多样特征会降低机器学习分类器的性能。模式崩溃问题可能会影响生成对抗网络生成多样化图像的能力。模式崩溃有两种:类内和类间。在本文中,类内模式崩溃的问题进行了研究,其后续的影响的多样性的合成X射线图像进行评估。这项工作提供了一个经验证明的好处,集成自适应输入图像归一化的深度卷积GAN,以减轻类内模式崩溃问题。结果表明,自适应输入图像归一化的DCGAN优于DCGAN与未归一化的X射线图像的优越多样性分数明显。
2022-04-12 cs.CV cs.LG eess.IV
TimeAPN: Adaptive Amplitude-Phase Non-Stationarity Normalization for Time Series Forecasting
School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Lee Kong Chian School of Medicine, Nanyang Technological University(南洋理工大学李科钦医学院);School of Computer Science, Wuhan University(武汉大学计算机学院);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文提出TimeAPN框架,通过时间与频率域联合建模和预测非平稳因素,结合自适应归一化机制提升长周期时间序列预测精度。
2026-03-18 cs.AI cs.LG
Adaptive Batch Normalization Networks for Adversarial Robustness
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出自适应批归一化网络(ABNN),利用预训练替代模型生成干净统计量,使目标模型在干净数据上训练并对齐,从而在不使用对抗训练的情况下,提升对数字和物理攻击的鲁棒性,同时提高干净数据性能并降低训练成本。
2024-05-27 cs.CV cs.LG
DRAN: A Distribution and Relation Adaptive Network for Spatio-temporal Forecasting
Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, East China University of Science and Technology, Shanghai(能源化学过程智能制造关键实验室,教育部,东华大学,上海);Faculty of Informatics, Università della Svizzera italiana(瑞士意大利大学信息学院);Department of Electronics, Information and Bioengineering, Politecnico di Milano(米兰理工学院电子、信息与生物工程系)
针对非平稳时空系统的预测挑战,提出分布与关系自适应网络(DRAN),通过空间因子学习器(SFL)和动态-静态融合学习器(DSFL)分别适应分布偏移和关系变化,在天气和交通预测任务上超越现有方法。
2026-09-29 cs.LG
Separating the Effects of Batch Normalization on CNN Training Speed and Stability Using Classical Adaptive Filter Theory
Stanford University(斯坦福大学)
批量归一化(BatchNorm)通常用于卷积神经网络(CNN)中以提高训练速度和稳定性。然而,对于这种技术为什么有效仍然存在有限的共识。本文使用传统自适应滤波器域的概念来深入了解BatchNorm的动态和内部工作原理。首先,我们证明了卷积权重更新具有自然模式,其稳定性和收敛速度与输入自相关矩阵的特征值有关,这些特征值通过卷积层的通道结构由BatchNorm控制。此外,我们的实验表明,速度和稳定性的好处是不同的效果。在低学习率下,BatchNorm放大最小的特征值以提高收敛速度,而在高学习率下,BatchNorm抑制最大的特征值以确保稳定性。最后,我们证明了在第一个训练步骤中,当最需要归一化时,BatchNorm满足与归一化最小均方(NLMS)相同的优化,而它在后续步骤中继续近似此条件。本文提供的分析奠定了基础,为进一步深入了解现代神经网络结构的运作,使用自适应滤波器理论。
2021-06-01 cs.LG cs.NE eess.SP
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
近年来,神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果,而轻量级的GAN模型,例如MelGAN和Parallel WaveGAN,在感知质量方面仍然较差。因此,我们提出了StyleMelGAN,一个轻量级的神经声码器,允许合成高保真语音,计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练,多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号,其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明,StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Bilinear Input Normalization for Neural Networks in Financial Forecasting
Tampere University(坦佩雷大学);Aarhus University(奥胡斯大学)
数据规范化是构建机器学习模型时最重要的预处理步骤之一,特别是当感兴趣的模型是深度神经网络时。这是因为使用随机梯度下降优化的深度神经网络对输入变量范围敏感,并且容易出现数值问题。不同于其他类型的信号,金融时间序列往往表现出独特的特征,如高波动性,非平稳性和多模态,使他们具有挑战性的工作,往往需要专业领域的知识来设计一个合适的处理管道。在本文中,我们提出了一种新的数据驱动的规范化方法,用于处理高频金融时间序列的深度神经网络。所提出的归一化方案,它考虑到金融多元时间序列的双峰特性,不需要专业知识来预处理金融时间序列,因为这一步骤被制定为端到端的优化过程的一部分。我们的实验,进行了国家的最先进的神经网络和高频数据,从两个大规模的限价订单簿来自北欧和美国市场,在预测未来的股票价格动态显着改善其他规范化技术。
2021-09-01 cs.LG q-fin.ST
Few Shot Adaptive Normalization Driven Multi-Speaker Speech Synthesis
Hike Private Limited(Hike私人有限公司);IIT Delhi(印度理工学院德里分校)
演讲风格因人而异,每个人都有自己的演讲风格,这是由语言、地理、文化等因素决定的。风格最好通过信号的韵律来捕捉。高质量的多说话人语音合成,同时考虑韵律和在一个Few Shot的方式是一个积极的研究领域,许多现实世界的应用。虽然在这方面已经作出了多种努力,但这仍然是一个令人感兴趣和具有挑战性的问题。在本文中,我们提出了一种新的Few Shot多扬声器语音合成方法(FSM-SS),利用自适应归一化架构与非自回归多头注意力模型。给定输入文本和未见过的人的参考语音样本,FSM-SS可以以Few Shot方式生成该人风格的语音。此外,我们演示了如何规范化的仿射参数帮助捕获的韵律特征,如能量和基频在一个解开的方式,并可用于生成变形的语音输出。我们证明了我们提出的架构在多扬声器VCTK和LibriTTS数据集上的有效性,使用多个定量指标来测量生成的语音失真和MoS,以及生成的语音与实际语音样本的扬声器嵌入分析。
2020-12-14 cs.LG eess.AS
Data Normalization Strategies for EEG Deep Learning
UC San Diego(加州大学圣地亚哥分校);CNRS(法国国家科学研究中心);Paul Sabatier University(保尔·萨巴蒂埃大学);Ben-Gurion University(本-古里安大学)
本研究系统评估了EEG深度学习中归一化粒度与范围对监督和自监督任务的影响,发现最优策略因训练范式而异,挑战了通用归一化策略的假设,为大规模基础模型训练提供了实用见解。
2025-06-15 cs.LG eess.SP
Open-vocabulary Keyword-spotting with Adaptive Instance Normalization
aiOla Research(aiOla研究院)
提出AdaKWS方法,通过文本编码器输出关键词条件化的归一化参数处理听觉输入,在多语言基准和低资源语言上显著优于基线。
2023-09-13 cs.LG cs.SD eess.AS
PolyNorm: Few-Shot LLM-Based Text Normalization for Text-to-Speech
Apple(苹果公司)
PolyNorm利用少样本大语言模型和语言无关的自动数据构建评估流程,在八种语言上降低文本规范化词错误率,并发布多语言基准数据集PolyNorm-Benchmark。
2025-11-05 cs.CL cs.LG
Noise or Signal? Deconstructing Contradictions and An Adaptive Remedy for Reversible Normalization in Time Series Forecasting
Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-罗克琴克研究所);Rajiv Gandhi University(拉贾夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒实验室);Zhejiang University(浙江大学)
本研究解构时间序列预测中可逆归一化的矛盾,发现标准RevIN在异常值下MSE激增683%,而简单R$^2$-IN表现最佳,自适应A-IN却系统性失败,提出诊断驱动的警示性范式。
2025-10-06 cs.AI cs.LG
TimeGMM: Single-Pass Probabilistic Forecasting via Adaptive Gaussian Mixture Models with Reversible Normalization
University of Science and Technology of China(中国科学技术大学)
TimeGMM通过自适应高斯混合模型与可逆归一化实现单次传递概率预测,有效提升预测精度和分布匹配度。
2026-01-18 cs.AI cs.LG
Adaptive Input-image Normalization for Solving the Mode Collapse Problem in GAN-based X-ray Images
Department of Computer Science, Munster Technological University, Cork, Ireland(计算机科学系,穆斯廷技术大学,科克,爱尔兰)
本文提出通过自适应输入图像归一化技术缓解GAN生成X射线图像中模式崩溃问题,提升图像多样性和分类性能。
2024-04-29 cs.CV cs.LG eess.IV
NoRIN: Backbone-Adaptive Reversible Normalization for Time-Series Forecasting
Graduate School of China Academy of Engineering Physics(中国工程物理研究院研究生部);Institute of Applied Physics and Computational Mathematics(应用物理与计算数学研究院)
NoRIN提出基于arcsinh形式Johnson S_U变换的非线性可逆归一化方法,通过两个形状参数(δ,ε)控制尾部和偏斜度,避免传统RevIN的退化问题,实验证明不同背骨需要不同归一化参数以达到最佳性能。
2026-05-11 cs.LG
FairAdaBN: Mitigating unfairness with adaptive batch normalization and its application to dermatological disease classification
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院);School of Biomedical Engineering, Division of Life Sciences and Medicine, University of Science and Technology of China(中国科学技术大学生命科学与医学部生物医学工程学院)
本文提出FairAdaBN,通过自适应批归一化和约束子群体统计均等性的损失函数来缓解模型不公平性,并引入FATE指标评估公平性与准确性的权衡,在皮肤病分类任务中取得更优表现。
2023-07-04 cs.CV cs.LG
Improving cluster recovery with feature rescaling factors
University of Essex(埃塞克斯大学)
数据预处理阶段是聚类的关键。特征可以使用不同的尺度来描述实体。为了纠正这一点,人们通常应用特征归一化,旨在重新缩放特征,以便在所选聚类算法的目标函数中没有一个特征压倒其他特征。在本文中,我们认为,重新缩放过程不应该对待所有的功能相同。相反,它应该倾向于对聚类更有意义的特征。考虑到这一点,我们引入了一个功能重新缩放的方法,考虑到集群内的每个功能的相关度。我们全面的模拟研究,进行真实和合成数据,有和没有噪声功能,清楚地表明,聚类方法,使用建议的数据规范化策略,明显优于那些使用传统的数据规范化。
2020-12-01 cs.LG
fastml: Guarded Resampling Workflows for Safer Automated Machine Learning in R
fastml 通过受保护重采样提供泄漏感知机器学习,减少预处理泄漏对性能的夸大影响,提升模型评估的可靠性。
2026-04-06 cs.LG stat.AP stat.CO