Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization
Nanjing University(南京大学);Southeast University(东南大学);Shenzhen University(深圳大学)
对于医学图像分割,想象一下,如果一个模型只在源域使用MR图像进行训练,那么它在目标域直接分割CT图像的性能如何?这种设置,即具有临床潜力的可推广的跨模态分割,比其他相关设置更具挑战性,例如,领域自适应。为了实现这一目标,我们在本文中提出了一种新的双重规范化模型,利用增强的源相似和源不相似的图像在我们的概括分割。具体来说,给定一个单一的源域,旨在模拟可能的外观变化,在看不见的目标域,我们首先利用非线性变换来增强源相似和源不相似的图像。然后,为了充分利用这两种类型的增强,我们提出的基于双重归一化的模型采用了一个共享的骨干但独立的批量归一化层进行单独的归一化。在此基础上,提出了一种基于样式的路径选择方案,在测试阶段自动选择合适的路径。在三个公开可用的数据集上进行了广泛的实验,即,BraTS、跨模态心脏和腹部多器官数据集已经证明,我们的方法优于其他最先进的领域泛化方法。代码可在https://github.com/zzzqzhou/Dual-Normalization上获得。
2022-03-28 cs.CV
Arbitrary Style Transfer using Graph Instance Normalization
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
风格转换是图像合成任务,它将一个图像的风格应用于另一个图像,同时保留内容。在统计方法中,自适应实例归一化(AdaIN)通过归一化特征的均值和方差,对源图像进行白化处理,并应用目标图像的风格。然而,为每个实例计算特征统计会忽略特征之间的内在关系,因此很难在适应单个训练数据集的同时学习全局样式。在本文中,我们提出了一种新的可学习的规范化技术的风格转移使用图卷积网络,称为图实例规范化(GrIN)。该算法通过考虑实例之间共享的相似信息,使风格转移方法更加鲁棒。此外,这个简单的模块也适用于其他任务,如图像到图像的翻译或领域自适应。
2020-10-06 cs.CV
Effect of Instance Normalization on Fine-Grained Control for Sketch-Based Face Image Generation
University of Science and Technology of China(中国科学技术大学)
草图是一种直观而有效的内容创建方法。虽然通过使用生成对抗网络在照片级真实感图像生成方面取得了重大进展,但对合成内容进行细粒度控制仍然具有挑战性。在现有的图像翻译网络中广泛采用的实例归一化层会洗掉输入草图中的细节,并导致对生成的人脸图像的期望形状失去精确控制。在本文中,我们全面调查的影响,实例规范化生成真实感的人脸图像从手绘草图。我们首先介绍了一种可视化的方法来分析特征嵌入草图与一组特定的变化。在视觉分析的基础上,我们修改了基线图像转换模型中的实例规范化层。我们精心设计了一套新的手绘草图,其中包括11类专门设计的变化,并进行了广泛的实验分析。实验结果和用户研究表明,该方法显著提高了合成图像的质量和与用户意图的一致性。
2022-07-17 cs.CV
Attentive Normalization for Conditional Image Generation
The Chinese University of Hong Kong(香港中文大学);MEGVII Technology(旷视科技)
传统的基于卷积的生成对抗网络基于分层局部操作合成图像,其中长距离依赖关系用马尔可夫链隐式建模。对于具有复杂结构的类别,它仍然是不够的。在本文中,我们描述了长期依赖与注意规范化(AN),这是传统的实例规范化的扩展。具体地说,输入的特征图被软划分成几个区域的内部语义相似性的基础上,分别归一化。它通过语义对应增强了遥远区域之间的一致性。与自注意GAN相比,我们的注意归一化不需要测量所有位置的相关性,因此可以直接应用于大尺寸的特征图,而没有太多的计算负担。类条件图像生成和语义修复的实验验证了我们提出的模块的有效性。
2020-04-08 cs.CV
Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis
Tomorrow Advancing Life(好未来);Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室)
语义图像合成是一个具有挑战性的任务,有许多实际应用。尽管在具有空间自适应归一化的语义图像合成中已经取得了显着的进展,并且现有方法在粗略级别的指导(例如,语义类)。然而,语义对象的不同部分(例如,车轮和车窗)在结构和纹理上有很大的不同,由于缺少细粒度的指导,通常不可避免地会导致模糊的合成结果。在本文中,我们提出了一种新的规范化模块,称为基于REtrieval的空间自适应规范化(RESAIL),引入像素级细粒度的指导规范化架构。具体来说,我们首先提出了一个检索范式,找到一个相同的语义类的内容补丁从训练集与最相似的形状,每个测试语义面具。然后,RESAIL被提出来使用检索到的补丁来指导相应区域的特征归一化,并且可以提供像素级的细粒度指导,从而极大地减轻了模糊的合成结果。此外,失真的地面实况图像也被用作基于检索的指导的替代方案,用于特征归一化,进一步有利于模型训练和提高生成图像的视觉质量。在几个具有挑战性的数据集上的实验表明,我们的RESAIL在定量指标、视觉质量和主观评价方面都优于最先进的方法。源代码和预训练模型将公开提供。
2022-04-06 cs.CV
Hierarchical Normalization for Robust Monocular Depth Estimation
DJI Technology(大疆创新科技有限公司);Zhejiang University(浙江大学)
在本文中,我们解决了单目深度估计与深神经网络。为了能够利用各种数据集源训练深度单目估计模型,现有技术的方法采用图像级归一化策略来生成仿射不变深度表示。然而,使用图像级归一化的学习主要强调像素表示与图像中的全局统计(例如场景的结构)的关系,而细粒度的深度差异可能被忽略。在本文中,我们提出了一种新的多尺度深度归一化方法,分层规范化的深度表示的基础上的空间信息和深度分布。与之前仅应用于整体图像级别的规范化策略相比,本文提出的分层规范化可以有效地保留细粒度细节并提高准确性。我们提出了两种策略,分别在深度域和空间域中定义层次归一化上下文。我们广泛的实验表明,所提出的归一化策略显着优于以前的归一化方法,我们设置新的国家的最先进的五个zero-shot传输基准数据集。
2022-10-18 cs.CV
Region Normalization for Image Inpainting
University of Science and Technology of China(中国科学技术大学)
特征归一化(FN)是帮助神经网络训练的重要技术,其通常跨空间维度对特征进行归一化。大多数以前的图像修补方法在其网络中应用FN,而不考虑输入图像的损坏区域对归一化的影响,例如均值和方差偏移。在这项工作中,我们表明,由全空间FN造成的均值和方差偏移限制了图像修补网络的训练,我们提出了一个空间区域归一化区域归一化(RN),以克服限制。RN根据输入掩码将空间像素划分为不同的区域,并计算每个区域的均值和方差进行归一化。我们为我们的图像修补网络开发了两种RN:(1)基本RN(RN-B),它基于原始修复掩模分别对受损区域和未受损区域的像素进行归一化,以解决均值和方差偏移问题;(2)可学习RN(RN-L),其自动检测潜在损坏和未损坏区域以用于单独的归一化,并执行全局仿射变换以增强它们的融合。我们分别在网络的前几层和后几层应用RN-B和RN-L。实验表明,我们的方法优于当前国家的最先进的方法定量和定性。我们进一步将RN推广到其他修复网络,并实现了一致的性能改进。我们的代码可在https://github.com/geekyutao/RN上获得。
2023-03-14 cs.CV
Reducing the feature divergence of RGB and near-infrared images using Switchable Normalization
Tongji University(同济大学)
农业地区的视觉模式识别是航空图像处理的一个重要应用。在本文中,我们认为农业航空图像的多模态性质,并表明,天真地将不同的模态结合在一起,而不考虑功能的分歧,可能会导致次优的结果。因此,我们将一个可切换的归一化块应用到我们的DeepLabV3分割模型中,以减轻特征分歧。使用流行的对称Kullback Leibler发散度量,我们表明,我们的模型可以大大减少RGB和近红外通道之间的发散。与混合损失函数一起,我们的模型在平均IoU方面比以前公布的基线提高了近10%。
2021-06-06 cs.CV
Every Pixel Has its Moments: Ultra-High-Resolution Unpaired Image-to-Image Translation via Dense Normalization
National Taiwan University(台湾大学);Amazon Web Services(亚马逊云科技);aetherAI
本文提出密集归一化(DN)层,通过像素级统计矩估计和高效插值与并行策略,在超高分辨率非配对图像到图像转换中同时减少拼接伪影并保持局部颜色对比度,且无需超参数和重新训练。
2024-07-05 cs.CV
Automatic deep learning-based normalization of breast dynamic contrast-enhanced magnetic resonance images
Duke University(杜克大学)
目的:开发一种自动图像归一化算法,仅使用图像信息对不同MRI扫描仪采集的具有各种成像参数的乳腺动态对比度增强磁共振成像(DCE-MRI)图像进行强度校正。方法:对460例乳腺癌患者的DCE-MR图像进行分析。每例受试者有一个T1加权造影前图像和三个T1加权造影后图像可用。我们的标准化算法是在假设不同患者的相同类型的组织应该由相同的体素值表示的情况下操作的。我们使用四种组织/材料类型作为标准化的锚点:1)空气,2)脂肪组织,3)致密组织和4)心脏。该算法分为以下两个步骤:首先,应用最先进的基于深度学习的算法来准确有效地执行组织分割。然后,基于分割结果,在锚点之间应用对象特定的分段线性映射函数,以将不同患者中的相同类型的组织归一化到相同的强度范围。我们用300名受试者进行训练,其余的用于测试。结果如下:我们的算法的应用程序与不同的扫描参数的图像,导致在像素值和提取的放射组学特征的一致性大大提高。结论:提出的基于组织分割的图像归一化策略可以完全自动地执行强度校正,而不需要知道扫描仪参数。意义:我们已经彻底测试了我们的算法,并表明它成功地归一化了DCE-MR图像的强度。我们公开了我们的软件,供其他人应用于他们的分析。
2018-07-05 cs.CV
Tiling artifacts and trade-offs of feature normalization in the segmentation of large biological images
European Molecular Biology Laboratory(欧洲分子生物学实验室);Institute of Computer Science, University of Göttingen(哥廷根大学计算机科学学院);IRCCS Humanitas Research Hospital(Humanitas 医院(IRCCS))
针对大型生物图像分割中的平铺伪影,本文揭示其源于归一化层,提出检测指标,并推荐BatchRenorm以消除伪影、提升迁移性能。
2025-03-25 cs.CV
Power Normalizations in Fine-grained Image, Few-shot Image and Graph Classification
Data61/CSIRO(Data61/澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学)
功率归一化(PN)是解决分类问题中特征不平衡的有用的非线性算子。我们通过一种新的PN层池化特征映射来研究深度学习设置中的PN。我们的层将特征向量及其在CNN最后一个卷积层产生的特征图中的相应空间位置组合成一个具有二阶统计量的正定矩阵,PN算子应用于该矩阵,形成所谓的二阶池化(SOP)。由于本文的主要目标是研究幂规范化,我们研究了MaxExp和Gamma,两个流行的PN函数的作用和意义。为此,我们提供了这种元素操作符的概率解释,并发现了具有良好衍生物的代理,用于端到端训练。此外,我们通过研究频谱功率归一化(SPN)来研究MaxExp和Gamma的频谱适用性。我们表明,SPN的自相关/协方差矩阵和热扩散过程(HDP)的图形拉普拉斯矩阵是密切相关的,从而共享它们的属性。这样的发现使我们的工作达到高潮,一个快速的频谱MaxExp,这是协方差/自相关矩阵的HDP的一个变种。我们评估我们的想法细粒度识别,场景识别,材料分类,以及在少样本学习和图形分类。
2021-08-28 cs.CV
Region-aware Adaptive Instance Normalization for Image Harmonization
Shanghai Jiao Tong University(上海交通大学)
图像合成在照片编辑中起着常见但重要的作用。为了获得照片般逼真的合成图像,必须调整前景的外观和视觉风格以与背景兼容。现有的用于协调合成图像的深度学习方法直接学习从合成图像到真实图像的图像映射网络,而没有明确探索背景和前景图像之间的视觉风格一致性。为了保证前景和背景之间视觉风格的一致性,本文将图像协调问题视为一个风格传递问题。特别是,我们提出了一个简单而有效的区域感知自适应实例归一化(RAIN)模块,明确制定的视觉风格从背景和自适应地将它们应用到前景。通过我们的设置,我们的RAIN模块可以用作现有图像协调网络的插入式模块,并能够带来显着的改进。在现有图像协调基准数据集上的实验表明了该方法的优越性能。代码可以在{https://github.com/junleen/RainNet}上找到。
2021-06-05 cs.CV
Exemplar Normalization for Learning Deep Representation
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);The University of Hong Kong(香港大学)
归一化技术在不同的高级神经网络和不同的任务中是重要的。这项工作研究了一种新的动态学习规范化(L2N)问题,提出了示例规范化(EN),它能够为深度网络的不同卷积层和图像样本学习不同的规范化方法。EN显著提高了最近提出的可切换归一化(SN)的灵活性,SN通过线性组合每个归一化层中的几个归一化器(组合对于所有样本都是相同的)来解决静态L2N问题。EN的内部架构经过精心设计,以稳定其优化,而不是像条件批量归一化(cBN)那样直接采用多层感知器(MLP)来学习数据相关参数,从而带来许多吸引人的好处。(1)EN使不同的卷积层、图像样本、类别、基准和任务能够使用不同的归一化方法,从而从整体上分析它们。(2)EN对于各种网络架构和任务都是有效的。(3)它可以取代深度网络中的任何规范化层,并仍然产生稳定的模型训练。大量的实验表明,EN在广泛的任务,包括图像识别,噪声标签学习,和语义分割的有效性。例如,通过替换普通ResNet50中的BN,EN在ImageNet和嘈杂的WebVision数据集上产生的改进比SN多300%。
2020-03-20 cs.CV
Analyzing the Training Dynamics of Image Restoration Transformers: A Revisit to Layer Normalization
Sungkyunkwan University(顺天大学)
本文提出i-LN,一种改进的层归一化方法,解决图像修复变换器中传统层归一化导致的特征归一化问题,提升训练动态和性能。
2026-02-20 cs.CV
Normalization-Equivariant Neural Networks with Application to Image Denoising
Centre Inria de l’Université de Rennes(雷恩大学Inria中心)
本文提出通过仿射约束卷积和通道级排序池化层替代卷积层与激活函数,使神经网络具备归一化等变性,在图像去噪中实现更好的跨噪声水平泛化。
2024-02-21 cs.CV
A simple normalization technique using window statistics to improve the out-of-distribution generalization on medical images
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Obstetrics and Gynecology Hospital, Institute of Reproduction and Development(妇产科医院生殖与发育研究院);Zhejiang University City College(浙江大学城市学院);Deepwise AI Lab(深睿人工智能实验室);the Second Affiliated Hospital of Zhejiang University(浙江大学医学院附属第二医院);Peking University Third Hospital(北京大学第三医院)
由于数据稀缺性和数据异质性在医学图像中普遍存在,因此使用先前归一化方法的训练有素的卷积神经网络(CNN)在部署到新站点时可能表现不佳。然而,用于真实世界临床应用的可靠模型应该能够很好地概括分布内(IND)和分布外(OOD)数据(例如,新网站数据)。在这项研究中,我们提出了一种新的规范化技术,称为窗口规范化(WIN),以提高模型的泛化异构医学图像,这是一个简单而有效的替代现有的规范化方法。具体地说,WIN用在特征窗口上计算的局部统计信息来扰动归一化统计信息。这种特征级增强技术很好地规范了模型,并显着提高了它们的OOD泛化能力。利用它的优点,我们提出了一种新的自蒸馏方法称为WIN-WIN分类任务。WIN-WIN很容易实现两次向前传递和一致性约束,这可以是现有方法的简单扩展。在各种任务(6个任务)和数据集(24个数据集)上的大量实验结果证明了我们的方法的通用性和有效性。
2022-07-14 cs.CV
Compound Batch Normalization for Long-tailed Image Classification
Zhejiang Lab(之江实验室);Xidian University(西安电子科技大学);Northwestern Polytechnical University(西北工业大学);Sun Yat-sen University(中山大学)
利用数据重采样、重加权和边缘调整等鲁棒训练算法,在长尾数据分布下学习图像分类神经网络方面取得了重大进展。然而,这些方法忽略了数据不平衡对特征归一化的影响。在估计统计和仿射参数时,多数类(头类)的主导地位导致在不太频繁的类别内的内部协变量偏移被忽略。为了缓解这一挑战,我们提出了一种基于高斯混合的复合批量归一化方法。它可以更全面地对特征空间进行建模,减少头类的优势。此外,基于移动平均的期望最大化(EM)算法被用来估计多个高斯分布的统计参数。然而,EM算法对初始化敏感,并且很容易陷入局部最小值,其中多个高斯分量继续集中在大多数类上。为了解决这个问题,我们开发了一个双路径学习框架,该框架采用类感知的分裂特征归一化来使估计的高斯分布多样化,从而使高斯分量更全面地与不太频繁的类的训练样本相适应。在常用数据集上的大量实验表明,该方法在长尾图像分类上优于现有方法。
2022-12-02 cs.CV
Task-Specific Normalization for Continual Learning of Blind Image Quality Models
Shanghai Jiao Tong University(上海交通大学);City University of Hong Kong(香港城市大学)
本文提出一种BIQA持续学习方法,通过冻结预训练DNN卷积滤波器并学习任务特定归一化参数,结合K-means门控加权求和,提升了预测准确率、可塑性-稳定性权衡及任务鲁棒性。
2024-02-19 cs.CV
Illumination Normalization via Merging Locally Enhanced Textures for Robust Face Recognition
Wuhan University of Science and Technology(武汉科技大学);Institute of Robotics and Intelligent Systems, Wuhan University of Science and Technology(武汉科技大学机器人与智能系统研究院);Institute for Infocomm Research(信息通信研究院)
为了提高光照变化条件下人脸识别的准确率,提出了一种基于差分滤波图像融合的局部纹理增强光照归一化方法(FDFI-LTEIN),以减弱光照变化对人脸识别的影响。该算法首先对人脸图像进行对数变换,扩大图像在暗区或阴影区的动态范围;然后,将全局对比度增强后的人脸图像与高斯滤波器差分和双边滤波器差分进行卷积,并采用基于图像标准差的系数选择规则对滤波后的图像进行加权融合,在滤除大部分噪声的同时增强图像的纹理信息。最后,对融合后的人脸图像进行局部对比度均衡(LCE)处理,以降低高光或暗部像素值过饱和或欠饱和对融合效果的影响。在扩展Yale B人脸库和CMU PIE人脸库上的实验结果表明,与其他光照归一化方法和基于深度CNN的光照不变人脸识别方法相比,该方法对光照变化具有更强的鲁棒性,并实现了更高的识别准确率
2019-05-10 cs.CV
ALCN: Meta-Learning for Contrast Normalization Applied to Robust 3D Pose Estimation
为了在检测图像中的对象时对光照变化具有鲁棒性,当前的趋势是使用在许多不同光照条件下捕获的训练图像来训练深度网络。不幸的是,创建这样的训练集是非常麻烦的,有时甚至是不可能的,对于某些应用,如特定对象的3D姿态估计,这是我们在本文中关注的应用。因此,我们提出了一种新的照明归一化方法,让我们学习检测对象,并估计他们的3D姿态在具有挑战性的照明条件下,从很少的训练样本。我们的关键见解是归一化参数应该适应输入图像。特别是,我们通过一个经过训练的卷积神经网络来预测高斯差分方法的推广参数。我们表明,我们的方法显着优于标准的归一化方法,并证明它在两个具有挑战性的3D检测和姿态估计问题。
2017-08-31 cs.CV
Harnessing spatial MRI normalization: patch individual filter layers for CNNs
Humboldt Universität Berlin(柏林洪堡大学);Freie Universität Berlin(柏林自由大学);Charité - Universitätsmedizin Berlin(柏林夏里特医学院)
基于磁共振成像(MRI)的神经影像学研究通常采用严格的预处理形式。使用线性和非线性变换将图像空间归一化到标准模板。因此,可以假设位置(x,y,height,width)处的块在整个数据集中包含相同的大脑区域。大多数使用卷积神经网络(CNN)对大脑MRI进行的分析都忽略了与自然图像的这种区别。在这里,我们提出了一种新的层类型,称为补丁个体过滤器(PIF)层,它在本地训练更高级别的过滤器,因为我们假设更抽象的特征在空间归一化后是局部特定的。我们评估PIF层的三个不同的任务,即性别分类以及阿尔茨海默病(AD)或多发性硬化症(MS)检测。我们证明了使用PIF层的CNN在几个,特别是低样本量设置中优于其同行。
2019-11-14 cs.CV
Instance Normalization: The Missing Ingredient for Fast Stylization
Skoltech(斯科尔科沃科技学院);Yandex(Yandex公司);University of Oxford(牛津大学)
本文回顾了Ulyanov等人提出的快速风格化方法。(2016).我们展示了如何在风格化架构的一个小的变化,结果在生成的图像显着的质量改进。这种变化仅限于将批量归一化与实例归一化交换,并在训练和测试时应用后者。所得到的方法可以用于训练高性能的实时图像生成架构。该代码将在github上提供,网址为https://github.com/DmitryUlyanov/texture_nets。全文可在arXiv:1701.02096找到。
2017-11-06 cs.CV
PHNet: Patch-based Normalization for Portrait Harmonization
本文提出 PHNet,通过基于图像块的归一化模块和统计颜色迁移特征提取器增强局部视觉连贯性,在 iHarmony4 和自建 FFHQ 人像协调数据集上取得最优结果。
2024-09-30 cs.CV
Batch Normalization and the impact of batch structure on the behavior of deep convolution networks
Department of Computing, Imperial College London(帝国理工学院计算机系)
批量归一化于2015年引入,通过将当前批次的激活归一化为零均值和单位方差来加速深度卷积网络的训练。这里给出的结果显示了批量归一化的一个有趣方面,其中控制训练批次的形状可以影响网络将学习的内容。如果训练批次被构造为平衡批次(每类一个图像),并且使用批次自身的均值和方差对平衡测试批次进行推断,则条件结果将显著改善。该网络使用关于平衡批次中的简单图像的强信息,并通过共享的均值和方差来传播它,以帮助确定同一批次中较难图像的身份。平衡测试批次需要测试图像的标签,这在实践中是不可用的,但是可以使用不太严格并且可能不需要测试图像标签的批次结构来进行进一步的调查。条件的结果表明,出错率几乎减少到零的非平凡的数据集,如CIFAR10的类的数量少。
2018-02-21 cs.CV
Instance Scale Normalization for image understanding
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Horizon Robotics(地平线机器人)
尺度变化一直是目标检测的一个挑战性问题。常见的范式通常采用多尺度训练和测试(图像金字塔)或FPN(特征金字塔网络)来处理大尺度范围内的对象。然而,多尺度方法加剧了更多的尺度变化,即使是具有FPN的深度卷积神经网络也不能很好地处理。在这项工作中,我们提出了一个创新的范例称为实例规模归一化(ISN),以解决上述问题。ISN在训练和测试阶段都将对象的尺度空间压缩到一致的范围(ISN范围)。这从根本上解决了规模变化的问题,降低了网络优化的难度。实验表明,ISN优于多尺度的对手显着的目标检测,实例分割,和多任务人体姿态估计,在几个架构。在COCO测试开发中,我们基于ISN的单个模型在ResNet-101主干上实现了46.5 mAP,这是目标检测的最先进(SOTA)候选模型之一。
2020-06-10 cs.CV
Spectral Normalization and Dual Contrastive Regularization for Image-to-Image Translation
Nanjing Normal University(南京师范大学)
针对现有图像到图像翻译方法忽略全局结构约束的问题,提出结合谱归一化与双对比正则化的SN-DCR框架,通过语义和风格对比损失提升全局信息,增强模型稳定性,在多任务中达最优性能。
2024-03-09 cs.CV
Neural Networks with Divisive normalization for image segmentation with application in cityscapes dataset
Universitat de València(瓦伦西亚大学)
计算机视觉中的一个关键问题是适应性:模型过于僵化,无法跟随输入的变化。解释感觉神经科学中适应的规范计算是分裂归一化,它对图像流形有吸引力的影响。在这项工作中,我们表明,在当前的深度网络中包括分裂归一化,使它们对图像中的非信息变化更具不变性。特别是,我们专注于U-Net架构的图像分割。实验表明,在U-Net架构中包含分裂规范化导致更好的分割结果相对于传统的U-Net。当处理在恶劣天气条件下获取的图像时,增益稳步增加。除了Cityscapes和Foggy Cityscapes数据集上的结果之外,我们还通过响应的可视化来解释这些优势:由分裂归一化引起的均衡化导致了对比度和照明局部变化的更多不变特征。
2022-11-09 cs.CV cs.LG
Porosity Amount Estimation in Stones Based on Combination of One Dimensional Local Binary Patterns and Image Normalization Technique
目前,基于图像纹理分析技术的表面缺陷检测方法已被提出。其中一个有效的纹理分析操作是局部二进制模式,它提供了良好的精度。
2018-10-13 cs.CV eess.IV
Revisiting Complex Moments For 2D Shape Representation and Image Normalization
在比较2D形状时,一个关键问题是它们的归一化。平移和缩放很容易通过去除均值和归一化能量来处理。然而,定义和计算2D形状的方向并不那么简单。事实上,尽管对于细长形状,主轴可用于定义两种可能的取向之一,但对于一般形状没有这样的工具。正如我们在论文中所示,以前的方法无法计算简单形状的无噪声观测的方向。我们解决这个问题。在本文中,我们展示了如何唯一地定义任意2D形状的方向,我们称之为它的主矩。我们表明,这些时刻的一个小的子集足以代表潜在的二维形状,并提出了一种新的方法来有效地计算形状的方向:主矩分析。最后,我们讨论了如何将这种方法进一步应用于灰度图像的归一化。除了正确性的理论证明,我们描述了实验证明对噪声的鲁棒性,并说明了与真实图像的方法。
2010-10-18 cs.CV
Generalizable Model-agnostic Semantic Segmentation via Target-specific Normalization
Nanjing University(南京大学);Southeast University(东南大学)
监督学习方式的语义分割近年来取得了重大进展。然而,当我们直接部署训练好的模型来分割看不见的(或新来的)域的图像时,由于可见域和看不见域之间的数据分布差异,其性能通常会急剧下降。为此,我们提出了一种新的领域泛化框架的泛化语义分割任务,从两个不同的角度,包括训练范式和测试策略,提高模型的泛化能力。具体地说,我们利用模型无关学习来模拟域转移问题,从训练方案的角度处理领域泛化。此外,考虑到数据分布之间的差异,可见的源和不可见的目标域,我们开发了特定的目标规范化方案,以提高泛化能力。此外,在测试阶段,当图像一个接一个地出现时,我们设计了基于图像的存储体(Image Bank,简称Image Bank),采用基于风格的选择策略,选择相似的图像,以获得更准确的归一化统计。大量的实验突出表明,所提出的方法在多个基准分割数据集上对语义分割的领域泛化产生了最先进的性能,即,城市景观,Mapillary。
2021-08-31 cs.CV
The Effectiveness of Instance Normalization: a Strong Baseline for Single Image Dehazing
University of Maryland, College Park(马里兰大学帕克分校);Facebook(脸书);Harbin Institute of Technology(哈尔滨工业大学)
我们提出了一种新的深度神经网络架构的挑战性问题的单一图像去雾,其目的是恢复清晰的图像从退化的模糊图像。我们的端到端系统不依赖于手工制作的图像先验或明确估计广泛使用的大气散射模型的组件,而是直接从输入的模糊图像生成清晰的图像。所提出的网络具有编码器-解码器架构,具有跳过连接和实例归一化。我们采用预训练的VGG网络的卷积层作为编码器,以利用深度特征的表示能力,并证明实例归一化对图像去雾的有效性。我们简单而有效的网络在基准数据集上的表现远远优于最先进的方法。
2018-05-08 cs.CV cs.LG
Alleviating Distortion in Image Generation via Multi-Resolution Diffusion Models and Time-Dependent Layer Normalization
ByteDance(字节跳动);Johns Hopkins University(约翰斯·霍普金斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对Transformer架构在图像生成中因分块化导致的视觉保真度与计算复杂度权衡及失真问题,提出整合多分辨率网络和时间依赖层归一化的扩散模型增强方法,在ImageNet基准上取得更优FID分数。
2024-11-28 cs.CV
Dynamic Instance Normalization for Arbitrary Style Transfer
Zhejiang University(浙江大学);Baidu Inc.(百度公司);Stevens Institute of Technology(史蒂文斯理工学院)
现有的归一化方法依赖于仿射变换来产生任意的图像风格转换,其参数以预定义的方式计算。这种手动定义的性质最终导致用于风格和内容编码两者的高成本和共享编码器,使得风格传输系统难以部署在资源受限的环境中,如移动终端侧。在本文中,我们提出了一个新的和广义的规范化模块,称为动态实例规范化(DIN),允许灵活和更有效的任意风格的传输。DIN包括实例规范化和动态卷积,将样式图像编码为可学习的卷积参数,并在此基础上对内容图像进行风格化。与使用共享的复杂编码器来编码内容和样式的传统方法不同,所提出的DIN引入了复杂的样式编码器,但带有用于快速推理的紧凑且轻量级的内容编码器。实验结果表明,所提出的方法产生非常令人鼓舞的结果,具有挑战性的风格模式,据我们所知,第一次使任意的风格转移使用基于MobileNet的轻量级架构,导致减少因子超过20的计算成本相比,现有的方法。此外,所提出的DIN为最先进的卷积操作提供了灵活的支持,从而触发了新的功能,例如非自然图像的均匀笔划放置和自动空间笔划控制。
2019-11-16 cs.CV
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University(康奈尔大学)
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别(例如,鸟类)仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示:首先定位每个图像中的语义部分,然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类,我们表明,他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下,姿势归一化将浅层和深层架构的准确度提高了10到20个百分点,更好地推广到新领域,并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
Batch-Instance Normalization for Adaptively Style-Invariant Neural Networks
Lunit Inc.(Lunit公司)
现实世界的图像识别经常受到视觉风格的变化的挑战,包括对象纹理,照明条件,过滤效果等,虽然这些变化已被认为是隐式处理更多的训练数据和更深的网络,最近的图像风格转移的进展表明,它也可以显式地操纵的风格信息。将这一想法扩展到一般的视觉识别问题,我们提出了批量实例规范化(BIN)来显式规范化图像中不必要的样式。考虑到某些风格特征在区分任务中起着至关重要的作用,BIN学习选择性地只规范化干扰风格,同时保留有用的风格。所提出的归一化模块可以很容易地集成到现有的网络架构中,如残差网络,并令人惊讶地提高了各种场景下的识别性能。此外,实验验证,BIN有效地适应完全不同的任务,如对象分类和风格转移,通过控制之间的权衡保留和删除风格的变化。BIN可以使用流行的深度学习框架仅用几行代码实现。
2019-04-25 cs.CV
Local Low-light Image Enhancement via Region-Aware Normalization
The Chinese University of Hong Kong(香港中文大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
本文提出RANLEN方法,通过区域感知归一化和区域感知损失将全局低光图像增强转换为可控的局部增强,支持用户用掩码指定光照区域并实现平滑过渡。
2023-11-30 cs.CV
DINOLight: Robust Ambient Light Normalization with Self-supervised Visual Prior Integration
Department of ECE, INMC, Seoul National University(电子工程系,INMC,首尔国立大学)
本文提出DINOLight框架,利用DINOv2的图像理解能力提升环境光归一化效果,通过自适应特征融合模块和辅助交叉注意力机制实现光照归一化,实验表明其在Ambient6K数据集上表现优异。
2026-03-13 cs.CV
An Exploratory Study on Abstract Images and Visual Representations Learned from Them
本文研究抽象图像与光栅图像在视觉表示上的性能差距,引入HAID数据集并在分类、分割和目标检测任务上评估,探讨抽象图像作为视觉语义信息载体的有效性。
2025-09-17 cs.CV
Structure Preserving Stain Normalization of Histopathology Images Using Self-Supervised Semantic Guidance
Inception Institute of Artificial Intelligence(起源人工智能研究院);EPFL(洛桑联邦理工学院);Lausanne University Hospital(洛桑大学医院);Center of Biomedical Imaging(生物医学成像中心);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
虽然基于生成对抗网络(GAN)的风格转移是组织病理学染色归一化的最新技术,但它们没有明确地整合组织的结构信息。我们提出了一种自监督的方法,将语义指导到一个基于GAN染色规范化框架,并保留详细的结构信息。我们的方法不需要手动分割图,这是一个显着的优势,比现有的方法。我们在预训练的语义网络和染色颜色归一化网络之间的不同层集成语义信息。该方案优于其他颜色归一化方法,从而更好的分类和分割性能。
2021-06-03 cs.CV eess.IV
Neural Stain Normalization and Unsupervised Classification of Cell Nuclei in Histopathological Breast Cancer Images
在本文中,我们开发了一个完整的管道染色标准化,分割,并在苏木精和伊红(H&E)染色的乳腺癌组织病理学图像的细胞核分类。在第一步中,我们使用基于CNN的染色转移技术来归一化(H&E)图像的染色特征。然后,我们训练一个神经网络从H&E图像分割细胞核的图像。最后,我们训练一个信息最大化生成对抗网络(InfoGAN)来学习不同类型细胞核的视觉表示,并以完全无监督的方式对其进行分类。结果表明,我们提出的CNN染色归一化产生改进的视觉相似性和细胞分割性能相比,传统的基于SVD的染色归一化方法。在我们管道的最后一步,我们展示了基于形态和颜色属性对各种乳腺组织病理学细胞类型进行完全无监督聚类的能力。此外,我们还根据各种定量指标对我们基于神经网络的技术进行了定量评估,以验证我们管道的有效性。
2018-11-09 cs.CV q-bio.QM
Learning Semantic Person Image Generation by Region-Adaptive Normalization
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司);Pazhou Lab(琶洲实验室)
人体位姿变换因其广泛的应用而受到广泛关注,但仍是一个尚未很好解决的挑战性课题。最近的工作已经取得了很大的成功,从源到目标姿态的人的图像。然而,他们中的大多数不能很好地捕捉语义的外观,导致不一致和不真实的纹理重建结果。为了解决这个问题,我们提出了一个新的两阶段框架来处理姿势和外观翻译。在第一阶段,我们预测目标语义解析图,以消除姿势转移的困难,并进一步有利于每个区域的外观风格的后期翻译。在第二个,与预测的目标语义图,我们提出了一种新的人的图像生成方法,结合区域自适应规范化,它需要每个区域的风格,以指导目标外观生成。大量的实验表明,我们提出的SPGNet可以生成更多的语义,一致性和照片般逼真的结果,并表现出良好的对最先进的方法在定量和定性评价方面。源代码和模型可在https://github.com/cszy98/SPGNet.git上获得。
2021-04-14 cs.CV
Image Generation with Self Pixel-wise Normalization
Korea University(高丽大学);Chungbuk National University Hospital(忠北国立大学医院);Hannam University(韩南大学)
区域自适应归一化(RAN)方法已被广泛应用于基于生成对抗网络(GAN)的图像到图像翻译技术中。然而,由于这些方法需要掩模图像来推断逐像素仿射变换参数,因此它们不能应用于不具有成对掩模图像的一般图像生成模型。为了解决这个问题,本文提出了一种新的归一化方法,称为自像素归一化(SPN),有效地提高了生成性能,通过执行像素自适应仿射变换没有掩模图像。在我们的方法中,变换参数来自一个自隐掩模,将特征图分为前景和背景区域。自隐掩模的可视化表明,SPN有效地捕获了要生成为前景的单个对象。由于该方法无需外部数据即可生成自隐掩模,因此易于应用于现有的生成模型。在各种数据集上的实验表明,该方法在Frechet起始距离(FID)和起始分数(IS)方面显著提高了图像生成技术的性能。
2022-01-26 cs.CV cs.LG
LocalNorm: Robust Image Classification through Dynamically Regularized Normalization
Centrum Wiskunde & Informatica (CWI)(荷兰数学与计算机科学研究中心);Holst Centre / IMEC(霍尔斯特中心/比利时微电子研究中心);Technical University Eindhoven(埃因霍温理工大学);University of Amsterdam(阿姆斯特丹大学);Rijksuniversiteit Groningen(格罗宁根大学)
虽然现代卷积神经网络在许多图像分类任务上实现了出色的准确性,但与人类相比,它们对图像退化更加敏感。在这里,我们描述了批量归一化的一个变体LocalNorm,它以Dropout的精神对归一化层进行正则化,同时在测试时动态适应局部图像强度和对比度。我们发现,由此产生的深度神经网络对噪声引起的图像退化具有更强的抵抗力,将精度提高了三倍,同时在非退化的经典基准上实现了相同或略好的精度。在计算方面,LocalNorm增加了可忽略的训练成本,在推理时几乎没有成本,并且可以直接应用于已经训练好的网络。
2019-03-04 cs.CV cs.LG
ALCN: Adaptive Local Contrast Normalization
Graz University of Technology(格拉茨工业大学);Ecole des Ponts(巴黎高科桥路学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学)
为了使机器人和增强现实应用对光照变化具有鲁棒性,当前的趋势是使用在许多不同光照条件下捕获的训练图像来训练深度网络。不幸的是,创建这样一个训练集是一个非常笨拙和复杂的任务。因此,我们提出了一种新的照明归一化方法,可以很容易地用于具有挑战性的照明条件下的不同问题。我们的初步实验表明,在目前的归一化方法中,高斯差分方法仍然是一个非常好的基线,我们引入了一种新的光照归一化模型,推广它。我们的关键洞察是,归一化参数应该依赖于输入图像,我们的目标是训练一个卷积神经网络预测这些参数从输入图像。然而,这不能以监督的方式完成,因为最佳参数不是先验已知的。因此,我们设计了一种方法来训练这个网络与另一个网络,旨在识别不同照明下的对象:后一个网络表现良好时,前一个网络预测良好的值的归一化参数。我们表明,我们的方法显着优于标准的归一化方法,并且似乎是通用的,因为它不必为每个新的应用程序重新训练。我们的方法提高了最先进的3D目标检测和人脸识别方法对光线变化的鲁棒性。
2020-04-15 cs.CV
Scale Calibrated Training: Improving Generalization of Deep Networks via Scale-Specific Normalization
Georgia Institute of Technology(佐治亚理工学院);SenseTime Research(商汤科技研究院)
标准的卷积神经网络(CNN)在训练和测试阶段都需要一致的图像分辨率。然而,在实践中,使用较小的图像尺寸进行测试对于快速推断是必要的。我们发现,在用高分辨率图像训练的网络上对低分辨率图像进行平凡的评估会导致标准CNN架构的准确性出现灾难性的下降。我们提出了一种新的训练机制,称为尺度校准训练(SCT),它允许网络同时从各种尺度的输入中学习。通过利用SCT的优势,单个网络可以在测试时间提供相当的准确性,以响应多个测试尺度。在我们的分析中,我们惊讶地发现,香草批量归一化可以导致次优性能的SCT。因此,一种新的规范化方案,称为规模特定批量规范化配备给SCT,以取代批量归一化。实验结果表明,当测试224和128的图像尺寸时,SCT将ImageNet上单个Resnet-50的准确率分别提高了1.7%和11.5%。
2020-09-07 cs.CV cs.LG
Quantifying the effects of data augmentation and stain color normalization in convolutional neural networks for computational pathology
Radboud University Medical Center(拉德堡德大学医学中心);Linköping University(林雪平大学)
染色变化是当不同的病理学实验室对表现出相似但不相同的颜色外观的组织载玻片染色时观察到的现象。由于实验室之间的这种颜色变化,使用来自一个实验室的图像训练的卷积神经网络(CNN)在来自另一个实验室的不可见图像上往往表现不佳。已经提出了几种技术来减少泛化误差,主要分为两类:染色增强和染色归一化。前者在训练过程中模拟各种真实的染色变化,产生染色不变的CNN。后者旨在匹配训练和测试颜色分布,以减少染色变化。这是第一次,我们比较了其中一些技术,并使用来自4个器官和9个病理实验室的苏木精和伊红组织病理学图像的异质数据集量化了它们对CNN分类性能的影响。此外,我们提出了一种新的无监督的方法来执行染色颜色归一化使用神经网络。基于我们的实验结果,我们提供了实用的指导方针,如何使用染色增强和染色归一化在未来的计算病理学应用。
2020-04-15 cs.CV
CateNorm: Categorical Normalization for Robust Medical Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);The University of Hong Kong(香港大学);Stanford University(斯坦福大学);UC Santa Cruz(加州大学圣克鲁兹分校)
批量归一化(BN)基于一批图像的统计数据均匀地移动和缩放激活。然而,背景像素的强度分布往往主导BN统计,因为背景占整个图像的很大比例。本文的重点是增强BN与前景像素的强度分布,一个真正重要的图像分割。我们提出了一种新的标准化策略,命名为分类标准化(CateNorm),规范化的激活根据分类统计。通过动态调制图像中属于前景的特定区域来获得分类统计。CateNorm展示了从不同领域获得的五个公共数据集的精确和强大的分割结果,涵盖了复杂和可变的数据分布。这是由于CateNorm能够从多个领域(机构)的医疗数据中捕获领域不变的信息。代码可在https://github.com/lambert-x/CateNorm上获得。
2022-08-05 cs.CV eess.IV
Adversarial normalization for multi domain image segmentation
ETS Montreal(蒙特利尔理工学院)
图像归一化是医学成像中的关键步骤。这一步骤通常是在每个数据集的基础上完成的,这使得当前的分割算法无法充分利用跨多个数据集的联合归一化信息。为了解决这个问题,我们提出了一种用于图像分割的对抗性归一化方法,该方法可以在多个数据集上学习常见的归一化函数,同时保持图像的真实感。对抗性训练提供了一个最佳的归一化器,可以提高分割精度和对不切实际的归一化函数的区分。因此,我们的贡献利用了来自多个领域的共同成像信息。我们共同的归一化的最优性进行评估,结合婴儿和成人的大脑图像。具有挑战性的iSEG和MRBrainS数据集的结果揭示了我们的对抗性归一化方法用于分割的潜力,Dice比基线提高了59.6%。
2020-02-01 cs.CV cs.LG stat.ML
DRAN: Detailed Region-Adaptive Normalization for Conditional Image Synthesis
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc(字节跳动公司)
针对条件图像合成难以处理细粒度风格的问题,提出新型归一化模块DRAN,通过多级结构和动态门控自适应融合粗细粒度特征,在化妆迁移等任务上显著提升基线模型表现。
2023-06-26 cs.CV
Revisiting Batch Normalization for Improving Corruption Robustness
Korea Advanced Institute of Science Technology (KAIST)(韩国科学技术院)
在干净图像上训练的DNN的性能已被证明在测试图像具有常见损坏时会下降。在这项工作中,我们解释腐败的鲁棒性作为一个域的转变,并提出纠正批量归一化(BN)统计,以提高模型的鲁棒性。这是由于将从干净域到腐败域的转变视为由BN统计表示的风格转变。我们发现,简单地估计和适应BN统计的几个(例如32)表示样本,没有重新训练的模型,提高腐败的鲁棒性,由一个大幅度的基准数据集与广泛的模型架构。例如,在ImageNet-C上,统计数据自适应将ResNet 50的top1准确率从39.2%提高到48.7%。此外,我们发现这种技术可以进一步提高最先进的鲁棒模型从58.1%到63.3%。
2021-01-28 cs.CV
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);NCSOFT;Boeing Korea Engineering and Technology Center(波音韩国工程技术中心)
我们提出了一种新的无监督图像到图像的翻译方法,它采用了一个新的注意力模块和一个新的可学习的规范化函数在一个端到端的方式。注意力模块根据辅助分类器获得的注意力图,引导我们的模型专注于区分源域和目标域的更重要区域。与以前的基于注意力的方法不能处理域之间的几何变化不同,我们的模型可以翻译需要整体变化的图像和需要大的形状变化的图像。此外,我们新的AdaLIN(自适应层实例归一化)功能可以帮助我们的注意力引导模型通过学习参数灵活地控制形状和纹理的变化量,具体取决于数据集。实验结果表明,该方法的优越性相比,现有的国家的最先进的模型具有固定的网络结构和超参数。我们的代码和数据集可在https://github.com/taki0112/UGATIT或https://github.com/znxlwm/UGATIT-pytorch上获得。
2020-04-08 cs.CV eess.IV
Self-normalized Classification of Parkinson's Disease DaTscan Images
Yale University(耶鲁大学)
对SPECT图像进行分类需要使用归一化区域对图像进行归一化的预处理步骤。标准化区域的选择不是标准的,并且使用不同的标准化区域引入了标准化区域相关的可变性。本文从数学上分析了归一化区域的作用,证明了在乘法等价下,归一化分类完全等价于图像半条射线的子空间分离。利用这种几何结构,提出了一种新的自归一化分类策略。这种策略完全消除了正常化区域。该理论被用来分类DaTscan图像的365帕金森病(PD)的主题和208名健康对照(HC)的主题从帕金森病的进展标志物倡议(PPMI)。该理论也用于了解从基线至第4年的PD进展。
2021-12-27 cs.CV eess.IV
Fast GPU-Enabled Color Normalization for Digital Pathology
Indian Institute of Technology Bombay(印度理工学院孟买分校)
由于染色过程和扫描仪响应的差异而导致的不想要的颜色变化的归一化已经被证明有助于计算病理学中的机器学习。在几种流行的颜色归一化技术中,结构保持颜色归一化(SPCN)是动机良好的,令人信服的测试,并与其代码库一起发布。然而,SPCN在颜色基础估计中偶尔会产生错误,从而导致伪像,例如在染色剂之间交换颜色基础向量或向没有组织的背景提供彩色色调。我们做了几个算法改进,以消除这些文物。此外,由于运行时间长、使用专有软件平台和库以及无法自动处理WSI,原始SPCN代码不容易用于千兆像素全载玻片图像(WSI)。我们完全重写了软件,使其可以自动处理流行的WSI格式的任何大小的图像。我们的软件利用GPU加速和开源库,这些库随着深度学习的出现而变得无处不在。我们还做了其他几个小的改进,并在千兆像素图像上实现了多倍的整体加速。我们的算法和软件是可用的权利开箱即用的计算病理学社区。
2019-01-10 cs.CV