InstaFormer: Instance-Aware Image-to-Image Translation with Transformer
Korea University(高丽大学)
我们提出了一种新的基于transformer的网络架构,用于实例感知的图像到图像翻译,称为InstaFormer,以有效地集成全局和实例级信息。通过将从图像中提取的内容特征视为令牌,我们的网络通过考虑Transformers中的自我注意模块的上下文信息来发现内容特征的全局共识。通过增强这样的令牌与实例级功能提取的内容特征相对于限界框信息,我们的框架是能够学习对象实例和全局图像之间的交互,从而提高实例意识。我们将标准Transformers中的层归一化(LayerNorm)替换为自适应实例规范化(AdaIN),以实现具有样式代码的多模态转换。此外,为了提高对象区域的实例感知和翻译质量,我们提出了一种定义在输入和翻译图像之间的实例级内容对比度损失。我们进行实验以证明InstaFormer在最新方法中的有效性,并提供广泛的消融研究。
2022-03-30 cs.CV
Learning Semantic Person Image Generation by Region-Adaptive Normalization
Harbin Institute of Technology(哈尔滨工业大学);Baidu Inc.(百度公司);Pazhou Lab(琶洲实验室)
人体位姿变换因其广泛的应用而受到广泛关注,但仍是一个尚未很好解决的挑战性课题。最近的工作已经取得了很大的成功,从源到目标姿态的人的图像。然而,他们中的大多数不能很好地捕捉语义的外观,导致不一致和不真实的纹理重建结果。为了解决这个问题,我们提出了一个新的两阶段框架来处理姿势和外观翻译。在第一阶段,我们预测目标语义解析图,以消除姿势转移的困难,并进一步有利于每个区域的外观风格的后期翻译。在第二个,与预测的目标语义图,我们提出了一种新的人的图像生成方法,结合区域自适应规范化,它需要每个区域的风格,以指导目标外观生成。大量的实验表明,我们提出的SPGNet可以生成更多的语义,一致性和照片般逼真的结果,并表现出良好的对最先进的方法在定量和定性评价方面。源代码和模型可在https://github.com/cszy98/SPGNet.git上获得。
2021-04-14 cs.CV
Arbitrary Style Transfer using Graph Instance Normalization
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
风格转换是图像合成任务,它将一个图像的风格应用于另一个图像,同时保留内容。在统计方法中,自适应实例归一化(AdaIN)通过归一化特征的均值和方差,对源图像进行白化处理,并应用目标图像的风格。然而,为每个实例计算特征统计会忽略特征之间的内在关系,因此很难在适应单个训练数据集的同时学习全局样式。在本文中,我们提出了一种新的可学习的规范化技术的风格转移使用图卷积网络,称为图实例规范化(GrIN)。该算法通过考虑实例之间共享的相似信息,使风格转移方法更加鲁棒。此外,这个简单的模块也适用于其他任务,如图像到图像的翻译或领域自适应。
2020-10-06 cs.CV
Image-to-Image Translation via Group-wise Deep Whitening-and-Coloring Transformation
Korea University(高丽大学);LG Electronics(LG电子);Hanyang University(汉阳大学)
最近,无监督的基于样本的图像到图像的翻译,条件是一个给定的样本没有配对的数据,已经取得了实质性的进展。为了将信息从样本转移到输入图像,现有方法通常使用归一化技术,例如,自适应实例归一化,其控制特定层处的输入激活图的通道方式统计,诸如均值和方差。同时,风格传递本质上接近于图像翻译,通过使用高阶统计量(如通道间的协方差)来表示风格,表现出优越的性能。详细地说,它通过白化(给定零均值输入特征,将其协方差矩阵转换为恒等式)来工作。然后着色(将白化特征的协方差矩阵改变为样式特征的协方差矩阵)。然而,由于昂贵的时间复杂度及其非平凡的反向传播,将这种方法应用于图像翻译是计算密集型的并且容易出错。作为回应,本文提出了一种端到端的方法,专门为图像翻译,有效地近似这种变换与我们的新的正则化方法。我们进一步扩展我们的方法,以组明智的形式,内存和时间效率以及图像质量。大量的定性和定量实验表明,我们提出的方法是快速的,无论是在训练和推理,并高度有效地反映一个样本的风格。最后,我们的代码可以在https://github.com/WonwoongCho/GDWCT上找到。
2019-06-09 cs.CV
Ultra-high-resolution unpaired stain transformation via Kernelized Instance Normalization
aetherAI
虽然苏木精和伊红(H&E)是标准染色程序,但免疫组织化学(IHC)染色进一步用作诊断和预后方法。然而,获得特殊的染色结果需要大量的成本。因此,我们提出了一种用于超高分辨率非配对图像到图像转换的策略:核化实例归一化(KIN),它保留了局部信息,并成功地实现了无缝染色变换,同时保持了恒定的GPU内存使用率。给定一个补丁,相应的位置和一个内核,KIN使用卷积运算计算局部统计。此外,KIN可以很容易地插入到大多数当前开发的框架中,而无需重新训练。我们证明了KIN通过在三个流行的框架中用KIN层替换实例归一化(IN)层并在两个组织病理学数据集上进行测试来实现最先进的染色变换。此外,我们体现了高分辨率的自然图像的KIN的推广。最后,人工评估和一些客观的指标来比较不同的方法的性能。总的来说,这是第一次成功的研究超高分辨率不成对图像到图像的翻译与恒定的空间复杂度。代码可在:https://github.com/Kaminyou/URUST
2022-08-23 cs.CV eess.IV
Unbalanced Feature Transport for Exemplar-based Image Translation
Nanyang Technological University(南洋理工大学)
尽管GANs在具有不同条件输入(如语义分割和边缘图)的图像翻译中取得了巨大成功,但生成具有参考样式的高保真逼真图像仍然是条件图像到图像翻译中的巨大挑战。本文提出了一个通用的图像翻译框架,它结合了最优传输的图像翻译中的条件输入和风格范例之间的特征对齐。最优传输的引入大大减轻了多对一特征匹配的约束,同时在条件输入和样本之间建立了准确的语义对应。我们设计了一种新的不平衡最优传输,以解决条件输入和样本之间广泛存在的偏差分布的功能之间的传输。此外,我们设计了一个语义激活规范化方案,成功地将范例的风格特征注入到图像翻译过程中。多个图像翻译任务的大量实验表明,我们的方法实现了卓越的图像翻译质量和定量相比,国家的最先进的。
2021-06-19 cs.CV
Sparsity Aware Normalization for GANs
Technion–Israel Institute of Technology(以色列理工学院)
生成对抗网络(GANs)在训练过程中受益于其评论(critic)网络的正则化或规范化。在本文中,我们分析了流行的频谱归一化方案,发现一个显着的缺点,并引入稀疏感知归一化(SAN),一种新的替代方法稳定GAN训练。与其他归一化方法相反,我们的方法明确地考虑了具有ReLU激活的卷积网络中特征映射的稀疏性。我们说明了我们的方法的有效性,通过广泛的实验与各种网络架构。正如我们所展示的,稀疏性在用于图像到图像翻译设置的评论中特别占主导地位。在这些情况下,我们的方法改进了现有的方法,在更少的训练时期和更小的容量的网络,同时几乎不需要计算开销。
2021-04-28 cs.CV eess.IV
Test-time image-to-image translation ensembling improves out-of-distribution generalization in histopathology
CentraleSupélec - Université Paris-Saclay(巴黎萨克雷大学中央高等电子学院);VitaDX International(VitaDX国际公司)
组织学全切片图像(WSI)可以显示显著的医院间差异,如照明,颜色或光学伪影。这些变化是由医疗中心(染色,扫描仪)使用不同的扫描协议引起的,可能会严重损害算法在看不见的协议上的泛化。这促使开发新的方法来限制这种性能下降。为了提高对未知目标协议的鲁棒性,提出了一种基于多域图像-图像转换的测试时数据增强方法。它允许将图像从看不见的协议投影到每个源域,然后对它们进行分类并集成预测。这种测试时间增强方法导致领域泛化性能的显著提高。为了证明其有效性,我们的方法已被评估2个不同的组织病理学任务,它优于传统的领域泛化,标准的H&E特定的颜色增强/归一化和标准的测试时间增强技术。我们的代码可在https://gitlab.com/vitadx/articles/test-time-i2i-translation-ensembling上公开获取。
2022-06-30 cs.CV
Unpaired Image-to-Image Translation for Segmentation and Signal Unmixing
Diffine LLC(Diffine公司)
Ui2i是一种基于CycleGAN改进的无配对图像翻译模型,通过U-Net、谱归一化和注意力机制保留内容,在IHC分割和IF信号分离任务中验证了其结构保真能力。
2025-05-27 cs.CV eess.IV
CoMoGAN: continuous model-guided image-to-image translation
Inria(法国国家信息与自动化研究所);Vislab(视觉实验室);Ambarella(安霸公司)
CoMoGAN是一种连续的GAN,它依赖于对函数流形上的目标数据进行无监督的重组。为此,我们引入了一个新的功能实例规范化层和残差机制,它们共同将图像内容从目标流形上的位置中分离出来。我们依靠朴素的物理模型来指导训练,同时允许私人模型/翻译功能。CoMo GAN可以与任何GAN骨干一起使用,并允许新类型的图像平移,例如像时间流逝生成的循环图像平移或分离的线性平移。在所有数据集上,它都优于文献。我们的代码可在http://github.com/cv-rits/CoMoGAN上获得。
2022-06-29 cs.AI cs.CV cs.LG
Diagonal Attention and Style-based GAN for Content-Style Disentanglement in Image Generation and Translation
Korea Advanced Institute of Science & Technology (KAIST)(韩国高等科学技术研究院(KAIST))
图像生成模型的一个重要研究课题是将空间内容和空间风格分离,分别控制。虽然StyleGAN可以从随机噪声中生成内容特征向量,但由此产生的空间内容控制主要用于较小的空间变化,并且全局内容和样式的分离绝不是完全的。受归一化和注意力的数学理解的启发,在这里,我们提出了一种新的分层自适应对角线空间注意力(DAT)层,以分层的方式分别操纵空间内容的样式。使用DAT和AdaIN,我们的方法使粗到细的空间内容和风格的层次解开。此外,我们的生成器可以很容易地集成到GAN反演框架中,以便可以灵活地控制来自多域图像翻译任务的翻译图像的内容和风格。通过使用各种数据集,我们证实,所提出的方法不仅优于现有的模型在解纠缠分数,但也提供了更灵活的控制空间特征生成的图像。
2021-07-23 cs.CV
Exploring Unlabeled Faces for Novel Attribute Discovery
Korea University(高丽大学);Kakao Corp.(Kakao公司)
尽管在不成对的图像到图像的翻译中取得了显著的成功,但现有的系统仍然需要大量的标记图像。这是它们在现实世界中应用的瓶颈;在实践中,在标记CelebA数据集上训练的模型对于来自不同分布的测试图像效果不佳-极大地限制了它们对大量未标记图像的应用。在本文中,我们试图减轻这种必要性标记的数据在面部图像翻译域。我们的目标是探索您可以从未标记的面部中发现新属性并执行高质量翻译的程度。为此,我们使用视觉世界的先验知识作为指导,发现新的属性,并通过一种新的归一化方法将它们转移。实验表明,我们在未标记数据上训练的方法可以产生高质量的翻译,保留身份,并且在感知上与在标记数据上训练的最先进的方法一样好,甚至更好。
2019-12-06 cs.CV
Translation-Equivariance of Normalization Layers and Aliasing in Convolutional Neural Networks
ENS de Lyon(里昂高等师范学院);Foxstream
本研究提出理论框架,分析归一化层对离散移位和连续平移的等变性,给出必要充分条件,并用ResNet-18和ImageNet特征图实证验证,为科学计算中的成像系统提供更精确的物理建模基础。
2025-06-18 cs.CV
Image Generation with Self Pixel-wise Normalization
Korea University(高丽大学);Chungbuk National University Hospital(忠北国立大学医院);Hannam University(韩南大学)
区域自适应归一化(RAN)方法已被广泛应用于基于生成对抗网络(GAN)的图像到图像翻译技术中。然而,由于这些方法需要掩模图像来推断逐像素仿射变换参数,因此它们不能应用于不具有成对掩模图像的一般图像生成模型。为了解决这个问题,本文提出了一种新的归一化方法,称为自像素归一化(SPN),有效地提高了生成性能,通过执行像素自适应仿射变换没有掩模图像。在我们的方法中,变换参数来自一个自隐掩模,将特征图分为前景和背景区域。自隐掩模的可视化表明,SPN有效地捕获了要生成为前景的单个对象。由于该方法无需外部数据即可生成自隐掩模,因此易于应用于现有的生成模型。在各种数据集上的实验表明,该方法在Frechet起始距离(FID)和起始分数(IS)方面显著提高了图像生成技术的性能。
2022-01-26 cs.CV cs.LG
SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired Image-to-Image Translation
Tsinghua University(清华大学);Huawei Cloud(华为云);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心)
提出流形上的分数分解扩散模型SDDM,通过分解分数函数显式优化中间分布,在多个I2I基准上以更少扩散步数超越现有方法。
2023-08-04 cs.CV
What and Where to Translate: Local Mask-based Image-to-Image Translation
Korea University(高丽大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);Columbia University(哥伦比亚大学);Microsoft Research Asia(微软亚洲研究院)
近年来,图像到图像的翻译得到了极大的关注。其中,基于包含目标样式信息的样本图像的方法由于其处理多模态的能力以及在实际应用中的适用性而得到了积极的研究。然而,现有的方法存在两个内在的问题:转移什么和转移到哪里。首先,这些方法从包括噪声信息的整个样本中提取风格,这阻碍了翻译模型正确地提取样本的预期风格。也就是说,我们需要仔细确定从样本中转移什么。第二,提取的风格被应用于整个输入图像,这在不相关的图像区域中引起不必要的失真。作为响应,我们需要决定将提取的样式传输到何处。在本文中,我们提出了一种新的方法,提取出一个本地掩码的样本,确定什么样的风格转移,另一个本地掩码从输入图像,确定在哪里转移提取的风格。本文的主要创新之处在于(1)高速公路自适应实例规范化技术和(2)端到端翻译框架,该框架在反映范例风格方面取得了出色的性能。我们展示了定量和定性的评价结果,以确认我们所提出的方法的优点。
2020-01-21 cs.CV
Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency
KU-Leuven/PSI(鲁汶大学/PSI);TRACE (Toyota Res in Europe)(丰田欧洲研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);ETH Zurich(苏黎世联邦理工学院)
由于深度学习的进步,图像到图像的翻译最近受到了极大的关注。大多数工作集中在学习一个一对一的映射在无监督的方式或多对多的映射在监督的方式。然而,更实际的设置是以无监督的方式进行多对多映射,由于缺乏监督以及复杂的内部和跨域变化,这很难实现。为了缓解这些问题,我们提出了示例引导和语义一致的图像到图像翻译(EGSC-IT)网络,该网络将翻译过程限制在目标域中的示例图像上。我们假设一个图像包括一个跨域共享的内容组件和一个特定于每个域的样式组件。在目标域范例的指导下,我们将自适应实例规范化应用于共享内容组件,这允许我们将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨域变化而自然出现的语义不一致,我们引入了特征掩码的概念,该特征掩码提供粗略的语义指导,而不需要使用任何语义标签。在不同数据集上的实验结果表明,EGSC-IT不仅能将源图像转换为目标域中的不同实例,而且在转换过程中保持了语义的一致性。
2019-03-13 cs.CV
Image Translation as Diffusion Visual Programmers
Rochester Institute of Technology(罗切斯特理工学院);Meta AI;DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);University of California Los Angeles(加州大学洛杉矶分校)
本研究提出神经符号图像翻译框架DVP,将条件灵活的扩散模型嵌入GPT架构编排视觉程序序列,通过实例归一化、高低维符号转换和显式符号表示提升性能与可控可解释性,超越同期技术,推动图像翻译与认知智能融合。
2024-01-30 cs.CV
SignDATA: Data Pipeline for Sign Language Translation
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家级中央大学);Electrical Engineering National Changhua University Of Education(电气工程国家彰化教育大学)
本文提出SignDATA,一种标准化手语数据集的预处理工具包,支持端到端的姿势和视频处理流程,通过可配置的接口实现统一输出,提升手语研究的可重复性和比较性。
2026-04-22 cs.CL cs.CV
Global and Local Alignment Networks for Unpaired Image-to-Image Translation
Harbin Institute of Technology(哈尔滨工业大学);University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院);University of Oregon(俄勒冈大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Picsart AI Research (PAIR)(Picsart人工智能研究);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
不成对图像到图像翻译的目标是产生反映目标域风格的输出图像,同时保持输入源图像的不相关内容不变。然而,由于现有的方法缺乏对内容变化的关注,在翻译过程中,来自源图像的语义信息遭受退化。在本文中,为了解决这个问题,我们介绍了一种新的方法,全球和本地对齐网络(GLA-Net)。全局对齐网络的目标是将输入图像从源域转移到目标域。为了有效地做到这一点,我们通过使用基于MLP混合器的风格编码器来学习多元高斯分布的参数(平均值和标准差)作为风格特征。为了更准确地传输风格,我们在编码器中采用自适应实例归一化层,并将目标多元高斯分布的参数作为输入。我们还采用正则化和似然损失来进一步减少域间隙并产生高质量的输出。此外,我们还引入了一个局部对齐网络,它采用一个预训练的自监督模型,通过一个新的局部对齐损失来生成注意力图,确保翻译网络聚焦于相关像素。在五个公共数据集上进行的大量实验表明,我们的方法有效地生成比现有方法更清晰,更逼真的图像。我们的代码可在https://github.com/ygjwd12345/GLANet上获得。
2021-11-19 cs.CV
Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization
可控人物图像生成的目标是生成具有所需属性(如给定姿势、布料纹理或发型)的逼真人物图像。然而,源图像和目标图像之间的大的空间未对准使得标准的图像到图像转换架构不适合于该任务。大多数最先进的方法专注于全局姿态转移任务的对齐。然而,它们无法处理特定区域的纹理转移任务,特别是对于具有复杂纹理的人物图像。为了解决这个问题,我们提出了一种新的空间自适应扭曲归一化(SAWN),它集成了一个学习的流场扭曲调制参数。它使我们能够有效地调整人的空间自适应风格与姿势特征。此外,我们提出了一种新的自训练部分替换(STPR)策略来细化纹理转移任务的模型,提高了生成的衣服的质量和非目标区域的保留能力。我们在广泛使用的DeepFashion数据集上的实验结果表明,与姿势转移和纹理转移任务的最新方法相比,所提出的方法有了显着的改进。该代码可在https://github.com/zhangqianhui/Sawn上获得。
2023-01-10 cs.CV cs.GR
UNet-AF: Alias-free UNet architectures
本文提出一种无别名UNet架构,通过选择先进的翻译等变层提升图像恢复任务中的等变性,实验显示其在性能和等变性方面优于传统方法。
2026-09-23 cs.CV
StyleFlow For Content-Fixed Image to Image Translation
Sensetime Research(商汤科技研究院)
图像到图像(I2 I)转换是计算机视觉中一个具有挑战性的课题。我们把这个问题分为三个任务:强约束翻译,正常约束翻译,弱约束翻译。这里的约束表示原始图像中的内容或语义信息被保留的程度。虽然以前的方法在弱约束任务中取得了很好的性能,但它们在强约束和正常约束任务中都未能完全保留内容,包括照片真实感合成,风格转移和着色等。为了实现强约束和正常约束任务中的内容保留转移,我们提出了StyleFlow,一个新的I2I翻译模型,包括规范化流程和一个新的风格感知规范化(SAN)模块。StyleFlow采用可逆网络结构,在前向通道中先将输入图像投影到深度特征空间,后向通道利用SAN模块进行内容固定的特征变换,然后再投影回图像空间。我们的模型支持图像引导翻译和多模态合成。我们评估我们的模型在几个I2I翻译基准测试,结果表明,该模型在强约束和正常约束的任务比以前的方法具有优势。
2022-07-05 cs.CV cs.LG eess.IV
Delving into Rectifiers in Style-Based Image Translation
Xi’an Institute of Optics and Precision Mechanics(西安光学精密机械研究所);University of Chinese Academy of Sciences(中国科学院大学);Xi’an University of Posts & Telecommunications(西安邮电大学)
虽然现代图像翻译技术可以创建逼真的合成图像,但它们具有有限的风格可控性,因此可能会出现翻译错误。在这项工作中,我们表明,激活函数是控制图像合成的方向的关键组成部分之一。具体来说,我们明确地证明了整流器的斜率参数可以改变数据分布,并独立地用于控制平移的方向。为了提高风格可控性,提出了两种简单但有效的技术,包括自适应ReLU(AdaReLU)和结构自适应函数。AdaReLU可以根据目标样式动态调整斜率参数,并可以通过与自适应实例规范化(AdaIN)相结合来提高可控性。同时,结构自适应功能使矫正器能够更有效地操纵特征图的结构。它由建议的结构卷积(StruConv)组成,这是一个高效的卷积模块,可以根据AdaIN指定的均值和方差选择要激活的区域。大量的实验表明,所提出的技术可以大大提高网络的可控性和输出的多样性在基于风格的图像翻译任务。
2021-11-23 cs.CV eess.IV
TSIT: A Simple and Versatile Framework for Image-to-Image Translation
Nanyang Technological University(南洋理工大学);University of California, Berkeley(加利福尼亚大学伯克利分校);SenseTime Research(商汤科技研究院)
我们介绍了一个简单而通用的图像到图像的翻译框架。我们发掘了规范化层的重要性,并提供了一个精心设计的双流生成模型,新提出的特征转换在一个由粗到细的方式。这使得多尺度语义结构信息和风格表示能够被网络有效地捕获和融合,从而使我们的方法能够在无监督和有监督的环境中扩展到各种任务。没有额外的限制(例如,循环一致性),有助于非常干净和简单的方法。多模态图像合成与任意风格的控制是可能的。系统的研究比较了所提出的方法与几个国家的最先进的特定任务的基线,验证其有效性的感知质量和定量评价。
2020-07-25 cs.CV cs.LG eess.IV
Unpaired Image-to-Image Translation via Latent Energy Transport
University at Buffalo SUNY(纽约州立大学布法罗分校)
图像到图像翻译的目的是在两个视觉域之间转换为有区别的目标风格的同时保留源内容。大多数作品在环境图像空间中应用对抗学习,这可能在计算上是昂贵的,并且对训练具有挑战性。在本文中,我们建议在预训练的自动编码器的潜在空间中部署基于能量的模型(EBM)。预训练的自动编码器既充当潜在代码提取器又充当图像重建工作器。我们的模型,LETIT,是基于这样的假设,即两个域共享相同的潜在空间,其中潜在的表示被隐式地分解为内容代码和特定于域的样式代码。我们的潜在EBM可以隐式地学习将源样式代码传输到目标样式代码,同时保留内容代码,而不是显式地提取这两个代码并应用自适应实例规范化来组合它们,这是现有图像翻译方法的优势。这种简化的解决方案在单侧未配对图像平移设置中也更有效。定性和定量的比较证明了卓越的翻译质量和忠实的内容保存。据我们所知,我们的模型是第一个适用于1024 $\times$ 1024分辨率不成对图像翻译的模型。
2021-05-23 cs.CV cs.LG stat.ML
Mixing-AdaSIN: Constructing a De-biased Dataset using Adaptive Structural Instance Normalization and Texture Mixing
Daegu Gyeongbuk Institute of Science and Technology (DGIST)(大邱庆北科学技术院);Yeungnam University(岭南大学);Yeungnam University Medical Center(岭南大学医疗中心)
疫情爆发后,多项研究提出利用计算机断层扫描(CT)中的深度学习诊断COVID-19;报告性能与专家不相上下。然而,在相同的分布内数据上训练/测试的模型可能依赖于固有的数据偏差来成功预测,而无法推广分布外样本或具有不同扫描协议的CT。早期的尝试通过增强或重新采样部分解决了偏差缓解和泛化,但仍然受到收集成本和量化医学图像偏差的困难的限制。在这项工作中,我们提出了Mixing-AdaSIN;一种偏差缓解方法,该方法使用生成模型通过混合具有语义相似特征的不同标记CT扫描之间的纹理信息来生成去偏差图像。在这里,我们使用自适应结构实例规范化(AdaSIN)来提高去偏置生成质量并保证结构一致性。接下来,用生成的图像训练的分类器学习正确预测标签,没有偏见,并且更好地泛化。为了证明我们的方法的有效性,我们基于CT协议构建了一个有偏差的COVID-19与细菌性肺炎数据集,并与现有的最先进的去偏差方法进行了比较。我们的实验表明,使用去偏生成的图像训练的分类器在外部COVID-19数据集上报告了改进的分布性能和泛化能力。
2021-07-31 cs.CV eess.IV
toon2real: Translating Cartoon Images to Realistic Images
Ahsanullah University of Science and Technology(阿赫桑努拉科技大学)
在图像到图像的转换方面,生成对抗网络(GANs)即使在无监督数据集中也取得了巨大的成功。在这项工作中,我们的目标是使用GAN将卡通图像转换为照片般逼真的图像。我们应用了几种最先进的模型来执行此任务;然而,它们无法执行高质量的翻译。我们观察到这两个域之间的浅差异导致了这个问题。基于这一思想,我们提出了一种基于CycleGAN模型的图像从卡通域到真实感域的转换方法。为了使我们的模型高效,我们实现了光谱归一化,这增加了我们模型的稳定性。我们展示了我们的实验结果,并表明,我们提出的模型已经实现了最低的弗雷歇初始距离得分和更好的结果相比,另一个国家的最先进的技术,单位。
2021-02-01 cs.CV eess.IV
Federated CycleGAN for Privacy-Preserving Image-to-Image Translation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
无监督的图像到图像转换方法,如CycleGAN,使用来自不同域的未配对训练数据集学习将图像从一个域转换到另一个域。不幸的是,这些方法仍然需要集中收集未配对的记录,这可能会违反隐私和安全问题。虽然最近的联邦学习(FL)允许在没有数据交换的情况下训练神经网络,但FL的基本假设是所有客户端都有来自类似域的自己的训练数据,这与我们的图像到图像翻译场景不同,在图像到图像翻译场景中,每个客户端都有来自其唯一域的图像,目标是在不访问目标域数据的情况下学习不同域之间的图像翻译。为了解决这个问题,我们提出了一种新的联邦CycleGAN架构,可以以无监督的方式学习图像翻译,同时保持数据隐私。具体来说,我们的方法源于一个新的观察,即CycleGAN损失可以分解为客户端特定的本地目标的总和,这些目标可以仅使用其数据进行评估。这种局部目标分解允许多个客户端参与联邦CycleGAN训练,而不会牺牲性能。此外,我们的方法采用了新的可切换的生成器和自适应实例归一化(AdaIN),显着降低了联邦学习的带宽要求的并行架构。我们在各种无监督图像翻译任务上的实验结果表明,与非联邦对应物相比,我们的联邦CycleGAN提供了相当的性能。
2021-06-17 cs.CV cs.LG stat.ML
Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study
Sungkyunkwan University(成均馆大学)
本文提出基于潜在扩散模型和MS-SPADE可切换模块的三维医学图像转换方法,实现单模型一对多模态MRI合成,并在多模态脑MRI和IXI数据集上优于现有模型。
2023-11-01 cs.CV eess.IV
Similarity and Quality Metrics for MR Image-To-Image Translation
Bayer AG(拜耳公司)
本文系统评估 23 种有参考与无参考指标及分割下游指标在 11 类 MR 失真下的敏感性和归一化影响,为图像转换模型评价提供选用建议。
2025-02-12 cs.CV eess.IV
Unpaired Image Translation via Adaptive Convolution-based Normalization
Korea University(高丽大学)
图像内容和风格信息的分离在近年来图像翻译的成功中发挥了重要作用。在这种情况下,如何将给定的样式注入到包含其自身内容的输入图像中是一个重要的问题,但是现有的方法遵循相对简单的方法,留下了改进的空间,特别是在并入显著的样式变化时。作为回应,我们提出了一种先进的归一化技术,基于自适应卷积(AdaCoN),为了正确地施加到输入图像的内容的样式信息。详细地,在以逐通道方式局部标准化内容表示之后,AdaCoN执行自适应卷积,其中卷积滤波器权重使用编码的样式表示来动态估计。AdaCoN的灵活性可以处理涉及重大风格更改的复杂图像翻译任务。我们的定性和定量实验表明,我们提出的方法对现有的各种方法,注入到内容的风格的优越性。
2019-11-29 cs.CV cs.LG eess.IV
When Humans Judge Irises: Pupil Size Normalization as an Aid and Synthetic Irises as a Challenge
Fitzpatrick Hall of Engineering, University of Notre Dame, IN 46556, USA(notre dame 大学工程学院)
本文研究了人类在不同瞳孔大小和合成虹膜图像下的虹膜验证表现,发现瞳孔规范化显著提升准确性,但合成同眼图像常被误判为不同眼。
2026-01-11 cs.AI cs.CV
Pix2Pix-based Stain-to-Stain Translation: A Solution for Robust Stain Normalization in Histopathology Images Analysis
RAZI University(拉齐大学)
癌症的诊断主要由病理学家通过检查组织切片的形态和细胞的空间排列进行视觉分析。如果标本的显微图像没有染色,它将看起来无色和纹理。因此,需要化学染色来产生对比并帮助识别特定的组织成分。在组织制备过程中,由于化学品、扫描仪、切割厚度和实验室方案的差异,相似的组织通常在外观上有显著差异。除了病理学家之间的解释差异之外,染色的这种多样性是设计用于自动化分析的强大而灵活的系统的主要挑战之一。为了解决染色颜色变化,已经提出了几种用于归一化染色的方法。在我们所提出的方法中,一个染色到染色翻译(STST)的方法是用来染色标准化苏木精和伊红(H&E)染色的组织病理学图像,它不仅学习特定的颜色分布,但也保留相应的组织病理学模式。我们基于pix 2 pix框架执行翻译过程,该框架使用条件生成器对抗网络(cGAN)。我们的方法在数学上和实验上都显示出了优异的结果,与最先进的方法相比。我们已经公开了源代码。
2020-02-03 cs.CV eess.IV
AdaWCT: Adaptive Whitening and Coloring Style Injection
Gearbox Studios AB(Gearbox工作室AB)
自适应实例规范化(AdaIN)已成为样式注入的标准方法:通过缩放和移位操作重新规范化特征,它已广泛用于样式传输,图像生成和图像到图像的翻译。在这项工作中,我们提出了一个泛化的AdaIN,它依赖于白化和着色变换(WCT),我们称之为AdaWCT,我们应用于大型GANs中的样式注入。我们通过对StarGANv2架构的实验表明,这种泛化虽然在概念上很简单,但会显著提高生成图像的质量。
2022-08-01 cs.CV eess.IV
Keypoint based Sign Language Translation without Glosses
Incheon National University(仁川国立大学);Chung-Ang University(中央大学);Ewha Womans University(梨花女子大学);Konkuk University(建国大学)
与手语识别(SLR)的研究相比,手语翻译(SLR)是一项研究相对较少的任务。然而,SLR是一项认识到手语独特语法的研究,手语不同于口语,存在非残疾人无法轻松理解的问题。所以,我们要解决的问题,直接翻译手语视频中的口语。为此,我们提出了一种新的关键点规范化方法,用于基于签名者的骨架点进行翻译,并在手语翻译中对这些点进行鲁棒规范化。它有助于通过根据身体部位定制的归一化方法来提高性能。此外,我们提出了一种随机帧选择方法,使帧增强和采样在同一时间。最后,通过基于注意力的翻译模型将其翻译成口语。我们的方法可以应用于各种数据集的方式,可以应用于数据集没有掩盖。此外,定量的实验评价证明了我们的方法的优越性。
2022-06-14 cs.CV
Exploring Pose-based Sign Language Translation: Ablation Studies and Attention Insights
Univerzity of West Bohemia, Faculty od Applied Sciences, Department of Cybernetics(西波西米亚大学应用科学学院计算机科学系)
本文研究基于姿态的手语翻译中归一化、插值和数据增强等预处理技术的影响,通过基于 T5 的 Transformer 模型在 YouTubeASL 和 How2Sign 上进行消融实验,证明适当预处理可提升模型鲁棒性,并发现添加 register token 可改善性能。
2025-07-02 cs.CV
Self-Attentive Spatial Adaptive Normalization for Cross-Modality Domain Adaptation
CIBM Center for Biomedical Imaging(CIBM生物医学成像中心)
尽管深度神经网络在许多具有挑战性的视觉任务上取得了成功,但它们往往无法推广到与训练数据分布不相同的新测试域。领域自适应对于具有显著领域偏移的跨模态医学数据变得更具挑战性。鉴于特定的注释成像模式可能无法访问或不完整。我们提出的解决方案是基于医学图像的跨模态合成,以减少放射科医生昂贵的注释负担,并弥合放射图像中的域差距。我们提出了一种新的方法,用于医学图像中的图像到图像的翻译,能够监督或无监督(未配对的图像数据)设置。基于对抗性训练,我们提出了一种可学习的深度卷积生成器网络中间激活的自我关注空间归一化。与以前的注意力为基础的图像到图像的翻译方法,这是特定于域或需要失真的源域的结构,我们挖掘的重要性,辅助语义信息来处理的几何变化,并保留在图像翻译的解剖结构。与最先进的方法相比,我们在多模态全心脏和多模态脑肿瘤MRI(T1/T2)数据集的未配对MRI和CT数据之间的跨模态分割方面取得了优异的结果。我们还观察到令人鼓舞的结果,在跨模态转换成对的MRI和CT图像的大脑数据集。此外,跨模态图像平移的详细分析,彻底的消融研究证实了我们提出的方法的有效性。
2021-03-05 cs.CV eess.IV
Motion Equivariance OF Event-based Camera Data with the Temporal Normalization Transform
University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们专注于使用卷积神经网络(CNN)对事件数据进行对象识别。在目标识别中,神经网络对测试过程中数据的变化具有鲁棒性是很重要的。对于传统相机,翻译处理得很好,因为CNN自然是翻译的等变。然而,由于事件相机记录图像的光强度的变化,事件体积的几何形状将不仅取决于对象,而且取决于它们相对于相机的相对运动。由运动引起的事件的变形导致CNN在推断期间对看不见的运动不太鲁棒。为了解决这个问题,我们想探索CNN的等方差特性,这是一个研究得很好的领域,它证明了在输入图像的某些变换下会产生可预测的特征变形。
2019-11-28 cs.CV eess.IV
Revisiting Complex Moments For 2D Shape Representation and Image Normalization
在比较2D形状时,一个关键问题是它们的归一化。平移和缩放很容易通过去除均值和归一化能量来处理。然而,定义和计算2D形状的方向并不那么简单。事实上,尽管对于细长形状,主轴可用于定义两种可能的取向之一,但对于一般形状没有这样的工具。正如我们在论文中所示,以前的方法无法计算简单形状的无噪声观测的方向。我们解决这个问题。在本文中,我们展示了如何唯一地定义任意2D形状的方向,我们称之为它的主矩。我们表明,这些时刻的一个小的子集足以代表潜在的二维形状,并提出了一种新的方法来有效地计算形状的方向:主矩分析。最后,我们讨论了如何将这种方法进一步应用于灰度图像的归一化。除了正确性的理论证明,我们描述了实验证明对噪声的鲁棒性,并说明了与真实图像的方法。
2010-10-18 cs.CV
Fixup Initialization: Residual Learning Without Normalization
MIT(麻省理工学院);Google Brain(谷歌大脑);Stanford University(斯坦福大学)
规范化层是最先进的深度神经网络架构中的主要内容。它们被广泛认为可以稳定训练,提高学习率,加速收敛和提高泛化能力,尽管它们有效性的原因仍然是一个活跃的研究课题。在这项工作中,我们通过证明没有一个感知到的好处是唯一的正常化来挑战普遍持有的信念。具体来说,我们提出了固定更新初始化(Fixup),这是一种通过适当地重新调整标准初始化来解决训练开始时梯度爆炸和消失问题的初始化。我们发现使用Fixup训练残差网络与使用归一化训练一样稳定-即使是具有10,000层的网络。此外,通过适当的正则化,Fixup可以使没有归一化的残差网络在图像分类和机器翻译中实现最先进的性能。
2019-03-12 cs.CV cs.LG stat.ML
Increasing the Diversity in RGB-to-Thermal Image Translation for Automotive Applications
imec;imec-IPI-Ghent University(IMEC-IPI-根特大学)
针对汽车 RGB 到热成像转换缺乏多样性的问题,提出基于 CoAdaIN 的多模态一对多框架,按图像组件自适应风格,生成更真实多样的热图像。
2025-09-27 cs.CV
Self-Attentive Adversarial Stain Normalization
University of Virginia(弗吉尼亚大学);Aga Khan University(阿迦汗大学);University of Zambia School of Medicine(赞比亚大学医学院);Queen Mary University of London(伦敦玛丽女王大学)
苏木精和伊红(H&E)染色的全载玻片图像(WSIs)用于基于活检可视化的疾病诊断和预后评估。不同实验室站点的H&E染色过程的变化可能导致活检图像外观的显著变化。当病理学家检查切片或将其用于训练深度学习模型时,这些变化会引入不期望的偏差。为了减少这种偏差,需要在分析前将载玻片转换为常见的染色外观域。我们提出了一种自注意对抗染色归一化(SANDO)方法,用于将多个染色外观归一化到一个共同的域。这种无监督生成对抗方法包括自注意机制,用于合成具有更精细细节的图像,同时在翻译期间保持活检特征的结构一致性。与其他流行的染色标准化技术相比,SANDO在H&E染色的十二指肠活检图像数据上表现出一致和优越的性能。
2020-11-22 cs.CV eess.IV q-bio.QM
Rethinking Skip Connection with Layer Normalization in Transformers and ResNets
Peking University(北京大学)
跳跃连接(Skip connection)是一种广泛使用的用于改善深度神经网络的性能和收敛性的技术,其被认为通过将线性分量传播通过神经网络层来减轻由于非线性而导致的优化困难。然而,从另一个角度来看,它也可以被看作是输入和输出之间的调制机制,输入按预定义值1缩放。在这项工作中,我们研究了比例因子如何影响跳跃连接的有效性,并揭示了尺度的微小调整将导致伪梯度爆炸或消失,与模型的深度一致,这可以通过归一化来解决,特别是层归一化,它引起了普通跳跃连接的一致改进。受这些发现的启发,我们进一步提出通过递归地应用具有层归一化化的跳过连接来自适应地调整输入的规模,这大大提高了性能,并且在包括机器翻译和图像分类数据集在内的各种任务中具有良好的泛化能力。
2021-05-15 cs.CL cs.CV cs.LG
Harmonic Networks: Deep Translation and Rotation Equivariance
University College London(伦敦大学学院)
平移或旋转输入图像不应影响许多计算机视觉任务的结果。卷积神经网络(CNN)已经是平移等变的:输入图像平移产生成比例的特征映射平移。这不是旋转的情况。全局旋转等方差通常通过数据增强来寻求,但逐块等方差更困难。我们提出了谐波网络或H网,一个CNN表现出分片平移和360度旋转的等方差性。我们通过用圆形谐波替换常规的CNN滤波器来实现这一点,为每个感受野贴片返回最大响应和方向。H-Nets使用了一种丰富的、参数高效的、低计算复杂性的表示,我们证明了网络中的深层特征映射编码了复杂的旋转不变量。我们证明了我们的层足够通用,可以与最新的架构和技术结合使用,例如深度监督和批量归一化。我们还在旋转MNIST上实现了最先进的分类,并在其他基准挑战上取得了有竞争力的结果。
2017-04-11 cs.CV cs.LG stat.ML
Learning Invariant Representations for Equivariant Neural Networks Using Orthogonal Moments
Punjabi University(旁遮普大学)
标准卷积神经网络(CNN)的卷积层与平移是等变的。然而,卷积和全连接层对于其他仿射几何变换不是等变的或不变的。最近,提出了一类新的CNN,其中CNN的传统层被等变卷积,池化和批量归一化层取代。等变神经网络中的最终分类层对于不同的仿射几何变换(例如旋转、反射和平移)是不变的,并且标量值通过使用整个网络的卷积和下采样来消除滤波器响应的空间维度来获得,或者对滤波器响应进行平均。在这项工作中,我们建议整合正交矩,它给出了高阶统计的功能作为一种有效的手段,编码全局不变性相对于旋转,反射和平移在全连接层。因此,网络的中间层变得等变,而分类层变得不变。最广泛使用的Zernike,伪Zernike和正交傅立叶-梅林时刻被认为是用于此目的。通过在旋转MNIST和CIFAR 10数据集上将不变过渡和全连接层集成到组等变CNN(G-CNN)架构中来评估所提出工作的有效性。
2022-09-22 cs.CV
Source Free Domain Adaptation with Image Translation
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
发布大规模数据集的努力可能会受到隐私和知识产权考虑的影响。一个可行的替代方案是发布预先训练的模型。虽然这些模型在其原始任务(源域)上很强大,但当直接部署在新环境(目标域)中时,它们的性能可能会显着下降,而新环境可能不包含在现实设置下进行训练的标签。领域自适应(DA)是域间隙问题的已知解决方案,但通常需要标记的源数据。本文研究了无源领域自适应(SFDA)问题,其显著特点是源域只提供一个预先训练好的模型,而不提供源数据。无源给DA带来了巨大的挑战,特别是考虑到目标数据集是未标记的。为了解决SFDA问题,我们提出了一种图像翻译方法,将目标图像的风格转换为看不见的源图像的风格。为此,我们将生成图像的批量特征统计与存储在预训练模型的批量归一化层中的特征统计进行对齐。与直接对目标图像进行分类相比,使用预先训练好的模型对这些风格转换后的图像进行分类,获得了更高的准确率。在几个图像分类数据集上,我们证明了上述改进是一致的,并且具有统计学意义。
2021-05-16 cs.CV cs.LG eess.IV
Segmentation-Renormalized Deep Feature Modulation for Unpaired Image Harmonization
New York University Tandon School of Engineering(纽约大学坦登工程学院)
深度网络现在在大规模多中心成像研究中无处不在。然而,由于对比度、分辨率和噪声不一致,跨站点的图像直接聚合禁忌用于下游统计和基于深度学习的图像分析。为此,在没有配对数据的情况下,周期一致生成对抗网络的变体已被用于协调源域和目标域之间的图像集。重要的是,这些方法易于不稳定,对比度反转,棘手的病理操纵,和隐写映射,限制了它们在现实世界的医学成像中的可靠采用。在这项工作中,基于一个基本的假设,即形态形状是一致的成像部位,我们提出了一个分割重新规范化的图像翻译框架,以减少扫描仪间的异质性,同时保留解剖布局。我们用以共同学习的解剖分割嵌入为条件的可训练尺度和移位参数替换生成网络内标准化层中使用的仿射变换,以调节每个翻译级别的特征。我们在有和没有病变的数据集上,针对几种成像模式(T1 w MRI、FLAIR MRI和OCT)的最新基线评估了我们的方法。平移GANs的分割重正化产生了由Inception距离量化的卓越图像协调性,通过事后分割准确性证明了改进的下游效用,并提高了对平移扰动和自对抗攻击的鲁棒性。
2021-02-16 cs.CV eess.IV
Normalized and Geometry-Aware Self-Attention Network for Image Captioning
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);University of Science and Technology Beijing(北京科技大学);Wuhan University(武汉大学);University of Chinese Academy of Sciences(中国科学院大学)
自注意网络在图像描述中显示出了重要的应用价值。为了提高图像描述的性能,本文从两个方面对SA进行了改进。首先,我们提出了标准化的自我注意力(NSA),SA的重新参数化,带来了SA内部规范化的好处。虽然规范化以前只适用于SA外,我们介绍了一种新的规范化方法,并证明它是可能的和有益的执行SA内的隐藏激活。其次,为了弥补Transformer的主要限制,它无法建模的输入对象的几何结构,我们提出了一类几何感知的自我注意(GSA),扩展SA显式和有效地考虑图像中的对象之间的相对几何关系。为了构建我们的图像描述模型,我们将这两个模块结合起来,并将其应用于香草自我注意力网络。我们广泛地评估我们的建议MS-COCO图像描述数据集和优越的结果相比,国家的最先进的方法时,取得了。在视频描述、机器翻译和视觉问答三个具有挑战性的任务上的进一步实验表明了我们方法的通用性。
2020-03-19 cs.CL cs.CV cs.MM