Wavelet-based Unsupervised Label-to-Image Translation
University of Stuttgart(斯图加特大学)
提出基于小波的无监督语义图像合成范式USIS,利用自监督分割损失和整图小波判别及新型小波域生成器架构,在3个数据集上有效弥合了配对与无配对模型间的性能差距。
2023-05-16 cs.CV eess.IV
In2I : Unsupervised Multi-Image-to-Image Translation Using Generative Adversarial Networks
Rutgers University(罗格斯大学)
在无监督图像到图像翻译中,目标是使用一组未配对的训练图像来学习输入图像和输出图像之间的映射。在本文中,我们提出了一个扩展的无监督图像到图像的翻译问题的多输入设置。给定来自多个模态的一组配对图像,学习变换以将输入转换到指定的域。为此,我们引入了一个基于生成对抗网络(GAN)的框架,以及一个多模态生成器结构和一个新的损失项,潜在的一致性损失。通过各种实验,我们表明,利用多个输入一般提高翻译图像的视觉质量。此外,我们表明,该方法优于目前最先进的无监督图像到图像的翻译方法。
2017-11-26 cs.CV
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab(腾讯人工智能实验室);Fudan University(复旦大学)
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而,当图像分辨率较高或两个图像域具有显著的外观差异时,例如Cityscapes数据集中语义布局和自然图像之间的转换,这种无监督方法可能会生成较差的结果。在本文中,我们提出了一种新的堆叠循环一致性对抗网络(SCANs),通过将单个翻译分解为多阶段变换,不仅提高了图像翻译质量,而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外,为了适当地利用来自前一级的信息,设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明,与以前的单阶段无监督方法相比,我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
Unsupervised Many-to-Many Image-to-Image Translation Across Multiple Domains
Sichuan University(四川大学)
无监督的多域图像到图像的转换是指在没有标记数据的情况下,将多个域之间的图像进行合成,比一对一的图像映射更加通用和复杂。然而,现有的方法主要集中在减少建模的大量成本,并没有足够的重视所生成的图像的质量。在某些目标域中,它们的翻译结果可能不符合预期,甚至出现模型崩溃。为了提高图像质量,我们提出了一个有效的多对多映射框架的无监督多域图像到图像的翻译。我们的方法有两个关键方面。第一个是一个多对多的架构,只有一个域共享的编码器和几个域专用的解码器,有效地,同时跨多个域的图像翻译。第二个是两个建议的约束扩展从一对一的映射,以进一步帮助提高生成。所有的评估表明,我们的框架是优于现有的方法,并提供了一个有效的解决方案,多域图像到图像的翻译。
2020-11-24 cs.CV cs.LG eess.IV
Separating Content and Style for Unsupervised Image-to-Image Translation
Peng Cheng Laboratory(鹏城实验室);Beihang University(北京航空航天大学)
无监督图像到图像翻译的目的是学习两个视觉域之间的映射与未配对的样本。现有的工作集中在解开域不变的内容代码和域特定的风格代码分别为多模式的目的。然而,很少有人注意到翻译图像的解释和操作。在本文中,我们建议在一个统一的框架中同时分离内容代码和风格代码。基于潜在特征和高级域不变任务之间的相关性,所提出的框架在多模态翻译,翻译图像的可解释性和操作方面表现出优越的性能。实验结果表明,该方法在视觉质量和多样性方面优于现有的无监督图像翻译方法。
2021-10-27 cs.CV
Unsupervised Image-to-Image Translation Networks
NVIDIA(英伟达)
无监督图像到图像翻译的目的是通过使用来自各个域中的边缘分布的图像来学习不同域中的图像的联合分布。由于存在一个无限多的联合分布集,可以到达给定的边缘分布,人们不能推断出任何关于联合分布的边缘分布没有额外的假设。为了解决这个问题,我们提出了一个共享潜在空间的假设,并提出了一个无监督的图像到图像的翻译框架的基础上耦合GANs。我们将所提出的框架与竞争方法进行比较,并在各种具有挑战性的无监督图像翻译任务上呈现高质量的图像翻译结果,包括街景图像翻译,动物图像翻译和人脸图像翻译。我们还将所提出的框架应用于领域自适应,并在基准数据集上实现了最先进的性能。代码和其他结果可在https://github.com/mingyuliutw/unit上找到。
2018-07-23 cs.AI cs.CV
Unsupervised Video-to-Video Translation
Boston University(波士顿大学)
无监督图像到图像翻译是最近提出的一项任务,在训练时仅给出未配对的图像示例,将图像翻译为不同的风格或域。在本文中,我们制定了一个新的任务,无监督的视频到视频翻译,这带来了自己独特的挑战。翻译视频意味着不仅要学习对象和场景的外观,还要学习连续帧之间的真实运动和过渡。我们研究了使用现有图像到图像翻译网络进行每帧视频到视频翻译的性能,并提出了一种时空3D翻译器作为解决这个问题的替代方案。我们在多个合成数据集上评估了我们的3D方法,例如移动彩色数字,以及现实的分割到视频GTA数据集和新的CT到MRI体积图像转换数据集。我们的研究结果表明,逐帧翻译在单帧水平上产生逼真的结果,但与我们的三维翻译方法相比,在整个视频的规模上表现明显不佳,三维翻译方法能够更好地学习视频的复杂结构和对象外观的运动和连续性。
2018-06-10 cs.CV
Improving Unsupervised Stain-To-Stain Translation using Self-Supervision and Meta-Learning
RWTH Aachen University(亚琛工业大学);RWTH Aachen University Hospital(亚琛工业大学医院);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所)
在数字病理学中,许多图像分析任务受到需要大量且耗时的手动数据注释以应对图像域中的各种可变性来源的挑战。基于图像到图像转换的无监督域自适应通过在没有手动开销的情况下解决可变性而在该领域中变得越来越重要。在这里,我们通过无监督的染色到染色翻译来处理不同组织学染色的变化,以实现深度学习分割模型的染色独立适用性。我们使用CycleGAN进行肾脏组织病理学中的染色到染色翻译,并提出了两种新方法来提高翻译效率。首先,我们将一个先验分割网络集成到CycleGAN中,通过语义指导进行自我监督的、面向应用的翻译优化,其次,我们将额外的通道合并到翻译输出中,以隐式地分离人工元信息,否则将被编码用于解决欠定重建。后者表现出部分优于未经修改的CycleGAN的性能,但前者在所有染色剂中表现最好,为大多数肾脏结构(如肾小球、肾小管和静脉)提供了78%至92%的实例级Dice评分。然而,CycleGAN在其他结构(例如动脉)的翻译中表现出有限的性能。我们的研究还发现,与原始染色中的分割相比,所有染色中的所有结构的性能都有所降低。我们的研究表明,使用当前的无监督技术,似乎不太可能产生普遍适用的模拟染色剂。
2022-05-17 cs.CV eess.IV q-bio.QM
SPatchGAN: A Statistical Feature Based Discriminator for Unsupervised Image-to-Image Translation
NetEase Games AI Lab(网易游戏AI实验室)
对于无监督的图像到图像的翻译,我们提出了一种新的架构,专注于统计特征,而不是个别补丁。通过在多个尺度上对关键统计特征进行分布匹配来稳定网络。与现有的方法施加越来越多的约束的发生器,我们的方法有利于形状变形,并增强了精细的细节,大大简化了框架。我们表明,所提出的方法优于现有的最先进的模型在各种具有挑战性的应用,包括自拍到动漫,男性到女性和眼镜去除。
2021-08-27 cs.AI cs.CV cs.LG
Contrastive Learning for Unsupervised Image-to-Image Translation
Seoul National University(首尔大学)
图像到图像翻译旨在学习不同视觉可区分图像组之间的映射。虽然最近的方法已经显示出令人印象深刻的改变图像复杂外观的能力,但它们仍然依赖于域标签来训练模型以区分不同的视觉特征。这种对标签的依赖往往大大限制了应用范围,因为一致和高质量的标签是昂贵的。相反,我们希望从图像本身捕获视觉特征,并将其应用于实现逼真的翻译,而无需人工生成标签。为此,我们提出了一种基于对比学习的无监督图像到图像的翻译方法。关键的想法是学习一个区分不同风格的生成器,并让生成器监督生成器在图像之间传输这些风格。在训练过程中,我们随机抽取一对图像,并训练生成器将一个图像的外观改变为另一个图像,同时保持原始结构。实验结果表明,我们的方法优于领先的无监督基线的视觉质量和翻译精度。
2021-05-07 cs.CV
IR2VI: Enhanced Night Environmental Perception by Unsupervised Thermal Image Translation
University of British Columbia(不列颠哥伦比亚大学);Toyota Institute of Technology(丰田工业大学);Air Force Research Laboratory(空军研究实验室);Chongqing University of Posts and Telecommunications(重庆邮电大学)
背景增强对于夜视(NV)应用至关重要,特别是对于没有任何人工照明的黑暗夜晚情况。在本文中,我们提出了红外到视觉(IR2VI)算法,这是一种基于生成对抗网络(GANs)的新型无监督热到可见光图像翻译框架。IR2VI能够从VI图像中学习固有特征并将其集成到IR图像中。由于现有的基于无监督GAN的图像翻译方法面临着一些挑战,例如不正确的映射和缺乏细节,我们提出了一个结构连接模块和一个感兴趣区域(ROI)焦点丢失方法来解决当前的限制。实验结果表明,IR2VI算法优于基线方法。
2018-06-25 cs.CV
Unsupervised Image-to-Image Translation with Self-Attention Networks
Sejong Academy of Science and Arts(世宗科学艺术学院);Boeing Korea Engineering and Technology Center (BKETC)(波音韩国工程技术中心(BKETC))
无监督图像翻译的目的是在给定不成对的训练数据的情况下学习从源域到另一目标域的变换。一些最先进的作品在基于GANs的无监督图像到图像翻译中取得了令人印象深刻的结果。与局部纹理映射任务(如样式转换)相比,它无法捕获域之间强烈的几何或结构变化,或者对复杂场景产生不令人满意的结果。最近,SAGAN(Han Zhang,2018)表明自注意力网络比基于卷积的GAN产生更好的结果。然而,自注意力网络在无监督图像到图像翻译任务中的有效性尚未得到验证。在本文中,我们提出了一种具有自注意网络的无监督图像到图像的翻译,其中长范围依赖性不仅有助于捕获强烈的几何变化,而且还可以使用来自所有特征位置的线索生成细节。在实验中,我们定性和定量地显示所提出的方法相比,现有的国家的最先进的无监督图像到图像的翻译任务的优越性。源代码和我们的结果都在网上:https://github.com/itsss/img2img_sa和http://itsc.kr/2019/01/24/2019_img2img_sa
2020-04-20 cs.CV
Learning Unsupervised Cross-domain Image-to-Image Translation Using a Shared Discriminator
Indian Institute of Technology Bombay(印度理工学院孟买分校)
无监督图像到图像转换用于将来自源域的图像变换为在目标域中生成图像,而不使用源-目标图像对。在对抗环境中使用两个独立的GANs和注意力机制已经为这个问题获得了有希望的结果。我们提出了一种新的方法,该方法在两个GANs之间使用单个共享节点,从而提高了整体效率。我们评估定性和定量的结果图像变形,跨域翻译任务,在目标域共享相似的语义源域的设置。我们的结果表明,即使没有添加注意力机制,我们的方法的性能也与基于注意力的方法相当,并生成质量相当的图像。
2021-02-09 cs.CV
Semantically Consistent Image-to-Image Translation for Unsupervised Domain Adaptation
University of Augsburg(奥格斯堡大学)
无监督领域自适应(UDA)旨在将在源域上训练的模型适应到没有标记数据可用的新目标域。在这项工作中,我们调查的问题UDA从一个合成的计算机生成的域到一个类似的,但现实世界的域学习语义分割。我们提出了一个语义一致的图像到图像的翻译方法结合一致性正则化方法的UDA。我们克服了以前的限制,将合成图像转换为真实的图像。我们利用伪标签来学习一个生成的图像到图像翻译模型,该模型从两个域上的语义标签接收额外的反馈。我们的方法在相关领域自适应基准上优于结合图像到图像转换和半监督学习的最先进方法,即,GTA5到Cityscapes和SYNTHIA到Cityscapes。
2021-11-25 cs.CV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
这项工作介绍了一种新的GAN架构,用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中,同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换(如傅立叶变换)的潜力。与仅使用空间注意力的基线模型相比,该模型进行了训练和测试。我们的方法的性能改善是显着的,特别是当源和目标域包括不同的复杂度(减少FID从142.84到49.18)。在平移过程中,由于FFT和频谱注意的实现,引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution
Yonsei University(延世大学)
在过去的几年中,已经提出了图像到图像(I2I)翻译方法来将给定图像翻译成不同的输出。尽管取得了令人印象深刻的成果,但他们主要集中在两个域之间的I2I翻译,因此多域I2I翻译仍然是一个挑战。为了解决这个问题,我们提出了一种新的多域无监督图像到图像翻译(MDUIT)框架,该框架利用分解的内容特征和外观自适应卷积将图像转换为目标外观,同时保留给定的几何内容。我们还开发了一个对比度学习目标,它提高了解纠缠能力,并通过配对语义相似的图像,有效地利用多域图像数据在训练过程中。这使得我们的方法可以只用一个框架来学习多个视觉域之间的不同映射。我们表明,所提出的方法在多个领域产生视觉多样性和合理的结果相比,国家的最先进的方法。
2022-02-06 cs.CV
Unsupervised Attention-guided Image to Image Translation
University of Bath(巴斯大学);Brown University(布朗大学)
目前的无监督图像到图像翻译技术努力将注意力集中在单个对象上,而不改变背景或多个对象在场景中交互的方式。受注意力在人类感知中的重要作用的启发,我们通过引入无监督的注意力机制来解决这一限制,该机制与生成器和判别器一起进行对抗训练。我们定性和定量地证明,我们的方法是能够参加图像中的相关区域,而不需要监督,并通过这样做,它实现了更现实的映射相比,最近的方法。
2018-11-08 cs.AI cs.CV
TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation
SenseTime Research(商汤科技研究院);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学)
无监督图像到图像翻译旨在学习两个视觉域之间的映射。然而,学习跨越大的几何变化的平移总是以失败告终。在这项工作中,我们提出了一种新的解开和翻译框架,以解决复杂的对象图像到图像的翻译任务。我们不是直接学习图像空间上的映射,而是将图像空间分解为外观空间和几何潜空间的笛卡尔乘积。具体来说,我们首先引入几何先验损失和条件VAE损失,以鼓励网络学习独立但互补的表示。然后分别在外观和几何空间上构建平移。大量的实验表明,我们的方法优于其他国家的最先进的方法,特别是在具有挑战性的近刚性和非刚性物体的翻译任务的性能。此外,通过采用不同的范例作为外观参考,我们的方法也支持多模态翻译。项目页面:https://wywu.github.io/projects/TGaGa/TGaGa.html
2019-04-21 cs.CV
The Surprising Effectiveness of Linear Unsupervised Image-to-Image Translation
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
无监督图像到图像的翻译是一个固有的不适定问题。最近基于深度编码器-解码器架构的方法已经显示出令人印象深刻的结果,但我们表明,它们只会由于强烈的局部偏差而成功,并且它们无法学习非常简单的非局部变换(例如,将颠倒的脸映射到直立的脸)。当去除局部偏差时,这些方法过于强大,可能无法学习简单的局部变换。在本文中,我们介绍了线性编码器-解码器架构的无监督图像到图像的翻译。我们表明,学习更容易和更快的这些架构,但结果是令人惊讶的有效。特别是,我们展示了一些局部问题,其中线性方法的结果与最先进的体系结构的结果相当,但只需要一小部分训练时间,以及一些非局部问题,其中最先进的体系结构失败,而线性方法成功。
2020-07-24 cs.CV
Toward Zero-Shot Unsupervised Image-to-Image Translation
Peking University(北京大学);Tencent Inc.(腾讯公司)
最近的研究表明,在无监督的图像到图像的翻译显着的成功。然而,如果不能访问目标类中的足够图像,则学习从源类到目标类的映射总是遭受模式坍塌,这限制了现有方法的应用。在这项工作中,我们提出了一个zero-shot无监督的图像到图像的翻译框架,以解决这一限制,通过关联类别与他们的边信息,如属性。为了将翻译器推广到以前看不见的类,我们引入了两种策略来利用语义属性所跨越的空间。具体来说,我们建议保留语义关系的视觉空间和扩展属性空间,利用属性向量的看不见的类,从而鼓励译者探索模式的看不见的类。在不同数据集上的定量和定性结果证明了我们所提出的方法的有效性。此外,我们证明了我们的框架可以应用于许多任务,如zero-shot分类和时装设计。
2020-07-28 cs.CV
Improving Shape Deformation in Unsupervised Image-to-Image Translation
Brown University, USA(美国布朗大学);University of Bath, UK(英国巴斯大学)
无监督的图像到图像的翻译技术能够映射两个域之间的局部纹理,但它们通常是不成功的域时,需要更大的形状变化。受语义分割的启发,我们引入了一个具有膨胀卷积的神经网络,它能够使用整个图像的信息来训练一个更具上下文感知的生成器。这与多尺度感知损失相结合,该多尺度感知损失能够更好地表示对象的底层形状中的错误。我们证明,这种设计更能够表示具有挑战性的玩具数据集中的形状变形,再加上人类,玩偶和动漫脸之间以及猫和狗之间的复杂映射,数据集差异很大。
2019-01-17 cs.CV
Unsupervised Detection of Cancerous Regions in Histology Imagery using Image-to-Image Translation
University of Ljubljana(卢布尔雅那大学);XLAB d.o.o.(XLAB 有限责任公司)
视觉异常检测是指在不同的成像数据中发现不符合预期视觉外观的模式的问题,并且是不同领域中广泛研究的问题。由于异常事件和潜在的生成过程的性质,很难描述它们并获得标记数据。在生物医学应用中,获得标记数据尤其困难,只有经过训练的领域专家才能提供标签,这些标签通常具有很大的多样性和复杂性。最近提出的视觉异常方法的无监督检测方法省略了标记数据的需要,并在异常样本显着偏离正常外观的领域中展示了有希望的结果。尽管有希望的结果,这种方法的性能仍然落后于监督的方法,并没有提供一个适合所有的解决方案。在这项工作中,我们提出了一个基于图像到图像检测的框架,显着超过现有的无监督方法的性能和方法的监督方法的性能在一个具有挑战性的领域中的癌区域检测组织学图像。
2021-04-28 cs.CV cs.LG eess.IV
GMM-UNIT: Unsupervised Multi-Domain and Multi-Modal Image-to-Image Translation via Attribute Gaussian Mixture Modeling
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部)
无监督图像到图像翻译(UNIT)旨在通过使用未配对的训练图像来学习多个视觉域之间的映射。最近的研究表明,多个领域取得了显着的成功,但他们遭受两个主要的限制:他们要么是建立在几个两个域的映射,需要独立学习,或者他们产生低多样性的结果,一个问题被称为模式坍塌。为了克服这些局限性,我们提出了一种名为GMM-UNIT的方法,它是基于一个内容-属性的解纠缠表示,其中的属性空间与GMM拟合。每个GMM组件代表一个域,这个简单的假设有两个突出的优点。首先,它可以很容易地扩展到大多数多域和多模态图像到图像翻译任务。其次,连续域编码允许域之间的内插以及外推到看不见的域和平移。此外,我们还展示了GMM-UNIT如何被约束到文献中的不同方法,这意味着GMM-UNIT是无监督图像到图像翻译的统一框架。
2020-03-21 cs.CV
Unsupervised Latent Space Translation Network
在计算机视觉中经常讨论的一个任务是将图像从一个域映射到另一个域中的对应图像,称为图像到图像转换。目前有几种方法可以解决这个问题。在本文中,我们提出了一个增强的UNIT框架,有助于消除其主要缺点。更具体地说,我们在使用的潜在表示上引入了一个额外的对抗性代理,而不是VAE,这使得两个域的潜在空间分布相似。在MNIST和USPS领域自适应任务上,该方法大大优于竞争方法。
2020-03-20 cs.CV cs.LG eess.IV
GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation
Simon Fraser University(西蒙弗雷泽大学);Brown University(布朗大学);Tel Aviv University(特拉维夫大学)
我们介绍GANHopper,这是一种无监督的图像到图像翻译网络,通过多跳在两个域之间逐渐转换图像。我们不是直接执行翻译,而是通过要求网络产生类似于输入域图像之间的加权混合的中间图像来引导翻译。我们的网络只在两个域的未配对图像上训练,没有任何中间图像。所有的跳跃都是使用一个单一的发生器沿每个方向产生的。除了标准的周期一致性和对抗性损失,我们引入了一个新的混合网络,该网络经过训练,可以将生成器生成的中间图像分类为加权混合图像,其权重基于预定的跳数。我们还添加了一个平滑项来约束每一跳的大小,进一步正则化平移。与以前的方法相比,GANHopper在涉及特定领域图像特征和几何变化的图像翻译方面表现出色,同时还保留了非特定领域的特征,如通用配色方案。
2020-07-29 cs.CV
Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University(南洋理工大学)
无监督图像到图像翻译旨在学习两个视觉域之间的翻译,而无需配对数据。尽管最近在图像翻译模型方面取得了进展,但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中,我们提出了一个新的框架,生成先验指导的无监督图像到图像翻译(GP-UNIT),以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验(例如,BigGAN)来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案:我们首先提取生成之前捕获一个强大的粗层次的内容表示,可以在抽象的语义层次上链接对象,在此基础上,细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大,高质量和多样化的翻译方面优于最先进的方法,即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder
Boston University(波士顿大学);NVIDIA(英伟达)
无监督图像到图像翻译旨在学习给定域中的图像到不同域中的类似图像的映射,而无需对映射进行显式监督。Few-Shot无监督图像到图像转换进一步尝试通过利用在推理时提供的未见过域的示例图像来将模型推广到未见过域。虽然非常成功,但现有的Few-Shot图像到图像翻译模型发现难以在模拟看不见的域的外观的同时保留输入图像的结构,我们将其称为内容丢失问题。当输入图像和示例图像中的对象的姿态非常不同时,这是特别严重的。为了解决这个问题,我们提出了一个新的Few-Shot图像翻译模型,COCO-FUNIT,它计算的输入图像和一个新的模块称为恒定的风格偏差的条件下的示例图像的风格嵌入。通过大量的实验验证与比较的国家的最先进的,我们的模型显示出有效性,在解决内容丢失的问题。有关代码和预训练模型,请访问https://nvlabs.github.io/COCO-FUNIT/。
2020-07-29 cs.CV
Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation
Tel Aviv University(特拉维夫大学);Elbit Systems(埃尔比特系统公司)
许多应用,如自动驾驶,严重依赖于多模态数据,其中需要模态之间的空间对齐。大多数多模态配准方法使用流行的跨模态相似性度量来计算图像之间的空间对应关系。在这项工作中,我们绕过了开发跨模态相似性度量的困难,通过在两种输入模态上训练图像到图像的翻译网络。这种学习的转换允许使用简单可靠的单模态度量来训练配准网络。我们使用两个网络执行多模态配准-空间变换网络和平移网络。我们表明,通过鼓励我们的平移网络保持几何形状,我们设法训练一个准确的空间变换网络。与最先进的多模态方法相比,我们提出的方法是无监督的,不需要成对的对齐模态进行训练,并且可以适应任何一对模态。我们在商业数据集上定量和定性地评估了我们的方法,结果表明它在几种模式上表现良好,并实现了准确的对齐。
2020-03-18 cs.CV
XOGAN: One-to-Many Unsupervised Image-to-Image Translation
Department of Computer Science and Engineering Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系);Hong Kong University of Science and Technology(香港科技大学)
无监督图像到图像翻译的目的是在没有监督对信息的情况下学习来自两个图像域的样本之间的关系。两个域图像之间的关系可以是一对一、一对多或多对多。在本文中,我们研究了一对多的无监督图像翻译问题,其中一个域的输入样本可以对应到另一个域的多个样本。为了了解这两个域之间的复杂关系,我们引入了一个额外的变量来控制一对多映射中的变化。本文提出了一种具有XO结构的生成式模型XOGAN,用于学习两个领域和广告变量之间的跨领域关系。我们不仅可以学习在两个图像域之间进行翻译,还可以处理具有其他变化的翻译图像。在非配对图像生成任务上进行了实验,包括边缘到对象的翻译和面部图像翻译。我们表明,建议的XOGAN模型可以生成合理的图像和控制的变化,如颜色和纹理,所生成的图像。此外,虽然最先进的不成对图像生成算法倾向于生成具有单调颜色的图像,但XOGAN可以生成更多样化的结果。
2018-05-18 cs.CV
Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation
South China University of Technology(华南理工大学);Rochester Institute of Technology(罗切斯特理工学院)
在临床实践中,诸如磁共振(MR)和计算机断层扫描(CT)的良好对准的多模态图像一起可以为图像引导的治疗提供补充信息。多模态图像配准对于这些多模态图像的精确对准是必不可少的。然而,它仍然是一个非常具有挑战性的任务,由于复杂和未知的空间之间的对应关系不同的方式。在本文中,我们提出了一种新的基于投影的无监督可变形图像配准方法,将多模态配准问题转化为单模态配准问题。具体来说,我们的方法采用了无判别式的翻译网络来促进注册网络的训练,并采用了补丁式对比损失来鼓励翻译网络保留对象形状。此外,我们建议取代对抗损失,这是广泛使用的在以前的多模态图像配准方法,与像素损失,以整合到目标模态的输出的翻译。这导致了一种无监督的方法,不需要地面真实变形或成对的对齐图像进行训练。我们在公共Learn 2 Reg 2021数据集\cite{hering2021learn2reg}上评估了我们方法的四种变体。实验结果表明,该架构达到了最先进的性能。我们的代码可在https://github.com/heyblackC/DFMIR上获得。
2022-04-28 cs.CV
Rethinking the Truly Unsupervised Image-to-Image Translation
Yonsei University(延世大学);NAVER AI Lab(NAVER AI实验室);UNIST(蔚山科学技术院)
每一个最近的图像到图像的翻译模型本质上需要图像级(即输入输出对)或设置级(即域标签)的监督。然而,在实践中,即使是设置级别的监督也可能成为数据汇集的严重瓶颈。在本文中,我们在完全无监督的环境中处理图像到图像的翻译,即,既不是成对的图像也不是域标签。为此,我们提出了一个真正无监督的图像到图像翻译模型(TUNIT),同时学习分离图像域并将输入图像转换为估计域。实验结果表明,我们的模型实现了与使用全标签训练的集合级监督模型相当甚至更好的性能,在各种数据集上具有很好的泛化能力,并且对超参数的选择(例如预设数量的伪域)具有鲁棒性。此外,TUNIT可以很容易地扩展到半监督学习与一些标记的数据。
2021-08-20 cs.CV cs.LG
Semantically Robust Unsupervised Image Translation for Paired Remote Sensing Images
Shandong University of Science and Technology(山东科技大学);Xi’an Jiaotong University(西安交通大学)
针对双时相遥感图像无监督翻译需语义保留和确定性输出的问题,提出SRUIT方法,通过共享生成器高层网络层、引入跨周期一致对抗网络,实现语义鲁棒的确定性翻译,提升感知质量与语义保留能力。
2025-02-17 cs.CV
Unsupervised Image-to-Image Translation Using Domain-Specific Variational Information Bound
West Virginia University(西弗吉尼亚大学)
无监督图像到图像的翻译是一类计算机视觉问题,其目的是在给定源域和目标域中的一组不成对图像的情况下,对目标域中图像的条件分布进行建模。源域中的图像在目标域中可能具有多个表示。因此,在条件分布的建模中出现模糊性,特别是当源域和目标域中的图像来自不同模态时。目前的方法主要依赖于简化的假设映射到一个共享的潜在空间的两个域。因此,它们只能对两种模态之间的域不变信息进行建模。这些方法通常无法对在目标域中没有表示的特定于域的信息进行建模。在这项工作中,我们提出了一个无监督的图像到图像的翻译框架,最大限度地提高了特定领域的变分信息界,并学习目标域不变表示的两个域。所提出的框架使得有可能将单个源图像映射成目标域中的多个图像,利用从先验分布中随机采样的或从参考图像中提取的多个目标域特定代码。
2018-11-29 cs.CV
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London(帝国理工学院);Indian Institute of Technology(印度理工学院)
自动将图像从其原始形式转换为某种合成形式(样式,部分内容等)非常有用,同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题,并提出了一种基于深度卷积和条件生成对抗网络(GANs)的通用方法来实现它,自2014年以来,该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中,我们开发了一种两步(无监督)学习方法,通过使用未标记的图像在不同的域之间转换图像,而不指定它们之间的任何对应关系,从而避免了获取标记数据的成本。与以往的工作相比,我们证明了我们的模型的通用性,通过这种能力,翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Few-Shot Unsupervised Image-to-Image Translation on complex scenes
无监督图像到图像翻译方法在过去几年中受到了广泛的关注。出现了多种技术,从不同的角度应对最初的挑战。一些专注于尽可能多地从多个目标样式图像中学习以进行翻译,而另一些则利用目标检测来在内容丰富的场景中产生更逼真的结果。在这项工作中,我们评估了一种最初为单个对象翻译开发的方法如何在更多样化和内容丰富的图像上执行。我们的工作基于FUNIT[1]框架,我们用更多样化的数据集对其进行训练。这有助于理解这种方法在其初始应用框架之外的行为。提出了一种基于目标检测的数据集扩展方法。此外,我们提出了一种方法来适应FUNIT框架,以利用目标检测的力量,可以看到在其他方法。
2021-06-07 cs.CV cs.LG
Disentangled Unsupervised Image Translation via Restricted Information Flow
Boston University(波士顿大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
无监督图像到图像翻译方法旨在将来自一个域的图像映射到来自另一个域的合理示例,同时保留两个域之间共享的结构。在多对多设置中,来自目标域的附加引导示例用于确定所生成的图像的域特定属性。在没有属性注释的情况下,方法必须在训练期间从数据中推断出哪些因素特定于每个域。许多最先进的方法将所需的共享与特定拆分硬编码到其架构中,严重限制了问题的范围。在本文中,我们提出了一种新的方法,不依赖于这种归纳架构的偏见,并推断哪些属性是特定于域的数据通过限制信息流通过网络使用翻译诚实损失和惩罚的能力特定于域的嵌入。我们表明,所提出的方法在两个合成和一个自然的数据集跨越各种领域特定的和共享的属性实现了一致的高操作精度。
2021-11-26 cs.CV
Learning Cycle-Consistent Cooperative Networks via Alternating MCMC Teaching for Unsupervised Cross-Domain Translation
Cognitive Computing Lab, Baidu Research(百度研究院认知计算实验室);University of California, Los Angeles(加州大学洛杉矶分校);Massachusetts Institute of Technology(麻省理工学院);Tsinghua University(清华大学);Peking University(北京大学)
本文提出了一种生成式框架来研究无监督跨域翻译问题。在该框架中,每个域的概率分布由一个生成式合作网络来表示,该网络由一个基于能量的模型和一个隐变量模型组成。生成式协作网络的使用使领域模型的最大似然学习通过MCMC教学,其中基于能量的模型试图拟合领域的数据分布,并通过MCMC提取其知识到潜变量模型。具体地,在MCMC教导过程中,由编码器-解码器参数化的潜变量模型将示例从源域映射到目标域,而基于能量的模型通过Langevin修正进一步细化映射结果,使得修正结果在统计特性方面与目标域中的示例匹配,所述统计特性由学习的能量函数定义。为了建立两个不成对域之间的对应关系,该框架同时学习一对具有循环一致性的合作网络,通过交替MCMC教学来解释两个域之间的双向翻译。实验结果表明,该框架对于无监督的图像到图像的翻译和不成对的图像序列的翻译是有用的。
2021-03-07 cs.CV
CerfGAN: A Compact, Effective, Robust, and Fast Model for Unsupervised Multi-Domain Image-to-Image Translation
Xiamen University(厦门大学);Xidian University(西安电子科技大学)
在本文中,我们的目标是解决多领域的图像到图像的翻译问题,在一个统一的模型,在无监督的方式。这方面最成功的工作是StarGAN,它在人脸属性调制等任务中表现良好。然而,StarGAN在遇到具有非常多样化的域转换的一般翻译时无法匹配多个翻译映射。另一方面,StarGAN采用编码器-解码器-鉴别器(EDD)架构,其中模型对于训练是耗时且不稳定的。为此,我们提出了一种紧凑,有效,鲁棒,快速的GAN模型,称为Cerf GAN,以解决上述问题。原则上,CerfGAN包含一种新的组分,即,一个多类映射(MCD),它使模型具有非常强大的能力来匹配多个转换映射。为了稳定训练过程,MCD还在CerfGAN中扮演编码器的角色,这节省了大量的计算和内存成本。我们进行了大量的实验,以验证所提出的方法的有效性。CerfGAN被证明可以处理一系列图像到图像的翻译任务,包括风格转换,季节转换,面部幻觉等,其中输入图像是从不同的领域采样的。与最近提出的几种方法的比较证明了该方法的优越性和新颖性。
2019-01-15 cs.CV
Latent Filter Scaling for Multimodal Unsupervised Image-to-Image Translation
King Abdullah University for Science and Technology (KAUST)(阿卜杜拉国王科技大学)
在多模态无监督图像到图像翻译任务中,目标是将图像从源域翻译为目标域中的许多图像。我们提出了一种简单的方法,产生更高质量的图像比当前国家的最先进的,同时保持相同数量的多模态多样性。以前的方法遵循尝试将潜在代码直接映射到全尺寸图像的无条件方法。这导致了复杂的网络架构,其中引入了几个超参数进行调整。通过将潜在代码视为卷积滤波器的修改器,我们产生多模态输出,同时保持传统的生成对抗网络(GAN)损失,并且没有额外的超参数。我们的方法所需的唯一调整控制生成的图像的可变性和质量之间的权衡。此外,我们实现了源域内容和目标域风格之间的免费解纠缠作为我们制定的副产品。我们进行了定性和定量实验,显示了我们的方法与多个基准图像到图像翻译数据集上的最新技术相比的优势。
2019-04-07 cs.CV
Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency
KU-Leuven/PSI(鲁汶大学/PSI);TRACE (Toyota Res in Europe)(丰田欧洲研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);ETH Zurich(苏黎世联邦理工学院)
由于深度学习的进步,图像到图像的翻译最近受到了极大的关注。大多数工作集中在学习一个一对一的映射在无监督的方式或多对多的映射在监督的方式。然而,更实际的设置是以无监督的方式进行多对多映射,由于缺乏监督以及复杂的内部和跨域变化,这很难实现。为了缓解这些问题,我们提出了示例引导和语义一致的图像到图像翻译(EGSC-IT)网络,该网络将翻译过程限制在目标域中的示例图像上。我们假设一个图像包括一个跨域共享的内容组件和一个特定于每个域的样式组件。在目标域范例的指导下,我们将自适应实例规范化应用于共享内容组件,这允许我们将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨域变化而自然出现的语义不一致,我们引入了特征掩码的概念,该特征掩码提供粗略的语义指导,而不需要使用任何语义标签。在不同数据集上的实验结果表明,EGSC-IT不仅能将源图像转换为目标域中的不同实例,而且在转换过程中保持了语义的一致性。
2019-03-13 cs.CV
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
Beihang University(北京航空航天大学);University of Chinese Academy of Sciences(中国科学院大学);Tianjin University(天津大学);CreateAI
针对传统向量量化框架离散量化阻碍梯度流的问题,提出Softmax松弛量化保留梯度传播,进而构建CycleVAR模型,通过多尺度源图像标记实现图像条件自回归生成,其并行单步模式在无监督图像翻译中取得更优质量和更快速度,性能超越现有模型。
2025-07-07 cs.CV
XGAN: Unsupervised Image-to-Image Translation for Many-to-Many Mappings
IST Austria(奥地利科学技术研究所);Google Brain(谷歌大脑);Deepmind(深度思维);Google Research(谷歌研究院)
风格转换通常是指将特定风格图像的颜色和纹理信息应用于给定内容图像,同时保留后者的结构。在这里,我们解决了语义风格转移的更一般的问题:给定两个不成对的图像集合,我们的目标是学习每个集合的语料库级别的风格之间的映射,同时保留两个域之间共享的语义内容。我们引入了XGAN(“Cross-GAN”),这是一种双对抗自动编码器,它以无监督的方式捕获公共域语义内容的共享表示,同时在两个方向上联合学习域到域的图像翻译。我们利用的思想从领域自适应文献和定义的语义一致性损失,鼓励该模型保留在学习嵌入空间的语义。我们报告有前途的定性结果的任务,面卡通翻译。我们为此目的收集的卡通数据集CartoonSet可在google.github.io/cartoonset/上公开获得,作为语义风格转换的新基准。
2018-07-10 cs.CV
ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
图像到图像的翻译模型在不同领域之间的图像传输方面表现出了显著的能力。现有的大多数工作都遵循源域和目标域在训练和推理阶段保持相同的设置,这不能推广到将图像从一个看不见的域转换到另一个看不见的域的场景。在这项工作中,我们提出了无监督Zero-Shot图像到图像翻译(UZSIT)问题,其目的是学习一个模型,该模型可以从训练过程中未观察到的图像域中翻译样本。因此,我们提出了一个名为ZstGAN的框架:通过引入对抗性训练方案,ZstGAN学习使用在视觉和属性模态上语义一致的特定于领域的特征分布来对每个领域进行建模。然后,域不变的功能解开与共享的编码器的图像生成。我们在CUB和FLO数据集上进行了大量的实验,实验结果证明了该方法在UZSIT任务上的有效性。此外,ZstGAN在CUB和FLO上显示出比最先进的零样本学习方法显著的准确性改进。
2021-07-20 cs.CV
Domain Bridge for Unpaired Image-to-Image Translation and Unsupervised Domain Adaptation
VisLab(视觉实验室);Inria(法国国家信息与自动化研究所);University of Parma(帕尔马大学)
图像到图像转换架构在某些情况下可能具有有限的有效性。例如,在生成下雨的场景时,他们可能无法将雨的典型特征建模为水滴,这最终影响了合成图像的真实感。使用我们的方法,称为域桥,网络抓取的数据被利用来减少域间隙,从而在生成的图像中包含以前忽略的元素。我们利用一个网络的领域桥训练的晴雨翻译,我们的工作扩展到无监督领域自适应(UDA)。在这种情况下,我们引入了一种在线多模态风格采样策略,在训练时利用图像翻译多模态来提高性能。最后,提出了一种新的自监督学习方法,并用于进一步对齐域。通过我们的贡献,我们同时提高了生成图像的真实感,同时以更简单的方法达到了与UDA最先进的性能相当的性能。
2020-03-14 cs.CV cs.LG
Unsupervised Multi-Domain Multimodal Image-to-Image Translation with Explicit Domain-Constrained Disentanglement
Tsinghua University(清华大学);University College London(伦敦大学学院)
在过去的几年里,图像到图像的翻译引起了极大的关注。它旨在将一个域中的图像转换为另一个域中的给定参考图像。由于其有效性和效率,许多应用程序可以制定为图像到图像的翻译问题。然而,在图像到图像转换中仍然存在三个主要挑战:1)缺乏用于不同任务的大量对齐训练对; 2)来自单个输入图像的多个可能输出的模糊性;以及3)缺乏来自单个网络中不同域的多个数据集的同时训练。我们在实验中还发现,内容和风格的隐性分离可能会导致意想不到的结果。在本文中,我们提出了一个统一的学习框架,使用不成对的训练数据生成不同的输出,并允许通过单个网络同时训练来自不同领域的多个数据集。此外,我们还研究了如何更好地提取域监督信息,以便学习更好的解纠缠表示,实现更好的图像翻译。实验表明,该方法优于或相当于国家的最先进的方法。
2019-11-02 cs.CV
Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation
University of Trento(特伦托大学);Tencent AI Lab(腾讯人工智能实验室);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
图像到图像(I2I)多域翻译模型通常也使用其语义插值结果的质量进行评估。然而,国家的最先进的模型经常显示在插值过程中的图像外观的突然变化,通常表现不佳的跨域插值。在本文中,我们提出了一种新的训练协议,该协议基于三种特定的损失,可以帮助翻译网络学习一个平滑和无纠缠的潜在风格空间,其中:1)域内和域间插值都对应于生成图像的渐变,2)在翻译过程中更好地保留了源图像的内容。此外,我们提出了一种新的评价指标,以适当衡量I2I翻译模型的潜在风格空间的平滑度。所提出的方法可以插入到现有的翻译方法中,我们在不同数据集上的大量实验表明,它可以显着提高生成图像的质量和插值的渐进性。
2021-06-16 cs.CV cs.LG
GP-UNIT: Generative Prior for Versatile Unsupervised Image-to-Image Translation
Nanyang Technological University(南洋理工大学)
针对无监督图像到图像翻译中跨域映射鲁棒性不足的问题,提出GP-UNIT框架,通过预训练类别条件GAN的生成先验构建多层级跨域对应,实现远近域高质量可控翻译,性能优于现有最优模型。
2023-06-07 cs.CV cs.LG
Multimodal Unsupervised Image-to-Image Translation
Cornell University(康奈尔大学);NVIDIA(英伟达)
无监督的图像间翻译是计算机视觉中一个重要而又具有挑战性的问题。给定源域中的图像,目标是学习目标域中对应图像的条件分布,而无需看到任何对应图像对。虽然这种条件分布本质上是多峰的,但现有方法进行了过度简化的假设,将其建模为确定性的一对一映射。因此,它们无法从给定的源域图像生成不同的输出。为了解决这个问题,我们提出了一个多模态无监督图像到图像翻译(MUNIT)框架。我们假设图像表示可以被分解为一个内容代码是域不变的,和一个风格代码,捕捉特定于域的属性。为了将图像转换到另一个域,我们将其内容代码与从目标域的样式空间采样的随机样式代码重新组合。我们分析了所提出的框架,并建立了几个理论结果。与最先进的方法进行比较的大量实验进一步证明了所提出的框架的优势。此外,我们的框架允许用户通过提供示例样式图像来控制翻译输出的样式。代码和预训练模型可在https://github.com/nvlabs/MUNIT上获得
2018-08-14 cs.CV cs.LG stat.ML
Closing the Reality Gap with Unsupervised Sim-to-Real Image Translation
University of Cambridge(剑桥大学);Universität Bremen(不来梅大学)
深度学习方法已经成为计算机视觉和机器人技术中许多问题的标准解决方案,但获得足够高质量的训练数据是具有挑战性的,因为人工容易出错,耗时且昂贵。近年来,基于仿真的解决方案越来越受欢迎,但仿真与现实之间的差距仍然是一个主要问题。在本文中,我们介绍了一种新的方法,用于增强合成图像数据,通过无监督的图像到图像的翻译,通过应用真实世界的图像的风格与开源框架的模拟图像。所生成的数据集与传统的增强方法相结合,然后应用到一个神经网络模型在自动足球机器人上实时运行。我们的评估显示,与完全在模拟中生成的图像上训练的模型相比,有了显着的改进。
2021-06-15 cs.CV cs.LG cs.RO
Few-Shot Unsupervised Image-to-Image Translation
NVIDIA(英伟达);Cornell University(康奈尔大学);Aalto University(阿尔托大学)
无监督图像到图像转换方法学习将给定类中的图像映射到不同类中的类似图像,绘制非结构化(未注册)图像数据集。虽然非常成功,但目前的方法需要在训练时访问源和目标类中的许多图像。我们认为这极大地限制了它们的使用。从人类的能力,拿起一个新的对象的本质,从少量的例子,并从那里概括的灵感,我们寻求一个Few-Shot,无监督的图像到图像的翻译算法,工程上以前看不见的目标类指定,在测试时,只有少数几个例子的图像。我们的模型通过将对抗训练方案与新颖的网络设计相结合来实现这种Few-Shot生成能力。通过大量的实验验证和比较基准数据集上的几个基线方法,我们验证了所提出的框架的有效性。我们的实现和数据集可以在https://github.com/NVlabs/FUNIT上找到。
2019-09-09 cs.AI cs.CV cs.GR
Leveraging in-domain supervision for unsupervised image-to-image translation tasks via multi-stream generators
Tel-Aviv University(特拉维夫大学)
图像到图像翻译(I2I)任务的监督很难实现,但对结果质量有重要影响。在本文中,我们观察到,对于许多无监督I2I(UI2I)场景,一个域比另一个更熟悉,并提供域内先验知识,如语义分割。我们认为,对于复杂的场景,弄清楚的语义结构的域是很难的,特别是没有监督,但一个成功的I2I操作的重要组成部分。因此,我们介绍了两种技术,将这一宝贵的领域内的先验知识的翻译质量的好处:通过一个新的多流生成器架构,并通过一个语义分割为基础的正则化损失项。从本质上讲,我们建议根据语义掩码分割输入数据,明确引导网络对图像的不同区域采取不同的行为。此外,我们建议在翻译任务中训练一个语义分割网络,并利用此输出作为损失项,以提高鲁棒性。我们在城市数据上验证了我们的方法,在将白天图像转换为夜间图像的具有挑战性的UI2I任务中展示了卓越的质量。此外,我们还演示了如何用我们的增强图像增强目标数据集,以改进下游任务的训练,例如经典的检测任务。
2021-12-30 cs.AI cs.CV cs.LG
Unsupervised Medical Image Translation Using Cycle-MedGAN
University of Stuttgart(斯图加特大学);University of Tübingen(蒂宾根大学);King’s College London(伦敦国王学院)
图像间平移是计算机视觉的一个新领域,在医学领域有着广泛的应用前景。然而,对于有监督的图像翻译框架,需要在像素意义上配对的共配准数据集。这在现实的医疗场景中通常很难实现。另一方面,无监督的翻译框架通常会导致翻译图像模糊,细节不真实。在这项工作中,我们提出了一个新的无监督翻译框架,名为Cycle-MedGAN。该框架利用新的非对抗性周期损失,指导框架最大限度地减少翻译图像中的纹理和感知差异。与其他无监督翻译方法的定性和定量比较证明了所提出的PET-CT翻译和MR运动校正框架的性能。
2019-03-08 cs.CV
Towards Measuring Domain Shift in Histopathological Stain Translation in an Unsupervised Manner
University of Strasbourg(斯特拉斯堡大学);University of Belgrade(贝尔格莱德大学);University of Kragujevac(克拉古耶瓦茨大学)
当使用不同的染色剂或扫描仪时,在染色剂转换期间等,数字组织病理学中的域转移可能会发生。在源数据上训练的深度神经网络可能无法很好地推广到已经经历了一些域转移的数据。对域偏移具有鲁棒性的重要一步是能够检测和测量它。本文证明了PixelCNN和域偏移度量可用于检测和量化数字组织病理学中的域偏移,并且它们与泛化性能具有很强的相关性。这些发现为一种机制铺平了道路,该机制可以推断模型(在源数据上训练)在看不见的和未标记的目标数据上的平均性能。
2022-05-09 cs.CV eess.IV
Unsupervised Multimodal Video-to-Video Translation via Self-Supervised Learning
New York University(纽约大学);ETH Zürich(苏黎世联邦理工学院)
现有的无监督视频到视频翻译方法不能产生帧级真实感、语义信息保持和视频级一致的翻译视频。在这项工作中,我们提出了UVIT,一种新的无监督视频到视频翻译模型。我们的模型分解的风格和内容,使用专门的编码器-解码器结构,并通过双向递归神经网络(RNN)单元传播帧间信息。风格-内容分解机制使我们能够获得风格一致的视频翻译结果,并为模态灵活的翻译提供了一个良好的接口。此外,通过改变我们的翻译中包含的输入帧和样式代码,我们提出了一个视频插值损失,它捕获序列中的时间信息,以自我监督的方式训练我们的构建块。我们的模型可以以多模式的方式产生照片般逼真,时空一致的翻译视频。主观和客观的实验结果验证了我们的模型优于现有的方法。更多详情请访问我们的项目网站:https://uvit.netlify.com
2020-04-14 cs.CV cs.LG eess.IV