Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University(南洋理工大学)
无监督图像到图像翻译旨在学习两个视觉域之间的翻译,而无需配对数据。尽管最近在图像翻译模型方面取得了进展,但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中,我们提出了一个新的框架,生成先验指导的无监督图像到图像翻译(GP-UNIT),以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验(例如,BigGAN)来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案:我们首先提取生成之前捕获一个强大的粗层次的内容表示,可以在抽象的语义层次上链接对象,在此基础上,细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大,高质量和多样化的翻译方面优于最先进的方法,即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation
University of Trento(特伦托大学);Tencent AI Lab(腾讯人工智能实验室);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
图像到图像(I2I)多域翻译模型通常也使用其语义插值结果的质量进行评估。然而,国家的最先进的模型经常显示在插值过程中的图像外观的突然变化,通常表现不佳的跨域插值。在本文中,我们提出了一种新的训练协议,该协议基于三种特定的损失,可以帮助翻译网络学习一个平滑和无纠缠的潜在风格空间,其中:1)域内和域间插值都对应于生成图像的渐变,2)在翻译过程中更好地保留了源图像的内容。此外,我们提出了一种新的评价指标,以适当衡量I2I翻译模型的潜在风格空间的平滑度。所提出的方法可以插入到现有的翻译方法中,我们在不同数据集上的大量实验表明,它可以显着提高生成图像的质量和插值的渐进性。
2021-06-16 cs.CV cs.LG
Rethinking the Truly Unsupervised Image-to-Image Translation
Yonsei University(延世大学);NAVER AI Lab(NAVER AI实验室);UNIST(蔚山科学技术院)
每一个最近的图像到图像的翻译模型本质上需要图像级(即输入输出对)或设置级(即域标签)的监督。然而,在实践中,即使是设置级别的监督也可能成为数据汇集的严重瓶颈。在本文中,我们在完全无监督的环境中处理图像到图像的翻译,即,既不是成对的图像也不是域标签。为此,我们提出了一个真正无监督的图像到图像翻译模型(TUNIT),同时学习分离图像域并将输入图像转换为估计域。实验结果表明,我们的模型实现了与使用全标签训练的集合级监督模型相当甚至更好的性能,在各种数据集上具有很好的泛化能力,并且对超参数的选择(例如预设数量的伪域)具有鲁棒性。此外,TUNIT可以很容易地扩展到半监督学习与一些标记的数据。
2021-08-20 cs.CV cs.LG
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London(帝国理工学院);Indian Institute of Technology(印度理工学院)
自动将图像从其原始形式转换为某种合成形式(样式,部分内容等)非常有用,同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题,并提出了一种基于深度卷积和条件生成对抗网络(GANs)的通用方法来实现它,自2014年以来,该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中,我们开发了一种两步(无监督)学习方法,通过使用未标记的图像在不同的域之间转换图像,而不指定它们之间的任何对应关系,从而避免了获取标记数据的成本。与以往的工作相比,我们证明了我们的模型的通用性,通过这种能力,翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation
当前的方法在图像到图像的翻译任务上取得了很大的进展,这得益于图像合成方法的成功,特别是生成对抗网络(GANs)。然而,现有的方法仅限于处理两个物种之间的翻译任务,同时保持语义层面上的内容匹配。一个更具挑战性的任务是在两个以上物种之间进行翻译。为了探索这一新领域,我们提出了一种简单而有效的多分支结构,用于增强任意生成对抗架构(GAN),称为GAN-MBD。该算法利用Boosting策略将一个通用的神经网络分解为多个参数较少的小神经网络,有效地提高了GANs的生成和综合能力。综合实验表明,提出的多分支神经网络可以显着提高流行的GANs的跨物种图像到图像翻译任务的性能,同时减少了计算参数的数量。随函附上有关守则及部分数据,作为补充资料,以供参考。
2019-01-24 cs.CV cs.LG
Few-Shot Unsupervised Image-to-Image Translation on complex scenes
无监督图像到图像翻译方法在过去几年中受到了广泛的关注。出现了多种技术,从不同的角度应对最初的挑战。一些专注于尽可能多地从多个目标样式图像中学习以进行翻译,而另一些则利用目标检测来在内容丰富的场景中产生更逼真的结果。在这项工作中,我们评估了一种最初为单个对象翻译开发的方法如何在更多样化和内容丰富的图像上执行。我们的工作基于FUNIT[1]框架,我们用更多样化的数据集对其进行训练。这有助于理解这种方法在其初始应用框架之外的行为。提出了一种基于目标检测的数据集扩展方法。此外,我们提出了一种方法来适应FUNIT框架,以利用目标检测的力量,可以看到在其他方法。
2021-06-07 cs.CV cs.LG
Augmented Cyclic Consistency Regularization for Unpaired Image-to-Image Translation
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所);Tokyo Institute of Technology(东京工业大学)
由于生成对抗网络(GANs)的最新进展,不成对图像到图像(I2 I)翻译在模式识别和计算机视觉中受到了相当大的关注。然而,由于缺乏明确的监督,未配对的I2 I模型通常无法生成逼真的图像,特别是在具有不同背景和姿势的挑战性数据集中。因此,稳定化对于GANs和I2 I翻译的应用是必不可少的。在这里,我们提出了增强循环一致性正则化(ACCR),一种新的正则化方法,用于不成对的I2 I翻译。我们的主要思想是执行一致性正则化源于半监督学习的歧视利用真实的,假的,重建的,和增强的样本。我们正则化的鉴别器输出类似的预测时,美联储对原始和扰动图像。我们定性地阐明了为什么一致性正则化在假样本和重建样本上效果很好。量化,我们的方法优于一致性正则化GAN(CR-GAN)在现实世界的翻译,并证明了对几个数据增强变量和周期一致性约束的有效性。
2020-10-12 cs.CV cs.LG
Improving Deep Generative Models on Many-To-One Image-to-Image Translation
University of Maryland(马里兰大学)
本文针对图像到图像转换中常被忽视的多对一关系,提出彩色化 MNIST 数据集与 Color-Recall 评估指标,并设计非对称框架改进 StarGAN V2,在无监督和半监督设置下均提升多对一转换性能。
2024-02-22 cs.CV cs.LG
Domain Bridge for Unpaired Image-to-Image Translation and Unsupervised Domain Adaptation
VisLab(视觉实验室);Inria(法国国家信息与自动化研究所);University of Parma(帕尔马大学)
图像到图像转换架构在某些情况下可能具有有限的有效性。例如,在生成下雨的场景时,他们可能无法将雨的典型特征建模为水滴,这最终影响了合成图像的真实感。使用我们的方法,称为域桥,网络抓取的数据被利用来减少域间隙,从而在生成的图像中包含以前忽略的元素。我们利用一个网络的领域桥训练的晴雨翻译,我们的工作扩展到无监督领域自适应(UDA)。在这种情况下,我们引入了一种在线多模态风格采样策略,在训练时利用图像翻译多模态来提高性能。最后,提出了一种新的自监督学习方法,并用于进一步对齐域。通过我们的贡献,我们同时提高了生成图像的真实感,同时以更简单的方法达到了与UDA最先进的性能相当的性能。
2020-03-14 cs.CV cs.LG
UTSGAN: Unseen Transition Suss GAN for Transition-Aware Image-to-image Translation
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
针对图像到图像翻译中未见属性变化导致的一致性难题,提出 UTSGAN,通过转换变量、随机转换编码器及转换一致性约束建模并正则化未观测翻译,实验验证其有效性。
2023-04-24 cs.CV cs.LG
Generative Transition Mechanism to Image-to-Image Translation via Encoded Transformation
University of Technology Sydney(悉尼科技大学);Institute of High Performance Computing(高性能计算研究所)
在本文中,我们重新审视的图像到图像(I2 I)的转换问题与过渡一致性,即一致性定义的条件数据映射之间的每个数据对。- 用转换变量$t$来解释参数化每个数据映射,即,$x \overset{t(x,y)}{\mapsto}y$,我们发现现有的I2 I翻译模型主要关注于保持结果的一致性,例如,图像重建或属性预测的一致性,本文称之为结果一致性。这限制了他们的泛化能力,以产生令人满意的结果,在测试阶段看不见的过渡。因此,我们建议强制执行I2 I翻译的结果一致性和转换一致性,以使输入和输出之间具有更紧密的一致性。为了提高翻译模型的泛化能力,我们提出了转换编码,以方便显式正则化这两个{kinds}不可见的转换。我们进一步推广这种显式正则化的分布级,从而促进了广义的整体一致性I2 I翻译问题。通过上述设计,我们提出的模型,命名为转换编码GAN(TEGAN),可以拥有卓越的泛化能力,以生成真实的和语义一致的翻译结果与不可见的过渡在测试阶段。它还提供了对现有基于GAN的I2 I转换模型的统一理解,我们明确地对数据映射进行了建模,即,过渡四个不同的I2 I翻译任务的实验证明TEGAN的有效性和通用性。
2021-03-09 cs.CV cs.LG
Contrastive Learning for Unpaired Image-to-Image Translation
University of California, Berkeley(加州大学伯克利分校);Adobe Research(Adobe 研究院)
在图像到图像的转换中,输出中的每个块应该反映输入中对应块的内容,与域无关。我们提出了一个简单的方法来做到这一点-最大化两者之间的互信息,使用基于对比学习的框架。该方法鼓励两个元素(对应的块)映射到学习的特征空间中的类似点,相对于数据集中的其他元素(其他块),称为否定。我们探讨了几个关键的设计选择,使对比学习有效的图像合成设置。值得注意的是,我们使用了一种多层的、基于补丁的方法,而不是对整个图像进行操作。此外,我们从输入图像本身中提取底片,而不是从数据集的其余部分提取底片。我们证明了我们的框架在不成对的图像到图像翻译设置中实现了单侧翻译,同时提高了质量并减少了训练时间。此外,我们的方法甚至可以扩展到训练设置,其中每个“域”只是一个单一的图像。
2020-08-20 cs.CV cs.LG
Composable Unpaired Image to Image Translation
New York University(纽约大学)
最近在不成对的图像到图像的翻译方面有了引人注目的工作。然而,它们仅限于在单对分布上进行翻译,但有一些例外。在这项研究中,我们扩展这些作品之一,一个可扩展的多分布翻译机制。我们的翻译模型不仅可以从一种分布转换到另一种分布,还可以堆叠以创建复合翻译函数。我们表明,这种复合属性使得生成具有训练集中看不到的特征的图像成为可能。我们还提出了一个解耦的训练机制,分别训练多个分布,我们表明,产生更好的样本比孤立的联合训练。此外,我们做了定性和定量分析,以评估样品的可扩展性。该守则可在https://github.com/lgraesser/im2im2im上查阅。
2018-04-16 cs.CV cs.LG stat.ML
CoMoGAN: continuous model-guided image-to-image translation
Inria(法国国家信息与自动化研究所);Vislab(视觉实验室);Ambarella(安霸公司)
CoMoGAN是一种连续的GAN,它依赖于对函数流形上的目标数据进行无监督的重组。为此,我们引入了一个新的功能实例规范化层和残差机制,它们共同将图像内容从目标流形上的位置中分离出来。我们依靠朴素的物理模型来指导训练,同时允许私人模型/翻译功能。CoMo GAN可以与任何GAN骨干一起使用,并允许新类型的图像平移,例如像时间流逝生成的循环图像平移或分离的线性平移。在所有数据集上,它都优于文献。我们的代码可在http://github.com/cv-rits/CoMoGAN上获得。
2022-06-29 cs.AI cs.CV cs.LG
UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models
Durham University(杜伦大学)
我们提出了一种新的不成对的图像到图像的翻译方法,使用去噪扩散概率模型,而不需要对抗训练。我们的方法,不成对的图像翻译与去噪扩散概率模型(UNIT-DDPM),训练生成模型来推断联合分布的图像在两个域作为马尔可夫链通过最小化的去噪得分匹配目标条件的其他域。特别是,我们同时更新两个域的翻译模型,我们生成的目标域图像的去噪马尔可夫链蒙特卡罗方法,条件是输入源域图像,基于朗之万动力学。我们的方法为图像到图像的翻译提供了稳定的模型训练,并生成了高质量的图像输出。这使得最先进的Fréchet Inception Distance(FID)在几个公共数据集上的性能,包括彩色和多光谱图像,显着优于当代对抗性图像到图像转换方法。
2021-04-12 cs.CV cs.LG eess.IV
CrossNet: Latent Cross-Consistency for Unpaired Image Translation
Tel Aviv University(特拉维夫大学);Hebrew University Jerusalem(耶路撒冷希伯来大学)
最近基于GAN的架构已经能够在图像到图像转换的一般任务上提供令人印象深刻的性能。特别是,它表明,各种各样的图像平移算子可以从两个图像集,包含来自两个不同的域的图像,而无需建立图像之间的显式配对。这是通过引入聪明的正则化器来克服不成对翻译问题的欠约束性质而实现的。在这项工作中,我们引入了一种新的非配对图像翻译架构,并探索了几种新的正则化器。具体来说,我们的架构包括一对GANs,以及一对翻译器在各自的潜在空间之间。这些交叉翻译器使我们能够对学习的图像翻译算子施加几个正则化约束,统称为潜在交叉一致性。我们的结果表明,我们提出的体系结构和潜在的交叉一致性约束能够在各种图像翻译任务上优于现有的最新技术。
2019-05-26 cs.CV cs.LG stat.ML
Model-based occlusion disentanglement for image-to-image translation
Inria(法国国家信息与自动化研究所);VisLab
图像到图像的转换受到纠缠现象的影响,这可能发生在目标数据包含雨滴,污垢等遮挡的情况下。我们的无监督基于模型的学习解开场景和遮挡,同时受益于对抗管道来回归遮挡模型的物理参数。实验表明,我们的方法能够处理不同类型的遮挡,并生成高度逼真的翻译,在多个数据集上的定性和定量表现优于最先进的技术。
2020-07-20 cs.CV cs.LG eess.IV
StyleFlow For Content-Fixed Image to Image Translation
Sensetime Research(商汤科技研究院)
图像到图像(I2 I)转换是计算机视觉中一个具有挑战性的课题。我们把这个问题分为三个任务:强约束翻译,正常约束翻译,弱约束翻译。这里的约束表示原始图像中的内容或语义信息被保留的程度。虽然以前的方法在弱约束任务中取得了很好的性能,但它们在强约束和正常约束任务中都未能完全保留内容,包括照片真实感合成,风格转移和着色等。为了实现强约束和正常约束任务中的内容保留转移,我们提出了StyleFlow,一个新的I2I翻译模型,包括规范化流程和一个新的风格感知规范化(SAN)模块。StyleFlow采用可逆网络结构,在前向通道中先将输入图像投影到深度特征空间,后向通道利用SAN模块进行内容固定的特征变换,然后再投影回图像空间。我们的模型支持图像引导翻译和多模态合成。我们评估我们的模型在几个I2I翻译基准测试,结果表明,该模型在强约束和正常约束的任务比以前的方法具有优势。
2022-07-05 cs.CV cs.LG eess.IV
Tensor-to-Image: Image-to-Image Translation with Vision Transformers
Transformers自问世以来就获得了巨大的关注,并有着广泛的应用。Transformers开始接管深度学习的所有领域,视觉Transformer论文也证明了它们可以用于计算机视觉任务。在本文中,我们利用了一个视觉Transformer为基础的定制设计的模型,张量到图像,图像到图像的翻译。在自我注意的帮助下,我们的模型能够推广并应用于不同的问题,而无需进行任何修改。
2021-10-06 cs.AI cs.CV cs.LG
Unsupervised Many-to-Many Image-to-Image Translation Across Multiple Domains
Sichuan University(四川大学)
无监督的多域图像到图像的转换是指在没有标记数据的情况下,将多个域之间的图像进行合成,比一对一的图像映射更加通用和复杂。然而,现有的方法主要集中在减少建模的大量成本,并没有足够的重视所生成的图像的质量。在某些目标域中,它们的翻译结果可能不符合预期,甚至出现模型崩溃。为了提高图像质量,我们提出了一个有效的多对多映射框架的无监督多域图像到图像的翻译。我们的方法有两个关键方面。第一个是一个多对多的架构,只有一个域共享的编码器和几个域专用的解码器,有效地,同时跨多个域的图像翻译。第二个是两个建议的约束扩展从一对一的映射,以进一步帮助提高生成。所有的评估表明,我们的框架是优于现有的方法,并提供了一个有效的解决方案,多域图像到图像的翻译。
2020-11-24 cs.CV cs.LG eess.IV
Image-to-image Translation as a Unique Source of Knowledge
Thales Alenia Space(泰雷兹阿莱尼亚宇航公司)
图像到图像(I2 I)转换是将数据从一个域转换到另一个域的既定方式,但是当与诸如SAR/光学卫星图像的不同域一起工作时,转换的图像在目标域中的可用性以及原始域中有多少被转换到目标域仍然不够清楚。本文通过使用最先进的不同I2 I算法将标记数据集从光学域转换到SAR域来解决这个问题,从目标域中的传输特征中学习,然后评估从原始数据集中传输了多少。除此之外,堆叠被提出作为一种结合从不同的I2 I翻译中学习到的知识并针对单个模型进行评估的方式。
2021-12-09 cs.AI cs.CV cs.LG
MCMI: Multi-Cycle Image Translation with Mutual Information Constraints
Simon Fraser University(西蒙菲莎大学)
我们提出了一个基于互信息的无监督图像到图像的翻译框架。我们的MCMI方法将单周期图像翻译模型视为可以在多周期翻译设置中循环使用的模块,其中翻译过程受输入和输出图像之间的互信息约束的约束。所提出的互信息约束可以通过优化出在图像翻译期间不满足马尔可夫性质的翻译函数来改善跨域映射。我们发现,与最先进的图像翻译方法相比,使用MCMI训练的模型可以生成更高质量的图像,并学习更多语义相关的映射。MCMI框架可以应用于现有的不成对的图像到图像的翻译模型与最小的修改。定性实验和感知研究证明了图像质量的改善和我们的方法使用几个骨干模型和各种图像数据集的通用性。
2020-07-06 cs.CV
Unified Generative Adversarial Networks for Controllable Image-to-Image Translation
University of Trento(特伦托大学);Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
我们提出了一个统一的生成对抗网络(GAN),用于可控的图像到图像的翻译,即,由可控结构引导将图像从源域转移到目标域。除了对参考图像的调节外,我们还展示了该模型如何生成可控结构的图像,例如,类标签、对象关键点、人体骨架和场景语义图。该模型由一个发生器和一个以条件图像和目标可控结构为输入的控制器组成。以这种方式,条件图像可以提供外观信息,并且可控结构可以提供用于生成目标结果的结构信息。此外,我们的模型通过三种新的损失来学习图像到图像的映射,即,颜色损失、可控结构引导的循环一致性损失和可控结构引导的自我内容保持损失。此外,我们提出了Fréchet ResNet距离(FRD)来评估生成图像的质量。两个具有挑战性的图像翻译任务的实验,即,手势到手势翻译和跨视图图像翻译,表明我们的模型产生令人信服的结果,并显着优于其他国家的最先进的方法在这两个任务。同时,该框架是一个统一的解决方案,因此它可以应用于解决其他可控结构引导的图像翻译任务,如地标引导的面部表情翻译和关键点引导的人物图像生成。据我们所知,我们是第一个让一个GAN框架在所有这些可控结构引导的图像翻译任务上工作的人。代码可在https://github.com/Ha0Tang/GestureGAN上获得。
2020-09-02 cs.CV cs.LG eess.IV
Unpaired Image-to-Image Translation via Latent Energy Transport
University at Buffalo SUNY(纽约州立大学布法罗分校)
图像到图像翻译的目的是在两个视觉域之间转换为有区别的目标风格的同时保留源内容。大多数作品在环境图像空间中应用对抗学习,这可能在计算上是昂贵的,并且对训练具有挑战性。在本文中,我们建议在预训练的自动编码器的潜在空间中部署基于能量的模型(EBM)。预训练的自动编码器既充当潜在代码提取器又充当图像重建工作器。我们的模型,LETIT,是基于这样的假设,即两个域共享相同的潜在空间,其中潜在的表示被隐式地分解为内容代码和特定于域的样式代码。我们的潜在EBM可以隐式地学习将源样式代码传输到目标样式代码,同时保留内容代码,而不是显式地提取这两个代码并应用自适应实例规范化来组合它们,这是现有图像翻译方法的优势。这种简化的解决方案在单侧未配对图像平移设置中也更有效。定性和定量的比较证明了卓越的翻译质量和忠实的内容保存。据我们所知,我们的模型是第一个适用于1024 $\times$ 1024分辨率不成对图像翻译的模型。
2021-05-23 cs.CV cs.LG stat.ML
Dual Diffusion Implicit Bridges for Image-to-Image Translation
Stanford University(斯坦福大学);NVIDIA(英伟达);CZ Biohub(陈·扎克伯格生物中心)
常见的图像到图像转换方法依赖于对来自源域和目标域的数据进行联合训练。训练过程需要同时访问两个数据集,这阻碍了数据分离和隐私保护;并且现有模型无法轻松适应新域对的翻译。我们提出了双扩散隐式桥(DDIBs),一种基于扩散模型的图像翻译方法,它避免了对域对的训练。使用DDIB的图像翻译依赖于在每个域上独立训练的两个扩散模型,并且是两步过程:DDIB首先使用源扩散模型获得源图像的潜在编码,然后使用目标模型解码这些编码以构建目标图像。这两个步骤都是通过常微分方程(ODE)来定义的,因此该过程仅在ODE求解器的离散化误差范围内是周期一致的。从理论上讲,我们解释DDIBs作为级联的源,潜在的,潜在的目标薛定谔桥,一种形式的熵正则化的最佳运输,解释该方法的有效性。在实验中,我们将DDIBs应用于合成和高分辨率图像数据集,以证明它们在各种翻译任务中的实用性及其固有的最佳传输特性。
2023-03-05 cs.AI cs.CV cs.LG
Asymmetric GANs for Image-to-Image Translation
ETH Zurich(苏黎世联邦理工学院);University of Trento(特伦托大学)
针对现有对称GAN图像翻译模型存在的双向不对等、模型易崩溃等问题,提出采用非对称架构和优化损失的AsymmetricGAN,在8个数据集的有监督和无监督任务中性能更优,为首款研究该类非对称结构的模型。
2024-07-12 cs.CV cs.LG eess.IV
Federated CycleGAN for Privacy-Preserving Image-to-Image Translation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
无监督的图像到图像转换方法,如CycleGAN,使用来自不同域的未配对训练数据集学习将图像从一个域转换到另一个域。不幸的是,这些方法仍然需要集中收集未配对的记录,这可能会违反隐私和安全问题。虽然最近的联邦学习(FL)允许在没有数据交换的情况下训练神经网络,但FL的基本假设是所有客户端都有来自类似域的自己的训练数据,这与我们的图像到图像翻译场景不同,在图像到图像翻译场景中,每个客户端都有来自其唯一域的图像,目标是在不访问目标域数据的情况下学习不同域之间的图像翻译。为了解决这个问题,我们提出了一种新的联邦CycleGAN架构,可以以无监督的方式学习图像翻译,同时保持数据隐私。具体来说,我们的方法源于一个新的观察,即CycleGAN损失可以分解为客户端特定的本地目标的总和,这些目标可以仅使用其数据进行评估。这种局部目标分解允许多个客户端参与联邦CycleGAN训练,而不会牺牲性能。此外,我们的方法采用了新的可切换的生成器和自适应实例归一化(AdaIN),显着降低了联邦学习的带宽要求的并行架构。我们在各种无监督图像翻译任务上的实验结果表明,与非联邦对应物相比,我们的联邦CycleGAN提供了相当的性能。
2021-06-17 cs.CV cs.LG stat.ML
Semi-Supervised Image-to-Image Translation
D. J. Sanghvi College of Engineering(D.J.桑格维工程学院)
图像间的平移是计算机视觉中一个由来已久的难题。在本文中,我们提出了一个基于对抗的图像到图像翻译模型。常规的基于深度神经网络的方法通过比较gram矩阵和使用需要人工干预的图像分割来执行图像到图像的转换任务。我们的基于生成对抗网络的模型基于条件概率方法。这种方法使得图像翻译独立于任何局部、全局和内容或风格特征。在我们的方法中,我们使用了一个双向重建模型,附加了仿射变换因子,与其他模型相比,它有助于保存内容和照片真实感。使用这种方法的优点是图像到图像的转换是半监督的,独立于图像分割,并继承了生成对抗网络倾向于产生逼真效果的特性。该方法已被证明比多模态无监督图像到图像翻译产生更好的结果。
2019-01-24 cs.CV
Image to Image Translation : Generating maps from satellite images
Army Institute of Technology(陆军理工学院)
从卫星图像生成地图通常通过一系列工具来完成。地图成为生活的重要组成部分,从卫星图像转换地图可能有点昂贵,但生成模型可以迎合这一挑战。这些模型的目的是找到输入和输出图像之间的模式。图像到图像的转换是用于将卫星图像转换成相应的地图。不同的图像到图像转换技术,如生成对抗网络,条件对抗网络和协变自动编码器,用于为该地区生成相应的人类可读地图,该地图将给定缩放级别的卫星图像作为其输入。我们正在条件生成对抗网络上训练我们的模型,该网络由生成假图像的生成器模型组成,而生成器模型试图将图像分类为真实或虚假,这两个模型以对抗的方式同步训练,两者都试图欺骗对方,从而提高模型性能。
2021-05-19 cs.CV cs.LG eess.IV
SingleGAN: Image-to-Image Translation by a Single-Generator Network using Multiple Generative Adversarial Learning
Peking University(北京大学)
图像翻译是计算机视觉中的一个新兴领域,其目标是学习输入图像和输出图像之间的映射。然而,大多数最近的方法需要多个生成器来建模不同的域映射,这在一些多域图像翻译任务中是低效和无效的。在本文中,我们提出了一种新的方法SingleGAN,用单个生成器执行多域图像到图像的翻译。我们引入域代码来显式控制不同的生成任务,并集成多个优化目标以确保翻译。在几个未配对数据集上的实验结果表明,我们的模型在两个域之间的翻译性能优越。此外,我们还探索了SingleGAN在不同任务中的变体,包括一对多域翻译,多对多域翻译和多模态一对一域翻译。扩展实验表明了该模型的通用性和可扩展性。
2020-04-17 cs.CV
S2ST: Image-to-Image Translation in the Seed Space of Latent Diffusion
GM R&D(通用汽车研发中心);The Hebrew University(希伯来大学)
本文提出S2ST框架,在潜在扩散模型的种子空间中实现复杂真实感图像的全局图像到图像转换,超越现有GAN和扩散方法,且无需训练特定域转换网络。
2023-11-30 cs.CV cs.GR cs.LG
Content and Colour Distillation for Learning Image Translations with the Spatial Profile Loss
Institute of Anthropomatics & Robotics(人类工程学与机器人研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Autonomous Systems(自主系统(部门));Daimler TSS(戴姆勒TSS)
生成对抗网络已经成为图像翻译问题的事实标准。为了成功地驱动这样的模型,必须依赖于额外的网络,例如,鉴别器和/或感知网络。仅用基于像素的损失来训练这些网络通常不足以学习目标分布。在本文中,我们提出了一种新的方法,直接计算源和目标图像之间的损失,使形状/内容和颜色/风格的适当蒸馏。我们表明,这是有用的,在典型的图像到图像的翻译,使我们能够成功地驱动发电机,而不依赖于额外的网络。我们在许多困难的图像转换问题上证明了这一点,例如图像到图像域映射,单图像超分辨率和照片逼真的化妆转移。我们广泛的评价表明,所提出的配方和它的能力,合成逼真的图像的有效性。[Code发布:https://github.com/ssarfraz/SPL]
2019-08-01 cs.CV cs.LG eess.IV
Face Translation between Images and Videos using Identity-aware CycleGAN
Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室);VISICS, KU Leuven(鲁汶大学VISICS)
本文提出了一种新的图像和视频之间的非成对人脸转换问题,可应用于人脸视频的预测和增强。在这个问题中存在两个主要的技术挑战:1)设计一个鲁棒的静态图像和动态视频之间的翻译模型,以及2)在图像-视频翻译期间保持面部身份。为了解决这两个问题,我们通过利用图像-视频翻译模型和身份保留模型,将最先进的图像-图像翻译网络(周期一致性对抗网络)推广到图像-视频/视频-图像翻译环境。特别地,我们将最先进的Wasserstein GAN技术应用于图像-视频翻译的设置以实现更好的收敛,同时我们引入了人脸验证器以确保身份。标准图像/视频人脸数据集上的实验表明,该模型在定性和定量评价方面的有效性。
2017-12-04 cs.CV
Semi-Supervised Image-to-Image Translation using Latent Space Mapping
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
由于捕获或标记大量成对数据的昂贵成本,最近的图像到图像翻译工作已经从监督设置转移到无监督设置。然而,目前使用循环一致性约束的无监督方法可能无法找到所需的映射,特别是对于困难的翻译任务。另一方面,通常可以访问少量的成对数据。因此,我们介绍了半监督图像翻译的一般框架。与以前的作品不同,我们的主要思想是在潜在特征空间而不是图像空间上学习翻译。由于低维特征空间,更容易找到所需的映射函数,从而提高了翻译结果的质量以及翻译模型的稳定性。从经验上讲,我们表明,使用特征转换生成更好的结果,即使使用几位配对数据。与最先进的方法的实验比较证明了所提出的框架在各种具有挑战性的图像到图像翻译任务上的有效性
2022-03-29 cs.CV
PHNNs: Lightweight Neural Networks via Parameterized Hypercomplex Convolutions
Sapienza University of Rome(罗马大学);Amazon Web Services AI(亚马逊云服务人工智能部门)
超复杂神经网络已被证明可以减少参数的总数,同时通过利用Clifford代数的性质来确保有价值的性能。最近,超复杂线性层已经通过涉及有效的参数化Kronecker产品得到进一步改进。在本文中,我们定义了超复杂卷积层的参数化,并介绍了参数化超复杂神经网络(PHNN)的家庭,是轻量级和高效的大规模模型。我们的方法直接从数据中掌握卷积规则和滤波器组织,而不需要严格预定义的域结构。PHNN可以灵活地在任何用户定义或调优的域中操作,从1D到$n$ D,无论代数规则是否预设。这种延展性允许在其自然域中处理多维输入,而不需要附加更多维度,相反,在四元数神经网络中用于彩色图像等3D输入。因此,所提出的PHNN族在实域中以关于其模拟的$1/n$自由参数进行操作。我们通过在各种图像数据集和音频数据集上进行实验,证明了这种方法在多个应用领域的多功能性,在这些数据集上,我们的方法优于实数和四元数值的方法。完整代码可在以下网址获得:https://github.com/eleGAN23/HyperNets。
2022-09-19 cs.AI cs.CV cs.LG
Pretraining is All You Need for Image-to-Image Translation
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
我们建议使用预训练来提高一般的图像到图像的翻译。现有的图像到图像翻译方法通常需要专门的架构设计并从头开始训练单独的翻译模型,难以高质量地生成复杂场景,尤其是当成对的训练数据不丰富时。在本文中,我们将每个图像到图像的翻译问题视为下游任务,并引入了一个简单而通用的框架,该框架采用预训练的扩散模型来适应各种图像到图像的翻译。我们还提出了对抗性训练,以提高纹理合成的扩散模型训练,结合归一化的指导采样,以提高生成质量。我们在ADE 20 K,COCO-Stuff和DIODE等具有挑战性的基准上对各种任务进行了广泛的实证比较,表明所提出的基于预训练的图像到图像翻译(PITI)能够合成前所未有的真实感和忠实度的图像。
2022-05-25 cs.CV
GANtruth - an unpaired image-to-image translation method for driving scenarios
KTH Royal Institute of Technology(KTH皇家理工学院);Univrses AB(Univrses公司)
合成图像翻译在自主交通系统中具有重要的潜力。这是由于数据汇集和注释的费用以及难以管理的真实词汇情况的多样性。不成对图像到图像翻译的主要问题是问题的不适定性。在这项工作中,我们提出了一种新的方法来约束输出空间的不成对的图像到图像的翻译。我们假设源域的环境是已知的(例如,合成生成的),并且我们建议在翻译的图像上显式地强制保留地面实况标签。我们实验保留地面实况信息,如语义分割,差距,和实例分割。我们显示了显着的证据表明,我们的方法实现了提高性能的国家的最先进的模型单位翻译图像从SYNTHIA到城市景观。所生成的图像被认为是更现实的人类调查和优于单位时,用于语义分割的领域自适应场景。
2018-11-26 cs.CV cs.LG stat.ML
Deep Image Translation for Enhancing Simulated Ultrasound Images
ETH Zurich(苏黎世联邦理工学院);VirtaMed AG(VirtaMed股份公司)
基于光线追踪的超声模拟能够合成高度逼真的图像。它可以作为一种教育工具为培训超声医师提供一个交互式环境。然而,由于高计算需求,图像质量和交互性之间存在权衡,可能导致交互速率下的次优结果。在这项工作中,我们引入了一种基于对抗训练的深度学习方法,通过在恒定计算时间内提高模拟图像的质量来减轻这种权衡。利用图像到图像转换框架将低质量图像转换为高质量版本。为了整合低质量图像中可能丢失的解剖信息,我们还提供了图像转换的分割图。此外,我们建议利用声衰减图的信息,以更好地保留声影和方向性伪影,超声图像判读的宝贵功能。该方法在Fréchet初始距离上提高了7.2%,在基于块的Kullback-Leibler发散上提高了8.9%。
2020-06-18 cs.CV cs.LG eess.IV
Vector Quantized Image-to-Image Translation
National Chiao Tung University(国立交通大学);MediaTek-NCTU Research Center(联发科-交通大学联合研究中心);Meta;Snap Inc.(色拉布公司)
目前的图像到图像的翻译方法制定的任务与条件生成模型,导致只学习的catalogization或区域的变化,由条件上下文提供的丰富的结构信息的约束。在这项工作中,我们建议引入矢量量化技术的图像到图像的翻译框架。矢量量化的内容表示不仅可以促进翻译,而且可以在不同域之间共享无条件分发。同时,随着解开风格表示,该方法进一步使图像扩展的能力,在域内和域间的灵活性。定性和定量实验表明,我们的框架实现了最先进的图像到图像的翻译和图像扩展方法的性能相当。与单个任务的方法相比,所提出的方法作为一个统一的框架,释放出结合图像到图像翻译,无条件生成和图像扩展的应用程序。例如,它为图像生成和扩展提供了样式可变性,并为图像到图像的转换提供了进一步的扩展功能。
2022-07-27 cs.CV
StawGAN: Structural-Aware Generative Adversarial Networks for Infrared Image Translation
Sapienza University of Rome(罗马第一大学);Leonardo Labs(莱昂纳多实验室)
本文提出StawGAN模型,通过结构感知机制将夜间热红外图像转换为白天彩色图像,在DroneVeichlet数据集上生成形状更优、高分辨率的物体,转换精度优于现有先进模型。
2023-05-18 cs.CV cs.LG eess.IV
Discriminative Region Proposal Adversarial Networks for High-Quality Image-to-Image Translation
Ocean University of China(中国海洋大学)
随着生成对抗网络(GANs)的引入,图像到图像的翻译已经取得了很大的进展。然而,对于要求高质量的翻译任务,特别是在高分辨率和照片写实主义下,它仍然非常具有挑战性。在本文中,我们提出了区分区域建议对抗网络(DRPAN),用于高质量的图像到图像的翻译。我们将图像到图像的翻译任务分解为三个迭代步骤,第一步是生成具有全局结构但有一些局部伪影的图像(通过GAN),第二步是使用我们的DRPnet从生成的图像中提出最虚假的区域,第三步是通过修订器在最虚假的区域上实现“图像修补“以获得更真实的结果,使得系统(DRPAN)可以被逐渐优化以合成图像,其中更多地关注最伪影局部部分。在各种图像到图像翻译任务和数据集上的实验验证了我们的方法在人类感知研究和自动定量测量方面都优于最先进的方法,可以产生高质量的翻译结果。
2018-08-06 cs.CV
Conditional Image-to-Image Translation
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
图像到图像的翻译任务已经被生成对抗网络(GANs)和双重学习广泛研究。然而,现有的模型缺乏在目标域中控制翻译结果的能力,并且它们的结果通常缺乏多样性,在这个意义上,固定的图像通常导致(几乎)确定性的翻译结果。在本文中,我们研究了一个新的问题,有条件的图像到图像的翻译,这是从源域的图像到目标域的给定图像的条件。它要求生成的图像应该从目标领域继承条件图像的某些特定领域的特征。因此,改变目标域中的条件图像将导致对于来自源域的固定输入图像的不同翻译结果,并且因此条件输入图像有助于控制翻译结果。我们使用基于GANs和双重学习的未配对数据来解决这个问题。我们将两个条件翻译模型(一个从A域到B域的翻译,另一个从B域到A域的翻译)扭曲在一起,用于输入组合和重建,同时保留域独立的特征。我们进行了实验,从男人的脸到女人的脸翻译和边缘鞋和包的翻译。实验结果证明了该方法的有效性。
2018-05-01 cs.CV
Unbalanced Feature Transport for Exemplar-based Image Translation
Nanyang Technological University(南洋理工大学)
尽管GANs在具有不同条件输入(如语义分割和边缘图)的图像翻译中取得了巨大成功,但生成具有参考样式的高保真逼真图像仍然是条件图像到图像翻译中的巨大挑战。本文提出了一个通用的图像翻译框架,它结合了最优传输的图像翻译中的条件输入和风格范例之间的特征对齐。最优传输的引入大大减轻了多对一特征匹配的约束,同时在条件输入和样本之间建立了准确的语义对应。我们设计了一种新的不平衡最优传输,以解决条件输入和样本之间广泛存在的偏差分布的功能之间的传输。此外,我们设计了一个语义激活规范化方案,成功地将范例的风格特征注入到图像翻译过程中。多个图像翻译任务的大量实验表明,我们的方法实现了卓越的图像翻译质量和定量相比,国家的最先进的。
2021-06-19 cs.CV
Unpaired Image-to-Image Translation using Adversarial Consistency Loss
Peking University(北京大学);Peng Cheng Lab(鹏城实验室)
非配对图像间转换是一类视觉问题,其目标是利用非配对的训练数据找到不同图像域之间的映射。循环一致性损失是一个广泛使用的约束,这样的问题。然而,由于严格的像素级约束,它不能执行几何变化,删除大对象,或忽略无关的纹理。在本文中,我们提出了一种新的对抗一致性损失的图像到图像的翻译。这种损失不需要将转换后的图像转换回特定的源图像,但是可以鼓励转换后的图像保留源图像的重要特征,并克服上述周期一致性损失的缺点。我们的方法在三个具有挑战性的任务上取得了最先进的结果:眼镜移除,男性到女性的翻译和自拍到动漫的翻译。
2021-01-18 cs.CV
Novel computational workflows for natural and biomedical image processing based on hypercomplex algebras
Applied Tumor Immunity Clinical Cooperation Unit, National Center for Tumor Diseases (NCT) Heidelberg, German Cancer Research Center (DKFZ)(应用肿瘤免疫临床合作单元、国家肿瘤疾病中心(NCT)海德堡、德国癌症研究中心(DKFZ));Medical Faculty Heidelberg, Heidelberg University, Department of Medical Oncology, Heidelberg University Hospital (UKHD)(海德堡医学学院、海德堡大学、医学肿瘤科、海德堡大学医院(UKHD));Center for Quantitative Analysis of Molecular and Cellular Biosystems (Bioquant), Heidelberg University(分子和细胞生物系统定量分析中心(Bioquant)、海德堡大学);College of Liberal Arts, International Christian University, Osawa 3-10-2, 181-8585 Mitaka, Tokyo, Japan(文理学院、国际基督教大学、Osawa 3-10-2, 181-8585 Mitaka, Tokyo, Japan);Department of Medical Oncology, National Center for Tumor Diseases (NCT) Heidelberg, Heidelberg University Hospital (UKHD)(医学肿瘤科、国家肿瘤疾病中心(NCT)海德堡、海德堡大学医院(UKHD));Synaptiq, Str. Clinicilor 23, 400006, Cluj-Napoca, Romania(Synaptiq、Str. Clinicilor 23, 400006, Cluj-Napoca, Romania);Division of Applied Bioinformatics, German Cancer Research Center (DKFZ)(应用生物信息学部门、德国癌症研究中心(DKFZ))
本文提出基于四元数与二维正交平面分解的非数据驱动超复图像处理工作流,用于重着色、去色、增强、染色分离及提升组织学学习模型性能。
2025-08-01 cs.CV cs.LG
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab(腾讯人工智能实验室);Fudan University(复旦大学)
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而,当图像分辨率较高或两个图像域具有显著的外观差异时,例如Cityscapes数据集中语义布局和自然图像之间的转换,这种无监督方法可能会生成较差的结果。在本文中,我们提出了一种新的堆叠循环一致性对抗网络(SCANs),通过将单个翻译分解为多阶段变换,不仅提高了图像翻译质量,而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外,为了适当地利用来自前一级的信息,设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明,与以前的单阶段无监督方法相比,我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
Retrieval Guided Unsupervised Multi-domain Image-to-Image Translation
Centre Tecnològic de Catalunya(加泰罗尼亚技术中心);Computer Vision Center(计算机视觉中心);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Huawei Research(华为研究院)
图像到图像翻译旨在学习将图像从一个视觉域转换到另一个视觉域的映射。最近的工作假设,图像描述符可以分解为域不变的内容表示和域特定的风格表示。因此,翻译模型试图保留源图像的内容,同时将风格改变为目标视觉域。然而,合成新图像是极具挑战性的,尤其是在多领域翻译中,因为网络必须组合内容和风格,以在多个领域生成可靠和多样化的图像。在本文中,我们提出了使用图像检索系统,以协助图像到图像的翻译任务。首先,我们训练一个图像到图像的转换模型,以将图像映射到多个域。然后,我们训练一个图像检索模型,使用真实的和生成的图像,找到类似的查询一个在内容,但在不同的领域。最后,我们利用图像检索系统来微调图像到图像的翻译模型,并生成更高质量的图像。我们的实验表明了所提出的解决方案的有效性,并突出了检索网络的贡献,它可以受益于额外的未标记数据,并在数据稀缺的情况下帮助图像到图像的翻译模型。
2020-08-11 cs.CV
In2I : Unsupervised Multi-Image-to-Image Translation Using Generative Adversarial Networks
Rutgers University(罗格斯大学)
在无监督图像到图像翻译中,目标是使用一组未配对的训练图像来学习输入图像和输出图像之间的映射。在本文中,我们提出了一个扩展的无监督图像到图像的翻译问题的多输入设置。给定来自多个模态的一组配对图像,学习变换以将输入转换到指定的域。为此,我们引入了一个基于生成对抗网络(GAN)的框架,以及一个多模态生成器结构和一个新的损失项,潜在的一致性损失。通过各种实验,我们表明,利用多个输入一般提高翻译图像的视觉质量。此外,我们表明,该方法优于目前最先进的无监督图像到图像的翻译方法。
2017-11-26 cs.CV
ITTR: Unpaired Image-to-Image Translation with Transformers
Beijing University of Posts and Telecommunications(北京邮电大学);Kuaishou Technology(快手科技)
非配对图像到图像转换是指在没有配对训练数据的情况下将图像从源域转换到目标域。通过利用CNN提取局部语义,已经开发了各种技术来提高翻译性能。然而,基于CNN的生成器缺乏捕获长距离依赖以充分利用全局语义的能力。最近,视觉Transformer已经被广泛研究用于识别任务。虽然很吸引人,但由于生成困难和计算限制,将基于图像的视觉Transformer简单地转换为图像到图像的变换是不合适的。在本文中,我们提出了一个有效的和高效的架构不成对的图像到图像的翻译与Transformers(ITTR)。它有两个主要设计:1)混合感知块(HPB)用于混合来自不同感受野的标记以利用全局语义; 2)双修剪自注意(DPSA)用于大幅降低计算复杂性。我们的ITTR在六个基准数据集上的未配对图像到图像翻译方面优于最先进的技术。
2022-03-30 cs.CV
Unaligned Image-to-Image Translation by Learning to Reweight
Carnegie Mellon University(卡内基梅隆大学);The University of Melbourne(墨尔本大学);University of Pittsburgh(匹兹堡大学)
无监督图像到图像翻译的目的是学习从源到目标域的映射,而不使用成对的图像进行训练。无监督图像平移的一个基本但限制性的假设是两个域是对齐的,例如,对于selfie2anime任务,anime(selfie)域必须仅包含可以被转换为其它域中的某些图像的anime(selfie)面部图像。收集对齐的域可能是费力的,需要大量的注意力。在本文中,我们考虑两个未对齐的域之间的图像翻译的任务,这可能会出现各种可能的原因。为了解决这个问题,我们提出了选择图像的重要性重新加权的基础上,并开发了一种方法来学习的权重,并同时自动执行翻译。我们比较了所提出的方法与国家的最先进的图像翻译方法,并提出了定性和定量的结果与不对齐域的不同任务。大量的经验证据表明,所提出的问题制定和我们的方法的优越性的有用性。
2021-09-24 cs.CV
TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation
SenseTime Research(商汤科技研究院);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学)
无监督图像到图像翻译旨在学习两个视觉域之间的映射。然而,学习跨越大的几何变化的平移总是以失败告终。在这项工作中,我们提出了一种新的解开和翻译框架,以解决复杂的对象图像到图像的翻译任务。我们不是直接学习图像空间上的映射,而是将图像空间分解为外观空间和几何潜空间的笛卡尔乘积。具体来说,我们首先引入几何先验损失和条件VAE损失,以鼓励网络学习独立但互补的表示。然后分别在外观和几何空间上构建平移。大量的实验表明,我们的方法优于其他国家的最先进的方法,特别是在具有挑战性的近刚性和非刚性物体的翻译任务的性能。此外,通过采用不同的范例作为外观参考,我们的方法也支持多模态翻译。项目页面:https://wywu.github.io/projects/TGaGa/TGaGa.html
2019-04-21 cs.CV
GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation
Simon Fraser University(西蒙弗雷泽大学);Brown University(布朗大学);Tel Aviv University(特拉维夫大学)
我们介绍GANHopper,这是一种无监督的图像到图像翻译网络,通过多跳在两个域之间逐渐转换图像。我们不是直接执行翻译,而是通过要求网络产生类似于输入域图像之间的加权混合的中间图像来引导翻译。我们的网络只在两个域的未配对图像上训练,没有任何中间图像。所有的跳跃都是使用一个单一的发生器沿每个方向产生的。除了标准的周期一致性和对抗性损失,我们引入了一个新的混合网络,该网络经过训练,可以将生成器生成的中间图像分类为加权混合图像,其权重基于预定的跳数。我们还添加了一个平滑项来约束每一跳的大小,进一步正则化平移。与以前的方法相比,GANHopper在涉及特定领域图像特征和几何变化的图像翻译方面表现出色,同时还保留了非特定领域的特征,如通用配色方案。
2020-07-29 cs.CV
Exploring Patch-wise Semantic Relation for Contrastive Learning in Image-to-Image Translation Tasks
KAIST(韩国科学技术院)
最近,已经提出了基于对比学习的图像翻译方法,其对比不同的空间位置以增强空间对应性。然而,这些方法往往忽略了图像内部的语义关系。为了解决这个问题,在这里,我们提出了一种新的语义关系一致性(SRC)正则化以及解耦的对比学习,它利用不同的语义集中在一个单一的图像块之间的异构语义。为了进一步提高性能,我们提出了一个硬否定挖掘利用语义关系。我们验证了我们的方法的三个任务:单模态和多模态图像翻译,和GAN压缩任务的图像翻译。实验结果证实了我们的方法在所有三个任务的最先进的性能。
2022-03-03 cs.CV
Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution
Yonsei University(延世大学)
在过去的几年中,已经提出了图像到图像(I2I)翻译方法来将给定图像翻译成不同的输出。尽管取得了令人印象深刻的成果,但他们主要集中在两个域之间的I2I翻译,因此多域I2I翻译仍然是一个挑战。为了解决这个问题,我们提出了一种新的多域无监督图像到图像翻译(MDUIT)框架,该框架利用分解的内容特征和外观自适应卷积将图像转换为目标外观,同时保留给定的几何内容。我们还开发了一个对比度学习目标,它提高了解纠缠能力,并通过配对语义相似的图像,有效地利用多域图像数据在训练过程中。这使得我们的方法可以只用一个框架来学习多个视觉域之间的不同映射。我们表明,所提出的方法在多个领域产生视觉多样性和合理的结果相比,国家的最先进的方法。
2022-02-06 cs.CV