Contrastive Learning for Unsupervised Image-to-Image Translation
Seoul National University（首尔大学）
图像到图像翻译旨在学习不同视觉可区分图像组之间的映射。虽然最近的方法已经显示出令人印象深刻的改变图像复杂外观的能力，但它们仍然依赖于域标签来训练模型以区分不同的视觉特征。这种对标签的依赖往往大大限制了应用范围，因为一致和高质量的标签是昂贵的。相反，我们希望从图像本身捕获视觉特征，并将其应用于实现逼真的翻译，而无需人工生成标签。为此，我们提出了一种基于对比学习的无监督图像到图像的翻译方法。关键的想法是学习一个区分不同风格的生成器，并让生成器监督生成器在图像之间传输这些风格。在训练过程中，我们随机抽取一对图像，并训练生成器将一个图像的外观改变为另一个图像，同时保持原始结构。实验结果表明，我们的方法优于领先的无监督基线的视觉质量和翻译精度。
2021-05-07 cs.CV
IR2VI: Enhanced Night Environmental Perception by Unsupervised Thermal Image Translation
University of British Columbia（不列颠哥伦比亚大学）；Toyota Institute of Technology（丰田工业大学）；Air Force Research Laboratory（空军研究实验室）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
背景增强对于夜视（NV）应用至关重要，特别是对于没有任何人工照明的黑暗夜晚情况。在本文中，我们提出了红外到视觉（IR2VI）算法，这是一种基于生成对抗网络（GANs）的新型无监督热到可见光图像翻译框架。IR2VI能够从VI图像中学习固有特征并将其集成到IR图像中。由于现有的基于无监督GAN的图像翻译方法面临着一些挑战，例如不正确的映射和缺乏细节，我们提出了一个结构连接模块和一个感兴趣区域（ROI）焦点丢失方法来解决当前的限制。实验结果表明，IR2VI算法优于基线方法。
2018-06-25 cs.CV
Unsupervised Image-to-Image Translation with Self-Attention Networks
Sejong Academy of Science and Arts（世宗科学艺术学院）；Boeing Korea Engineering and Technology Center (BKETC)（波音韩国工程技术中心（BKETC））
无监督图像翻译的目的是在给定不成对的训练数据的情况下学习从源域到另一目标域的变换。一些最先进的作品在基于GANs的无监督图像到图像翻译中取得了令人印象深刻的结果。与局部纹理映射任务（如样式转换）相比，它无法捕获域之间强烈的几何或结构变化，或者对复杂场景产生不令人满意的结果。最近，SAGAN（Han Zhang，2018）表明自注意力网络比基于卷积的GAN产生更好的结果。然而，自注意力网络在无监督图像到图像翻译任务中的有效性尚未得到验证。在本文中，我们提出了一种具有自注意网络的无监督图像到图像的翻译，其中长范围依赖性不仅有助于捕获强烈的几何变化，而且还可以使用来自所有特征位置的线索生成细节。在实验中，我们定性和定量地显示所提出的方法相比，现有的国家的最先进的无监督图像到图像的翻译任务的优越性。源代码和我们的结果都在网上：https://github.com/itsss/img2img_sa和http://itsc.kr/2019/01/24/2019_img2img_sa
2020-04-20 cs.CV
Learning Unsupervised Cross-domain Image-to-Image Translation Using a Shared Discriminator
Indian Institute of Technology Bombay（印度理工学院孟买分校）
无监督图像到图像转换用于将来自源域的图像变换为在目标域中生成图像，而不使用源-目标图像对。在对抗环境中使用两个独立的GANs和注意力机制已经为这个问题获得了有希望的结果。我们提出了一种新的方法，该方法在两个GANs之间使用单个共享节点，从而提高了整体效率。我们评估定性和定量的结果图像变形，跨域翻译任务，在目标域共享相似的语义源域的设置。我们的结果表明，即使没有添加注意力机制，我们的方法的性能也与基于注意力的方法相当，并生成质量相当的图像。
2021-02-09 cs.CV
Semantically Consistent Image-to-Image Translation for Unsupervised Domain Adaptation
University of Augsburg（奥格斯堡大学）
无监督领域自适应（UDA）旨在将在源域上训练的模型适应到没有标记数据可用的新目标域。在这项工作中，我们调查的问题UDA从一个合成的计算机生成的域到一个类似的，但现实世界的域学习语义分割。我们提出了一个语义一致的图像到图像的翻译方法结合一致性正则化方法的UDA。我们克服了以前的限制，将合成图像转换为真实的图像。我们利用伪标签来学习一个生成的图像到图像翻译模型，该模型从两个域上的语义标签接收额外的反馈。我们的方法在相关领域自适应基准上优于结合图像到图像转换和半监督学习的最先进方法，即，GTA5到Cityscapes和SYNTHIA到Cityscapes。
2021-11-25 cs.CV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
这项工作介绍了一种新的GAN架构，用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中，同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换（如傅立叶变换）的潜力。与仅使用空间注意力的基线模型相比，该模型进行了训练和测试。我们的方法的性能改善是显着的，特别是当源和目标域包括不同的复杂度（减少FID从142.84到49.18）。在平移过程中，由于FFT和频谱注意的实现，引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution
Yonsei University（延世大学）
在过去的几年中，已经提出了图像到图像（I2I）翻译方法来将给定图像翻译成不同的输出。尽管取得了令人印象深刻的成果，但他们主要集中在两个域之间的I2I翻译，因此多域I2I翻译仍然是一个挑战。为了解决这个问题，我们提出了一种新的多域无监督图像到图像翻译（MDUIT）框架，该框架利用分解的内容特征和外观自适应卷积将图像转换为目标外观，同时保留给定的几何内容。我们还开发了一个对比度学习目标，它提高了解纠缠能力，并通过配对语义相似的图像，有效地利用多域图像数据在训练过程中。这使得我们的方法可以只用一个框架来学习多个视觉域之间的不同映射。我们表明，所提出的方法在多个领域产生视觉多样性和合理的结果相比，国家的最先进的方法。
2022-02-06 cs.CV
Dual Contrastive Learning for Unsupervised Image-to-Image Translation
DATA61-CSIRO（澳大利亚联邦科学与工业研究组织数据61）；Australian National University（澳大利亚国立大学）
无监督图像到图像翻译任务旨在从不成对的训练数据中找到源域X和目标域Y之间的映射。针对未配对图像到图像翻译（CUT）的对比学习通过针对两个域仅使用一个编码器来最大化输入和输出补丁之间的互信息，在对无监督图像到图像翻译进行建模方面产生最先进的结果。在本文中，我们提出了一种新的方法，基于对比学习和双学习设置（利用两个编码器），以推断不成对数据之间的有效映射。此外，虽然CUT遭受模式坍塌，我们的方法的变体有效地解决了这个问题。我们进一步证明了我们的方法的优势，通过广泛的消融研究，表现出优越的性能相比，最近的方法在多个具有挑战性的图像翻译任务。最后，我们证明了无监督方法和监督方法之间的差距可以有效地关闭。
2021-04-15 cs.CV eess.IV
Unsupervised Attention-guided Image to Image Translation
University of Bath（巴斯大学）；Brown University（布朗大学）
目前的无监督图像到图像翻译技术努力将注意力集中在单个对象上，而不改变背景或多个对象在场景中交互的方式。受注意力在人类感知中的重要作用的启发，我们通过引入无监督的注意力机制来解决这一限制，该机制与生成器和判别器一起进行对抗训练。我们定性和定量地证明，我们的方法是能够参加图像中的相关区域，而不需要监督，并通过这样做，它实现了更现实的映射相比，最近的方法。
2018-11-08 cs.AI cs.CV
TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation
SenseTime Research（商汤科技研究院）；Stanford University（斯坦福大学）；Nanyang Technological University（南洋理工大学）
无监督图像到图像翻译旨在学习两个视觉域之间的映射。然而，学习跨越大的几何变化的平移总是以失败告终。在这项工作中，我们提出了一种新的解开和翻译框架，以解决复杂的对象图像到图像的翻译任务。我们不是直接学习图像空间上的映射，而是将图像空间分解为外观空间和几何潜空间的笛卡尔乘积。具体来说，我们首先引入几何先验损失和条件VAE损失，以鼓励网络学习独立但互补的表示。然后分别在外观和几何空间上构建平移。大量的实验表明，我们的方法优于其他国家的最先进的方法，特别是在具有挑战性的近刚性和非刚性物体的翻译任务的性能。此外，通过采用不同的范例作为外观参考，我们的方法也支持多模态翻译。项目页面：https://wywu.github.io/projects/TGaGa/TGaGa.html
2019-04-21 cs.CV
The Surprising Effectiveness of Linear Unsupervised Image-to-Image Translation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
无监督图像到图像的翻译是一个固有的不适定问题。最近基于深度编码器-解码器架构的方法已经显示出令人印象深刻的结果，但我们表明，它们只会由于强烈的局部偏差而成功，并且它们无法学习非常简单的非局部变换（例如，将颠倒的脸映射到直立的脸）。当去除局部偏差时，这些方法过于强大，可能无法学习简单的局部变换。在本文中，我们介绍了线性编码器-解码器架构的无监督图像到图像的翻译。我们表明，学习更容易和更快的这些架构，但结果是令人惊讶的有效。特别是，我们展示了一些局部问题，其中线性方法的结果与最先进的体系结构的结果相当，但只需要一小部分训练时间，以及一些非局部问题，其中最先进的体系结构失败，而线性方法成功。
2020-07-24 cs.CV
Toward Zero-Shot Unsupervised Image-to-Image Translation
Peking University（北京大学）；Tencent Inc.（腾讯公司）
最近的研究表明，在无监督的图像到图像的翻译显着的成功。然而，如果不能访问目标类中的足够图像，则学习从源类到目标类的映射总是遭受模式坍塌，这限制了现有方法的应用。在这项工作中，我们提出了一个zero-shot无监督的图像到图像的翻译框架，以解决这一限制，通过关联类别与他们的边信息，如属性。为了将翻译器推广到以前看不见的类，我们引入了两种策略来利用语义属性所跨越的空间。具体来说，我们建议保留语义关系的视觉空间和扩展属性空间，利用属性向量的看不见的类，从而鼓励译者探索模式的看不见的类。在不同数据集上的定量和定性结果证明了我们所提出的方法的有效性。此外，我们证明了我们的框架可以应用于许多任务，如zero-shot分类和时装设计。
2020-07-28 cs.CV
Improving Shape Deformation in Unsupervised Image-to-Image Translation
Brown University, USA（美国布朗大学）；University of Bath, UK（英国巴斯大学）
无监督的图像到图像的翻译技术能够映射两个域之间的局部纹理，但它们通常是不成功的域时，需要更大的形状变化。受语义分割的启发，我们引入了一个具有膨胀卷积的神经网络，它能够使用整个图像的信息来训练一个更具上下文感知的生成器。这与多尺度感知损失相结合，该多尺度感知损失能够更好地表示对象的底层形状中的错误。我们证明，这种设计更能够表示具有挑战性的玩具数据集中的形状变形，再加上人类，玩偶和动漫脸之间以及猫和狗之间的复杂映射，数据集差异很大。
2019-01-17 cs.CV
GMM-UNIT: Unsupervised Multi-Domain and Multi-Modal Image-to-Image Translation via Attribute Gaussian Mixture Modeling
FBK（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部）
无监督图像到图像翻译（UNIT）旨在通过使用未配对的训练图像来学习多个视觉域之间的映射。最近的研究表明，多个领域取得了显着的成功，但他们遭受两个主要的限制：他们要么是建立在几个两个域的映射，需要独立学习，或者他们产生低多样性的结果，一个问题被称为模式坍塌。为了克服这些局限性，我们提出了一种名为GMM-UNIT的方法，它是基于一个内容-属性的解纠缠表示，其中的属性空间与GMM拟合。每个GMM组件代表一个域，这个简单的假设有两个突出的优点。首先，它可以很容易地扩展到大多数多域和多模态图像到图像翻译任务。其次，连续域编码允许域之间的内插以及外推到看不见的域和平移。此外，我们还展示了GMM-UNIT如何被约束到文献中的不同方法，这意味着GMM-UNIT是无监督图像到图像翻译的统一框架。
2020-03-21 cs.CV
GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation
Simon Fraser University（西蒙弗雷泽大学）；Brown University（布朗大学）；Tel Aviv University（特拉维夫大学）
我们介绍GANHopper，这是一种无监督的图像到图像翻译网络，通过多跳在两个域之间逐渐转换图像。我们不是直接执行翻译，而是通过要求网络产生类似于输入域图像之间的加权混合的中间图像来引导翻译。我们的网络只在两个域的未配对图像上训练，没有任何中间图像。所有的跳跃都是使用一个单一的发生器沿每个方向产生的。除了标准的周期一致性和对抗性损失，我们引入了一个新的混合网络，该网络经过训练，可以将生成器生成的中间图像分类为加权混合图像，其权重基于预定的跳数。我们还添加了一个平滑项来约束每一跳的大小，进一步正则化平移。与以前的方法相比，GANHopper在涉及特定领域图像特征和几何变化的图像翻译方面表现出色，同时还保留了非特定领域的特征，如通用配色方案。
2020-07-29 cs.CV
Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University（南洋理工大学）
无监督图像到图像翻译旨在学习两个视觉域之间的翻译，而无需配对数据。尽管最近在图像翻译模型方面取得了进展，但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中，我们提出了一个新的框架，生成先验指导的无监督图像到图像翻译（GP-UNIT），以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验（例如，BigGAN）来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案：我们首先提取生成之前捕获一个强大的粗层次的内容表示，可以在抽象的语义层次上链接对象，在此基础上，细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大，高质量和多样化的翻译方面优于最先进的方法，即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder
Boston University（波士顿大学）；NVIDIA（英伟达）
无监督图像到图像翻译旨在学习给定域中的图像到不同域中的类似图像的映射，而无需对映射进行显式监督。Few-Shot无监督图像到图像转换进一步尝试通过利用在推理时提供的未见过域的示例图像来将模型推广到未见过域。虽然非常成功，但现有的Few-Shot图像到图像翻译模型发现难以在模拟看不见的域的外观的同时保留输入图像的结构，我们将其称为内容丢失问题。当输入图像和示例图像中的对象的姿态非常不同时，这是特别严重的。为了解决这个问题，我们提出了一个新的Few-Shot图像翻译模型，COCO-FUNIT，它计算的输入图像和一个新的模块称为恒定的风格偏差的条件下的示例图像的风格嵌入。通过大量的实验验证与比较的国家的最先进的，我们的模型显示出有效性，在解决内容丢失的问题。有关代码和预训练模型，请访问https://nvlabs.github.io/COCO-FUNIT/。
2020-07-29 cs.CV
Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation
Tel Aviv University（特拉维夫大学）；Elbit Systems（埃尔比特系统公司）
许多应用，如自动驾驶，严重依赖于多模态数据，其中需要模态之间的空间对齐。大多数多模态配准方法使用流行的跨模态相似性度量来计算图像之间的空间对应关系。在这项工作中，我们绕过了开发跨模态相似性度量的困难，通过在两种输入模态上训练图像到图像的翻译网络。这种学习的转换允许使用简单可靠的单模态度量来训练配准网络。我们使用两个网络执行多模态配准-空间变换网络和平移网络。我们表明，通过鼓励我们的平移网络保持几何形状，我们设法训练一个准确的空间变换网络。与最先进的多模态方法相比，我们提出的方法是无监督的，不需要成对的对齐模态进行训练，并且可以适应任何一对模态。我们在商业数据集上定量和定性地评估了我们的方法，结果表明它在几种模式上表现良好，并实现了准确的对齐。
2020-03-18 cs.CV
XOGAN: One-to-Many Unsupervised Image-to-Image Translation
Department of Computer Science and Engineering Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）；Hong Kong University of Science and Technology（香港科技大学）
无监督图像到图像翻译的目的是在没有监督对信息的情况下学习来自两个图像域的样本之间的关系。两个域图像之间的关系可以是一对一、一对多或多对多。在本文中，我们研究了一对多的无监督图像翻译问题，其中一个域的输入样本可以对应到另一个域的多个样本。为了了解这两个域之间的复杂关系，我们引入了一个额外的变量来控制一对多映射中的变化。本文提出了一种具有XO结构的生成式模型XOGAN，用于学习两个领域和广告变量之间的跨领域关系。我们不仅可以学习在两个图像域之间进行翻译，还可以处理具有其他变化的翻译图像。在非配对图像生成任务上进行了实验，包括边缘到对象的翻译和面部图像翻译。我们表明，建议的XOGAN模型可以生成合理的图像和控制的变化，如颜色和纹理，所生成的图像。此外，虽然最先进的不成对图像生成算法倾向于生成具有单调颜色的图像，但XOGAN可以生成更多样化的结果。
2018-05-18 cs.CV
Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation
South China University of Technology（华南理工大学）；Rochester Institute of Technology（罗切斯特理工学院）
在临床实践中，诸如磁共振（MR）和计算机断层扫描（CT）的良好对准的多模态图像一起可以为图像引导的治疗提供补充信息。多模态图像配准对于这些多模态图像的精确对准是必不可少的。然而，它仍然是一个非常具有挑战性的任务，由于复杂和未知的空间之间的对应关系不同的方式。在本文中，我们提出了一种新的基于投影的无监督可变形图像配准方法，将多模态配准问题转化为单模态配准问题。具体来说，我们的方法采用了无判别式的翻译网络来促进注册网络的训练，并采用了补丁式对比损失来鼓励翻译网络保留对象形状。此外，我们建议取代对抗损失，这是广泛使用的在以前的多模态图像配准方法，与像素损失，以整合到目标模态的输出的翻译。这导致了一种无监督的方法，不需要地面真实变形或成对的对齐图像进行训练。我们在公共Learn 2 Reg 2021数据集\cite{hering2021learn2reg}上评估了我们方法的四种变体。实验结果表明，该架构达到了最先进的性能。我们的代码可在https://github.com/heyblackC/DFMIR上获得。
2022-04-28 cs.CV
Rethinking the Truly Unsupervised Image-to-Image Translation
Yonsei University（延世大学）；NAVER AI Lab（NAVER AI实验室）；UNIST（蔚山科学技术院）
每一个最近的图像到图像的翻译模型本质上需要图像级（即输入输出对）或设置级（即域标签）的监督。然而，在实践中，即使是设置级别的监督也可能成为数据汇集的严重瓶颈。在本文中，我们在完全无监督的环境中处理图像到图像的翻译，即，既不是成对的图像也不是域标签。为此，我们提出了一个真正无监督的图像到图像翻译模型（TUNIT），同时学习分离图像域并将输入图像转换为估计域。实验结果表明，我们的模型实现了与使用全标签训练的集合级监督模型相当甚至更好的性能，在各种数据集上具有很好的泛化能力，并且对超参数的选择（例如预设数量的伪域）具有鲁棒性。此外，TUNIT可以很容易地扩展到半监督学习与一些标记的数据。
2021-08-20 cs.CV cs.LG
Semantically Robust Unsupervised Image Translation for Paired Remote Sensing Images
Shandong University of Science and Technology（山东科技大学）；Xi’an Jiaotong University（西安交通大学）
针对双时相遥感图像无监督翻译需语义保留和确定性输出的问题，提出SRUIT方法，通过共享生成器高层网络层、引入跨周期一致对抗网络，实现语义鲁棒的确定性翻译，提升感知质量与语义保留能力。
2025-02-17 cs.CV
Unsupervised Image-to-Image Translation Using Domain-Specific Variational Information Bound
West Virginia University（西弗吉尼亚大学）
无监督图像到图像的翻译是一类计算机视觉问题，其目的是在给定源域和目标域中的一组不成对图像的情况下，对目标域中图像的条件分布进行建模。源域中的图像在目标域中可能具有多个表示。因此，在条件分布的建模中出现模糊性，特别是当源域和目标域中的图像来自不同模态时。目前的方法主要依赖于简化的假设映射到一个共享的潜在空间的两个域。因此，它们只能对两种模态之间的域不变信息进行建模。这些方法通常无法对在目标域中没有表示的特定于域的信息进行建模。在这项工作中，我们提出了一个无监督的图像到图像的翻译框架，最大限度地提高了特定领域的变分信息界，并学习目标域不变表示的两个域。所提出的框架使得有可能将单个源图像映射成目标域中的多个图像，利用从先验分布中随机采样的或从参考图像中提取的多个目标域特定代码。
2018-11-29 cs.CV
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London（帝国理工学院）；Indian Institute of Technology（印度理工学院）
自动将图像从其原始形式转换为某种合成形式（样式，部分内容等）非常有用，同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题，并提出了一种基于深度卷积和条件生成对抗网络（GANs）的通用方法来实现它，自2014年以来，该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中，我们开发了一种两步（无监督）学习方法，通过使用未标记的图像在不同的域之间转换图像，而不指定它们之间的任何对应关系，从而避免了获取标记数据的成本。与以往的工作相比，我们证明了我们的模型的通用性，通过这种能力，翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Few-Shot Unsupervised Image-to-Image Translation on complex scenes
无监督图像到图像翻译方法在过去几年中受到了广泛的关注。出现了多种技术，从不同的角度应对最初的挑战。一些专注于尽可能多地从多个目标样式图像中学习以进行翻译，而另一些则利用目标检测来在内容丰富的场景中产生更逼真的结果。在这项工作中，我们评估了一种最初为单个对象翻译开发的方法如何在更多样化和内容丰富的图像上执行。我们的工作基于FUNIT[1]框架，我们用更多样化的数据集对其进行训练。这有助于理解这种方法在其初始应用框架之外的行为。提出了一种基于目标检测的数据集扩展方法。此外，我们提出了一种方法来适应FUNIT框架，以利用目标检测的力量，可以看到在其他方法。
2021-06-07 cs.CV cs.LG
Disentangled Unsupervised Image Translation via Restricted Information Flow
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
无监督图像到图像翻译方法旨在将来自一个域的图像映射到来自另一个域的合理示例，同时保留两个域之间共享的结构。在多对多设置中，来自目标域的附加引导示例用于确定所生成的图像的域特定属性。在没有属性注释的情况下，方法必须在训练期间从数据中推断出哪些因素特定于每个域。许多最先进的方法将所需的共享与特定拆分硬编码到其架构中，严重限制了问题的范围。在本文中，我们提出了一种新的方法，不依赖于这种归纳架构的偏见，并推断哪些属性是特定于域的数据通过限制信息流通过网络使用翻译诚实损失和惩罚的能力特定于域的嵌入。我们表明，所提出的方法在两个合成和一个自然的数据集跨越各种领域特定的和共享的属性实现了一致的高操作精度。
2021-11-26 cs.CV
SPatchGAN: A Statistical Feature Based Discriminator for Unsupervised Image-to-Image Translation
NetEase Games AI Lab（网易游戏AI实验室）
对于无监督的图像到图像的翻译，我们提出了一种新的架构，专注于统计特征，而不是个别补丁。通过在多个尺度上对关键统计特征进行分布匹配来稳定网络。与现有的方法施加越来越多的约束的发生器，我们的方法有利于形状变形，并增强了精细的细节，大大简化了框架。我们表明，所提出的方法优于现有的最先进的模型在各种具有挑战性的应用，包括自拍到动漫，男性到女性和眼镜去除。
2021-08-27 cs.AI cs.CV cs.LG
Learning Cycle-Consistent Cooperative Networks via Alternating MCMC Teaching for Unsupervised Cross-Domain Translation
Cognitive Computing Lab, Baidu Research（百度研究院认知计算实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；Massachusetts Institute of Technology（麻省理工学院）；Tsinghua University（清华大学）；Peking University（北京大学）
本文提出了一种生成式框架来研究无监督跨域翻译问题。在该框架中，每个域的概率分布由一个生成式合作网络来表示，该网络由一个基于能量的模型和一个隐变量模型组成。生成式协作网络的使用使领域模型的最大似然学习通过MCMC教学，其中基于能量的模型试图拟合领域的数据分布，并通过MCMC提取其知识到潜变量模型。具体地，在MCMC教导过程中，由编码器-解码器参数化的潜变量模型将示例从源域映射到目标域，而基于能量的模型通过Langevin修正进一步细化映射结果，使得修正结果在统计特性方面与目标域中的示例匹配，所述统计特性由学习的能量函数定义。为了建立两个不成对域之间的对应关系，该框架同时学习一对具有循环一致性的合作网络，通过交替MCMC教学来解释两个域之间的双向翻译。实验结果表明，该框架对于无监督的图像到图像的翻译和不成对的图像序列的翻译是有用的。
2021-03-07 cs.CV
CerfGAN: A Compact, Effective, Robust, and Fast Model for Unsupervised Multi-Domain Image-to-Image Translation
Xiamen University（厦门大学）；Xidian University（西安电子科技大学）
在本文中，我们的目标是解决多领域的图像到图像的翻译问题，在一个统一的模型，在无监督的方式。这方面最成功的工作是StarGAN，它在人脸属性调制等任务中表现良好。然而，StarGAN在遇到具有非常多样化的域转换的一般翻译时无法匹配多个翻译映射。另一方面，StarGAN采用编码器-解码器-鉴别器（EDD）架构，其中模型对于训练是耗时且不稳定的。为此，我们提出了一种紧凑，有效，鲁棒，快速的GAN模型，称为Cerf GAN，以解决上述问题。原则上，CerfGAN包含一种新的组分，即，一个多类映射（MCD），它使模型具有非常强大的能力来匹配多个转换映射。为了稳定训练过程，MCD还在CerfGAN中扮演编码器的角色，这节省了大量的计算和内存成本。我们进行了大量的实验，以验证所提出的方法的有效性。CerfGAN被证明可以处理一系列图像到图像的翻译任务，包括风格转换，季节转换，面部幻觉等，其中输入图像是从不同的领域采样的。与最近提出的几种方法的比较证明了该方法的优越性和新颖性。
2019-01-15 cs.CV
Unsupervised Many-to-Many Image-to-Image Translation Across Multiple Domains
Sichuan University（四川大学）
无监督的多域图像到图像的转换是指在没有标记数据的情况下，将多个域之间的图像进行合成，比一对一的图像映射更加通用和复杂。然而，现有的方法主要集中在减少建模的大量成本，并没有足够的重视所生成的图像的质量。在某些目标域中，它们的翻译结果可能不符合预期，甚至出现模型崩溃。为了提高图像质量，我们提出了一个有效的多对多映射框架的无监督多域图像到图像的翻译。我们的方法有两个关键方面。第一个是一个多对多的架构，只有一个域共享的编码器和几个域专用的解码器，有效地，同时跨多个域的图像翻译。第二个是两个建议的约束扩展从一对一的映射，以进一步帮助提高生成。所有的评估表明，我们的框架是优于现有的方法，并提供了一个有效的解决方案，多域图像到图像的翻译。
2020-11-24 cs.CV cs.LG eess.IV
Latent Filter Scaling for Multimodal Unsupervised Image-to-Image Translation
King Abdullah University for Science and Technology (KAUST)（阿卜杜拉国王科技大学）
在多模态无监督图像到图像翻译任务中，目标是将图像从源域翻译为目标域中的许多图像。我们提出了一种简单的方法，产生更高质量的图像比当前国家的最先进的，同时保持相同数量的多模态多样性。以前的方法遵循尝试将潜在代码直接映射到全尺寸图像的无条件方法。这导致了复杂的网络架构，其中引入了几个超参数进行调整。通过将潜在代码视为卷积滤波器的修改器，我们产生多模态输出，同时保持传统的生成对抗网络（GAN）损失，并且没有额外的超参数。我们的方法所需的唯一调整控制生成的图像的可变性和质量之间的权衡。此外，我们实现了源域内容和目标域风格之间的免费解纠缠作为我们制定的副产品。我们进行了定性和定量实验，显示了我们的方法与多个基准图像到图像翻译数据集上的最新技术相比的优势。
2019-04-07 cs.CV
Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency
KU-Leuven/PSI（鲁汶大学/PSI）；TRACE (Toyota Res in Europe)（丰田欧洲研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ETH Zurich（苏黎世联邦理工学院）
由于深度学习的进步，图像到图像的翻译最近受到了极大的关注。大多数工作集中在学习一个一对一的映射在无监督的方式或多对多的映射在监督的方式。然而，更实际的设置是以无监督的方式进行多对多映射，由于缺乏监督以及复杂的内部和跨域变化，这很难实现。为了缓解这些问题，我们提出了示例引导和语义一致的图像到图像翻译（EGSC-IT）网络，该网络将翻译过程限制在目标域中的示例图像上。我们假设一个图像包括一个跨域共享的内容组件和一个特定于每个域的样式组件。在目标域范例的指导下，我们将自适应实例规范化应用于共享内容组件，这允许我们将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨域变化而自然出现的语义不一致，我们引入了特征掩码的概念，该特征掩码提供粗略的语义指导，而不需要使用任何语义标签。在不同数据集上的实验结果表明，EGSC-IT不仅能将源图像转换为目标域中的不同实例，而且在转换过程中保持了语义的一致性。
2019-03-13 cs.CV
Improving Unsupervised Stain-To-Stain Translation using Self-Supervision and Meta-Learning
RWTH Aachen University（亚琛工业大学）；RWTH Aachen University Hospital（亚琛工业大学医院）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
在数字病理学中，许多图像分析任务受到需要大量且耗时的手动数据注释以应对图像域中的各种可变性来源的挑战。基于图像到图像转换的无监督域自适应通过在没有手动开销的情况下解决可变性而在该领域中变得越来越重要。在这里，我们通过无监督的染色到染色翻译来处理不同组织学染色的变化，以实现深度学习分割模型的染色独立适用性。我们使用CycleGAN进行肾脏组织病理学中的染色到染色翻译，并提出了两种新方法来提高翻译效率。首先，我们将一个先验分割网络集成到CycleGAN中，通过语义指导进行自我监督的、面向应用的翻译优化，其次，我们将额外的通道合并到翻译输出中，以隐式地分离人工元信息，否则将被编码用于解决欠定重建。后者表现出部分优于未经修改的CycleGAN的性能，但前者在所有染色剂中表现最好，为大多数肾脏结构（如肾小球、肾小管和静脉）提供了78%至92%的实例级Dice评分。然而，CycleGAN在其他结构（例如动脉）的翻译中表现出有限的性能。我们的研究还发现，与原始染色中的分割相比，所有染色中的所有结构的性能都有所降低。我们的研究表明，使用当前的无监督技术，似乎不太可能产生普遍适用的模拟染色剂。
2022-05-17 cs.CV eess.IV q-bio.QM
Domain Bridge for Unpaired Image-to-Image Translation and Unsupervised Domain Adaptation
VisLab（视觉实验室）；Inria（法国国家信息与自动化研究所）；University of Parma（帕尔马大学）
图像到图像转换架构在某些情况下可能具有有限的有效性。例如，在生成下雨的场景时，他们可能无法将雨的典型特征建模为水滴，这最终影响了合成图像的真实感。使用我们的方法，称为域桥，网络抓取的数据被利用来减少域间隙，从而在生成的图像中包含以前忽略的元素。我们利用一个网络的领域桥训练的晴雨翻译，我们的工作扩展到无监督领域自适应（UDA）。在这种情况下，我们引入了一种在线多模态风格采样策略，在训练时利用图像翻译多模态来提高性能。最后，提出了一种新的自监督学习方法，并用于进一步对齐域。通过我们的贡献，我们同时提高了生成图像的真实感，同时以更简单的方法达到了与UDA最先进的性能相当的性能。
2020-03-14 cs.CV cs.LG
GAIT: Gradient Adjusted Unsupervised Image-to-Image Translation
Aselsan Inc.（阿瑟尔桑公司）；Middle East Technical University（中东技术大学）；NOROM Neuroscience and Neurotechnology Excellency Center（NOROM神经科学与神经技术卓越中心）
随着对抗性学习的发展，图像到图像翻译（IIT）近年来取得了很大的进展。在最近的大多数工作中，利用对抗损失来匹配翻译图像集和目标图像集的分布。然而，如果两个域具有不同的边缘分布，例如在均匀区域中，则这可能产生伪影。在这项工作中，我们提出了一个无监督的IIT方法，保留统一的区域后，翻译。利用梯度调整损失，其为目标图像的Sobel响应与源图像的经调整的Sobel响应之间的L2范数。所提出的方法是验证上的paulyfish-to-Haeckel数据集，这是准备演示所提到的问题，其中包含不同的背景分布的图像。我们证明了我们的方法相比基线方法获得了性能增益定性和定量，显示所提出的方法的有效性。
2020-09-02 cs.CV eess.IV
Unsupervised Latent Space Translation Network
在计算机视觉中经常讨论的一个任务是将图像从一个域映射到另一个域中的对应图像，称为图像到图像转换。目前有几种方法可以解决这个问题。在本文中，我们提出了一个增强的UNIT框架，有助于消除其主要缺点。更具体地说，我们在使用的潜在表示上引入了一个额外的对抗性代理，而不是VAE，这使得两个域的潜在空间分布相似。在MNIST和USPS领域自适应任务上，该方法大大优于竞争方法。
2020-03-20 cs.CV cs.LG eess.IV
Enhanced Unsupervised Image-to-Image Translation Using Contrastive Learning and Histogram of Oriented Gradients
本文提出基于CUT模型并结合HOG特征的增强无监督图像到图像翻译方法，通过最小化HOG特征损失保留语义结构，有效减少伪影幻觉并提升图像质量。
2024-09-26 cs.CV eess.IV
Unsupervised Image to Image Translation for Multiple Retinal Pathology Synthesis in Optical Coherence Tomography Scans
Indian Institute of Information Technology, Sri City（印度信息技术学院，斯里城）
图像到图像翻译（I2I）是一个具有挑战性的计算机视觉问题，用于许多领域的多个任务。近年来，眼科成为I2I应用迅速增长的主要领域之一。一种这样的应用是生成合成视网膜光学相干断层扫描（OCT）扫描。现有的I2I方法需要训练多个模型来将图像从正常扫描转换为特定的病理：由于其复杂性，限制了这些模型的使用。为了解决这个问题，我们提出了一个无监督的多域I2I网络与预训练的风格编码器，将视网膜OCT图像在一个域转换到多个域。我们假设图像分为域不变的内容和域特定的样式代码，并对这些样式代码进行预训练。实验结果表明，该模型优于MUNIT和CycleGAN等最先进的模型，可以合成各种病理扫描。
2021-12-11 cs.CV eess.IV
Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation
University of Trento（特伦托大学）；Tencent AI Lab（腾讯人工智能实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
图像到图像（I2I）多域翻译模型通常也使用其语义插值结果的质量进行评估。然而，国家的最先进的模型经常显示在插值过程中的图像外观的突然变化，通常表现不佳的跨域插值。在本文中，我们提出了一种新的训练协议，该协议基于三种特定的损失，可以帮助翻译网络学习一个平滑和无纠缠的潜在风格空间，其中：1）域内和域间插值都对应于生成图像的渐变，2）在翻译过程中更好地保留了源图像的内容。此外，我们提出了一种新的评价指标，以适当衡量I2I翻译模型的潜在风格空间的平滑度。所提出的方法可以插入到现有的翻译方法中，我们在不同数据集上的大量实验表明，它可以显着提高生成图像的质量和插值的渐进性。
2021-06-16 cs.CV cs.LG
GP-UNIT: Generative Prior for Versatile Unsupervised Image-to-Image Translation
Nanyang Technological University（南洋理工大学）
针对无监督图像到图像翻译中跨域映射鲁棒性不足的问题，提出GP-UNIT框架，通过预训练类别条件GAN的生成先验构建多层级跨域对应，实现远近域高质量可控翻译，性能优于现有最优模型。
2023-06-07 cs.CV cs.LG
Multimodal Unsupervised Image-to-Image Translation
Cornell University（康奈尔大学）；NVIDIA（英伟达）
无监督的图像间翻译是计算机视觉中一个重要而又具有挑战性的问题。给定源域中的图像，目标是学习目标域中对应图像的条件分布，而无需看到任何对应图像对。虽然这种条件分布本质上是多峰的，但现有方法进行了过度简化的假设，将其建模为确定性的一对一映射。因此，它们无法从给定的源域图像生成不同的输出。为了解决这个问题，我们提出了一个多模态无监督图像到图像翻译（MUNIT）框架。我们假设图像表示可以被分解为一个内容代码是域不变的，和一个风格代码，捕捉特定于域的属性。为了将图像转换到另一个域，我们将其内容代码与从目标域的样式空间采样的随机样式代码重新组合。我们分析了所提出的框架，并建立了几个理论结果。与最先进的方法进行比较的大量实验进一步证明了所提出的框架的优势。此外，我们的框架允许用户通过提供示例样式图像来控制翻译输出的样式。代码和预训练模型可在https://github.com/nvlabs/MUNIT上获得
2018-08-14 cs.CV cs.LG stat.ML
Closing the Reality Gap with Unsupervised Sim-to-Real Image Translation
University of Cambridge（剑桥大学）；Universität Bremen（不来梅大学）
深度学习方法已经成为计算机视觉和机器人技术中许多问题的标准解决方案，但获得足够高质量的训练数据是具有挑战性的，因为人工容易出错，耗时且昂贵。近年来，基于仿真的解决方案越来越受欢迎，但仿真与现实之间的差距仍然是一个主要问题。在本文中，我们介绍了一种新的方法，用于增强合成图像数据，通过无监督的图像到图像的翻译，通过应用真实世界的图像的风格与开源框架的模拟图像。所生成的数据集与传统的增强方法相结合，然后应用到一个神经网络模型在自动足球机器人上实时运行。我们的评估显示，与完全在模拟中生成的图像上训练的模型相比，有了显着的改进。
2021-06-15 cs.CV cs.LG cs.RO
sim2real: Cardiac MR Image Simulation-to-Real Translation via Unsupervised GANs
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Laboratories（飞利浦研究实验室）；Philips Healthcare（飞利浦医疗）
人们对虚拟心脏MR图像数据库的基于MR物理的模拟非常感兴趣，以开发深度学习分析网络。然而，这种数据库的使用是有限的，或者由于真实感差距、缺少纹理和模拟图像的简化外观而显示出次优性能。在这项工作中，我们1）提供不同解剖结构的虚拟XCAT主题的图像模拟，2）提出sim2real翻译网络，以提高图像的真实感。我们的可用性实验表明，sim2real数据表现出很好的潜力，以增加训练数据和提高分割算法的性能。
2022-08-09 cs.CV eess.IV
Wavelet-based Unsupervised Label-to-Image Translation
University of Stuttgart（斯图加特大学）
提出基于小波的无监督语义图像合成范式USIS，利用自监督分割损失和整图小波判别及新型小波域生成器架构，在3个数据集上有效弥合了配对与无配对模型间的性能差距。
2023-05-16 cs.CV eess.IV
Unsupervised Detection of Cancerous Regions in Histology Imagery using Image-to-Image Translation
University of Ljubljana（卢布尔雅那大学）；XLAB d.o.o.（XLAB 有限责任公司）
视觉异常检测是指在不同的成像数据中发现不符合预期视觉外观的模式的问题，并且是不同领域中广泛研究的问题。由于异常事件和潜在的生成过程的性质，很难描述它们并获得标记数据。在生物医学应用中，获得标记数据尤其困难，只有经过训练的领域专家才能提供标签，这些标签通常具有很大的多样性和复杂性。最近提出的视觉异常方法的无监督检测方法省略了标记数据的需要，并在异常样本显着偏离正常外观的领域中展示了有希望的结果。尽管有希望的结果，这种方法的性能仍然落后于监督的方法，并没有提供一个适合所有的解决方案。在这项工作中，我们提出了一个基于图像到图像检测的框架，显着超过现有的无监督方法的性能和方法的监督方法的性能在一个具有挑战性的领域中的癌区域检测组织学图像。
2021-04-28 cs.CV cs.LG eess.IV
CoMoGAN: continuous model-guided image-to-image translation
Inria（法国国家信息与自动化研究所）；Vislab（视觉实验室）；Ambarella（安霸公司）
CoMoGAN是一种连续的GAN，它依赖于对函数流形上的目标数据进行无监督的重组。为此，我们引入了一个新的功能实例规范化层和残差机制，它们共同将图像内容从目标流形上的位置中分离出来。我们依靠朴素的物理模型来指导训练，同时允许私人模型/翻译功能。CoMo GAN可以与任何GAN骨干一起使用，并允许新类型的图像平移，例如像时间流逝生成的循环图像平移或分离的线性平移。在所有数据集上，它都优于文献。我们的代码可在http://github.com/cv-rits/CoMoGAN上获得。
2022-06-29 cs.AI cs.CV cs.LG
Few-Shot Unsupervised Image-to-Image Translation
NVIDIA（英伟达）；Cornell University（康奈尔大学）；Aalto University（阿尔托大学）
无监督图像到图像转换方法学习将给定类中的图像映射到不同类中的类似图像，绘制非结构化（未注册）图像数据集。虽然非常成功，但目前的方法需要在训练时访问源和目标类中的许多图像。我们认为这极大地限制了它们的使用。从人类的能力，拿起一个新的对象的本质，从少量的例子，并从那里概括的灵感，我们寻求一个Few-Shot，无监督的图像到图像的翻译算法，工程上以前看不见的目标类指定，在测试时，只有少数几个例子的图像。我们的模型通过将对抗训练方案与新颖的网络设计相结合来实现这种Few-Shot生成能力。通过大量的实验验证和比较基准数据集上的几个基线方法，我们验证了所提出的框架的有效性。我们的实现和数据集可以在https://github.com/NVlabs/FUNIT上找到。
2019-09-09 cs.AI cs.CV cs.GR
Unsupervised Multimodal Neural Machine Translation with Pseudo Visual Pivoting
Carnegie Mellon University（卡内基梅隆大学）；Monash University（莫纳什大学）
无监督机器翻译（MT）最近仅在单语语料库上取得了令人印象深刻的结果。然而，它仍然是具有挑战性的关联源-目标句子的潜在空间。由于说不同语言的人在生物学上共享相似的视觉系统，通过视觉内容实现更好对齐的潜力是有希望的，但在无监督多模态MT（MMT）中尚未充分探索。在本文中，我们研究如何利用视觉内容消歧和促进潜在的空间对齐在无监督MMT。我们的模型采用多模态反向翻译和伪视觉旋转的功能，我们学习一个共享的多语言视觉语义嵌入空间，并将视觉旋转字幕作为额外的弱监督。在广泛使用的Multi 30 K数据集上的实验结果表明，该模型显着改善了最先进的方法，并在测试时图像不可用时具有良好的泛化能力。
2020-05-06 cs.CL cs.CV
Unsupervised Multi-modal Neural Machine Translation
University of South California（南加利福尼亚大学）；Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
无监督神经机器翻译（UNMT）最近取得了显着的成果，只有大型单语语料库中的每种语言。然而，目标与源语句之间的不确定性使得UNMT在理论上是一个不适定问题。这项工作探讨了利用图像消除歧义的可能性，以提高联合国布隆迪综合办事处的业绩。我们的假设直观上是基于图像的不变性，即，不同语言对同一可视内容的描述应该大致相似。提出了一种基于图像的语言翻译周期一致性损失的无监督多模态机器翻译（UMNMT）框架，旨在同时学习双向多模态翻译。通过多模态和单模态之间的交替训练，我们的推理模型可以在有或没有图像的情况下进行翻译。在广泛使用的Multi30K数据集上，我们的方法在2016年测试数据集上的实验结果明显优于纯文本UNMT。
2019-05-27 cs.CL cs.CV
Unsupervised Medical Image Translation Using Cycle-MedGAN
University of Stuttgart（斯图加特大学）；University of Tübingen（蒂宾根大学）；King’s College London（伦敦国王学院）
图像间平移是计算机视觉的一个新领域，在医学领域有着广泛的应用前景。然而，对于有监督的图像翻译框架，需要在像素意义上配对的共配准数据集。这在现实的医疗场景中通常很难实现。另一方面，无监督的翻译框架通常会导致翻译图像模糊，细节不真实。在这项工作中，我们提出了一个新的无监督翻译框架，名为Cycle-MedGAN。该框架利用新的非对抗性周期损失，指导框架最大限度地减少翻译图像中的纹理和感知差异。与其他无监督翻译方法的定性和定量比较证明了所提出的PET-CT翻译和MR运动校正框架的性能。
2019-03-08 cs.CV
Video-guided Machine Translation with Global Video Context
Shenzhen University（深圳大学）；Shenzhen Technology University（深圳技术大学）
本文提出一种全局视频引导的多模态翻译框架，通过预训练语义编码器和向量数据库实现视频片段与字幕的语义关联，结合注意力机制提升翻译效果，在大规模纪录片数据集上验证了其在长视频场景中的有效性。
2026-04-08 cs.CL cs.CV
Cluster-guided Asymmetric Contrastive Learning for Unsupervised Person Re-Identification
Beijing University of Posts and Telecommunications（北京邮电大学）
无监督的人再识别（Re-ID）的目的是匹配行人图像从不同的相机视图在无监督的设置。现有的无监督人Re-ID方法通常建立在聚类的伪标签上。然而，聚类的质量在很大程度上取决于学习的特征的质量，这些特征绝大多数由图像中的颜色主导，特别是在无监督设置中。在本文中，我们提出了一个引导的非对称对比学习（CACL）方法的无监督的人的Re-ID，其中集群结构的杠杆作用，以指导在一个适当设计的非对称对比学习框架的特征学习。具体来说，我们提出了一种新的集群级对比损失，以帮助暹罗网络有效地挖掘特征学习的不变性相对于不同的数据增强视图内和之间的集群结构，分别。在三个基准数据集上进行的大量实验表明，我们的建议具有优越的性能。
2022-05-09 cs.CV
Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders
Nanjing University of Science and Technology（南京理工大学）
无监督图像到图像翻译在当今取得了非常先进的发展。然而，最近的方法主要集中在具有两个域的一个模型上，在$n$域在一般设置中自由地彼此转移的要求下，这可能面临$O(n^2)$训练时间和模型参数的大成本的沉重负担。为了解决这个问题，我们提出了一个新的和统一的框架命名为Domain-Bank，它包括一个全球共享的自动编码器和$n$域特定的编码器/解码器，假设一个通用的共享潜在空间可以被投影。因此，我们在模型参数中产生$O(n)$复杂性，同时大大减少了时间预算。除了高效率之外，我们还在各种具有挑战性的无监督图像翻译任务上显示了与最先进的图像翻译结果相当（甚至更好）的图像翻译结果，包括人脸图像翻译，时装翻译和绘画风格翻译。我们还将所提出的框架应用于领域自适应，并在数字基准数据集上实现了最先进的性能。此外，由于域特定解码器的显式表示以及通用共享潜在空间，它还使我们能够进行增量学习以添加新的域编码器/解码器。通过融合相应的解码器，得到不同域表示的线性组合。
2017-12-06 cs.CV
Unsupervised Contrastive Photo-to-Caricature Translation based on Auto-distortion
Anhui University（安徽大学）；University of Chinese Academy of Sciences（中国科学院大学）
照片转漫画翻译的目的是通过素描、铅笔笔画或其他艺术绘画将漫画合成为渲染图像，夸大特征。风格渲染和几何变形是照片转漫画翻译中最重要的两个方面。考虑到这两点，我们提出了一个无监督的对比照片到漫画翻译架构。考虑到现有方法中的直观伪像，我们提出了一种对比风格损失的风格渲染，以加强渲染的照片和漫画之间的风格的相似性，同时增强其差异的照片。为了以非成对/无监督的方式获得夸张的变形，我们提出了一个失真预测模块（Distortion Prediction Module，简称DTS），用于在固定一些控制点的同时预测每个输入图像的一组位移向量，然后通过薄板样条插值进行翘曲。该模型在未配对的照片和漫画上进行训练，同时可以通过输入照片或漫画来提供双向合成。大量的实验表明，与现有的竞争对手相比，所提出的模型是有效的，以生成手绘漫画。
2020-11-10 cs.CV
