Wasserstein GANs for MR Imaging: from Paired to Unpaired Training
Stanford University（斯坦福大学）
缺乏真实MR图像阻碍了用于图像重建的神经网络的常见监督训练。为了应对这一挑战，本文利用重建网络的非配对对抗训练，其中输入是欠采样的k空间和来自一个数据集的原始重建图像，标签是来自另一个数据集的高质量图像。重建网络由一个抑制输入图像伪影的生成器和一个使用（不成对的）标签池来调整重建质量的消隐器组成。生成器是一个展开的神经网络-卷积层和数据一致性层的级联。CNN也是一个多层的CNN，它扮演一个评论家的角色，根据Wasserstein距离对重建图像的质量进行评分。我们对膝关节MRI数据集的实验表明，当感兴趣的输入类型没有高质量的图像标签时，或者当标签数量很小时，所提出的非配对训练可以实现诊断质量的重建。此外，与像素损失的配对训练方案相比，我们的对抗训练方案可以实现更好的图像质量（由放射科专家评定）。
2020-09-08 cs.CV eess.IV
Dehaze-GLCGAN: Unpaired Single Image De-hazing via Adversarial Training
University of Texas Arlington（德克萨斯大学阿灵顿分校）
单帧图像去雾是一个具有挑战性的问题，目前还远未得到解决。大多数当前的解决方案需要成对的图像数据集，其包括模糊图像及其对应的无模糊地面实况图像。然而，在现实中，照明条件和其他因素可以产生一系列无雾图像，这些图像可以用作模糊图像的地面实况，并且单个地面实况图像无法捕获该范围。这限制了配对图像数据集在现实世界应用中的可扩展性和实用性。在本文中，我们专注于不成对的单图像去雾，我们不依赖于地面实况图像或物理散射模型。我们将图像去雾问题简化为图像到图像的转换问题，并提出了一种去雾全局-局部循环一致生成对抗网络（Dehaze-GLCGAN）。Dehaze-GLCGAN的生成器网络将编码器-解码器架构与残差块相结合，以更好地恢复无雾场景。我们还采用了一个全球本地的网络结构来处理空间变化的阴霾。通过消融研究，我们证明了不同因素的有效性，在所提出的网络的性能。我们在三个基准数据集上的广泛实验表明，与其他方法相比，我们的网络在PSNR和SSIM方面优于以前的工作，同时在更少量的数据上进行训练。
2020-08-15 cs.CV cs.LG eess.IV
AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Hong Kong University of Sciences and Technology (HKUST)（香港科技大学）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
图像到图像转换中的现有技术方法能够利用未配对的图像数据学习从源域到目标域的映射。虽然现有的方法已经取得了可喜的成果，他们仍然产生视觉伪影，能够翻译低层次的信息，但不能输入图像的高层语义。一个可能的原因是生成器没有能力感知源域和目标域之间最有区别的部分，从而使得生成的图像质量低。在本文中，我们提出了一个新的注意引导生成对抗网络（AttentionGAN）的不成对的图像到图像的翻译任务。AttentionGAN可以识别最具区分力的前景对象，并最大限度地减少背景的变化。AttentionGAN中的注意力引导生成器能够生成注意力掩码，然后将生成输出与注意力掩码融合，以获得高质量的目标图像。相应地，我们还设计了一种新的注意力引导算法，它只考虑关注区域。在8个公共数据集上进行了大量的实验，结果表明，与现有的竞争模型相比，该方法可以有效地生成更清晰，更逼真的图像。该代码可在https://github.com/Ha0Tang/AttentionGAN上获得。
2021-08-16 cs.CV cs.LG eess.IV
Unpaired image denoising using a generative adversarial network in X-ray CT
National Institute for Mathematical Sciences（国家数学科学研究所）；Chungnam National University College of Medicine（忠南大学医学院）；Chungnam National University Hospital（忠南大学医院）；Tongji University（同济大学）；Yonsei University（延世大学）
提出了一种基于深度学习的低剂量CT（Computerized Tomography，CT）图像去噪方法，该方法适用于无配对训练数据的情况。该方法使用嵌入概率的生成对抗网络（GAN）从低剂量CT（LDCT）和标准剂量CT（SDCT）图像的未配对训练数据中学习去噪函数，其中去噪函数是GAN框架中的最优生成器。本文分析了f-GAN目标，以导出通过最小化两个损失的加权和来优化的合适的生成器：SDCT数据分布和生成的分布之间的Kullback-Leibler散度，以及LDCT图像和对应的生成图像（或去噪图像）之间的$\ell_2$损失。计算生成器通过训练反映了关于SDCT数据分布的先验信念。我们观察到，所提出的方法允许保留精细的异常特征，同时消除噪声。实验结果表明，所提出的非配对数据集深度学习方法的性能优于使用配对数据集的方法。临床实验也表明了该方法的有效性，在低剂量X射线CT产生的噪声。
2019-08-08 cs.CV
Generative-Adversarial-Networks-based Ghost Recognition
Xi’an Jiaotong University（西安交通大学）
目前，目标识别技术在许多领域都发挥着重要的作用.然而，目前基于目标图像信息的方法受到图像质量和图像重建时间成本的影响。本文提出了一种新的无成像目标识别方法，结合鬼成像（GI）和生成对抗网络（GAN）。该方法基于GI的原理，采用一组随机散斑序列照射目标，采用无分辨力的桶形检波器接收回波信号。将连续检测后形成的桶信号序列构造成桶信号阵列，作为GAN的样本。然后，使用条件GAN来映射桶信号阵列和目标类别。在实际应用中，利用训练阶段的散斑序列照射目标，并将桶形信号阵列输入GAN进行识别。该方法可以改善传统的基于目标图像信息的识别方法所带来的问题，并具有一定的抗干扰能力。大量的实验表明，该方法取得了良好的性能。
2021-09-07 cs.CV eess.IV
UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models
Durham University（杜伦大学）
我们提出了一种新的不成对的图像到图像的翻译方法，使用去噪扩散概率模型，而不需要对抗训练。我们的方法，不成对的图像翻译与去噪扩散概率模型（UNIT-DDPM），训练生成模型来推断联合分布的图像在两个域作为马尔可夫链通过最小化的去噪得分匹配目标条件的其他域。特别是，我们同时更新两个域的翻译模型，我们生成的目标域图像的去噪马尔可夫链蒙特卡罗方法，条件是输入源域图像，基于朗之万动力学。我们的方法为图像到图像的翻译提供了稳定的模型训练，并生成了高质量的图像输出。这使得最先进的Fréchet Inception Distance（FID）在几个公共数据集上的性能，包括彩色和多光谱图像，显着优于当代对抗性图像到图像转换方法。
2021-04-12 cs.CV cs.LG eess.IV
MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Ningbo University（宁波大学）
基于文本的图像描述（TextCap）需要同时理解视觉内容和阅读图像的文本以生成自然语言描述。虽然任务可以教机器进一步理解复杂的人类环境，因为文本在我们的日常环境中无处不在，但它对正常的字幕提出了额外的挑战。基于文本的图像直观地包含丰富而复杂的多模态关系内容，即图像细节可以从多个视图而不是单个标题中进行描述。当然，我们可以引入额外的成对训练数据来显示图像描述的多样性，这个过程对于带有额外文本的TextCap对注释来说是劳动密集型和耗时的。基于上述见解，我们研究了如何使用不成对的训练范例生成专注于不同图像部分的多样化字幕。我们提出了多模态关系图逆向推理（MAGIC）框架，多样和不成对的文本帽。该框架可以自适应地构造多个图像的多模态关系图，并对图之间的复杂关系进行建模，以表示描述的多样性。此外，一个级联的生成对抗网络开发从建模图，以推断在图像-句子特征对齐和语言连贯性水平的不成对的字幕生成。我们验证了MAGIC的有效性，从不同的关系信息项的图像生成不同的字幕。实验结果表明，MAGIC可以生成非常有希望的结果，而无需使用任何图像-字幕训练对。
2022-03-04 cs.AI cs.CV
Encoding CT Anatomy Knowledge for Unpaired Chest X-ray Image Decomposition
Imperial College London（帝国理工学院）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Peng Cheng Laboratory（鹏城实验室）；Southest University（东南大学）；Nankai University（南开大学）
尽管胸部X射线（CXR）提供了具有重叠解剖结构的2D投影，但其广泛用于临床诊断。有临床证据支持将X射线图像分解成不同的分量（例如，骨、肺和软组织）提高了诊断价值。我们在此提出了一种分解生成对抗网络（DecGAN），用于解剖分解CXR图像，但具有未配对的数据。我们利用嵌入在CT中的解剖学知识，其特征在于具有清晰可见的解剖结构的3D体积。我们的核心思想是将CT先验分解知识嵌入到非成对CXR自编码器的潜在空间中。具体来说，我们训练DecGAN分解损失，对抗损失，循环一致性损失和掩模损失，以保证潜在空间的分解结果保持真实的身体结构。大量的实验表明，DecGAN提供了优越的无监督CXR骨抑制结果和潜在的空间解纠缠调制CXR组件的可行性。此外，我们说明了DecGAN的诊断价值，并证明它在预测14种常见肺部疾病中的11种方面优于最先进的方法。
2019-09-16 cs.CV eess.IV
Enhance Images as You Like with Unpaired Learning
Xidian University（西安电子科技大学）；Alibaba Group（阿里巴巴集团）
弱光图像增强表现出不适定的性质，因为给定的图像可能有许多增强版本，但最近的研究集中在建立从输入到增强版本的确定性映射。相比之下，我们提出了一个轻量级的单路径条件生成对抗网络（cGAN）来学习从低光到正常光图像空间的一对多关系，只给出没有任何对应关系的低光和正常光训练图像集。通过将这个不适定问题公式化为调制码学习任务，我们的网络学习从以各种参考图像为条件的给定输入生成增强图像的集合。因此，我们的推理模型很容易适应各种用户的喜好，提供了一些有利的照片，从每个用户。我们的模型在噪声和干净数据集上都实现了与完全监督方法相当的有竞争力的视觉和定量结果，同时比最先进的生成对抗网络（GANs）方法轻6到10倍。
2021-10-04 cs.CV eess.IV
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
UC Berkeley（加州大学伯克利分校）；Berkeley AI Research (BAIR) laboratory（伯克利人工智能研究实验室）
图像到图像转换是一类视觉和图形问题，其目标是使用对齐图像对的训练集来学习输入图像和输出图像之间的映射。然而，对于许多任务，成对的训练数据将不可用。我们提出了一种方法，学习翻译的图像从源域$X$的目标域$Y$在没有配对的例子。我们的目标是学习一个映射$G: X \rightarrow Y$，使得来自$G(X)$的图像分布与使用对抗损失的分布$Y$无法区分。由于该映射是高度欠约束的，因此我们将其与逆映射$F: Y \rightarrow X$耦合，并引入循环一致性损失以推送$F(G(X)) \approx X$（反之亦然）。定性结果呈现在几个任务配对的训练数据不存在，包括收集风格转移，对象变形，季节转移，照片增强，对几个先前的方法定量比较证明了我们的方法的优越性。
2020-08-24 cs.CV
Adversarial Inverse Graphics Networks: Learning 2D-to-3D Lifting and Image-to-Image Translation from Unpaired Supervision
Carnegie Mellon University（卡内基梅隆大学）
研究人员已经开发出优秀的前馈模型，可以使用监督学习将图像映射到期望的输出，例如图像的潜在因素或其他图像。从未标记数据中学习这种映射，或者通过利用未标记数据来改进监督模型，仍然是难以捉摸的。我们认为，在没有注释的情况下学习有两个重要部分：（i）将预测与输入观测相匹配，以及（ii）将预测与已知先验相匹配。我们提出了对抗性逆图形网络（AIGN）：弱监督神经网络模型，它结合了来自渲染其预测的反馈，并在其预测和地面实况因素集合之间进行分布匹配。我们将AIGN应用于3D人体姿态估计和3D结构和自运动估计，并且优于仅由成对注释监督的模型。我们进一步将AIGN应用于使用超分辨率和修复渲染器的面部图像变换，同时故意在地面实况数据集中添加偏差。我们的模型无缝地结合了这些偏见，将输入的面孔呈现给年轻，年老，女性，男性或汤姆克鲁斯一样的等价物（取决于所选择的偏见），或者在修复隐藏的嘴唇和鼻子时添加嘴唇和鼻子的增强。
2017-09-02 cs.CV
Unpaired Image-to-Image Translation via a Self-Supervised Semantic Bridge
Stanford University（斯坦福大学）；LLNL（劳伦斯利弗莫尔国家实验室）；Johns Hopkins University（约翰霍普金斯大学）
本文提出自监督语义桥框架，通过整合外部语义先验实现无配对图像到图像翻译的高保真度，提升医学图像合成效果。
2026-02-18 cs.CV
BioGAN: An unpaired GAN-based image to image translation model for microbiological images
University of Kent（肯特大学）；School of Engineering and Digital Arts, University of Kent（肯特大学工程与数字艺术学院）；School of Biosciences, University of Kent（肯特大学生物科学学院）
针对微生物学领域野外图像数据集获取难、现有图像翻译需配对数据的问题，提出基于无配对GAN的BioGAN模型，结合对抗与感知损失实现实验室微生物图像到野外图像的转换，显著提升目标检测模型的泛化性能。
2023-06-09 cs.CV eess.IV
Using Out-of-the-Box Frameworks for Contrastive Unpaired Image Translation for Vestibular Schwannoma and Cochlea Segmentation: An approach for the crossMoDA Challenge
College of Medicine, Seoul National University（首尔大学医学院）；Department of Radiology, Armed Forces Yangju Hospital（杨州国军医院放射科）
本研究的目的是应用和评估开箱即用的深度学习框架，以应对crossMoDA挑战。我们使用CUT模型，一种基于拼接对比学习和对抗学习的非配对图像到图像翻译模型，用于从对比增强的T1 MR到高分辨率T2 MR的域自适应。作为数据增强，我们生成具有较低信号强度的前庭神经鞘瘤的额外图像。对于分割任务，我们使用nnU-Net框架。我们最终提交的数据在验证阶段的平均Dice评分为0.8299，在测试阶段的平均Dice评分为0.8253。我们的方法在crossMoDA挑战中排名第三。
2021-12-08 cs.CV eess.IV
Deep CT to MR Synthesis using Paired and Unpaired Data
INHA University（仁荷大学）；Kyung Hee University（庆熙大学）；Team Elysium Inc.（Team Elysium公司）；Pusan National University Hospital（釜山大学医院）
磁共振成像将发挥非常重要的作用，在放射治疗计划分割的肿瘤体积和器官。然而，基于MR的放射治疗的使用受到限制，因为成本高，并且在老龄化社会中增加了金属植入物如心脏起搏器和人工关节的使用。为了提高基于CT的放射治疗计划的准确性，我们提出了一种合成方法，使用成对和不成对的训练数据将CT图像转换为MR图像。与现有的医学图像合成方法依赖于稀疏的成对对齐数据或大量的未配对数据相比，该方法克服了配对训练的刚性配准挑战，并克服了未配对训练的上下文不对齐问题。训练生成对抗网络以将2D脑CT图像切片转换为2D脑MR图像切片，组合对抗损失、双循环一致性损失和逐体素损失。使用202例患者的CT和MR图像对实验进行分析。定性和定量比较独立的配对训练和非配对训练方法证明了我们的方法的优越性。
2018-09-03 cs.CV
Structurally aware bidirectional unpaired image to image translation between CT and MR
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
磁共振（MR）成像和计算机断层扫描（CT）是手术计划和分析中经常使用的主要诊断成像模式。医学成像的一个普遍问题是，采集过程是相当昂贵和耗时的。像生成对抗网络（GANs）这样的深度学习技术可以帮助我们利用多种成像模式之间的图像到图像转换的可能性，这反过来又有助于节省时间和成本。这些技术将有助于根据MRI信息的反馈在CT下进行手术计划。虽然先前的研究已经显示了从MR到CT的配对和非配对图像合成，但是从CT到MR的图像合成仍然是一个挑战，因为它涉及额外的组织信息的添加。在本文中，我们实现了生成对抗网络的两种不同变体，利用骨盆数据集上CT和MR图像模态之间的循环一致性和结构相似性，从而促进这些图像模态之间的内容和风格的双向交换。所提出的GANs通过不同的机制转换输入的医学图像，因此生成的图像不仅看起来逼真，而且在各种比较指标上表现良好，并且这些图像也已经与放射科医生进行了交叉验证。放射科医师验证表明，生成的MR和CT图像中的微小变化可能与其真实对应物不完全相同，但可用于医疗目的。
2020-06-05 cs.CV eess.IV
CycleGAN with three different unpaired datasets
Indian Institute Of Technology（印度理工学院）
最初的出版物《使用周期一致性对抗网络的未配对图像到图像翻译》是本实施项目的灵感来源。研究人员开发了一种新的方法，在原始研究中使用未配对的数据集进行图像到图像的翻译。尽管pix2pix模型的结果很好，但匹配的数据集通常不可用。在没有配对数据的情况下，cycleGAN可以通过将图像转换为图像来解决这个问题。为了减少图像之间的差异，他们实施了周期一致性损失。我用三个不同的数据集评估了CycleGAN，本文简要讨论了结果和结论。
2022-08-12 cs.CV
SoloGAN: Multi-domain Multimodal Unpaired Image-to-Image Translation via a Single Generative Adversarial Network
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）；School of Electrical and Electronic Engineering, Huazhong University of Science and Technology（华中科技大学电气与电子工程学院）；Huazhong University of Science and Technology（华中科技大学）
尽管使用生成对抗网络（GANs）在图像到图像（I2I）转换方面取得了重大进展，但使用单对生成器和GANs将图像有效地转换为多个目标域中的一组不同图像仍然具有挑战性。现有的I2I翻译方法针对不同的域采用多个域特定内容编码器，其中每个域特定内容编码器仅用来自相同域的图像来训练。然而，我们认为，内容（域不变性）的功能应该从所有的域之间的图像学习。因此，现有方案的每个特定于域的内容编码器不能有效地提取域不变特征。为了解决这个问题，我们提出了一个灵活和通用的SoloGAN模型，用于在具有不成对数据的多个域之间进行高效的多模式I2I翻译。与现有方法相比，SoloGAN算法使用具有附加辅助分类器的单个投影向量机，并为所有域共享编码器和生成器。因此，可以用来自所有域的图像有效地训练SoloGAN，使得可以有效地提取域不变性内容表示。针对SoloGAN的几个对应物和变体的广泛数据集的定性和定量结果证明了该方法的优点，特别是对于具有挑战性的I2I翻译数据集，即，数据集涉及极端的形状变化或需要在翻译后保持复杂的背景不变。此外，我们通过消融研究证明了SoloGAN中每个组件的贡献。
2022-06-28 cs.CV
Unpaired Quad-Path Cycle Consistent Adversarial Networks for Single Image Defogging
Wuhan Institute of Technology（武汉工程大学）；Texas A&M University（德克萨斯农工大学）
针对配对训练限制及色彩纹理保持难题，提出非配对四路径循环一致对抗网络QPC-Net，通过去雾、色彩-纹理恢复和雾合成模块及天空分割优化，在合成与真实数据上取得领先去雾效果。
2023-04-27 cs.CV
Bone Suppression on Chest Radiographs With Adversarial Learning
Imaging Biomarkers and Computer-aided Diagnosis Laboratory, Radiology and Imaging Sciences, National Institutes of Health Clinical Center（美国国立卫生研究院临床中心放射学与成像科学部成像生物标志物和计算机辅助诊断实验室）；Ping An Technology Co., Ltd.（平安科技有限公司）
双能量（DE）胸部X线摄影能够选择性地对两种临床相关材料（即软组织和骨性结构）进行成像，以更好地表征各种胸部病理学，并可能改善后前位（PA）胸部X线摄影的诊断。然而，DE成像需要专门的硬件和比传统放射线照相术更高的辐射剂量，并且运动伪影有时会由于患者的不自主运动而发生。在这项工作中，我们学习传统的射线照片和骨抑制射线照片之间的映射。具体来说，我们建议利用两种变化的生成对抗网络（GANs）的图像到图像之间的传统和骨抑制的X光片DE成像技术获得的翻译。我们比较了训练的有效性与患者明智的配对和未配对的X光片。实验表明，这两种训练策略都能产生“放射现实”的放射照片，在保持测试集上具有抑制的骨骼结构和很少的运动伪影。虽然当使用两个客观图像质量指标（即结构相似性指数（SSIM）和峰值信噪比（PSNR））进行测量时，使用配对图像进行训练的性能略好于未配对图像，但使用未配对图像进行训练在看不见的前后位（AP）射线照片上表现出比配对训练更好的泛化能力。
2020-02-08 cs.CV cs.LG eess.IV
Simple and Efficient Unpaired Real-world Super-Resolution using Image Statistics
SI Analytics（SI分析）
在没有成对的低分辨率（LR）和高分辨率（HR）图像的情况下学习超分辨率（SR）网络是困难的，因为无法通过对应的HR对应物进行直接监督。近年来，许多真实世界的超分辨率研究利用了非成对图像到图像的翻译技术。也就是说，他们使用了两个或更多的生成对抗网络（GANs），每个网络都将图像从一个域转换到另一个域，\eg将图像从HR域转换到LR域。然而，使用未配对数据的GANs稳定地学习这样的翻译并不容易。在这项研究中，我们提出了一种简单而有效的方法来训练真实世界的SR网络。为了稳定地训练网络，我们使用图像块的统计数据，例如均值和方差。我们的真实世界SR框架由两个GANs组成，一个用于将HR图像转换为LR图像（降级任务），另一个用于将LR转换为HR（SR任务）。我们认为，使用GANs的不成对图像翻译可以有效地学习我们提出的数据采样策略，即方差匹配。我们在NTIRE 2020真实世界SR数据集上测试了我们的方法。我们的方法优于目前国家的最先进的方法在SSIM度量以及LPIPS度量产生可比的结果。
2021-09-19 cs.CV eess.IV
UVCGAN: UNet Vision Transformer cycle-consistent GAN for unpaired image-to-image translation
Brookhaven National Laboratory（布鲁克海文国家实验室）
不成对图像到图像的翻译在艺术、设计和科学模拟中有着广泛的应用。一个早期的突破是CycleGAN，它强调通过生成对抗网络（GAN）与循环一致性约束相结合的两个未配对图像域之间的一对一映射，而最近的作品则促进了一对多映射，以提高翻译图像的多样性。受科学模拟和一对一需求的激励，这项工作重新审视了经典的CycleGAN框架，并在不放松周期一致性约束的情况下提高了其性能，使其优于更现代的模型。为了实现这一目标，我们为发生器配备了视觉Transformer（ViT），并采用了必要的训练和正则化技术。与之前表现最好的模型相比，我们的模型表现更好，并保留了原始图像和翻译图像之间的强相关性。伴随的消融研究表明，梯度惩罚和自我监督的预训练对改进至关重要。为了促进可重复性和开放科学，源代码，超参数配置和预训练模型可在https://github.com/LS4GAN/uvcgan上获得。
2022-10-18 cs.CV eess.IV
Unpaired High-Resolution and Scalable Style Transfer Using Generative Adversarial Networks
ETAS GmbH (Bosch Group)（ETAS有限公司（博世集团））
神经网络已经证明了它们的能力，在各种数据的回归或分类任务上优于许多其他方法。使用神经网络作为数据生成器已经取得了其他惊人的结果，特别是在生成对抗网络（GANs）的设置中。一个特殊的应用是图像域翻译领域。在这里，目标是拍摄具有某种风格的图像（例如摄影）并将其转换为另一种风格（例如绘画）。如果针对未配对的训练样本执行这样的任务，则对应的GAN设置是复杂的，神经网络是大的，并且这导致在训练和评估阶段期间的高峰值存储器消耗。这设置了可处理的最大图像大小的限制。我们解决这个问题的想法，不处理整个图像一次，但训练和评估重叠的图像子样本的水平上的域转换。这种新方法不仅使我们能够翻译神经网络无法立即处理的高分辨率图像，而且还使我们能够使用非常小的神经网络和有限的硬件资源。此外，训练过程所需的图像数量显著减少。我们提出了高质量的结果，图像的总分辨率高达50万像素以上，emonstrate，我们的方法有助于保持局部图像的细节，同时它也保持全球的一致性。
2018-10-10 cs.CV cs.LG stat.ML
Shape-consistent Generative Adversarial Networks for multi-modal Medical segmentation maps
Tel Aviv University（特拉维夫大学）
跨域图像翻译的不成对数据集最近获得了很大的改进和兴趣。在医学成像中，有多种成像模式，具有非常不同的特征。我们的目标是在CT和MRI全心脏扫描之间使用跨模态适应进行语义分割。我们提出了一个分割网络，使用合成的心脏体积非常有限的数据集。我们的解决方案基于3D跨模态生成对抗网络，以在模态之间共享信息，并使用未配对的数据集生成合成数据。我们的网络利用语义分割来提高生成器形状的一致性，从而在重新训练分割网络时创建更真实的合成体积。我们表明，当使用空间增强来改进生成对抗网络时，可以在小数据集上实现改进的分割。这些增强改进了发生器的能力，从而提高了分段器的性能。仅使用16个CT和16个MRI心血管体积，在使用建议的架构时，显示出优于其他分割方法的改进结果。
2022-02-04 cs.CV cs.LG eess.IV
See Blue Sky: Deep Image Dehaze Using Paired and Unpaired Training Images
Shenzhen University（深圳大学）
图像去雾问题近年来引起了广泛的关注。然而，现有的雾霾去除方法大多不能恢复晴朗的蓝天的场景，因为在原始雾霾图像中的对象的颜色和纹理信息是不够的。为了弥补这一点，我们提出了一个循环生成对抗网络来构建一个新的端到端的图像去雾模型。我们采用室外图像数据集来训练我们的模型，其中包括一组真实世界的未配对的图像数据集和一组配对的图像数据集，以确保生成的图像是接近真实场景。在此基础上，我们增加了四种不同的损失函数来约束这种影响，包括对抗性损失、循环一致性损失、真实感损失和成对L1损失。这四个约束条件可以提高这种退化图像的整体质量，以获得更好的视觉吸引力，并确保图像的重建，以防止失真。提出的模型可以消除图像的阴霾，也恢复图像的天空是干净和蓝色的（像在阳光明媚的天气拍摄）。
2022-10-14 cs.CV cs.LG cs.MM
Dual Generator Generative Adversarial Networks for Multi-Domain Image-to-Image Translation
University of Trento, Italy（意大利特伦托大学）；University of Oxford, United Kingdom（英国牛津大学）；École Polytechnique Fédérale de Lausanne, Switzerland（瑞士洛桑联邦理工学院）；Texas State University, USA（美国德克萨斯州立大学）
使用生成对抗网络（GANs）进行图像到图像转换的最先进方法可以使用未配对的图像数据学习从一个域到另一个域的映射。然而，这些方法需要为每对图像域训练一个特定的模型，这限制了处理两个以上图像域的可扩展性。此外，这些方法的训练阶段具有模型崩溃的共同问题，这降低了生成图像的质量。为了解决这些问题，我们提出了一个双生成器生成对抗网络（$^2$ GAN），这是一个强大的和可扩展的方法，允许执行不成对的图像到图像的翻译多个域使用双生成器在一个单一的模型。此外，我们探索了不同的优化损失，以更好地训练G $^2$ GAN，从而使不成对的图像到图像的翻译具有更高的一致性和更好的稳定性。在六个公开可用的数据集上进行了广泛的实验，这些数据集具有不同的场景，即，建筑物、季节、景观和人脸等图像，证明了所提出的$^2$ GAN与现有的图像-图像转换GAN模型相比，具有更高的模型容量和更好的生成性能。
2019-01-14 cs.CV
Show, Attend and Translate: Unpaired Multi-Domain Image-to-Image Translation with Visual Attention
Shanghai Jiao Tong University（上海交通大学）
近年来，不成对多域图像到图像的翻译引起了人们的极大兴趣，并取得了显著的进展，其中使用标签向量来表示多域信息。在本文中，我们提出了SAT（Show，Attend and Translate），这是一个统一的、可解释的生成对抗网络，配备了视觉注意力，可以为多个领域执行不成对的图像到图像的翻译。通过引入一个动作向量，我们把原来的翻译任务的算术加法和减法的问题。应用视觉注意力来保证只有与目标域相关的区域被翻译。在面部属性数据集上的大量实验证明了我们方法的优越性，生成的注意力掩模更好地解释了SAT在翻译图像时的注意力。
2019-04-08 cs.CV
Deceiving Image-to-Image Translation Networks for Autonomous Driving with Adversarial Perturbations
KAIST（韩国科学技术院）
深度神经网络（DNN）在处理计算机视觉问题方面取得了令人印象深刻的性能，然而，人们发现DNN容易受到对抗性示例的影响。由于这个原因，对抗扰动最近已经在几个方面进行了研究。然而，大多数以前的作品都集中在图像分类任务，它从来没有被研究关于对抗扰动图像到图像（Im 2 Im）的翻译任务，在处理配对和/或不成对的映射问题在自动驾驶和机器人领域的巨大成功。本文研究了不同类型的对抗性扰动，这些扰动可以欺骗Im 2 Im框架以实现自动驾驶目的。我们提出了准物理和数字对抗扰动，可以使Im 2 Im模型产生意想不到的结果。然后，我们实证分析这些扰动，并表明，他们推广以及下配对的图像合成和风格转移的不成对的设置。我们还验证了存在一些扰动阈值，超过这些阈值，Im 2 Im映射被中断或不可能。这些扰动的存在揭示了Im 2 Im模型中存在的关键弱点。最后，我们证明了我们的方法说明了扰动如何影响输出质量，开创了当前SOTA网络用于自动驾驶的鲁棒性的改进。
2020-01-06 cs.CV cs.RO eess.IV
Micro-CT Synthesis and Inner Ear Super Resolution via Generative Adversarial Networks and Bayesian Inference
University of Zurich（苏黎世大学）；Technical University of Munich（慕尼黑工业大学）；First Affiliated Hospital of Xi’an Jiaotong University（西安交通大学第一附属医院）
现有的医学图像超分辨率方法依赖于成对的低分辨率图像和高分辨率图像来以完全监督的方式学习映射。然而，这样的图像对在临床实践中通常不可用。在本文中，我们解决了超分辨率问题，在现实世界的情况下，使用不成对的数据和线性合成\textbf{eight times}更高分辨率的Micro-CT图像的颞骨结构，这是嵌入在内耳。我们探索了用于超分辨率任务的循环一致性生成对抗网络，并为翻译方法配备了贝叶斯推理。我们进一步引入\emph{Hu Moment distance}的评价指标来量化颞骨的形状。我们在一个公共的内耳CT数据集上评估了我们的方法，并且已经看到了比最先进的基于深度学习的方法在视觉和定量上的改进。此外，我们进行了多评价者视觉评价实验，发现训练有素的专家一致率所提出的方法在所有方法中的最高质量分数。此外，我们能够量化的不确定性，在不成对的翻译任务和不确定性地图可以提供颞骨的结构信息。
2021-02-04 cs.CV eess.IV
GazeGAN - Unpaired Adversarial Image Generation for Gaze Estimation
Technion（以色列理工学院）；Google Inc.（谷歌公司）
最近的研究已经证明了通过对来自手机前置摄像头的图像进行推断来估计移动设备上的注视的能力，并且不需要专门的硬件。虽然这提供了广泛的潜在应用，例如在人机交互、医学诊断和可访问性（例如，作为运动障碍患者的输入的免提凝视），当前的方法是有限的，因为它们依赖于从真实用户收集数据，这是一个繁琐且昂贵的过程，难以跨设备扩展。已经有一些尝试使用可以模拟各种头部姿势和相机设置的3D模型来合成眼睛区域数据，然而这些缺乏真实感。在本文中，我们改进了最近提出的方法，并提出了一个生成对抗框架来生成具有高多样性的高分辨率彩色图像的大型数据集（例如，在主体中，头部姿势，相机设置）和真实性，同时保持凝视标签的准确性。所提出的方法对眼睛的扩展区域进行操作，甚至完成图像的缺失部分。使用这个丰富的合成数据集，而不使用来自真实用户的任何额外的训练数据，我们展示了对移动设备上估计2D凝视位置的最新技术的改进。我们进一步展示了模型性能的跨设备泛化，以及对不同头部姿势、模糊和距离的鲁棒性。
2017-11-27 cs.AI cs.CV cs.HC
Unpaired Photo-to-Caricature Translation on Faces in the Wild
Ocean University of China（中国海洋大学）
近年来，由于条件生成对抗网络（cGANs）的成功，图像到图像的翻译已经取得了很大的进展。基于周期一致性损失的非配对方法如DualGAN、CycleGAN和DiscoGAN等都很受欢迎。然而，对于要求高层次视觉信息转换的翻译任务来说，如要求讽刺、夸张、逼真和艺术性的照片到漫画的翻译，仍然是非常具有挑战性的。我们提出了一种方法，用于学习将野生人脸从源照片域翻译到具有不同风格的目标漫画域，该方法也可用于其他高级图像到图像的翻译任务。为了在翻译时用局部统计量捕获全局结构，我们设计了一个具有一个粗搜索和一个细搜索的双路径模型。对于生成器，我们提供了一个额外的感知损失与对抗损失和循环一致性损失，以实现两个不同领域的表示学习。此外，可以通过辅助噪声输入来学习风格。在野外进行的照片到漫画的人脸翻译实验表明，我们所提出的方法比最先进的翻译方法及其潜在的实际应用具有相当大的性能增益。
2018-07-25 cs.CV
Flow-based Deformation Guidance for Unpaired Multi-Contrast MRI Image-to-Image Translation
VinAI Research（VinAI研究院）；FPT University（FPT大学）；University of Arkansas（阿肯色大学）
从损坏的对比度的图像合成增加了许多神经系统疾病的诊断信息的多样性。最近，图像到图像的翻译在医学研究中已经经历了显着的兴趣水平，从生成对抗网络（GAN）的成功使用开始，到引入扩展到多个域的循环约束。然而，在当前方法中，不能保证两个图像域之间的映射将是唯一的或一对一的。在本文中，我们介绍了一种新的方法，不成对的图像到图像的翻译的基础上可逆的架构。基于流的架构的可逆属性确保了图像到图像翻译的周期一致性，而无需额外的损失函数。我们利用连续切片之间的时间信息，提供更多的约束，以优化转换一个域到另一个不成对的体积医学图像。为了捕获医学图像中的时间结构，我们使用变形场来探索连续切片之间的位移。在我们的方法中，变形场被用作指导，以保持翻译的幻灯片的真实性和一致性的翻译。实验结果表明，与现有的基于深度学习的方法相比，使用我们提出的方法合成的图像在均方误差，峰值信噪比和结构相似性指数方面具有竞争力的性能，三个标准数据集，即HCP，MRBrainS 13和Brats 2019。
2020-12-03 cs.CV eess.IV
Learning Deblurring Texture Prior from Unpaired Data with Diffusion Model
Xi’an Jiaotong University（西安交通大学）；Wuhan University（武汉大学）；Insta360（影石）；Nanjing University of Science and Technology（南京理工大学）；University of California, Merced（加利福尼亚大学默塞德分校）
本文提出基于扩散模型的非配对图像去模糊框架，通过纹理先验编码器和纹理迁移Transformer层学习空间变化纹理先验，在多个基准上超越现有无监督方法。
2025-07-18 cs.CV
Galaxy Image Translation with Semi-supervised Noise-reconstructed Generative Adversarial Networks
Aix Marseille Univ., CNRS/IN2P3, CPPM（艾克斯-马赛大学、法国国家科学研究中心/国家核物理与粒子物理研究所、马赛粒子物理中心）
使用深度学习神经网络进行图像到图像的转换，特别是使用生成对抗网络（GANs），是模拟天文图像最强大的方法之一。然而，目前的工作仅限于利用成对的图像与监督翻译，并已很少讨论重建噪声背景编码的仪器和观测效果。这些局限性可能对天体物理学的后续科学应用有害。因此，我们的目标是开发方法，使用不成对的图像和保留图像翻译中的噪声特性。在这项工作中，我们提出了一种使用GANs的双向图像翻译模型，该模型以半监督的方式利用配对和未配对的图像，并引入了一个噪声仿真模块，该模块能够学习和重建以高频特征为特征的噪声。通过对斯隆数字巡天（SDSS）和加拿大法国夏威夷望远镜遗产调查（CFHT）的多波段星系图像进行实验，我们表明，我们的方法有效地恢复了全局和局部属性，并优于基准图像转换模型。据我们所知，这项工作是首次尝试将半监督方法和噪声重建技术应用于天体物理研究。
2021-01-19 astro-ph.IM cs.CV eess.IV
Unpaired Image Enhancement Featuring Reinforcement-Learning-Controlled Image Editing Software
The University of Tokyo（东京大学）
本文处理不成对的图像增强，学习的映射函数，将输入图像转换成增强图像的输入输出图像对的情况下的任务。我们的方法是基于生成对抗网络（GANs），但不是简单地用神经网络生成图像，而是利用Adobe Photoshop等图像编辑软件增强图像，有以下三个好处：增强图像没有伪影，相同的增强可以应用于更大的图像，增强是可解释的。为了将图像编辑软件集成到GAN中，我们提出了一个强化学习框架，其中生成器作为代理，选择软件的参数，并在欺骗代理时获得奖励。我们的框架可以使用图像编辑软件中存在的高质量不可微过滤器，从而实现高性能的图像增强。我们将所提出的方法应用到两个不成对的图像增强任务：照片增强和人脸美化。我们的实验结果表明，所提出的方法取得了更好的性能，相比性能的国家的最先进的方法的基础上不成对的学习。
2019-12-17 cs.CV
An Optimized Architecture for Unpaired Image-to-Image Translation
Medi-Caps Institute of Science and Technology（梅迪卡普斯科学技术学院）
非配对图像到图像翻译旨在将图像从一个域（输入域A）转换到另一个域（目标域B），而不提供用于训练的配对示例。最先进的Cycle-GAN展示了具有周期一致性损失的生成对抗网络的强大功能。虽然其结果令人鼓舞，但培训过程仍有优化的余地。本文介绍了一种新的神经网络结构，通过引入新的偏差损失项，该结构只学习域A到域B的转换，而不需要反向映射（B到A）。此外，在这种新架构中发现并利用了对Cycle-GAN的一些其他改进，从而大大缩短了训练时间。
2018-02-13 cs.CV
Unpaired Image Translation via Vector Symbolic Architectures
Meta Reality Labs（元宇宙现实实验室）；University of California, Berkeley（加州大学伯克利分校）
图像到图像转换在使合成数据能够用于计算机视觉方面发挥了重要作用。然而，如果源域和目标域具有大的语义不匹配，则现有技术经常遭受源内容损坏（也称为语义翻转）。为了解决这个问题，我们提出了一个新的范例，图像到图像的翻译使用矢量符号架构（VSA），一个理论框架，它定义了代数运算在高维向量（超向量）空间。我们通过学习一个超向量映射来引入基于VSA的源到目标翻译对抗学习的约束，该映射可以反转翻译以确保与源内容的一致性。我们定性和定量地表明，我们的方法优于其他国家的最先进的技术。
2022-09-06 cs.CV
Image Captioning with Very Scarce Supervised Data: Adversarial Semi-Supervised Learning Approach
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
构建由大量图像和每个图像的几个标题组成的有组织的数据集是一项艰巨的任务，需要大量的人力。另一方面，单独收集大量的图像和句子可能会非常容易。在本文中，我们开发了一种新的数据高效的半监督框架训练的图像描述模型。我们通过学习将大量未配对的图像和字幕数据关联起来，从而利用它们。为此，我们提出的半监督学习方法通过生成对抗网络为未配对样本分配伪标签，以学习图像和字幕的联合分布。为了进行评估，我们构建了很少配对的COCO数据集，这是MS COCO标题数据集的修改版本。实证结果表明，与几个强基线相比，我们的方法是有效的，特别是当配对样本数量很少时。
2019-11-21 cs.CL cs.CV
Shape-conditioned Image Generation by Learning Latent Appearance Representation from Unpaired Data
Osaka University（大阪大学）
条件图像生成对于包括基于学习的计算机视觉的训练数据合成在内的各种任务都是有效的。然而，尽管最近在生成对抗网络（GANs）方面取得了进展，但生成具有对象形状详细条件的图像仍然是一项具有挑战性的任务。用于条件图像生成的现有方法使用类别标签和/或关键点，并且仅对对象类别给予有限的控制。在这项工作中，我们提出了SCGAN，一个架构来生成图像所需的形状指定的输入法线映射。形状调节的图像生成任务是通过显式建模的图像外观通过一个潜在的外观矢量。该网络使用真实图像的未配对训练样本和渲染的法线贴图进行训练。这种方法使我们能够生成图像的任意对象类别的目标形状和不同的图像外观。通过对训练数据生成任务的定性和定量评估，我们证明了我们方法的有效性。
2018-11-29 cs.CV
LOGAN: Unpaired Shape Transform in Latent Overcomplete Space
Simon Fraser University（西蒙弗雷泽大学）；Shenzhen University（深圳大学）；Tel Aviv University（特拉维夫大学）
我们介绍了LOGAN，一个深度神经网络，旨在从不成对域学习通用形状变换。该网络在两组形状上进行训练，例如，桌子和椅子，而既没有来自域的形状之间的配对作为监督，也没有任何形状之间的任何逐点对应。一旦经过训练，LOGAN会从一个域中提取一个形状，并将其转换为另一个域。我们的网络由一个自动编码器组成，用于将两个输入域的形状编码到一个公共的潜在空间中，其中潜在代码连接多尺度形状特征，从而导致过完备表示。翻译器基于生成对抗网络（GAN），在潜在空间中操作，其中对抗损失强制执行跨域翻译，而特征保留损失确保为自然形状变换保留正确的形状特征。我们进行消融研究，以验证我们的每一个关键网络设计，并在基线和最先进的方法的各种例子上展示了不成对形状变换的卓越能力。我们表明，LOGAN能够学习在形状翻译过程中保留哪些形状特征，无论是本地的还是非本地的，无论是内容还是风格，都完全取决于训练的输入域。
2019-09-03 cs.CV cs.GR cs.LG
Single-Step Bidirectional Unpaired Image Translation Using Implicit Bridge Consistency Distillation
Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Samsung Research（三星研究院）
针对现有无配对图像翻译方法迭代采样、落地难的问题，提出隐式桥一致性蒸馏框架IBCD，结合扩散隐式桥与两项改进，实现单步双向无配对翻译，在基准数据集上达SOTA性能。
2026-10-28 cs.CV
Augmented Cyclic Consistency Regularization for Unpaired Image-to-Image Translation
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Tokyo Institute of Technology（东京工业大学）
由于生成对抗网络（GANs）的最新进展，不成对图像到图像（I2 I）翻译在模式识别和计算机视觉中受到了相当大的关注。然而，由于缺乏明确的监督，未配对的I2 I模型通常无法生成逼真的图像，特别是在具有不同背景和姿势的挑战性数据集中。因此，稳定化对于GANs和I2 I翻译的应用是必不可少的。在这里，我们提出了增强循环一致性正则化（ACCR），一种新的正则化方法，用于不成对的I2 I翻译。我们的主要思想是执行一致性正则化源于半监督学习的歧视利用真实的，假的，重建的，和增强的样本。我们正则化的鉴别器输出类似的预测时，美联储对原始和扰动图像。我们定性地阐明了为什么一致性正则化在假样本和重建样本上效果很好。量化，我们的方法优于一致性正则化GAN（CR-GAN）在现实世界的翻译，并证明了对几个数据增强变量和周期一致性约束的有效性。
2020-10-12 cs.CV cs.LG
Maximum Spatial Perturbation Consistency for Unpaired Image-to-Image Translation
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Melbourne（墨尔本大学）；Baidu Inc.（百度公司）
不成对图像到图像平移（I2 I）是一个不适定问题，因为无限数量的平移函数可以将源域分布映射到目标分布。因此，在设计合适的约束方面已经投入了很多努力，例如，循环一致性（CycleGAN）、几何一致性（GCGAN）和基于对比学习的约束（CUTGAN），有助于更好地提出问题。然而，这些众所周知的约束条件有其局限性：（1）对于特定的I2 I任务来说，它们要么限制性太强，要么太弱;（2）当源域和目标域之间存在显著的空间变化时，这些方法会导致内容失真。本文提出了一种称为最大空间扰动一致性（MSPC）的通用正则化技术，该技术强制空间扰动函数（T）和平移算子（G）是可交换的（即，TG = GT）。此外，我们还引入了两个对抗性训练组件来学习空间扰动函数。第一个让T与G竞争以实现最大扰动。第二个让G和T的竞争与鉴别器对齐的空间变化所造成的对象大小的变化，对象失真，背景中断等，我们的方法优于最先进的方法在大多数I2 I基准。我们还引入了一个新的基准，即正面到侧面人脸数据集，以强调I2 I在现实世界应用中的潜在挑战。最后，我们进行烧蚀实验，研究我们的方法的灵敏度的严重程度的空间扰动和分布对齐的有效性。
2022-03-29 cs.CV eess.IV
Instance-wise Hard Negative Example Generation for Contrastive Learning in Unpaired Image-to-Image Translation
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Microsoft Research Asia（微软亚洲研究院）
对比学习在非成对图像间翻译中显示出巨大的潜力，但有时翻译结果质量不佳，内容不能保持一致。在本文中，我们发现反例在图像翻译的对比学习中起着至关重要的作用。以往方法中的反例是从源图像不同位置的块中随机抽取的，不能有效地将正例推到查询实例附近。为了解决这个问题，我们提出了实例的硬负例生成对比学习在不成对的图像到图像翻译（NEGCUT）。具体来说，我们训练一个生成器来在线生成负面示例。该生成器从两个角度来看是新颖的：1）它是实例式的，这意味着生成的示例是基于输入图像的，2）它可以生成硬否定示例，因为它是用对抗性损失训练的。使用该生成器，不成对的图像到图像的翻译的性能显着提高。在三个基准数据集上的实验表明，与以前的方法相比，所提出的NEGCUT框架实现了最先进的性能。
2021-08-11 cs.CV
Co-Evolutionary Compression for Unpaired Image Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；The University of Sydney（悉尼大学）
生成对抗网络（GANs）已成功用于相当多的计算机视觉任务，特别是图像到图像的翻译。然而，这些网络中的发电机具有复杂的结构，具有大量的参数和巨大的计算复杂性。现有的方法主要是为了压缩和加速分类任务中的深度神经网络而设计的，并且由于它们的目标和训练过程不同，不能直接应用于GANs进行图像翻译。为此，我们开发了一种新的协同进化方法，同时减少内存使用和FLOPs。在实践中，两个图像域的生成器被编码为两个群体，并协同优化，以迭代地研究最重要的卷积滤波器。每个个体的适应度是使用参数的数量、识别器感知的正则化和循环一致性来计算的。在基准数据集上进行的大量实验表明，所提出的方法对于获得紧凑和有效的生成器是有效的。
2019-07-25 cs.CV cs.LG eess.IV
Unpaired Object-Level SAR-to-Optical Image Translation for Aircraft with Keypoints-Guided Diffusion Models
School of Information Science and Technology, Fudan University（复旦大学信息科学与技术学院）；Key Laboratory for Information Science of Electromagnetic Waves (Ministry of Education)（电磁波信息科学教育部重点实验室）
针对SAR图像目标级翻译中配对数据稀缺和细节保持难的问题，提出关键点引导扩散模型KeypointDiff，利用类别-角度引导和对抗/一致性损失实现无配对飞机翻译，性能优于现有方法并具零样本泛化能力。
2025-03-25 cs.CV eess.IV
Deep MR to CT Synthesis using Unpaired Data
Image Sciences Institute, University Medical Center Utrecht（乌得勒支大学医学中心影像科学研究所）；Department of Radiotherapy, University Medical Center Utrecht（乌得勒支大学医学中心放射治疗科）
仅MR放射治疗计划需要精确的MR到CT合成。当前用于MR到CT合成的深度学习方法依赖于同一患者的成对对齐的MR和CT训练图像。然而，成对图像之间的未对准可能导致合成CT图像中的误差。为了克服这一点，我们提出了训练生成对抗网络（GAN）与不成对的MR和CT图像。一个由两个合成卷积神经网络（CNN）和两个卷积CNN组成的GAN被训练成具有周期一致性的2D脑部MR图像切片转换成2D脑部CT图像切片，反之亦然。分析了24例患者的脑部MR和CT图像。定量评估表明，该模型能够合成非常接近参考CT图像的CT图像，并且能够优于用成对MR和CT图像训练的GAN模型。
2017-08-03 cs.CV
Synthesis of COVID-19 Chest X-rays using Unpaired Image-to-Image Translation
Concordia Institute for Information Systems Engineering（康考迪亚大学信息系统工程研究所）；Concordia University（康考迪亚大学）
由于缺乏2019冠状病毒病（COVID-19）阳性患者的胸部X光照片的公开数据集，我们通过利用类条件反射和对抗训练，使用无监督域自适应方法构建了首个高保真的COVID-19胸部X光合成图像的开放数据集。我们的贡献是双重的。首先，当使用合成图像作为额外的训练集时，我们使用各种深度学习架构对COVID-19检测进行了相当大的性能改进。其次，我们展示了我们的图像合成方法如何通过仅在合成数据上训练时实现可比的检测性能来作为数据匿名化工具。此外，所提出的数据生成框架为COVID-19检测以及一般的医学图像分类任务提供了可行的解决方案。我们公开的基准数据集由21，295张合成COVID-19胸部X射线图像组成。从该数据集中收集的见解可用于抗击COVID-19大流行的预防措施。
2020-10-20 cs.CV cs.LG eess.IV
Quality-aware Unpaired Image-to-Image Translation
Hefei University of Technology（合肥工业大学）
生成对抗网络（GANs）已被广泛用于图像到图像的翻译任务。虽然这些模型严重依赖于标记的图像对，但最近已经提出了一些GAN变体来解决未配对的图像翻译任务。这些模型利用了域级别的监督，并对未配对的图像翻译进行了重建。另一方面，并行工作已经表明，利用基于高级深度特征的感知损失函数可以增强所生成的图像质量。然而，由于这些基于GAN的模型要么依赖于预训练的深度网络结构，要么依赖于标记的图像对，因此它们不能直接应用于未配对的图像翻译任务。此外，尽管从深度神经网络引入的感知损失得到了改善，但很少有研究人员探索从经典图像质量测量改善生成的图像质量的可能性。为了解决上述两个挑战，在本文中，我们提出了一个统一的基于质量感知GAN的框架，用于不成对的图像到图像的翻译，其中通过在域级别比较每个源图像和重建图像来明确地引入质量感知损失。具体来说，我们设计了质量损失的两个详细实现。第一种方法是基于一个经典的图像质量评估措施，通过定义一个经典的质量感知损失。第二种方法提出了一种基于自适应深度网络的损失。最后，在许多真实世界数据集上的大量实验结果清楚地表明了我们提出的框架的质量改进，以及与基于深度网络的模型相比，利用经典图像质量度量进行未配对图像翻译的优越性。
2019-03-15 cs.CV
GANILLA: Generative Adversarial Networks for Image to Illustration Translation
Hacettepe University（哈杰泰佩大学）；Middle East Technical University（中东技术大学）
在本文中，我们探讨了儿童书籍插图作为一个新的领域，不成对的图像到图像的翻译。我们发现，虽然目前最先进的图像到图像的翻译模型成功地转移的风格或内容，他们不能同时转移。我们提出了一个新的生成器网络来解决这个问题，并表明由此产生的网络在风格和内容之间取得了更好的平衡。对于不成对的图像到图像的翻译，没有明确定义或商定的评估指标。到目前为止，图像翻译模型的成功是基于对有限数量的图像进行主观的、定性的视觉比较。为了解决这个问题，我们提出了一个新的框架，图像到插图模型的定量评估，其中内容和风格都考虑到使用单独的分类器。在这个新的评估框架中，我们提出的模型在插图数据集上的表现优于当前最先进的模型。我们的代码和预训练模型可以在https://github.com/giddyyupp/ganilla上找到。
2020-02-14 cs.CV
Adversarial Self-Defense for Cycle-Consistent GANs
Boston University（波士顿大学）
无监督图像到图像翻译的目标是将图像从一个域映射到另一个域，而两个域之间没有地面真实对应关系。最先进的方法使用来自两个域的大量未配对示例来学习对应关系，并且基于生成对抗网络。为了保持输入图像的语义，对抗性目标通常与循环一致性损失相结合，该循环一致性损失惩罚从翻译的输入图像的不正确重建。然而，如果目标映射是多对一的，例如航空照片到地图，则这样的限制迫使生成器将信息隐藏在人眼或相机无法检测到的低振幅结构化噪声中。在本文中，我们展示了无监督翻译方法的这种自攻击行为如何影响其性能，并提供了两种防御技术。我们进行了定量评估所提出的技术，并表明，使翻译模型更强大的自我对抗攻击提高其生成质量和重建的可靠性，使模型不敏感的低幅度扰动。
2019-08-05 cs.CV eess.IV
Unpaired Deep Learning for Accelerated MRI using Optimal Transport Driven CycleGAN
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Seoul National University College of Medicine, Seoul National University Bundang Hospital（首尔大学医学院，首尔大学盆唐医院）
最近，用于加速MRI的深度学习方法由于其高性能重建而得到了广泛的研究，尽管运行时复杂性显着降低。这些神经网络通常以监督的方式进行训练，因此需要匹配的子采样和完全采样的k空间数据对。不幸的是，通常难以采集匹配的完全采样的k空间数据，因为完全采样的k空间数据的采集需要长的扫描时间并且通常导致采集协议的改变。因此，没有匹配标签数据的非配对深度学习已经成为一个非常重要的研究课题。在本文中，我们提出了一种不成对的深度学习方法，该方法使用最优传输驱动的循环一致生成对抗网络（OT-cycleGAN），该网络采用单对生成器和循环。所提出的OT-cycleGAN架构是严格地从使用专门设计的惩罚最小二乘成本的最佳运输制剂的双重制剂中推导出来的。实验结果表明，我们的方法可以重建高分辨率的MR图像从加速k空间数据从单线圈和多线圈采集，而不需要匹配的参考数据。
2020-08-29 cs.CV cs.LG eess.IV
MangaGAN: Unpaired Photo-to-Manga Translation Based on The Methodology of Manga Drawing
Beihang University（北京航空航天大学）；Zhengzhou University（郑州大学）
漫画是一种世界流行的漫画形式，起源于日本，通常采用黑白笔画线和几何夸张来描述人类的外观，姿势和动作。在本文中，我们提出了Manga GAN，这是第一种基于生成对抗网络（GAN）的非配对照片到漫画翻译方法。Manga GAN的灵感来自于经验丰富的漫画艺术家绘制漫画的方式，通过设计的GAN模型生成漫画人脸的几何特征，并通过量身定制的多GAN架构将每个面部区域精细地转换到漫画领域。为了训练MangaGAN，我们从一个流行的漫画作品中收集了一个新的数据集，包含漫画的面部特征，地标，身体，等等。此外，为了产生高质量的漫画脸，我们进一步提出了一个结构平滑损失，以平滑笔画线和避免噪声像素，和一个相似性保持模块，以提高照片和漫画之间的相似性。大量的实验表明，MangaGAN可以产生高质量的漫画脸，既保留了面部相似性和流行的漫画风格，并优于其他相关的国家的最先进的方法。
2020-12-17 cs.CV
Attribute-aware Face Aging with Wavelet-based Generative Adversarial Networks
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Artificial Intelligence Research, CAS（中国科学院人工智能创新研究院）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
由于很难在很长的年龄范围内收集同一对象的人脸图像，大多数现有的人脸老化方法都采用非配对数据集来学习年龄映射。然而，未配对的训练数据所固有的年轻人脸和老年人脸图像之间的匹配模糊性可能会导致人脸属性在老化过程中发生不自然的变化，这无法像大多数现有的研究那样仅仅通过强制身份一致性来解决。在本文中，我们提出了一个基于小波的生成对抗网络（GANs）的属性感知人脸老化模型来解决上述问题。具体而言，我们将人脸属性向量嵌入到模型的生成器和子空间中，以鼓励每个合成的老年人人脸图像忠实于其相应输入的属性。此外，一个小波包变换（WPT）模块被纳入，以提高所生成的图像的视觉保真度，通过捕捉与年龄相关的纹理细节在频率空间中的多个尺度。定性结果表明，我们的模型合成视觉上合理的人脸图像的能力，和广泛的定量评估结果表明，所提出的方法在现有的数据集上实现了最先进的性能。
2019-04-15 cs.CV
