Grayscale Image Colorization with GAN and CycleGAN in Different Image Domain
Carnegie Mellon University（卡内基梅隆大学）
本文针对灰度图像自动着色问题，复现基于 GAN 的着色模型并实验其变体，同时提出基于 CycleGAN 的模型，在多数据集上验证其在人脸和漫画着色上效果良好但多样性不足。
2024-01-21 cs.CV cs.LG
Generative Adversarial Networks for Image-to-Image Translation on Multi-Contrast MR Images - A Comparison of CycleGAN and UNIT
a Division of Medical Informatics, Department of Biomedical Engineering, Link\" o ping University, Link\" o ping, Sweden b Division of Statistics；Machine Learning, Department of Computer；Information Science, Link\" o ping University, Link\" o ping, Sweden c Center for Medical Image Science；Visualization (CMIV), Link\" o ping University, Link\" o ping, Sweden
在医学成像中，一个普遍的问题是从健康和患病的受试者收集高质量的数据是昂贵和耗时的。生成对抗网络（GANs）是一种深度学习方法，用于合成数据。因此，GANs可以用于生成更真实的训练数据，以提高机器学习算法的分类性能。GANs的另一个应用是图像到图像的转换，例如从计算机断层摄影（CT）图像生成磁共振（MR）图像，其可以用于从单个模态获得多模态数据集。在这里，我们评估两个无监督的GAN模型（循环GAN和UNIT）的图像到图像的T1和T2加权MR图像的翻译，通过比较生成的合成MR图像地面实况图像。我们还评估了两个监督模型; CycleGAN的修改和纯发电机模型。还进行了一个小的感知研究，以评估合成图像的视觉逼真度。结果表明，实现的GAN模型可以合成视觉逼真的MR图像（不正确地标记为真实的人）。它还表明，模型产生更逼真的视觉合成图像不一定有更好的定量误差测量，地面实况数据相比。代码可在https://github.com/simontomaskarlsson/GAN-MRI上获得
2018-06-20 cs.CV
CTrGAN: Cycle Transformers GAN for Gait Transfer
Ariel University（阿里尔大学）
我们介绍了一种新的方法，步态转移从不受约束的视频在野外。与运动转移相反，这里的目标不是通过目标来模仿源的运动，而是用目标代替行走的源，同时转移目标的典型步态。我们的方法可以使用多个源只训练一次，并且能够从看不见的源转移目标的步态，从而无需独立地对每个新源进行再训练。此外，我们提出了一种新的度量步态转移的基础上的步态识别模型，使转移步态的质量进行量化，并表明，现有的技术产生的差异，可以很容易地检测到。我们介绍循环Transformers GAN（CTrGAN），它包括一个解码器和编码器，两个Transformers，其中的注意力是在完整的图像之间的时间域，而不是补丁之间的空间域。使用广泛使用的步态识别数据集，我们证明了我们的方法能够产生比现有方法更逼真的个性化步态，即使在训练过程中无法使用的来源。作为解决方案的一部分，我们提出了一个检测器，用于确定视频是真实的还是由我们的模型生成的。
2023-01-07 cs.CV
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
National University of Singapore（新加坡国立大学）；Hangzhou Dianzi University（杭州电子科技大学）
在本文中，我们提出了一种新的无监督视频摘要模型，不需要手动注释。Cycle-SUM模型采用了一种新的周期一致的对抗性LSTM架构，可以有效地最大限度地提高摘要视频的信息保留和紧凑性。它由一个帧选择器和一个基于周期一致性学习的评价器组成。选择器是一个双向LSTM网络，它学习嵌入视频帧之间的长程关系的视频表示。评估器定义原始视频和摘要视频之间的可学习的信息保持度量，并且“监督”选择器以识别最具信息性的帧以形成摘要视频。特别地，评估器由两个生成对抗网络（GANs）组成，其中前向GAN学习从摘要视频重建原始视频，而后向GAN学习反转处理。这种循环学习的输出之间的一致性被采用作为视频摘要的信息保持度量。我们证明了互信息最大化和这样的循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最新性能和优越性。
2019-04-17 cs.CV
Reversible GANs for Memory-efficient Image-to-Image Translation
University of Amsterdam（阿姆斯特丹大学）
Pix2pix和CycleGAN的损失极大地改善了图像到图像翻译任务结果的定性和定量视觉质量。我们通过探索非常适合这些损失的近似可逆的架构来扩展这个框架。这些架构在设计上是近似可逆的，因此在训练开始之前就部分满足了周期一致性。此外，由于可逆架构在深度上具有恒定的内存复杂度，因此这些模型可以构建任意深度。我们能够在Cityscapes和Maps数据集上以接近恒定的内存预算展示卓越的定量输出。
2019-02-07 cs.CV
Semi-supervised Cycle-GAN for face photo-sketch translation in the wild
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Baidu Inc（百度公司）
针对人脸照片-素描转换中配对数据少、未配对训练的Cycle-GAN存在隐写术问题，提出带噪声注入的半监督Semi-Cycle-GAN，用伪配对结合自监督训练，在公开基准和自然场景照片上均取得良好效果。
2023-07-18 cs.CV
UVCGAN v2: An Improved Cycle-Consistent GAN for Unpaired Image-to-Image Translation
Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出UVCGAN v2，通过引入现代架构与训练改进，在多个非配对图像转换基准上显著超越GAN和扩散模型，并在CelebA性别转换任务中FID提升超40%。
2023-09-22 cs.CV
Pairwise-GAN: Pose-based View Synthesis through Pair-Wise Training
Research School of Computer Science, Australian National University（澳大利亚国立大学计算机科学研究学院）
三维人脸重建是计算机视觉的一个重要应用。然而，即使是最先进的模型仍然需要正面人脸作为输入，这限制了其在野外的使用场景。类似的困境也发生在人脸识别中。新的研究旨在恢复正面的脸从一个单一的侧面姿态的人脸图像已经出现。这一领域的最新技术是基于CycleGAN的Face-Transformation生成对抗网络。这启发了我们的研究，探索了两个模型在正面面部合成中的像素变换性能，Pix 2 Pix和CycleGAN。我们在Pix 2 Pix上进行了五种不同损失函数的实验以提高其性能，然后提出了一种新的用于正面人脸合成的网络Pairwise-GAN。Pairwise-GAN使用两个并行的U型网络作为生成器，PatchGAN作为生成器。详细的超参数进行了讨论。基于面部相似性比较的定量测量，我们的结果表明，与默认Pix 2 Pix模型相比，具有L1损失、梯度差损失和身份损失的Pix 2 Pix在平均相似性上提高了2.72%。此外，在平均相似度上，Pairwise-GAN的性能比CycleGAN高5.4%，比Pix 2 Pix高9.1%。
2020-09-13 cs.CV
Robust Mitosis Detection Using a Cascade Mask-RCNN Approach With Domain-Specific Residual Cycle-GAN Data Augmentation
Tribvn Healthcare（Tribvn Healthcare（Tribvn医疗保健公司））；Paris, France（巴黎，法国）
对于MIDOG有丝分裂检测挑战，我们创建了一个由Mask-RCNN检测器组成的级联算法，然后是由ResNet 50和DenseNet 201组成的分类集合，以细化检测到的有丝分裂候选物。MIDOG训练数据由源自四个扫描仪的200帧组成，其中三个被注释为具有质心注释的有丝分裂实例。我们的主要算法选择如下：首先，为了增强我们的检测器和分类网络的泛化能力，我们使用最先进的残差Cycle-GAN将每个扫描器域转换为每个其他扫描器域。在训练过程中，我们为每张图像随机加载四个域中的一个。通过这种方式，我们的网络可以从第四个未注释的扫描器域中学习，即使我们没有对它进行注释。其次，为了训练检测器网络，我们创建了特定于有丝分裂的边界框，而不是使用基于质心的固定大小的边界框。我们通过手动注释一小部分有丝分裂，在这个小数据集上训练Mask-RCNN，并将其应用于其余数据以获得完整的注释。我们只使用挑战提供的正面和负面的例子来训练后续的分类集合。在初步测试集上，该算法的F1得分为0.7578，使我们成为排行榜上的第二名。
2021-09-28 cs.CV
Unsupervised Enhancement of Real-World Depth Images Using Tri-Cycle GAN
Technion – Israel Institute of Technology（以色列理工学院）
低质量深度对计算机视觉算法提出了相当大的挑战。在这项工作中，我们的目标是提高高度退化，现实世界的深度图像获得的低成本传感器，分析噪声模型是不可用的。在没有干净的地面实况的情况下，我们将任务作为低质量传感器域和高质量传感器域之间的无监督域转换，使用两个不成对的训练集表示。我们使用非常成功的Cycle-GAN来完成这项任务，但发现它在这种情况下表现不佳。识别失败的来源，我们引入了几个修改的框架，包括一个更大的发电机架构，深度特定的损失，考虑到丢失的像素，和一个新的三周期损失，促进信息保存，同时解决域之间的不对称性。我们表明，由此产生的框架在视觉上和定量上都大大改善了原始的Cycle-GAN，将其适用性扩展到更具挑战性和不对称的翻译任务。
2020-01-11 cs.CV cs.LG eess.IV
UVCGAN: UNet Vision Transformer cycle-consistent GAN for unpaired image-to-image translation
Brookhaven National Laboratory（布鲁克海文国家实验室）
不成对图像到图像的翻译在艺术、设计和科学模拟中有着广泛的应用。一个早期的突破是CycleGAN，它强调通过生成对抗网络（GAN）与循环一致性约束相结合的两个未配对图像域之间的一对一映射，而最近的作品则促进了一对多映射，以提高翻译图像的多样性。受科学模拟和一对一需求的激励，这项工作重新审视了经典的CycleGAN框架，并在不放松周期一致性约束的情况下提高了其性能，使其优于更现代的模型。为了实现这一目标，我们为发生器配备了视觉Transformer（ViT），并采用了必要的训练和正则化技术。与之前表现最好的模型相比，我们的模型表现更好，并保留了原始图像和翻译图像之间的强相关性。伴随的消融研究表明，梯度惩罚和自我监督的预训练对改进至关重要。为了促进可重复性和开放科学，源代码，超参数配置和预训练模型可在https://github.com/LS4GAN/uvcgan上获得。
2022-10-18 cs.CV eess.IV
Sem-GAN: Semantically-Consistent Image-to-Image Translation
Mitsubishi Electric Research Labs (MERL)（三菱电机研究实验室（MERL））
不成对图像到图像转换是将源域中的图像映射到目标域中的图像的问题，而不需要对应的图像对。为了确保翻译的图像是真实可信的，最近的作品，如Cycle-GAN，要求这种映射是可逆的。虽然这个要求在域是单峰的情况下展示了有希望的结果，但在多模态场景（例如图像分割任务）中，其性能是不可预测的。这是因为，可逆性不一定强制语义正确性。为此，我们提出了一个语义一致的GAN框架，被称为Sem-GAN，其中的语义定义的类身份的图像段在源域中产生的语义分割算法。我们提出的框架包括翻译任务的一致性约束，连同GAN损失和周期约束，强制执行翻译时的图像将继承目标域的外观，同时（近似）保持它们的身份从源域。我们在几个图像到图像的翻译任务上进行了实验，并证明Sem-GAN显着提高了翻译图像的质量，有时在FCN分数上提高了20%以上。此外，我们表明，语义分割模型，通过Sem-GAN翻译的合成图像训练，导致比其他变体更好的分割结果。
2018-07-12 cs.CV
SAGE-GAN: Towards Realistic and Robust Segmentation of Spatially Ordered Nanoparticles via Attention-Guided GANs
National Institute of Technology Durgapur（杜尔加布尔国家理工学院）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文提出SAGE-GAN，通过自注意力驱动的U-Net和CycleGAN框架，解决电子显微镜图像中纳米颗粒分割的挑战，实现高效且鲁棒的分割方法。
2026-04-04 cs.CV
Refacing: reconstructing anonymized facial features using GANs
Linköping University（林雪平大学）
医学图像的匿名化对于保护受试者的身份是必要的，因此是数据共享的重要步骤。然而，深度学习的最新发展可能会提高保证匿名所需的失真量。为了测试这种可能性，我们在T1 MR图像的矢状切片上应用了新的CycleGAN无监督图像到图像转换框架，以便从匿名数据中重建面部特征。我们将CycleGAN框架应用于面部模糊和面部移除的图像。我们的研究结果表明，面部模糊可能无法提供足够的保护，以防止恶意企图识别的主题，而面部删除提供了更强大的匿名化，但仍然是部分可逆的。
2019-01-21 cs.CV
Dual-cycle Constrained Bijective VAE-GAN For Tagged-to-Cine Magnetic Resonance Image Synthesis
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland School of Dentistry（马里兰大学牙科学院）
标记磁共振成像（MRI）是用于测量运动器官中的组织变形的广泛使用的成像技术。由于标记的MRI固有的低解剖分辨率，有时在同一扫描会话中获取具有更高分辨率的电影MRI的另一匹配集以促进组织分割，从而增加额外的时间和成本。为了缓解这一问题，在这项工作中，我们提出了一种新的双循环约束双射VAE-GAN方法来进行标记到电影MR图像合成。我们的方法是基于一个变分自动编码器骨干与循环重建约束对抗训练，以产生准确和现实的电影MR图像标记的MR图像。我们的框架已经使用来自20名健康受试者的1，768，416和1，560个独立于受试者的标记和电影MRI配对切片进行了训练，验证和测试，分别证明了优于比较方法的性能。我们的方法可以潜在地用于减少额外的采集时间和成本，同时保持相同的工作流程用于进一步的运动分析。
2021-01-14 cs.CV eess.IV
Are you wearing a mask? Improving mask detection from speech using augmentation by cycle-consistent GANs
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
从语音中检测一个人是否戴着口罩的任务在法医调查、外科医生或保护自己免受COVID-19等传染病感染的人之间的交流中对语音建模非常有用。在本文中，我们提出了一种新的数据增强方法从语音中检测掩码。我们的方法是基于（i）训练具有周期一致性损失的生成对抗网络（GANs）来翻译两个类别（有掩码和没有掩码）之间的未配对话语，以及（ii）使用周期一致性GANs生成新的训练话语，为每个翻译的话语分配相反的标签。原始和翻译的话语被转换成频谱图，这些频谱图作为输入提供给一组具有不同深度的ResNet神经网络。通过支持向量机（SVM）分类器将网络组合成一个整体。凭借该系统，我们参加了INTERSPEECH 2020计算副语言学挑战赛的面具子挑战赛（MSC），超过主办方提出的基线2.8%。我们的数据增强技术在私有测试集上提供了0.9%的性能提升。此外，我们表明，我们的数据增强方法比其他基线和最先进的增强方法产生更好的结果。
2020-07-25 cs.CV cs.SD eess.AS
Learning to Clean: A GAN Perspective
TCS Research（塔塔咨询服务公司研究部 (TCS Research)）；New Delhi, India（印度新德里 (New Delhi, India) （注：此处地址非机构，仅保留原文机构部分））
在大数据时代，挖掘发票、银行单据和快递收据等非结构化扫描文档中的大量数据的动力已经获得了新的动力。扫描过程通常会导致引入伪影，例如背景噪声、相机运动引起的模糊、水印、咖啡渍或褪色的文本。这些工件对当前的文本识别算法提出了许多可读性挑战，并显着降低了其性能。现有的基于学习的去噪技术需要一个数据集，该数据集包括与清洁版本配对的噪声文档。在这种情况下，可以训练模型从嘈杂的版本中生成干净的文档。然而，在现实世界中，这种配对的数据集通常是不可用的，我们用来训练去噪模型的所有数据都是未配对的噪声和干净图像集。本文探讨了使用GANs来生成噪声文档的去噪版本。特别地，在配对信息可用的情况下，我们将问题公式化为图像到图像的翻译任务，即，从噪声域（即，背景噪声、模糊、褪色、加水印）到目标干净文档。然而，在没有配对图像进行训练的情况下，我们采用了CycleGAN，已知它可以使用未配对数据来学习噪声图像到去噪图像的分布之间的映射，以实现图像到图像的转换，从而清理噪声文档。我们比较了使用未配对图像的CycleGAN与在来自相同数据集的配对数据上训练的条件GAN在文档清理任务中的性能。在人工引入不同类型噪声的公共文档数据集上进行了实验，结果表明CycleGAN从噪声到干净文档的空间学习到更鲁棒的映射。
2019-01-28 cs.CV
What goes around comes around: Cycle-Consistency-based Short-Term Motion Prediction for Anomaly Detection using Generative Adversarial Networks
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Fraunhofer Institute for Optronics, System Technologies and Image Exploitation IOSB（弗劳恩霍夫光电子、系统技术与图像利用研究所（IOSB））
异常检测在许多研究领域中扮演着重要的角色，伴随着强相关的离群点检测任务，异常检测也扮演着非常重要的角色。特别是在自动分析监控摄像机记录的视频材料的背景下，异常情况可能具有非常不同的性质。为此，这项工作研究了基于生成对抗网络的方法（GAN）的异常检测相关的监控应用。重点是静态相机设置的使用，因为这种相机是最常用的相机之一，属于较低的价格段。为了解决这一任务，多个子任务进行评估，包括现有的光流方法的短期时间信息，不同形式的网络设置和损失的GANs的合并的影响，并使用形态操作进一步提高性能。通过这些扩展，我们实现了高达2.4%的更好的结果。此外，最终的方法将基于GAN的方法的异常检测误差降低了约42.8%。
2019-08-08 cs.CV
Adversarial Self-Defense for Cycle-Consistent GANs
Boston University（波士顿大学）
无监督图像到图像翻译的目标是将图像从一个域映射到另一个域，而两个域之间没有地面真实对应关系。最先进的方法使用来自两个域的大量未配对示例来学习对应关系，并且基于生成对抗网络。为了保持输入图像的语义，对抗性目标通常与循环一致性损失相结合，该循环一致性损失惩罚从翻译的输入图像的不正确重建。然而，如果目标映射是多对一的，例如航空照片到地图，则这样的限制迫使生成器将信息隐藏在人眼或相机无法检测到的低振幅结构化噪声中。在本文中，我们展示了无监督翻译方法的这种自攻击行为如何影响其性能，并提供了两种防御技术。我们进行了定量评估所提出的技术，并表明，使翻译模型更强大的自我对抗攻击提高其生成质量和重建的可靠性，使模型不敏感的低幅度扰动。
2019-08-05 cs.CV eess.IV
Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability
Sun Yat-sen University（中山大学）；Xiamen University（厦门大学）；City University of Hong Kong（香港城市大学）；Guangdong University of Technology（广东工业大学）；Hong Kong Polytechnic University（香港理工大学）
GAN反演旨在将输入图像反演到预先训练的GAN的潜在空间中。尽管最近在GAN反演中取得了进展，但仍然存在减轻失真和可编辑性之间的权衡的挑战，即准确地重建输入图像并以小的视觉质量下降编辑反演图像。最近提出的枢轴调整模型，通过使用两步的方法，首先将输入图像反转成一个潜在的代码，称为枢轴代码，然后改变生成器，使输入图像可以准确地映射到枢轴代码，使重建和可编辑性取得了重大进展。在这里，我们表明，重建和可编辑性可以通过适当的设计枢轴代码。我们提出了一个简单而有效的方法，命名为循环编码，高质量的枢轴代码。我们的方法的核心思想是逐步训练的编码器在不同的空间根据一个循环计划：W->W+->W。这种训练方法保留了W和W+空间的属性，即W的高可编辑性和W+的低失真。为了进一步减少失真，我们还建议使用基于优化的方法来改进枢轴代码，其中引入正则化项以减少可编辑性的退化。定性和定量比较几个国家的最先进的方法证明了我们的方法的优越性。
2022-07-19 cs.CV
GANBERT: Generative Adversarial Networks with Bidirectional Encoder Representations from Transformers for MRI to PET synthesis
NVIDIA Corporation（英伟达公司）；Seoul National University（首尔大学）
合成医学图像（如PET）是一项具有挑战性的任务，因为强度范围比照片和数字渲染中的强度范围更宽，更密集，并且通常严重偏向零。最重要的是，PET中的强度值具有绝对意义，并且用于计算在人群中可重现的参数。然而，当合成PET图像时，通常必须在预处理/后处理中进行大量手动调整，因为其强度范围可能变化很大，例如，浮点值在-100到1000之间。为了克服这些挑战，我们采用了双向编码器表示从Transformers（BERT）算法，在自然语言处理（NLP），其中大范围的浮点强度值表示为0至10000之间的整数，类似于自然语言词汇的字典取得了巨大的成功。然后训练BERT来预测一定比例的掩码值图像，其中其“下一句预测（NSP）”充当GAN模型。我们提出的方法，是能够产生PET图像从MRI图像在广泛的强度范围内，没有手动调整，在前/后处理。它是一种可以扩展并随时部署的方法。
2020-08-10 cs.CV cs.LG eess.IV
Detection, Attribution and Localization of GAN Generated Images
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Mayachitra, Inc.（Mayachitra公司）；University of California（加州大学）
生成对抗网络（GANs）的最新进展导致创建了逼真的数字图像，这对人类或计算机的检测构成了重大挑战。GANs用于各种任务，从修改图像的小属性（StarGAN [14]），在图像对之间传输属性（CycleGAN [91]），以及生成全新的图像（ProGAN [36]，StyleGAN [37]，SPADE/GauGAN [64]）。在本文中，我们提出了一种新的方法来检测，属性和定位GAN生成的图像，结合图像特征与深度学习方法。对于每幅图像，在不同方向（水平、垂直和对角线）的RGB通道的邻域像素上计算共生矩阵。然后在这些特征上训练深度学习网络，以检测、归属和定位这些GAN生成/操纵的图像。在5个GAN数据集上对我们的方法进行了大规模评估，包括超过276万张图像（ProGAN，StarGAN，CycleGAN，StyleGAN和SPADE/GauGAN），在检测GAN生成的图像方面显示了有希望的结果。
2020-07-20 cs.CV eess.IV
CycleGAN without checkerboard artifacts for counter-forensics of fake-image detection
Tokyo Metropolitan University（东京都立大学）
在本文中，我们提出了一种新的CycleGAN没有棋盘文物反取证的假图像检测。最近图像处理工具和深度图像合成技术的快速发展，如生成对抗网络（GANs）很容易生成虚假图像，因此检测被操纵的图像已成为一个紧迫的问题。大多数最先进的伪造检测方法假设图像包括通过使用DNN生成的棋盘伪影。因此，我们提出了一种新的CycleGAN没有任何棋盘文物的反取证的假图像检测方法的第一次，作为一个例子的GANs没有棋盘文物。
2020-12-01 cs.CV eess.IV
Asymmetric GANs for Image-to-Image Translation
ETH Zurich（苏黎世联邦理工学院）；University of Trento（特伦托大学）
针对现有对称GAN图像翻译模型存在的双向不对等、模型易崩溃等问题，提出采用非对称架构和优化损失的AsymmetricGAN，在8个数据集的有监督和无监督任务中性能更优，为首款研究该类非对称结构的模型。
2024-07-12 cs.CV cs.LG eess.IV
Asymmetric GAN for Unpaired Image-to-image Translation
非配对图像到图像的翻译问题的目的是建立从一个域到另一个域的映射与非配对的训练数据。目前的工作，如众所周知的循环GAN提供了一个一般的解决方案，任何两个域通过模拟内射映射的对称结构。而在两个域在复杂性上不对称的情况下，即，两个域之间的信息量是不同的，这些方法带来了生成质量差、映射模糊和模型敏感性的问题。为了解决这些问题，我们提出了非对称GAN（AsymGAN），通过引入辅助变量（aux）来学习从信息贫乏域到信息丰富域的额外信息来适应非对称域，这在以下方面提高了最先进方法的性能。首先，aux更好地平衡了两个域之间的信息，这有利于生成的质量。第二，信息的不平衡通常会导致映射的模糊性，我们可以通过调整辅助来建模一对多的映射，而且我们的辅助是可控的。第三，周期GAN的训练可以很容易地使发电机对小的干扰和变化敏感，而我们的模型通过在训练期间注入辅助来消除发电机的病态相关性。我们验证了我们提出的方法的有效性，定性和定量的非对称情况下，标签照片任务，城市景观和海伦数据集，并显示了许多应用程序的非对称图像翻译。总之，我们的AsymGAN为非对称域中的不成对图像到图像翻译提供了更好的解决方案。
2019-12-25 cs.CV
Cycle In Cycle Generative Adversarial Networks for Keypoint-Guided Image Generation
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Texas State University（得克萨斯州立大学）；EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一种新的循环中循环生成对抗网络（C $^2$ GAN）的关键点引导图像生成的任务。建议的C $^2$ GAN是一个跨模态的框架，探索联合开发的关键点和图像数据的交互方式。C $^2$ GAN包含两种不同类型的生成器，即，面向关键点生成器和面向图像生成器。它们都以端到端的可学习方式相互连接，并明确形成三个循环子网络，即，一个图像生成周期和两个关键点生成周期。每一个循环不仅旨在重建输入域，而且还产生有用的输出，涉及到另一个循环的生成。通过这样做，周期相互隐含地约束，这提供了来自两种不同模态的互补信息，并带来了跨周期的额外监督，从而促进了整个网络的更鲁棒的优化。在两个公开数据集上的广泛实验结果，即，Radboud Faces和Market-1501，表明我们的方法是有效的，以产生更逼真的图像相比，国家的最先进的模型。
2020-04-16 cs.CV cs.LG eess.IV
GANHopper: Multi-Hop GAN for Unsupervised Image-to-Image Translation
Simon Fraser University（西蒙弗雷泽大学）；Brown University（布朗大学）；Tel Aviv University（特拉维夫大学）
我们介绍GANHopper，这是一种无监督的图像到图像翻译网络，通过多跳在两个域之间逐渐转换图像。我们不是直接执行翻译，而是通过要求网络产生类似于输入域图像之间的加权混合的中间图像来引导翻译。我们的网络只在两个域的未配对图像上训练，没有任何中间图像。所有的跳跃都是使用一个单一的发生器沿每个方向产生的。除了标准的周期一致性和对抗性损失，我们引入了一个新的混合网络，该网络经过训练，可以将生成器生成的中间图像分类为加权混合图像，其权重基于预定的跳数。我们还添加了一个平滑项来约束每一跳的大小，进一步正则化平移。与以前的方法相比，GANHopper在涉及特定领域图像特征和几何变化的图像翻译方面表现出色，同时还保留了非特定领域的特征，如通用配色方案。
2020-07-29 cs.CV
An Optimized Architecture for Unpaired Image-to-Image Translation
Medi-Caps Institute of Science and Technology（梅迪卡普斯科学技术学院）
非配对图像到图像翻译旨在将图像从一个域（输入域A）转换到另一个域（目标域B），而不提供用于训练的配对示例。最先进的Cycle-GAN展示了具有周期一致性损失的生成对抗网络的强大功能。虽然其结果令人鼓舞，但培训过程仍有优化的余地。本文介绍了一种新的神经网络结构，通过引入新的偏差损失项，该结构只学习域A到域B的转换，而不需要反向映射（B到A）。此外，在这种新架构中发现并利用了对Cycle-GAN的一些其他改进，从而大大缩短了训练时间。
2018-02-13 cs.CV
Breaking the cycle -- Colleagues are all you need
Technion（以色列理工学院）
本文提出了一种新的方法来执行不成对域之间的图像到图像的翻译。我们的方法不依赖于周期约束，而是利用各种GANs之间的协作。这导致多模态方法，其中针对给定图像产生多个可选且不同的图像。我们的模型解决了经典GANs的一些缺点：（1）它能够去除大物体，如眼镜。(2)由于它不需要支持循环约束，因此在生成的图像上不会留下输入的不相关痕迹。(3)它设法在需要大的形状修改的域之间转换。我们的结果显示，在定性和定量方面，我们的结果优于最先进的方法在常用数据集上的几个具有挑战性的应用程序所产生的结果。
2020-06-07 cs.CV cs.LG
Content-Aware GAN Compression
Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
生成对抗网络（GANs），例如，StyleGAN 2在各种图像生成和合成任务中发挥着至关重要的作用，但其众所周知的高计算成本阻碍了其在边缘设备上的有效部署。直接应用通用压缩方法在GANs上产生的结果很差，这激发了许多最近的GAN压缩工作。虽然现有的工作主要是加速条件GANs，例如，pix 2 pix和CycleGAN，压缩最先进的无条件GANs很少被探索，更具挑战性。在本文中，我们提出了新的无条件GAN压缩方法。我们首先介绍了专门用于无条件GANs的有效通道修剪和知识蒸馏方案。然后，我们提出了一种新的内容感知方法来指导修剪和蒸馏的过程。通过内容感知，我们可以有效地修剪对感兴趣的内容不重要的频道，例如，人脸，并将我们的蒸馏集中在这些区域，这大大提高了蒸馏质量。在StyleGAN 2和SN-GAN上，我们实现了对最先进的压缩方法的实质性改进。值得注意的是，与全尺寸模型相比，我们将StyleGAN 2的FLOPs减少了11倍，视觉上的图像质量损失可以忽略不计。更有趣的是，当应用于各种图像处理任务时，我们的压缩模型形成了一个更平滑，更好地解开的潜在流形，使其更有效地进行图像编辑。
2021-04-06 cs.CV
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University（克莱姆森大学）
条件生成模型在过去几年中取得了相当大的成功，但通常需要大量的标记数据。最近，聚类器GAN将GAN与编码器相结合，通过无监督条件生成来实现显著的聚类性能。然而，它忽略了数据的真实条件分布，这导致为每个类生成较少多样性的样本，并使编码器只能实现次优聚类性能。在这里，我们提出了一个新的无监督条件生成框架，双循环一致的条件GAN（DC 3-GAN），它可以生成不同的类条件样本。除了生成器-编码器对之外，我们还强制GAN的编码器和生成器形成编码器-生成器对，这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对，它可以间接估计真实的条件分布。同时，该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配，从而将潜在空间分解为两部分：独热离散和连续潜在变量。前者可以直接表示为簇，后者表示剩余的未指定因子。这项工作表明，增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明，该方法优于现有的基于生成模型的聚类方法，同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
SL-CycleGAN: Blind Motion Deblurring in Cycles using Sparse Learning
NCEPU（华北电力大学）；Portland State University（波特兰州立大学）
本文提出了一种基于稀疏学习的端到端生成对抗网络（GAN），用于单帧图像的盲运动去模糊，我们称之为SL-CycleGAN。在盲运动去模糊中，我们第一次提出了一个稀疏ResNet块，作为稀疏卷积层和基于HTM（分层时间记忆）的可训练空间pokerk-winner的组合，以取代SL-CycleGAN生成器的ResNet块中的非线性，如ReLU。此外，与许多最先进的基于GAN的运动去模糊方法不同，这些方法将运动去模糊视为线性端到端过程，我们从CycleGAN的域到域转换能力中获得灵感，我们证明图像去模糊可以是周期一致的，同时实现最佳的定性结果。最后，我们对流行的图像基准进行了定性和定量的广泛实验，并在GoPro数据集上实现了破纪录的38.087 dB的PSNR，比最新的去模糊方法好5.377 dB。
2021-11-07 cs.CV eess.IV
Data Augmentation in Emotion Classification Using Generative Adversarial Networks
Beihang University（北京航空航天大学）；Beijing San Kuai Yun Technology Co., Ltd.（北京三快云科技有限公司）
利用少量的样本对具有多个类别标签的图像进行分类是一项困难的任务，特别是当标签（类别）分布不平衡时。情绪分类是不平衡标签分布的这样一个示例，因为与其他标签（如{ \it快乐或悲伤}）相比，像\emph{disgusted}这样的一些情绪类别相对较少。在本文中，我们提出了一种使用生成对抗网络（GAN）的数据增强方法。它可以补充和完善数据流形，并在相邻类之间找到更好的边缘。具体来说，我们设计了一个框架，其中CNN模型作为分类器，周期一致性对抗网络（CycleGAN）作为生成器。为了避免梯度消失问题，我们采用最小二乘损失作为对抗损失。我们还提出了几种评估方法在三个基准数据集上验证GAN的性能。实验结果表明，采用基于GAN的数据增强技术后，分类精度可提高5%~10%.
2017-12-14 cs.CV
Online Multi-Granularity Distillation for GAN Compression
ByteDance Inc.（字节跳动有限公司）
生成对抗网络（GANs）在生成出色的图像方面取得了普遍的成功，但是，由于庞大的计算成本和庞大的内存使用，它们在资源受限的设备上部署起来很麻烦。虽然最近压缩GANs的努力已经取得了显着的成果，但它们仍然存在潜在的模型冗余，可以进一步压缩。为了解决这个问题，我们提出了一种新的在线多粒度蒸馏（OMGD）方案，以获得轻量级的GANs，这有助于以低计算需求生成高保真图像。我们首次尝试推广面向GAN压缩的单级在线蒸馏，其中逐步推广的教师生成器有助于改进基于无判别器的学生生成器。互补的教师生成器和网络层提供了全面和多粒度的概念，以增强不同维度的视觉保真度。在四个基准数据集上的实验结果表明，OMGD成功地压缩了Pix2Pix和CycleGAN上40倍的MAC和82.5倍的参数，而没有损失图像质量。结果表明，OMGD为在资源受限的设备上部署实时图像翻译提供了一种可行的解决方案。我们的代码和模型在https://github.com/bytedance/OMGD上公开。
2021-08-26 cs.CV
Slide-free MUSE Microscopy to H&E Histology Modality Conversion via Unpaired Image-to-Image Translation GAN Models
University of California, Davis（加州大学戴维斯分校）；University of San Francisco Data Institute（旧金山大学数据研究所）；Wicklow AI in Medicine Research Initiative（威克洛医学人工智能研究计划）；University of Texas, San Antonio Health（德克萨斯大学圣安东尼奥健康分校）
MUSE是一种用于组织组织学检查的新型无载玻片成像技术，可作为传统组织学的替代方法。为了弥合MUSE和传统组织学之间的差距，我们的目标是将MUSE图像转换为类似于真实的苏木精和曙红染色（H&E）图像。我们评估了四种模型：基于非机器学习的颜色映射解混工具，CycleGAN，DualGAN和GANILLA。CycleGAN和GANILLA提供了视觉上引人注目的结果，适当地转移了H&E风格并保留了MUSE内容。基于在真实和生成的H&E图像上训练自动评论器，我们确定CycleGAN表现出最佳性能。我们还发现，MUSE颜色反转可能是准确的模态转换到H&E的必要步骤。我们相信，我们的MUSE-to-H&E模型可以通过弥合MUSE成像和传统组织学之间的感知差距，帮助改善新型无载玻片方法的采用。
2020-08-19 cs.CV cs.LG eess.IV
Learning Spatial Pyramid Attentive Pooling in Image Synthesis and Image-to-Image Translation
Department of ECE and the Visual Narrative Initiative, North Carolina State University（北卡罗来纳州立大学电气与计算机工程系及视觉叙事研究所）
图像合成和图像到图像的翻译是两个重要的生成学习任务。通过分别学习生成对抗网络（GANs）~ \cite{goodfellow2014generative}和周期一致性GANs（CycleGANs）~ \cite{zhu2017unpaired}，已经取得了显著的进展。本文提出了一种学习空间金字塔注意池（SPAP）的方法。SPAP是一种新的结构单元，可以很容易地集成到GANs和CycleGANs的生成器和鉴别器中。SPAP整合了Atrous空间金字塔\cite{chen2018deeplab}、级联注意力机制和剩余连接\cite{he2016deep}。它利用这三个组件的优点来促进有效的端到端生成学习：（i）通过ASPP融合多尺度信息的能力;（ii）通过注意力捕获空间位置（特别是多尺度上下文）或特征通道之间的相对重要性的能力;（iii）通过剩余连接保留信息并增强优化可行性的能力。粗到细和细到粗的SPAP进行了研究，并在这两个任务中观察到有趣的注意力地图。在实验中，所提出的SPAP在Celeba-HQ-128数据集~ \cite{karras2017progressive}上的GANs中进行了测试，并且在包括Cityscape数据集~ \cite{cordts2016cityscapes}、Facade和Aerial Maps数据集~ \cite{zhu2017unpaired}的图像…
2019-01-18 cs.CV cs.LG
How Old Are You? Face Age Translation with Identity Preservation Using GANs
Cloudminds（达闼科技）
我们提出了一个新的框架，以产生不同年龄的图像，同时保留身份信息，这是被称为人脸老化。与最近流行的利用生成对抗网络（GANs）应用程序的人脸老化网络不同，我们的方法不是简单地将年轻的人脸转移到旧的人脸上。相反，我们使用边缘图作为中间表示，首先提取年轻面孔的边缘图，采用基于CycleGAN的网络将其转换为旧面孔的边缘图，然后采用另一个基于pix2pixHD的网络将合成的边缘图与身份信息连接起来转换为旧面孔。这样，我们的方法可以生成更真实的传输图像，同时确保人脸身份信息得到很好的保留，并生成的图像的表观年龄是准确的适当。实验结果表明，该方法是可行的人脸年龄翻译。
2019-09-11 cs.CV
Cycle-consistent Generative Adversarial Networks for Neural Style Transfer using data from Chang'E-4
Iris Lunar Rover（虹膜月球车）；Carnegie Mellon（卡内基梅隆大学）
生成对抗网络（GANs）在计算机视觉中有着巨大的应用。然而，在空间科学和行星探索方面，重大进展的大门是敞开的。我们介绍了处理嫦娥四号任务行星数据的工具，并提出了一个使用渲染图像的周期一致性进行神经风格转换的框架。这些实验是在Iris Lunar Rover的背景下进行的，Iris Lunar Rover是一种纳米漫游车，将于2021年部署在月球地形中，作为卡内基梅隆大学的旗舰，是美国第一个登上月球的无人漫游车。
2020-11-23 cs.CV
DSAL-GAN: Denoising based Saliency Prediction with Generative Adversarial Networks
IIIT Sri City（斯里城印度信息技术学院）；CSIR-CEERI Pilani（科学与工业研究理事会-中央电子工程研究所皮拉尼）；CCS Computers Pvt Ltd（CCS计算机私人有限公司）；IIT Delhi（印度理工学院德里分校）；IIT Jodhpur（印度理工学院焦特布尔分校）
从噪声图像中合成高质量的显著性图是计算机视觉中的一个具有挑战性的问题，并且具有许多实际应用。由现有的显着性检测技术生成的样本不能平滑地处理噪声扰动，并且不能描绘出给定场景中存在的显着对象。在本文中，我们提出了一种新的端到端耦合去噪基于显着性预测与生成对抗网络（DSAL-GAN）框架，以解决显着的目标检测在噪声图像中的问题。DSAL-GAN由两个生成对抗网络（GAN）组成，它们经过端到端的训练，以整体的方式执行去噪和显著性预测。第一个GAN由一个生成器组成，它对有噪声的输入图像进行去噪，在第二个对应部分中，我们检查输出是去噪图像还是真实原始图像。第二个GAN使用基于对抗性损失的显著性预测方法的数据驱动度量从输入去噪图像的原始像素预测显著性图。循环一致性损失也被纳入，以进一步提高显着区域预测。我们证明了全面的评估，建议的框架优于几个基线显着性模型在各种性能基准。
2019-04-02 cs.CV
(Un)paired signal-to-signal translation with 1D conditional GANs
University of British Columbia（不列颠哥伦比亚大学）
本研究提出基于1D条件GAN的非配对sig2sig翻译方法，借鉴WaveGAN改造简化版CycleGAN，无需大幅改动原有架构即可实现1D信号翻译，在小型数据集上验证了含噪信号的域转换效果并量化差异。
2024-03-05 cs.CV cs.GR cs.LG
Discriminator-Cooperated Feature Map Distillation for GAN Compression
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯优图实验室）
尽管在图像生成方面表现出色，但生成对抗网络（GANs）因其对巨大存储和密集计算的要求而臭名昭着。作为一个令人敬畏的“性能制造者”，知识蒸馏被证明在探索低价GANs方面特别有效。在本文中，我们调查的不可替代性的教师培训，并提出了一个创造性的歧视合作蒸馏，简称为DCD，对精炼更好的特征图从发电机。与传统的像素到像素的匹配方法在特征映射蒸馏，我们的DCD利用教师的转换驱动学生生成器的中间结果，以感知接近教师生成器的相应输出。此外，为了减轻GAN压缩中的模式坍塌，我们构建了一个协作对抗训练范例，其中教师训练器从头开始建立，与我们的DCD一起与学生生成器共同训练。我们的DCD显示优于现有的GAN压缩方法相比，结果。例如，在减少超过40倍的MAC和80倍的CycleGAN参数后，我们将FID度量从61.53降低到48.24，而当前的SoTA方法仅为51.92。这项工作的源代码已在https://github.com/poopit/DCD-official上提供。
2022-12-29 cs.CV
Mocycle-GAN: Unpaired Video-to-Video Translation
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
无监督图像到图像翻译是在没有任何成对训练样本的情况下将图像从一个域翻译到另一个域的任务，并且倾向于更适用于实际应用。然而，这种合成从图像到图像到视频到视频的扩展并不是微不足道的，特别是在捕获视频中的时空结构时。困难源于这样的方面，即不仅在每个帧中的视觉外观，而且连续帧之间的运动应该是真实的和一致的跨变换。这促使我们探索视频合成中的外观结构和时间连续性。在本文中，我们提出了一个新的运动引导循环GAN，被称为Mocycle-GAN，新颖地将运动估计集成到不成对的视频翻译。从技术上讲，MoCycle-GAN利用了三种类型的约束：区分合成帧和真实帧的对抗性约束，鼓励帧和运动的逆平移的循环一致性，以及验证连续帧之间运动传输的运动平移。视频到标签和标签到视频翻译进行了广泛的实验，并报告了优越的结果相比，国家的最先进的方法。更值得注意的是，我们定性地展示了我们的Moycle-GAN的花到花和环境条件转移。
2019-08-26 cs.CV cs.MM
Unpaired Single-Image Depth Synthesis with cycle-consistent Wasserstein GANs
实际环境深度的实时估计是各种自主系统任务（如定位、障碍物检测和位姿估计）的重要模块。在机器学习的最后十年中，深度学习方法在计算机视觉任务中的广泛部署产生了从简单RGB模态中进行逼真深度合成的成功方法。虽然这些模型大多依赖于成对的深度数据或视频序列和立体图像的可用性，但缺乏以无监督方式进行单图像深度合成的方法。因此，在这项研究中，生成神经网络领域的最新进展被用于完全无监督的单图像深度合成。更确切地说，实现了两个用于RGB到深度和深度到RGB传输的周期一致性生成器，并使用Wasserstein-1距离同时优化。为了确保所提出的方法的可扩展性，我们将模型应用到一个自我采集的工业数据集以及著名的纽约大学深度v2数据集，它允许与现有的方法进行比较。在这项研究中观察到的成功表明，在现实世界的应用中，不成对的单图像深度估计的潜力很大。
2022-07-08 cs.CV cs.LG eess.IV
Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation
Xiamen University（厦门大学）；Tencent（腾讯）；Pinterest；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
生成对抗网络（GANs）在图像翻译中得到了广泛的应用，但其高计算和存储成本阻碍了在移动设备上的部署。由于GAN任务的特殊性和不稳定的对抗训练，用于CNN压缩的流行方法不能直接应用于GANs。为了解决这些问题，在本文中，我们介绍了一种新的GAN压缩方法，称为DMAD，提出了一个微分掩码和co-Attention蒸馏。前者以训练自适应的方式寻找轻量级的生成器架构。为了克服修剪残余连接时的信道不一致性，还结合了自适应跨块组稀疏性。后者同时从预训练模型的生成器和搜索器中提取信息性注意力地图，有效地稳定了我们轻量级模型的对抗训练。实验表明，DMAD可以将CycleGAN的乘法累加运算（MAC）减少13倍，将Pix 2 Pix的MAC减少4倍，同时保持与完整模型相当的性能。我们的代码可以在https://github.com/SJLeo/DMAD上获得。
2022-03-02 cs.CV
Generative Adversarial Networks for MR-CT Deformable Image Registration
ETH Zurich（苏黎世联邦理工学院）
MR和CT图像的形变图像配准（Deformable Image Registration，简称形变图像配准）是最具挑战性的配准任务之一，这是由于模态固有的结构差异和丢失的密集地面真值造成的。最近，循环生成对抗网络（cycle-GAN）已被用于学习这两种模式之间的强度关系，用于未配对的大脑数据。然而，它对艾滋病的有用性没有得到评估。在这项研究中，我们评估了循环GAN合成后的胸部和腹部器官的性能。我们表明，几何变化，区分两个群体（如吸气与呼气），很容易合成。这对于依赖于在真实图像和合成图像之间保持空间对应的任何应用（例如，计划、分割、界标传播）都造成实质性问题。为了缓解这个问题，我们研究了通过减小其感受野的大小来减少提供给神经元的空间信息。图像合成从17个未配对的受试者每模态学习。通过目视挑战对3名受试者的11个结构进行手动分割，评价配准性能。基于归一化互信息（NMI）、模态独立邻域描述符（MIND）及其新组合的最新分割方法的平均分割重叠率分别为76.7%、67.7%、76.9%。当基于局部相关性配准由cycle-GAN合成的图像时，这下降到69.1%或更低，这是由于胸部区域的性能较差，其中合成了大的肺体积变化。当使用3D合成MRI（12个切片）和中等大小的腹部感受野时，腹部区域的性能与CT-MRI NMI配准相似（77.4 vs. 78.8%）。
2018-07-19 cs.CV
Adverse Weather Image Translation with Asymmetric and Uncertainty-aware GAN
恶劣天气图像翻译属于无监督图像到图像（I2 I）翻译任务，其目的是将恶劣天气域（如雨夜）转换到标准域（如白天）。这是一个具有挑战性的任务，因为图像从不利领域有一些文物和信息不足。最近，许多采用生成对抗网络（GANs）的研究在I2 I翻译方面取得了显着的成功，但将其应用于恶劣天气增强仍然存在局限性。采用基于双向循环一致性损失的对称结构作为无监督域转移方法的标准框架。然而，如果两个域的信息不平衡，则会导致较差的翻译结果。为了解决这个问题，我们提出了一种新的GAN模型，即，AU-GAN，它具有用于反向域翻译的非对称架构。我们只在一个普通域生成器中插入一个建议的特征转移网络（${T}$ -net）（即，雨夜->白天）来增强逆域图像的编码特征。此外，我们引入非对称特征匹配的编码功能的解纠缠。最后，我们提出了不确定性感知的循环一致性损失，以解决区域的不确定性的循环重建图像。我们证明了我们的方法的有效性与国家的最先进的模型的定性和定量比较。代码可在https://github.com/jgkwak95/AU-GAN上获得。
2022-02-15 cs.CV cs.GR
Editable Stain Transformation Of Histological Images Using Unpaired GANs
Slovak University of Technology（斯洛伐克工业大学）
针对 P63 染色损伤组织且成本高的问题，提出兼具可解释性、结构保持与可编辑功能的 xAI-CycleGAN，将 H&E 乳腺组织图像转换为逼真的类 P63 图像。
2023-12-06 cs.CV cs.LG eess.IV
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Microsoft AI & Research（微软人工智能与研究）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
基于生成对抗网络（GANs）的最新技术，如周期一致性GANs，能够通过生成器和判别器之间的最小-最大优化游戏，学习从未配对数据集构建的不同域之间的映射。然而，它仍然具有挑战性，以稳定的训练过程，从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题，我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础，通过对潜在变量进行采样，探索循环模型的全后验，并利用最大后验概率（MAP）估计对模型进行优化。因此，我们将其命名为Bayesian CycleGAN。此外，原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN，包括Cityscapes，Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%，在所提出的集成框架内提高了20%，表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University（卡内基梅隆大学）
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列，与更简单的（例如，高斯）GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案，高斯制定的潜在空间的各种扩散模型，以及一个可逆的DPM编码器，图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义，我们证明了几个有趣的后果。(1)从经验上讲，我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现，我们提出了CycleDiffusion，它使用DPM编码器进行不成对的图像到图像的翻译。此外，应用CycleDiffusion的文本到图像的扩散模型，我们表明，大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导，我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
Dual-encoder Bidirectional Generative Adversarial Networks for Anomaly Detection
Corporate Research and Development Center, Toshiba Corporation（东芝公司企业研发中心）
生成对抗网络（GANs）已经显示出解决各种问题的希望，包括异常检测。当使用仅学习正常数据样本的特征的GAN模型执行异常检测时，与正常数据不相似的数据被检测为异常样本。本方法是通过在双向GAN架构中采用双编码器来开发的，该架构同时用生成器和卷积神经网络来训练。通过学习机制，所提出的方法旨在减少坏的周期一致性的问题，其中双向GAN可能无法再现正常和异常样本之间存在较大差异的样本。我们假设坏的周期一致性发生时，该方法没有保留足够的样本数据的信息。我们表明，我们提出的方法在捕获正常样本的分布方面表现良好，从而提高了基于GAN模型的异常检测。实验报告中，我们的方法被应用到公开的数据集，包括应用到脑磁共振成像异常检测系统。
2020-12-22 cs.CV cs.LG
GANime: Generating Anime and Manga Character Drawings from Sketches with Deep Learning
Stanford University（斯坦福大学）
本研究针对动漫产业草图上色成本高昂的瓶颈，评估了 Neural Style Transfer、C-GAN 和 CycleGAN 等图像到图像转换模型，发现 C-GAN 能生成最接近人类创作的高质量、高分辨率图像。
2025-08-10 cs.CV cs.LG
UDoc-GAN: Unpaired Document Illumination Correction with Background Light Prior
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
由移动设备捕获的文档图像通常由于不可控的照明而劣化，这妨碍了文档内容的清晰度。近年来，一系列的研究工作致力于校正不均匀的文档照明。然而，现有的方法很少考虑环境光信息的使用，并且通常依赖于成对的样本，包括不总是可访问的退化和校正的地面实况图像。为此，我们提出了UDoc-GAN，这是第一个解决未配对设置下文档照明校正问题的框架。具体来说，我们首先预测文档的环境光特征。然后，根据不同级别的环境光的特点，我们重新制定的周期一致性约束，学习正常和异常照明域之间的潜在关系。为了证明我们的方法的有效性，我们在DocProj数据集上进行了大量的实验。与现有的方法相比，该方法在字符出错率（CER）和编辑距离（ED）方面表现出了良好的性能，并且在文本细节保留方面具有更好的定性结果。源代码现在可以在https://github.com/harrytea/UDoc-GAN上公开获得。
2022-10-15 cs.CV
