Editable Stain Transformation Of Histological Images Using Unpaired GANs
Slovak University of Technology（斯洛伐克工业大学）
针对 P63 染色损伤组织且成本高的问题，提出兼具可解释性、结构保持与可编辑功能的 xAI-CycleGAN，将 H&E 乳腺组织图像转换为逼真的类 P63 图像。
2023-12-06 cs.CV cs.LG eess.IV
Breaking the cycle -- Colleagues are all you need
Technion（以色列理工学院）
本文提出了一种新的方法来执行不成对域之间的图像到图像的翻译。我们的方法不依赖于周期约束，而是利用各种GANs之间的协作。这导致多模态方法，其中针对给定图像产生多个可选且不同的图像。我们的模型解决了经典GANs的一些缺点：（1）它能够去除大物体，如眼镜。(2)由于它不需要支持循环约束，因此在生成的图像上不会留下输入的不相关痕迹。(3)它设法在需要大的形状修改的域之间转换。我们的结果显示，在定性和定量方面，我们的结果优于最先进的方法在常用数据集上的几个具有挑战性的应用程序所产生的结果。
2020-06-07 cs.CV cs.LG
Learning Spatial Pyramid Attentive Pooling in Image Synthesis and Image-to-Image Translation
Department of ECE and the Visual Narrative Initiative, North Carolina State University（北卡罗来纳州立大学电气与计算机工程系及视觉叙事研究所）
图像合成和图像到图像的翻译是两个重要的生成学习任务。通过分别学习生成对抗网络（GANs）~ \cite{goodfellow2014generative}和周期一致性GANs（CycleGANs）~ \cite{zhu2017unpaired}，已经取得了显著的进展。本文提出了一种学习空间金字塔注意池（SPAP）的方法。SPAP是一种新的结构单元，可以很容易地集成到GANs和CycleGANs的生成器和鉴别器中。SPAP整合了Atrous空间金字塔\cite{chen2018deeplab}、级联注意力机制和剩余连接\cite{he2016deep}。它利用这三个组件的优点来促进有效的端到端生成学习：（i）通过ASPP融合多尺度信息的能力;（ii）通过注意力捕获空间位置（特别是多尺度上下文）或特征通道之间的相对重要性的能力;（iii）通过剩余连接保留信息并增强优化可行性的能力。粗到细和细到粗的SPAP进行了研究，并在这两个任务中观察到有趣的注意力地图。在实验中，所提出的SPAP在Celeba-HQ-128数据集~ \cite{karras2017progressive}上的GANs中进行了测试，并且在包括Cityscape数据集~ \cite{cordts2016cityscapes}、Facade和Aerial Maps数据集~ \cite{zhu2017unpaired}的图像…
2019-01-18 cs.CV cs.LG
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University（卡内基梅隆大学）
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列，与更简单的（例如，高斯）GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案，高斯制定的潜在空间的各种扩散模型，以及一个可逆的DPM编码器，图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义，我们证明了几个有趣的后果。(1)从经验上讲，我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现，我们提出了CycleDiffusion，它使用DPM编码器进行不成对的图像到图像的翻译。此外，应用CycleDiffusion的文本到图像的扩散模型，我们表明，大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导，我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
Symbolic Music Genre Transfer with CycleGAN
ETH Zürich（苏黎世联邦理工学院）
深度生成模型，如变分自编码器（VAE）和生成对抗网络（GANs），最近已被应用于图像的风格和域转移，在VAE的情况下，音乐。基于GAN的模型采用多个生成器和某种形式的周期一致性损失，是图像域传输中最成功的模型之一。在本文中，我们应用这样一个模型，象征性的音乐，并显示我们的方法的可行性，音乐体裁转移。使用单独的体裁分类器的评估表明，风格转移效果良好。为了提高转换后的音乐的保真度，我们添加了额外的鉴别器，使生成器保持原始音乐的结构基本不变，同时仍然实现了强大的流派转移。视觉和听觉结果进一步显示了我们方法的潜力。据我们所知，本文代表了GANs在符号音乐域转移中的首次应用。
2018-09-20 cs.LG cs.SD eess.AS
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling
School of Electrical Information and Communication Engineering, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Microsoft AI & Research（微软人工智能与研究）；Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）
基于生成对抗网络（GANs）的最新技术，如周期一致性GANs，能够通过生成器和判别器之间的最小-最大优化游戏，学习从未配对数据集构建的不同域之间的映射。然而，它仍然具有挑战性，以稳定的训练过程，从而循环模型陷入模式坍塌伴随着成功的训练。为了解决这个问题，我们提出了一种新的贝叶斯循环模型和一个综合的域间映射循环框架。该方法以贝叶斯GAN为理论基础，通过对潜在变量进行采样，探索循环模型的全后验，并利用最大后验概率（MAP）估计对模型进行优化。因此，我们将其命名为Bayesian CycleGAN。此外，原始的CycleGAN无法产生多样化的结果。但贝叶斯框架通过替换推理过程中的限制性潜变量来使生成的图像多样化是可行的。我们在多个基准数据集上评估了所提出的贝叶斯CycleGAN，包括Cityscapes，Maps和Monet 2 photo。该方法将Cityscapes语义分割任务的每像素精度在原始框架内提高了15%，在所提出的集成框架内提高了20%，表现出更好的弹性不平衡对抗。Monet 2 Photo风格转移的多样化结果也证明了其优于原始循环模型。我们在https://github.com/ranery/Bayesian-CycleGAN中提供了所有实验的代码。
2020-08-16 cs.CV cs.LG stat.ML
Generative Minimization Networks: Training GANs Without Competition
ETH Zurich（苏黎世联邦理工学院）；Technion-Israel Institute of Technology（以色列理工学院）
机器学习中的许多应用可以被构造为最小化问题，并使用基于梯度的技术有效地解决。然而，最近生成模型的应用，特别是GANs，引发了人们对解决标准优化技术通常不适用的最小-最大游戏的兴趣。从业者经历的已知问题之一是缺乏收敛保证或收敛到非最优循环。这些问题的核心是GAN目标的最小-最大结构，它在参与者之间创建了非平凡的依赖关系。我们建议通过优化一个不同的目标来解决这个问题，该目标使用博弈论中的二元差距概念来规避最小-最大结构。我们提供了新的收敛保证在这个目标上，并证明了为什么得到的极限点解决问题比已知的技术。
2021-03-23 cs.AI cs.LG
GANs Can Play Lottery Tickets Too
University of Science and Technology of China（中国科学技术大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度生成对抗网络（GANs）在许多场景中越来越受欢迎，但在资源受限的现实世界应用中通常会遇到高参数复杂性的问题。然而，GANs的压缩很少被探索。一些工作表明，由于GANs臭名昭著的训练不稳定性，严格地应用压缩技术通常会导致不满意的结果。与此同时，彩票假设在判别模型上取得了普遍的成功，在定位稀疏匹配子网络时能够隔离训练到完整的模型性能。在这项工作中，我们首次研究了这种可训练匹配子网络在深度GANs中的存在性。对于一系列GANs，我们肯定会找到67%-74%稀疏度的匹配子网络。我们观察到，有或没有修剪的匹配子网络的存在和质量有轻微的影响，而初始化的权重中使用的修剪起着重要的作用。然后，我们展示了这些子网络对看不见的任务的强大可转移性。此外，大量的实验结果表明，我们发现的子网络在图像生成（例如SN GAN）和图像到图像转换GANs（例如CycleGAN）方面都大大优于以前最先进的GAN压缩方法。代码可在https://github.com/VITA-Group/GAN-LTH上获得。
2021-05-31 cs.AI cs.CV cs.LG
Capabilities, Limitations and Challenges of Style Transfer with CycleGANs: A Study on Automatic Ring Design Generation
Carnegie Mellon University（卡内基梅隆大学）；TECNALIA, Basque Research & Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟（BRTA））；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；University of Granada（格拉纳达大学）
渲染程序已经完全改变了设计过程，因为它们允许在制造之前看到产品的外观。然而，渲染过程是复杂的，并且花费大量的时间，不仅在渲染本身中，而且在场景的设置中。需要设置材料、灯光和相机，以获得最佳质量的结果。然而，在第一渲染中可能无法获得最佳输出。这一切都使得渲染过程成为一个繁琐的过程。自Goodfellow等人在2014年引入生成对抗网络（GANs）以来，它们已被用于生成计算机分配的合成数据，从不存在的人脸到医疗数据分析或图像风格转换。GANs已用于将图像纹理从一个域转移到另一个域。然而，需要两个领域的配对数据。当Zhu等人引入CycleGAN模型时，消除了这个昂贵的约束，允许将一个图像从一个域转换到另一个域，而不需要配对数据。这项工作验证了CycleGANs在从初始草图到代表3D设计的2D最终渲染的风格转换上的适用性，这是每个产品设计过程中最重要的一步。我们探讨了将CycleGAN作为设计管道的一部分的可能性，更确切地说，应用于环形设计的渲染。我们的贡献是这一过程的关键部分，因为它允许客户在购买前看到最终产品。这项工作为未来的研究奠定了基础，展示了GANs在设计中的可能性，并为新的应用程序接近工艺设计建立了起点。
2022-07-18 cs.CV cs.LG eess.IV
GANs for Biological Image Synthesis
École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；National Research University Higher School of Economics（俄罗斯国立高等经济学院）；LOB, École Polytechnique（光学与生物科学实验室，巴黎综合理工学院）；INSERM（法国国家健康与医学研究院）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；HSE（俄罗斯国立高等经济学院）；University of Bristol（布里斯托大学）；Amazon（亚马逊）
在本文中，我们提出了一种新的应用生成对抗网络（GAN）的合成细胞成像的荧光显微镜。与自然图像相比，细胞倾向于具有更简单和更几何的全局结构，这有助于图像生成。然而，不同荧光蛋白的空间模式之间的相关性反映了重要的生物学功能，合成图像必须捕获这些关系才能与生物学应用相关。我们使GANs适应手头的任务，并提出了图像通道之间具有因果依赖关系的新模型，这些模型可以生成多通道图像，这在实验上是不可能获得的。我们使用两种独立的技术来评估我们的方法，并将其与合理的基线进行比较。最后，我们证明，通过插值的潜在空间，我们可以模仿已知的变化，在细胞周期中发生的蛋白质定位，通过时间，使我们能够预测从静态图像的时间演变。
2017-09-12 cs.CV cs.LG stat.ML
Image Difficulty Curriculum for Generative Adversarial Networks (CuGAN)
University of Bucharest（布加勒斯特大学）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University “Politehnica” of Bucharest（布加勒斯特理工大学）
尽管近年来取得了重大进展，但生成对抗网络（GANs）仍然非常难以训练。在本文中，我们提出了三种新的课程学习策略来训练GANs。所有的策略都是首先根据训练图像的难度分数对训练图像进行排名，这些难度分数是由最先进的图像难度预测器估计的。我们的第一个策略是将图像分成逐渐更难的批次。我们的第二个策略引入了一个新的课程损失函数，考虑到真实图像的难度分数的训练。我们的第三个策略是基于从一个不断发展的分布中进行采样，在初始训练阶段有利于更容易的图像，并逐渐收敛到一个均匀的分布，在这个分布中，样本的可能性是相等的，无论难度如何。我们比较了我们的课程学习策略与经典的培训过程中的两个任务：图像生成和图像翻译。我们的实验表明，所有的策略提供更快的收敛速度和优越的结果。例如，我们在频谱归一化GANs（SNGANs）上应用的最佳课程学习策略在25.0%的案例中欺骗了人类注释者，认为生成的CIFAR类图像是真实的，而使用经典过程训练的SNGANs仅在18.4%的案例中欺骗了注释者。同样，在图像翻译中，人类注释者在40.5%的情况下更喜欢使用课程学习训练的Cycle-consistent GAN（CycleGAN）生成的图像，而在19.8%的情况下，CycleGAN基于经典训练生成的图像，39.7%的情况下被标记为领带。
2019-10-22 cs.CV cs.LG stat.ML
Training GANs with Optimism
MIT, EECS（麻省理工学院电子工程与计算机科学系）；Microsoft Research（微软研究院）
我们解决了生成对抗网络训练中的极限循环行为问题，并提出使用乐观镜像Decent（OMD）来训练Wasserstein GANs。最近的理论结果表明，乐观镜像体面（OMD）可以享受更快的后悔率在零和游戏的背景下。WGANs正是解决零和游戏的背景，同时没有遗憾的动态。此外，我们还证明了乐观镜像体面解决了训练WGAN中的极限循环问题。我们正式表明，在双线性零和博弈的情况下，最后的OMD动态收敛到一个平衡，在GD动力学，这是绑定到循环。我们还描绘了GD和OMD动力学与玩具的例子之间的巨大的质的差异，即使GD修改了许多适应在最近的文献中提出的，如梯度惩罚或动量。我们将OMD WGAN训练应用于生成DNA序列的生物信息学问题。我们观察到，与使用GD变体训练的模型相比，使用OMD训练的模型相对于真实的底层分布始终实现较小的KL发散。最后，我们引入了一个新算法Optimistic Adam，它是Adam的乐观变体。我们将其应用于CIFAR10上的WGAN训练，并观察到与Adam相比，在初始得分方面的性能有所改善。
2018-02-13 cs.GT cs.LG stat.ML
Combating COVID-19 using Generative Adversarial Networks and Artificial Intelligence for Medical Images: A Scoping Review
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本综述全面研究了GANs在应对COVID-19数据稀缺和诊断相关挑战方面的作用。这是第一篇综述，总结了不同的GANs方法和肺部图像数据集的COVID-19。它试图回答与GANs的应用、流行的GAN架构、常用的图像模态以及源代码的可用性相关的问题。该综述包括57项全文研究，这些研究报告了GANs在COVID-19肺部图像数据中的不同应用。大多数研究（n=42）使用GANs进行数据增强，以增强AI技术用于COVID-19诊断的性能。GANs的其他流行应用是肺部分割和肺部图像的超分辨率。循环GAN和条件GAN是9项研究中最常用的架构。29项研究使用胸部X射线图像，21项研究使用CT图像进行GANs训练。对于大多数研究（n=47），使用公开可用的数据进行实验并报告结果。仅2项研究报告了放射科医生/临床医生对结果的二次评价。结论：研究表明，GANs在解决COVID-19肺部图像数据稀缺挑战方面具有巨大潜力。用GANs合成的数据有助于改进为诊断COVID-19而训练的卷积神经网络（CNN）模型的训练。此外，GANs还通过图像的超分辨率和分割来提高CNN的性能。该综述还确定了基于GANs的方法在临床应用中潜在转变的关键限制。
2022-05-15 cs.CV cs.LG eess.IV
LiDAR Sensor modeling and Data augmentation with GANs for Autonomous driving
Valeo Egypt（法雷奥埃及）
在自动驾驶领域，从真实车辆进行数据汇集和注释是昂贵的，有时还不安全。仿真器通常用于数据增强，这需要难以以封闭形式制定和建模的真实传感器模型。相反，传感器模型可以从真实数据中学习。主要的挑战是缺乏成对的数据集，这使得传统的监督学习技术不适用。在这项工作中，我们将问题表述为从未配对数据的图像转换，并使用CycleGAN来解决LiDAR的传感器建模问题，从模拟LiDAR（sim2real）生成逼真的LiDAR。此外，我们从较低分辨率的激光雷达（real2real）生成高分辨率，逼真的激光雷达。LiDAR 3D点云以鸟瞰视图和极坐标2D表示进行处理。实验结果表明，所提出的方法具有很高的潜力。
2019-05-17 cs.CV cs.LG cs.RO
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
微分渲染为训练神经网络执行“逆图形”任务铺平了道路，例如从单目照片预测3D几何形状。为了训练高性能的模型，大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下，最近合成图像的生成对抗网络（GANs）似乎在训练过程中隐式地获得了3D知识：可以通过简单地操纵潜在代码来操纵对象视点。然而，这些潜在代码通常缺乏进一步的物理解释，因此GANs不能轻易地被反转以执行显式3D推理。在本文中，我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器，使用现成的可微分渲染器训练逆图形网络，并将训练的逆图形网络作为教师，将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明，我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”，补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
Enhancing Fingerprint Image Synthesis with GANs, Diffusion Models, and Style Transfer Techniques
Lund University（隆德大学）
本研究提出结合生成对抗网络、扩散模型和风格迁移技术合成高质量真实与伪造指纹图像，通过 CycleWGAN-GP 避免模式崩溃，并利用 FID 和 FAR 评估证明扩散模型和 WGAN-GP 在真实性与唯一性上各具优势。
2024-03-20 cs.CV cs.LG
Quantization of Generative Adversarial Networks for Efficient Inference: a Methodological Study
Higher School of Economics（高等经济学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；Yandex；Samsung-HSE Laboratory（三星-高等经济学院实验室）
生成对抗网络（GANs）对数字内容创作具有巨大的潜在影响，例如，逼真的数字化身、语义内容编辑以及语音和图像的质量增强。然而，现代GANs的性能与推理过程中执行的大量计算和高能耗结合在一起。这使得它们在边缘设备上的部署变得复杂，甚至不可能。这个问题可以通过量化来解决--量化是一种神经网络压缩技术，通过用低位整数计算代替浮点计算来促进硬件友好的推理。虽然量化对于判别模型来说已经很成熟，但现代量化技术在应用于GANs时的性能仍然不清楚。GANs生成的内容结构比判别模型更复杂，因此GANs的量化更具挑战性。为了解决这个问题，我们在三种不同的GAN架构上对最先进的量化技术进行了广泛的实验研究，即StyleGAN，Self-Attention GAN和CycleGAN。因此，我们发现了实用的方法，使我们能够成功地将这些模型用于4/8位权重和8位激活的推理，同时保持原始全精度模型的质量。
2021-08-31 cs.AI cs.LG
Ten Years of Generative Adversarial Nets (GANs): A survey of the state-of-the-art
Sorbonne University Abu Dhabi（索邦大学阿布扎比分校）
本文综述GANs十年来的主流变体、理论、训练问题与应用，并讨论其与Transformer、PINN、LLM和扩散模型的融合及未来方向。
2023-08-30 cs.CV cs.LG
Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks
University of Toronto（多伦多大学）
文本到图像的翻译一直是一个活跃的研究领域在最近的过去。网络学习句子的含义并生成描述句子的准确图像的能力显示了模型更像人类思考的能力。流行的文本到图像翻译方法利用生成对抗网络（GANs）基于文本输入生成高质量图像，但生成的图像并不总是反映作为输入的模型的句子的含义。我们通过使用字幕网络对生成的图像进行字幕来解决这个问题，并利用地面实况字幕和生成的字幕之间的距离来进一步改进网络。我们展示了我们的方法和现有方法之间的广泛比较。
2018-08-14 cs.CL cs.CV cs.LG
H-GAN: the power of GANs in your Hands
University of Alicante（阿利坎特大学）；FORTH（希腊研究与技术基金会）；Institute of Space Sciences (ICE-CSIC)（空间科学研究所（ICE-CSIC））
我们提出了HandGAN（H-GAN），这是一种实现多尺度感知鉴别器的周期一致性对抗学习方法。它的目的是将合成图像的手到真正的领域。合成手提供了完整的地面实况注释，但它们并不代表真实世界数据的目标分布。我们致力于提供逼真的手部外观与合成注释的完美融合。依靠图像到图像的翻译，我们改进了合成手的外观，以近似手的真实图像集合的统计分布。H-GAN不仅解决了跨域色调映射，还解决了局部区域中的结构差异，例如阴影不连续性。结果进行了评估，在定性和定量的基础上，提高以前的作品。此外，我们依赖于手部分类任务来声称我们生成的手部在统计上与手部的真实领域相似。
2021-04-21 cs.AI cs.CV cs.LG
Logical GANs: Adversarial Learning through Ehrenfeucht Fraisse Games
HoloMathics, LLC（霍洛数学公司）
LOGAN 通过将判别器与生成器分别视为 EF 博弈中的对手和构造者，实现逻辑受限的对抗生成，实验证明其能有效提升属性满足率。
2025-10-26 cs.LG cs.LO math.LO
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City（印度信息技术学院斯里城校区）；Indian Institute of Information Technology, Allahabad（印度信息技术学院阿拉哈巴德校区）
生成对抗网络（GANs）为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中，我们介绍了一种新的图像到图像变换网络，称为循环判别生成对抗网络（CDGAN），填补了上述空白。建议的CDGAN生成高质量和更逼真的图像，通过将额外的循环图像，除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析，并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时，所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Multi-Channel Attention Selection GANs for Guided Image-to-Image Translation
ETH Zurich（苏黎世联邦理工学院）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
我们提出了一个新的模型命名为多通道注意力选择生成对抗网络（SelectionGAN）引导图像到图像的翻译，在这里我们将输入图像翻译成另一个，同时尊重外部语义指导。所提出的SelectionGAN明确地利用语义指导信息，并由两个阶段组成。在第一阶段，输入图像和条件语义指导被送入一个循环的语义指导生成网络，以产生初始的粗糙结果。在第二阶段中，我们通过使用所提出的多尺度空间池化和通道选择模块以及多通道注意力选择模块来改进初始结果。此外，从注意力图自动学习的不确定性图用于指导像素丢失，以更好地进行网络优化。对四个具有挑战性的引导图像到图像翻译任务（面部，手部，身体和街景）的详尽实验表明，我们的SelectionGAN能够产生比最先进的方法更好的结果。同时，所提出的框架和模块是统一的解决方案，可以应用于解决其他生成任务，如语义图像合成。该代码可在https://github.com/Ha0Tang/SelectionGAN上获得。
2022-10-06 cs.CV cs.LG eess.IV
Medical Image Generation using Generative Adversarial Networks
Jamia Millia Islamia（贾米亚·米利亚·伊斯兰亚大学）
生成对抗网络（GANs）是计算机视觉领域的无监督深度学习方法，在过去几年中，它在识别多模态医学成像数据的内部结构方面获得了极大的关注。对抗网络同时生成逼真的医学图像和相应的注释，这在许多情况下被证明是有用的，例如图像增强，图像配准，医学图像生成，图像重建和图像到图像的翻译。这些特性引起了医学图像分析领域研究人员的注意，我们见证了许多新颖和传统应用的快速适应。本章提供了基于GANs的临床应用在医学图像生成和跨模态合成方面的最新进展。已经讨论了在医学图像解释中获得普及的各种GANs框架，例如深度卷积GAN（DCGAN）、拉普拉斯GAN（LAPGAN）、pix2pix、CycleGAN和无监督图像到图像转换模型（UNIT），这些框架通过结合额外的混合架构来继续提高其性能。此外，这些框架的图像重建和合成，以及在该领域的未来研究方向的一些最新的应用已经涵盖。
2020-05-19 cs.CV cs.LG eess.IV
Pattern Detection in the Activation Space for Identifying Synthesized Content
IBM Research（IBM研究院）；University of Minnesota（明尼苏达大学）
生成对抗网络（GANs）最近在从低维随机噪声合成照片级逼真图像方面取得了前所未有的成功。大规模合成高质量内容的能力带来了潜在的风险，因为生成的样本可能导致错误信息，从而造成严重的社会、政治、健康和商业危害。我们提出了SubsetGAN，通过检测预训练神经网络内层的异常节点激活子集来识别生成的内容。这些节点作为一个组，最大化偏离从真实数据创建的激活的预期分布的非参数度量。这使我们能够识别合成图像，而无需事先知道它们的分布。SubsetGAN有效地对节点的子集进行评分，并返回预训练分类器中有助于获得最大分数的节点组。分类器可以是在来自多个源的样本上训练的通用伪分类器，或者是来自不同GANs的神经网络。我们的方法在几种最先进的GANs（PGGAN，StarGAN和CycleGAN）和不同比例的生成内容中显示出比现有检测方法更高的检测能力。
2021-05-27 cs.CR cs.CV cs.LG
GAN-Based Architecture for Low-dose Computed Tomography Imaging Denoising
College of Life Science and Technology, Huazhong University of Science and Technology（华中科技大学生命科学技术学院）；New York University Shanghai（上海纽约大学）；School of Life Sciences and Biotechnology, Shanghai Jiao Tong University（上海交通大学生命科学技术学院）
本文系统综述了基于GAN的低剂量CT去噪技术，分析cGAN、CycleGAN、SRGAN等架构的优缺点及PSNR、SSIM、LPIPS等评估结果，并指出临床应用中可解释性、合成伪影等挑战，强调其对精准医学的变革意义。
2025-02-04 cs.CV cs.LG eess.IV
Cycle Generative Adversarial Networks Algorithm With Style Transfer For Image Generation
Universitas Gunadarma（古纳达尔玛大学）
机器学习工程师面临的最大挑战是缺乏数据，尤其是二维图像。图像经过处理后将被训练成机器学习模型，以便它可以识别数据中的模式并提供预测。本研究旨在使用循环生成对抗网络（GANs）算法来克服缺乏数据的问题。然后使用样式转换能够根据给定的样式生成新图像。根据测试结果对得到的模型进行了几处改进，将之前的photo generator的损失值：3.1267，monet style generator的损失值：3.2026，photo credentials：0.6325，和monet style credentials：0.6931分别改进为photo generator的损失值：2.3792，monet style generator的损失值：2.7291，photo credentials：0.5956，莫奈风格油画：0.4940。希望该研究将使该解决方案在教育，艺术，信息技术，医学，天文学，汽车和其他重要领域的应用。
2021-01-11 cs.CV cs.LG eess.IV
GANs and alternative methods of synthetic noise generation for domain adaption of defect classification of Non-destructive ultrasonic testing
University of Strathclyde（思克莱德大学）；Spirit AeroSystems（spirit AeroSystems公司）
针对无损超声检测训练数据不足及仿真噪声不真实的问题，提出四种以半解析仿真为基础的合成数据生成方法，并结合经遗传算法优化的 CNN 验证其显著提升真实缺陷图像分类性能。
2023-06-02 cs.LG eess.IV
Spot The Odd One Out: Regularized Complete Cycle Consistent Anomaly Detector GAN
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出 RCALAD 异常检测方法，通过引入新型判别器、补充分布和两种异常分数，结合循环一致性 GAN 提升异常检测性能，并在六个数据集上验证其优于现有方法。
2024-04-30 cs.LG
Novelty Detection via Non-Adversarial Generative Network
East China Normal University（华东师范大学）；XMU（厦门大学）
单类新颖性检测是确定查询示例是否不同于训练样本（目标类）的过程。大多数先前的策略试图通过使用生成对抗网络（GANs）方法来学习目标样本的真实特征。然而，GANs的训练过程仍然具有挑战性，存在模式坍塌和梯度消失等不稳定问题。本文采用非对抗生成网络，提出了一种新的解码器-编码器框架，用于新颖性检测任务，而不是经典的编码器-解码器风格。在非对抗框架下，潜在空间和图像重建空间都得到了联合优化，从而实现了更稳定的训练过程，具有超快的收敛速度和更低的训练损失。在推理过程中，受cycleGAN的启发，我们设计了一种新的测试方案来进行图像重建，这是训练序列的反向方式。实验表明，我们的模型具有明显的优势，比尖端的新奇检测器，并实现了最先进的结果在数据集上。
2020-02-03 cs.CV cs.LG
GANGs: Generative Adversarial Network Games
University of Liverpool（利物浦大学）；University of Amsterdam（阿姆斯特丹大学）；IMC Financial Markets（IMC金融市场）；The University of Sheffield（谢菲尔德大学）
生成对抗网络（GAN）已成为无监督生成建模最成功的框架之一。由于GANs很难训练，许多研究都集中在这方面。然而，这方面的研究很少直接利用博弈论技术。我们引入生成对抗网络游戏（GANG），它明确地模拟了使用混合策略的生成器（$G$）和分类器（$C$）之间的有限零和游戏。这些游戏的大小排除了精确的解决方法，因此，我们定义资源有限的最佳对策（RBBR），和资源有限的纳什均衡（RB-NE）作为一对混合策略，使$G$或$C$都不能找到一个更好的RBBR。RB-NE解决方案的概念比“局部纳什均衡”的概念更丰富，因为它不仅捕获了梯度下降逃避局部最优的失败，而且适用于任何近似的最佳响应计算，包括随机重新启动的方法。为了验证我们的方法，我们解决GANG与并行纳什记忆算法，可证明单调收敛到RB-NE。我们将我们的结果与标准的GAN设置进行比较，并证明我们的方法可以很好地处理典型的GAN问题，如模式崩溃，部分模式覆盖和遗忘。
2017-12-17 cs.GT cs.LG stat.ML
Augmented Cyclic Consistency Regularization for Unpaired Image-to-Image Translation
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所）；Tokyo Institute of Technology（东京工业大学）
由于生成对抗网络（GANs）的最新进展，不成对图像到图像（I2 I）翻译在模式识别和计算机视觉中受到了相当大的关注。然而，由于缺乏明确的监督，未配对的I2 I模型通常无法生成逼真的图像，特别是在具有不同背景和姿势的挑战性数据集中。因此，稳定化对于GANs和I2 I翻译的应用是必不可少的。在这里，我们提出了增强循环一致性正则化（ACCR），一种新的正则化方法，用于不成对的I2 I翻译。我们的主要思想是执行一致性正则化源于半监督学习的歧视利用真实的，假的，重建的，和增强的样本。我们正则化的鉴别器输出类似的预测时，美联储对原始和扰动图像。我们定性地阐明了为什么一致性正则化在假样本和重建样本上效果很好。量化，我们的方法优于一致性正则化GAN（CR-GAN）在现实世界的翻译，并证明了对几个数据增强变量和周期一致性约束的有效性。
2020-10-12 cs.CV cs.LG
Co-Evolutionary Compression for Unpaired Image Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；The University of Sydney（悉尼大学）
生成对抗网络（GANs）已成功用于相当多的计算机视觉任务，特别是图像到图像的翻译。然而，这些网络中的发电机具有复杂的结构，具有大量的参数和巨大的计算复杂性。现有的方法主要是为了压缩和加速分类任务中的深度神经网络而设计的，并且由于它们的目标和训练过程不同，不能直接应用于GANs进行图像翻译。为此，我们开发了一种新的协同进化方法，同时减少内存使用和FLOPs。在实践中，两个图像域的生成器被编码为两个群体，并协同优化，以迭代地研究最重要的卷积滤波器。每个个体的适应度是使用参数的数量、识别器感知的正则化和循环一致性来计算的。在基准数据集上进行的大量实验表明，所提出的方法对于获得紧凑和有效的生成器是有效的。
2019-07-25 cs.CV cs.LG eess.IV
Generalized Adversarially Learned Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）
在训练GANs的同时允许对潜在向量进行有效的推理，可以大大提高它们在各种下游任务中的适用性。最近的方法，如ALI和BiGAN框架，通过逆向训练图像生成器以及编码器来匹配图像和潜在向量对的两个联合分布，开发了GANs中潜在变量的推断方法。我们概括这些方法，将多层的反馈重建，自我监督，和其他形式的监督的基础上事先或学到的知识所需的解决方案。我们通过修改该算法的目标来实现这一目标，以正确识别任意数量的随机变量的元组的两个以上的联合分布，这些随机变量包括图像、潜在向量和通过辅助任务（如重建和修复）生成的其他变量，或者作为合适的预训练模型的输出。我们为生成器-编码器对设计了一个非饱和最大化目标，并证明了由此产生的对抗游戏对应于同时匹配所有分布的全局最优值。在我们提出的框架内，我们引入了一套新的技术，用于根据属性（如补丁级对应和重建的周期一致性）向模型提供自监督反馈。通过全面的实验，我们证明了所提出的方法的有效性，可扩展性和灵活性的各种任务。
2020-12-21 cs.CV cs.LG stat.ML
What can we learn about a generated image corrupting its latent representation?
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子股份公司）；Indian Institute of Technology Delhi（印度理工学院德里分校）；University Hospital Bonn（波恩大学医院）
生成对抗网络（GANs）为图像到图像的转换问题提供了有效的解决方案，从而为医学成像提供了新的可能性。它们可以以低成本将图像从一种成像模式转换为另一种成像模式。对于不成对的数据集，它们主要依赖于周期损失。尽管它在学习底层数据分布方面很有效，但它可能导致输入和输出数据之间的差异。这项工作的目的是调查的假设，我们可以预测图像质量的基础上，其潜在的表示在GANs瓶颈。我们通过用噪声破坏潜在表示并生成多个输出来实现这一点。它们之间的差异程度被解释为表示的强度：潜在表示越强大，损坏导致的输出图像变化就越少。我们的结果表明，我们提出的方法有能力i）预测合成图像的不确定部分，和ii）识别可能对下游任务不可靠的样本，例如，肝脏分割任务。
2022-10-12 cs.CV cs.LG eess.IV
Training Generative Adversarial Networks from Incomplete Observations using Factorised Discriminators
Queen Mary University（伦敦玛丽女王大学）；Spotify（声田）
生成对抗网络（GANs）在图像生成和修复等应用中取得了巨大成功。然而，它们通常需要大型数据集，而这些数据集通常是不可用的，特别是在需要标签的图像分割等预测任务的背景下。因此，像CycleGAN这样的方法使用更容易获得的未标记数据，但没有提供一种利用额外标记数据来提高性能的方法。为了解决这个缺点，我们展示了如何将联合数据分布分解为一组低维分布及其依赖关系。这允许将GAN中的鉴别器分成多个“子鉴别器”，这些子鉴别器可以从不完整的观察中独立地训练。它们的输出可以被组合以估计联合实数和生成器分布之间的密度比，这使得能够像在原始GAN框架中那样训练生成器。我们将我们的方法应用于图像生成，图像分割和音频声源分离，并获得了改进的性能超过标准的GAN时，额外的不完整的训练样本。特别是对于Cityscapes分割任务，我们的方法在仅使用25个额外配对示例的情况下，比CycleGAN的准确率提高了14.9%。
2020-01-30 cs.LG stat.ML
Parameters, Properties, and Process: Conditional Neural Generation of Realistic SEM Imagery Towards ML-assisted Advanced Manufacturing
Pacific Northwest National Laboratory（太平洋西北国家实验室）
传统上，先进制造工艺的研发周期需要大量的时间和资源投入。实验可能是昂贵的，因此在相对小的规模上进行。这给通常需要大量数据的机器学习工具带来了问题，否则这些工具可能会加快开发周期。我们通过将条件生成对抗网络（GANs）应用于新兴制造工艺，剪切辅助加工和挤出（ShAPE）的扫描电子显微镜（SEM）图像，建立了以前的工作。我们生成逼真的图像条件回火和实验参数或材料属性。通过这样做，我们能够将机器学习集成到开发周期中，允许用户立即可视化特定工艺参数或特性产生的微观结构。这项工作形成了一个从根本上理解制造过程中的第一原理模型的情况下，一个新的方法的技术骨干。通过从拓扑角度表征微观结构，我们能够评估我们的模型捕获实验扫描电子显微镜（SEM）样品的广度和多样性的能力。我们的方法是成功地捕捉所考虑的过程中产生的视觉和一般的微观结构特征，与分析突出方向，以进一步提高我们的合成图像的拓扑现实主义。
2023-01-13 cs.CV cs.LG
Image-to-image Mapping with Many Domains by Sparse Attribute Transfer
Yale University（耶鲁大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
无监督的图像到图像的翻译包括学习两个域之间的一对映射，而点之间没有已知的成对对应关系。目前的惯例是使用周期一致的GANs来完成这项任务：使用一个映射来鼓励生成器改变图像以匹配目标域，同时训练生成器使用另一个映射进行反转。虽然以成对的反函数结束可能是一个很好的最终结果，但在训练期间始终强制执行此限制可能会阻碍有效的建模。我们提出了一种替代方法，直接限制发电机执行一个简单的稀疏变换在一个潜在的层，最近的工作从认知神经科学的动机，提出了一个建筑之前表示对应的意识。我们的生物学动机的方法导致表示更容易转换，通过解开高层次的抽象概念的潜在空间。我们证明，图像到图像域翻译与许多不同的领域可以更有效地学习与我们的架构约束，简单的转换比以前的无约束架构，依赖于周期一致性损失。
2020-06-23 cs.CV cs.LG eess.IV
