Training Generative Adversarial Networks in One Stage
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（之江实验室）；Stevens Institute of Technology（史蒂文斯理工学院）
生成对抗网络（GANs）在各种图像生成任务中取得了前所未有的成功。然而，令人鼓舞的结果是以繁琐的培训过程为代价的，在培训过程中，发电机和逆变器分两个阶段交替更新。在本文中，我们研究了一种通用的训练方案，可以在一个阶段有效地训练GANs。基于发电机和传感器的对抗损失，我们将GANs分为两类，对称GANs和非对称GANs，并引入一种新的梯度分解方法来统一两者，使我们能够在一个阶段中训练两类，从而减轻训练工作量。我们还计算分析了所提出的方法的效率，并实证表明，所提出的方法产生了坚实的$1.5\times$加速在各种数据集和网络架构。此外，我们表明，所提出的方法是很容易适用于其他对抗训练的情况下，如无数据的知识蒸馏。该代码可在https://github.com/zju-vipa/OSGAN上获得。
2021-06-16 cs.CV cs.LG eess.IV
Noise Robust Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
生成对抗网络（GANs）是通过对抗训练来学习数据分布的神经网络。在深入的研究中，最近的GANs在再现训练图像方面显示出了有希望的结果。然而，尽管有噪音，它们还是逼真地再现了图像。作为替代方案，我们提出了一种新的GANs家族，称为噪声鲁棒GANs（NR-GAN），即使训练图像有噪声，它也可以学习干净的图像生成器。特别地，NR-GAN可以在没有完整噪声信息的情况下解决这个问题（例如，噪声分布类型、噪声量或信噪比关系）。为了实现这一点，我们引入了一个噪声发生器和训练它与一个干净的图像发生器。然而，在没有任何约束的情况下，没有动机单独生成图像和噪声。因此，我们提出了分布和变换约束，鼓励噪声发生器只捕捉噪声特定的组件。特别是，考虑到不同假设下的这些约束，我们设计了两种用于信号无关噪声的NR-GAN变体和三种用于信号相关噪声的NR-GAN变体。在三个基准数据集上，我们证明了NR-GAN在噪声鲁棒图像生成中的有效性。此外，我们展示了NR-GAN在图像去噪中的适用性。我们的代码可在https://github.com/takuhirok/NR-GAN/上获得。
2020-03-31 cs.CV cs.LG eess.IV
On the Fairness of Generative Adversarial Networks (GANs)
Innopolis University（因诺波利斯大学）
生成对抗网络（GANs）是近年来人工智能领域最大的进步之一。凭借其直接学习数据概率分布的能力，然后对合成的真实数据进行采样。已经出现了许多应用，使用GANs来解决机器学习中的经典问题，例如数据增强，类不平衡问题和公平表示学习。在本文中，我们分析和突出的公平性关注的GANs模型。在这方面，我们根据经验表明，GANs模型在训练过程中可能固有地偏好某些组，因此它们无法在测试阶段从不同的组中均匀地生成数据。此外，我们提出了解决这个问题的解决方案，通过将GAN模型调节为样本组或使用集成方法（提升）来允许GAN模型在训练阶段利用数据的分布式结构，并在测试阶段以相等的速率生成组。
2021-05-21 cs.CV cs.LG
FusedProp: Towards Efficient Training of Generative Adversarial Networks
South Park Commons（南方公园公地）
生成对抗网络（GANs）能够生成非常逼真的样本，但最先进的GANs在训练时计算成本非常高。在本文中，我们提出了融合传播（FusedProp）算法，它可以用来有效地训练通用GANs同时使用一个前向和一个后向传播的生成器和生成器。我们表明，与传统的GANs训练相比，FusedProp的训练速度是1.49倍，尽管需要进一步的研究来提高其稳定性。通过报告我们的初步结果和开源我们的实现，我们希望加快未来对GANs训练的研究。
2020-03-30 cs.CV cs.LG
Generative Adversarial Networks in Digital Pathology: A Survey on Trends and Future Potential
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
数字病理学领域中的图像分析最近越来越受欢迎。使用高质量的全载玻片扫描仪可以快速采集大量图像数据，同时显示广泛的背景和微观细节。同时，新的机器学习算法提高了图像分析方法的性能。在本文中，我们专注于一类特别强大的架构，称为生成对抗网络（GANs），应用于组织学图像数据。除了提高性能外，GANs还可以实现该领域的应用场景，这在以前是棘手的。然而，GANs可能会表现出引入偏差的潜力。在此，我们总结了最新的最先进的发展在一个概括的符号，目前的主要应用的GANs，并给出了一些选择有前途的方法和他们可能的未来应用前景。此外，我们确定了目前不可用的方法与未来的应用潜力。
2020-05-07 cs.CV cs.LG eess.IV
Generative Adversarial Networks and Other Generative Models
Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
与CNN相比，生成网络在分类、分割或目标检测方面的目标和方法有着根本的不同。它们最初并不是一种图像分析工具，而是用来生成看起来自然的图像。对抗性训练范式已经被提出来稳定生成方法，并且已经被证明是非常成功的-尽管从第一次尝试开始就不是这样。本章对生成对抗网络（GANs）的动机进行了基本介绍，并通过抽象基本任务和工作机制，以及推导早期实用方法的困难，追溯了它们的成功之路。将显示更稳定的训练方法，以及收敛性差的典型迹象及其原因。虽然本章重点介绍用于图像生成和图像分析的GANs，但对抗训练范式本身并不特定于图像，也适用于图像分析中的任务。在将GANs与最近进入场景的进一步生成建模方法进行对比之前，图像语义分割和异常检测的架构示例将受到好评。这将允许对GANs的限制和好处进行上下文化的查看。
2022-07-08 cs.CV cs.LG eess.IV
Cross-Domain Adversarial Augmentation: Stabilizing GANs for Medical and Handwriting Data Scarcity
University of Asia Pacific（亚太平洋大学）
本文探讨了在低资源领域中使用生成数据增强技术，通过DCGAN模型生成合成样本，并评估其在医学影像和手写识别中的有效性，提升了有限数据下的分类性能。
2026-05-17 cs.CV
LDDMM meets GANs: Generative Adversarial Networks for diffeomorphic registration
Aragon Institute on Engineering Research（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
这项工作的目的是促进深度学习方法的最新发展，以实现同构配准。提出了一种基于生成对抗网络的3D单峰图像对对抗学习LDDMM方法。该方法的灵感来自最近的文献与对抗学习的可变形图像配准。我们结合了LDDMM范式中最先进的生成性，歧视性和对抗性成分。我们已经成功地实现了两个模型的固定和EPDiff约束的非平稳参数化的同构。我们的无监督和数据饥饿的方法已经显示出相对于基准监督和丰富数据的方法具有竞争力的性能。此外，我们的方法已经显示出类似的结果，基于模型的方法的计算时间低于一秒。
2021-11-24 cs.CV eess.IV
Applications of Generative Adversarial Networks in Neuroimaging and Clinical Neuroscience
University of Pennsylvania（宾夕法尼亚大学）；Center for AI and Data Science for Integrated Diagnostics（综合诊断人工智能与数据科学中心）；Center for Biomedical Image Computing and Analytics（生物医学图像计算与分析中心）
生成对抗网络（GANs）是一种强大的深度学习模型，已成功应用于许多领域。它们属于一个更广泛的家族，称为生成方法，它通过从真实示例中学习样本分布来生成具有概率模型的新数据。在临床背景下，与传统的生成方法相比，GANs在捕获空间复杂、非线性和潜在微妙的疾病影响方面表现出了增强的能力。这篇综述评估了现有文献中的应用GANs在各种神经系统疾病的成像研究，包括阿尔茨海默病，脑肿瘤，脑老化，多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经成像中利用GANs的主要挑战，开放性问题和有前途的未来方向。我们的目标是通过强调如何利用GANs来支持临床决策，并有助于更好地理解大脑疾病的结构和功能模式，来弥合先进的深度学习方法和神经学研究之间的差距。
2023-01-29 cs.CV cs.LG eess.IV
IAN: Combining Generative Adversarial Networks for Imaginative Face Generation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
生成对抗网络（GANs）因其对图像分布建模的能力而获得了发展势头。它们学习模拟训练集，从而能够从该领域中进行采样，并将学到的知识用于有用的应用程序。提出了几种增强GANs的方法，包括通过一些特征匹配来正则化损失。我们试图将GANs推到训练数据之外，并尝试探索图像流形中看不见的领域。在GAN对基集X进行对抗性训练的过程中，我们首先提出了一种新的基于K-近邻（K-NN）选择性特征匹配的GAN正则化器，并将其称为K-GAN。我们表明，最小化增加的长期遵循交叉熵最小化之间的分布GAN和集合Y。然后，我们介绍了一个级联的GANs框架，试图通过级联采样GANs和平移GANs来解决想象一个新的分布的任务，该分布将基集X和目标集Y相结合，我们将这种GANs的级联称为想象对抗网络（IAN）。我们进行了客观和主观的评价，不同的IAN设置在所解决的任务，并显示了一些有用的应用程序，这些IAN，如流形遍历和创造性的面部生成的人物在电影或视频游戏中的设计。
2019-04-16 cs.CV cs.LG
AdversarialNAS: Adversarial Neural Architecture Search for GANs
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Yitu Technology（依图科技）；Beihang University（北京航空航天大学）；Beijing Forestry University（北京林业大学）
神经结构搜索（Neural Architecture Search，NAS）是一种旨在实现结构设计自动化的方法，在计算机视觉的许多领域都取得了可喜的成果。在本文中，我们提出了一种专门为生成对抗网络（GANs）量身定制的AdversarialNAS方法，以在无条件图像生成任务中搜索更好的生成模型。AdversarialNAS是第一个能够以可区分的方式同时搜索生成器和并行计算器结构的方法。在搜索过程中，所设计的对抗性搜索算法不需要计算任何额外的度量来评估搜索到的网络结构的性能，并且搜索范式考虑了两种网络结构之间的相关性，提高了它们之间的相互平衡性。因此，AdversarialNAS非常高效，仅需1 GPU天即可在建议的大搜索空间（$10^{38}$）中搜索到更优的生成模型。实验证明了该方法的有效性和优越性。所发现的生成模型在CIFAR-10上设置了新的最先进的FID评分$10.87$和极具竞争力的初始评分$8.74$。通过在STL-10上设置新的最先进的FID评分$26.98$和初始评分$9.63$，也证明了其可转移性。代码位于：\url{https://github.com/chengaopro/AdversarialNAS}。
2020-04-08 cs.CV eess.IV
Generative Adversarial Networks
Tel Aviv University（特拉维夫大学）
生成对抗网络（GANs）是用于生成高质量数据的非常流行的框架，并且在许多领域的学术界和工业界都得到了广泛的应用。可以说，它们最大的影响是在计算机视觉领域，在那里它们实现了最先进的图像生成。本章介绍了GANs，讨论了它们的原理机制，并提出了它们在训练和评估过程中的一些固有问题。我们集中在这三个问题：（1）模式坍塌，（2）消失的梯度，（3）低质量的图像的生成。然后，我们列出了一些架构变体和丢失变体GANs，它们可以解决上述挑战。最后，我们给出了GANs在实际应用中的两个应用示例：数据增强和人脸图像生成。
2022-03-01 cs.CV cs.LG
Album cover art image generation with Generative Adversarial Networks
生成对抗网络（GANs）是由Goodfellow在2014年提出的，从那时起，它已经成为构建生成式人工智能模型的热门方法。然而，这样的网络的缺点是很多的，像它们的较长的训练时间，它们对超参数调整的敏感性，几种类型的损失和优化函数以及其他困难，如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而，我想通过使用现有的模型并从中学习，更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识，并致力于GANs的特定方面，以及对现有模型的实验和修改，从最不复杂到最复杂。我们的目的是看看最先进的GANs（特别是StyleGAN 2）是否可以生成专辑封面，以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的，包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型，然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Pixel-wise Conditioning of Generative Adversarial Networks
Normandie Univ, UNIROUEN, UNIHAVRE, INSA Rouen, LITIS（诺曼底大学、鲁昂大学、勒阿弗尔大学、鲁昂国立应用科学学院、信息技术与系统实验室）；Belgian Nuclear Research（比利时核研究中心）
生成对抗网络（GANs）已被证明在无监督图像生成方面是成功的。几项工作将GANs扩展到图像修补，方法是用想要重建的图像的一部分来调节生成。然而，这些方法在仅预先知道图像像素的小子集的设置中具有限制。在本文中，我们研究了条件GANs的有效性，当提供的像素值很少时，通过添加显式正则化项来强制执行像素条件。此外，我们还研究了这个正则化项对生成图像的质量和满足条件的影响。MNIST和FashionMNIST上进行的实验表明，该正则化项允许控制生成的图像的质量和约束满足之间的权衡。
2019-11-02 cs.CV cs.LG eess.IV
Adaptive adversarial training method for improving multi-scale GAN based on generalization bound theory
Huazhong University of Science and Technology（华中科技大学）
近年来，多尺度生成对抗网络（GANs）被提出来建立基于单样本的广义图像处理模型。受样本大小的限制，多尺度GANs很难收敛到全局最优，这最终导致其能力受到限制。本文开创性地将PAC-Bayes广义界理论引入到特定模型在不同对抗训练方法下的训练分析中，对于指定的多尺度GAN结构，可以获得泛化误差的非空上界。基于不同对抗攻击和不同训练状态下泛化误差界的剧烈变化，提出了一种自适应训练方法，可以大大提高多尺度GANs的图像处理能力。最后的实验结果表明，本文提出的自适应训练方法在多个图像处理任务上极大地提高了多尺度GANs生成图像的质量。特别是对于图像超分辨率恢复任务，通过所提出的方法训练的多尺度GAN模型实现了自然图像质量评估器（NIQE）的100%减少和均方根误差（RMSE）的60%减少，这优于在大规模数据集上训练的许多模型。
2022-11-30 cs.CV cs.LG eess.IV
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
众所周知，不同模态（如图像和文本）的不一致分布和表示导致异质性差距，这使得将此类异质数据关联起来具有挑战性。生成对抗网络（GANs）具有很强的数据分布建模能力和区分性表示学习能力，现有的基于GANs的工作主要集中在生成问题上，以生成新的数据。我们有不同的目标，旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此，我们提出了跨模态GANs来学习区别性的共同表示，以弥合异质性差距。本文的主要贡献包括：（1）提出了跨模态GANs结构，用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用，促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器，用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示，而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制，该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进，通过对抗训练过程使共同表示更具区分力。据我们所知，我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验，并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
Generative Adversarial Networks for Image Super-Resolution: A Survey
School of Engineering, The Hong Kong University of Science and Technology（香港科技大学工程学院）；School of Software, Northwestern Polytechnical University（西北工业大学软件学院）；College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）；Department of Distributed Systems and IT Devices, Silesian University of Technology（桑特大学技术学院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
本文综述了生成对抗网络在图像超分辨率中的应用，分析了不同GAN变种的性能，并探讨了SISR中的挑战与未来研究方向。
2026-01-13 cs.CV eess.IV
A Novel Measure to Evaluate Generative Adversarial Networks Based on Direct Analysis of Generated Images
George Washington University（乔治华盛顿大学）
生成对抗网络（GAN）是深度学习领域的最新技术。最近的一些论文涉及GANs在图像处理的各个领域中的理论和应用。然而，直接评价GAN输出的研究较少。已经进行的那些侧重于使用分类性能，例如，初始评分（IS）和统计指标，例如，Fréchet起始距离（FID）。在这里，我们考虑了一种通过直接分析它们生成的图像来评估GANs的基本方法，而不是将它们用作其他分类器的输入。我们根据三个方面来描述GAN作为图像生成器的性能：1）创造性：不重复真实图像。2)继承：生成的图像应该具有相同的风格，保留真实图像的关键特征。3)多样性：生成的图像彼此不同。GAN不应重复生成几个不同的图像。基于理想GANs的三个方面，设计了评价GAN性能的相似度得分（Likeness Score，LS），并应用LS对几种典型的GANs进行了评价。我们将我们提出的措施与两种常用的GAN评估方法：IS和FID以及四种额外的措施进行了比较。此外，我们还讨论了这些评估如何帮助我们加深对GANs的理解并提高其性能。
2021-04-07 cs.CV cs.LG eess.IV
PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
多光谱和全色图像的融合通常被称为全色锐化。大多数基于深度学习的泛锐化方法都是通过一步方案来锐化多光谱图像，这在很大程度上取决于网络的重建能力。然而，遥感图像往往具有较大的变化，这些一步法容易产生误差积累，不能很好地保留图像的空间细节和光谱信息。在本文中，我们提出了一种新的两步模型的泛锐化，锐化MS图像通过渐进补偿的空间和光谱信息。首先，使用深度多尺度引导的生成对抗网络来初步增强MS图像的空间分辨率。从粗域中的预锐化MS图像开始，我们的方法然后在具有反向架构的几个生成对抗网络（GANs）上逐步细化空间和光谱残差。整个模型由三重GANs组成，并基于具体架构设计了联合补偿损失函数，使三重GANs能够同时训练。此外，本文提出的空间-光谱残差补偿结构可以推广到其他全色锐化方法中，进一步提高其融合效果。在不同的数据集上进行了大量的实验，结果证明了我们提出的方法的有效性和效率。
2022-07-29 cs.CV eess.IV
A review of Generative Adversarial Networks (GANs) and its applications in a wide variety of disciplines -- From Medical to Remote Sensing
New Jersey Institute of Technology（新泽西理工学院）
我们研究了生成对抗网络（GAN），它在许多领域的流行变体和应用。GANs结合了两个使用零和博弈理论相互竞争的神经网络，使它们能够创建许多关键和离散的输出。GANs可用于执行图像处理、视频生成和预测以及其他计算机视觉应用。GANs还可用于各种科学相关活动，包括蛋白质工程、天文数据处理、遥感图像去雾和晶体结构合成。GANs取得进展的其他值得注意的领域包括金融、营销、时装设计、体育和音乐。因此，在本文中，我们将全面概述GANs在各种学科中的应用。我们首先介绍支持GAN的理论、GAN变体以及评估GANs的指标。然后，我们介绍了GAN及其变体如何应用于12个领域，从STEM领域，如天文学和生物学，到商业领域，如市场营销和金融，以及艺术，如音乐。因此，其他领域的研究人员可以掌握GANs的工作原理，并将其应用于自己的研究。据我们所知，本文提供了最全面的调查GAN的应用在不同领域。
2021-10-01 cs.AI cs.CV cs.LG
Data Augmentation using Generative Adversarial Networks (GANs) for GAN-based Detection of Pneumonia and COVID-19 in Chest X-ray Images
Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（病童医院）；University Health Network（大学健康网络）；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
成功训练卷积神经网络（CNN）需要大量的数据。对于小数据集，网络的泛化能力很差。数据增强技术通过更有效地使用现有的训练数据来提高神经网络的泛化能力。然而，标准的数据增强方法产生有限的合理替代数据。生成对抗网络（GANs）已被用于生成新数据并提高CNN的性能。然而，与CNN相比，用于训练GANs的数据增强技术尚未得到充分探索。在这项工作中，我们提出了一种新的GAN架构，用于增强胸部X射线，以使用生成模型进行肺炎和COVID-19的半监督检测。我们表明，所提出的GAN可用于有效地增强数据，并提高肺炎和COVID-19胸部X射线中疾病的分类准确性。我们在两个不同的X射线数据集上将我们的增强GAN模型与深度卷积GAN和传统增强方法（旋转，缩放等）进行比较，并显示我们基于GAN的增强方法优于其他增强方法，用于训练GAN检测X射线图像中的异常。
2021-01-12 cs.CV cs.LG eess.IV
Adversarial Lipschitz Regularization
Robert Bosch Kft.（罗伯特·博世匈牙利有限公司）
生成对抗网络（GANs）是训练生成模型时最受欢迎的方法之一，其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而，Wasserstein GANs要求临界点是1-Lipschitz，这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为，而不是通过梯度的范数进行训练，在大多数情况下实际上是不可行的。受虚拟对抗训练的启发，我们提出了一种称为对抗性Lipschitz正则化的方法，并证明使用显式Lipschitz惩罚确实是可行的，并且在应用于Wasserstein GANs时会导致竞争性性能，突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
传统的生成对抗网络（GAN）及其许多变体都是通过最小化KL或JS发散损失来训练的，KL或JS发散损失衡量生成的数据分布与真实数据分布的接近程度。最近的一项进展称为基于Wasserstein距离的WGAN，可以改进基于KL和JS发散的GANs，并减轻GAN训练中常见的梯度消失，不稳定和模式坍塌问题。在这项工作中，我们的目标是改进WGAN，首先将其排序损失推广到基于边缘的排序损失，这会导致更好的排序损失，进而导致更好的生成器，然后执行涉及多个GANs的渐进式训练范例，以促进最大边缘排序损失，以便后期阶段的GAN将在早期阶段进行改进。我们称这种方法为Gang of GANs（GoGAN）。我们已经从理论上证明，在经过最佳训练的WGAN中，所提出的GoGAN可以将真实数据分布和生成的数据分布之间的差距减少至少一半。我们还提出了一种新的方法来衡量GAN质量，这是基于图像完成任务。我们已经在四个视觉数据集上评估了我们的方法：CelebA，LSUN Bedroom，CIFAR-10和50 K-SSFF，并且已经看到了基线WGAN的视觉和定量改善。
2017-04-17 cs.CV cs.LG
CapsGAN: Using Dynamic Routing for Generative Adversarial Networks
University of Toronto（多伦多大学）
在本文中，我们提出了一种新的技术，用于在3D域中生成图像的图像具有高度的几何变换。通过合并近年来迅速提升到机器学习时代精神的两种流行的并发方法：GANs（Goodfellow et.（见上文）和胶囊网络（Sabour，Hinton et.（见上文）- 我们提出：\textbf{CapsGAN}。我们表明，CapsGAN在使用旋转MNIST生成具有高几何变换的图像方面优于或等于传统的基于CNN的GANs。在这个过程中，我们还展示了在GANs域中使用胶囊架构的有效性。此外，我们通过使用Wasserstein距离（梯度裁剪，惩罚）和谱归一化进行实验，解决了训练GANs中的Gordian Knot-性能控制和训练稳定性。本文的实验结果应该推动胶囊和GANs在3D图像生成和视频（帧）生成这一仍然令人兴奋和新生的领域中的应用。
2018-06-07 cs.CV cs.LG
GANStrument: Adversarial Instrument Sound Synthesis with Pitch-invariant Instance Conditioning
Sony Computer Science Laboratories（索尼计算机科学实验室）
我们提出了GANStrument，一个用于乐器声音合成的生成对抗模型。给定单次声音作为输入，它能够在交互时间内生成反映输入音色的音调乐器声音。通过利用实例条件，GANStrument实现了更好的合成声音的保真度和多样性以及对各种输入的泛化能力。此外，我们引入了一个对抗性的训练方案，用于一个音高不变的特征提取器，显着提高了音高准确性和音色一致性。实验结果表明，GANStrument在生成质量和输入可编辑性方面优于不使用实例条件的强基线。定性例子可在网上查阅。
2023-03-07 cs.LG cs.SD eess.AS
Adversarial Self-Defense for Cycle-Consistent GANs
Boston University（波士顿大学）
无监督图像到图像翻译的目标是将图像从一个域映射到另一个域，而两个域之间没有地面真实对应关系。最先进的方法使用来自两个域的大量未配对示例来学习对应关系，并且基于生成对抗网络。为了保持输入图像的语义，对抗性目标通常与循环一致性损失相结合，该循环一致性损失惩罚从翻译的输入图像的不正确重建。然而，如果目标映射是多对一的，例如航空照片到地图，则这样的限制迫使生成器将信息隐藏在人眼或相机无法检测到的低振幅结构化噪声中。在本文中，我们展示了无监督翻译方法的这种自攻击行为如何影响其性能，并提供了两种防御技术。我们进行了定量评估所提出的技术，并表明，使翻译模型更强大的自我对抗攻击提高其生成质量和重建的可靠性，使模型不敏感的低幅度扰动。
2019-08-05 cs.CV eess.IV
Ten Years of Generative Adversarial Nets (GANs): A survey of the state-of-the-art
Sorbonne University Abu Dhabi（索邦大学阿布扎比分校）
本文综述GANs十年来的主流变体、理论、训练问题与应用，并讨论其与Transformer、PINN、LLM和扩散模型的融合及未来方向。
2023-08-30 cs.CV cs.LG
Non-Adversarial Image Synthesis with Generative Latent Nearest Neighbors
Facebook AI Research（Facebook人工智能研究）；UC Berkeley（加州大学伯克利分校）
无条件图像生成最近由生成对抗网络（GANs）主导。GAN方法训练从随机噪声向量回归图像的生成器，以及尝试区分所生成的图像和真实图像的训练集的训练器。GANs在生成逼真的图像方面表现出了惊人的效果。尽管取得了成功，但GANs存在严重的缺点，包括：训练不稳定和模式下降。GANs的弱点促使人们研究替代方案，包括：变分自动编码器（VAE），潜在嵌入学习方法（例如GLO）和基于最近邻的隐式最大似然估计（IMLE）。不幸的是，目前，GANs仍然明显优于图像生成的替代方法。在这项工作中，我们提出了一种新的方法-生成潜在最近邻（GLANN）-用于在没有对抗训练的情况下训练生成模型。GLANN结合了IMLE和GLO的优点，克服了每种方法的主要缺点。因此，GLANN生成的图像远远优于GLO和IMLE。我们的方法不会遭受模式坍塌，困扰GAN训练，是更稳定。定性结果表明，GLANN在常用数据集上的性能优于由800个GANs和VAE组成的基线。我们的模型也被证明是有效的训练真正的非对抗性无监督图像翻译。
2018-12-21 cs.CV cs.LG stat.ML
FA-GANs: Facial Attractiveness Enhancement with Generative Adversarial Networks on Frontal Faces
Nanjing University（南京大学）；Megvii Technology（旷视科技）
人脸吸引力增强是近年来计算机视觉和图形学领域的一个有趣的应用。它的目的是通过对图像和几何结构的操作，同时保持人脸的身份，以产生一个更有吸引力的脸。在本文中，我们提出了第一个生成对抗网络（GANs），用于在几何和外观方面增强面部吸引力，我们称之为“FA-GANs”。FA-GAN包含两个分支，从两个角度增强面部吸引力：面部几何形状和面部外观。每个分支由单独的GANs组成，其中外观分支调整面部图像，几何分支分别调整外观和几何方面的面部标志。与传统的从成对面孔学习的面部操作不同，在增强同一个人之前和之后收集是不可行的，我们通过无监督对抗学习来学习吸引力面孔的特征。所提出的FA-GAN能够提取吸引力特征并将其强加于增强结果。为了更好地增强人脸，几何和外观网络都被认为是通过独立地调整人脸的几何布局和人脸的外观来改善人脸的吸引力。据我们所知，我们是第一个在几何和外观方面使用GANs增强面部吸引力的人。实验结果表明，我们的FA-GAN可以在几何结构和面部外观方面产生令人信服的感知结果，并且优于当前最先进的方法。
2020-06-06 cs.CV
Evaluating Procedures for Establishing Generative Adversarial Network-based Stochastic Image Models in Medical Imaging
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Food and Drug Administration（美国食品药品监督管理局）
现代生成模型，如生成对抗网络（GANs），在医学成像的几个领域，如无条件医学图像合成，图像恢复，重建和翻译，以及成像系统的优化，有着巨大的前景。然而，使用GANs建立随机图像模型（SIM）的过程仍然是通用的，并且没有解决与医学成像相关的特定问题。在这项工作中，采用模拟血管造影图像中逼真血管的规范SIM来评估使用GANs建立SIM的过程。基于GAN的SIM与标准SIM进行比较，基于其再现对所考虑的特定医学现实SIM有意义的那些统计数据的能力。结果表明，使用经典度量和医学相关度量评估GANs可能会导致关于训练的GANs的保真度的不同结论。这项工作强调了开发用于评估GANs的客观指标的必要性。
2022-04-07 cs.CV eess.IV physics.med-ph
Generative Adversarial Networks via a Composite Annealing of Noise and Diffusion
Chung-Ang University（中央大学）；University of Haifa（海法大学）
生成对抗网络（GAN）是一个使用一组真实示例生成虚假数据的框架。然而，GAN在训练阶段不稳定。为了稳定GANs，噪声注入被用来以增加方差为代价来扩大真实分布和伪分布的重叠。扩散（或平滑）可以降低数据的内在潜在维度，但它抑制了GANs在训练过程中学习高频信息的能力。基于这些观察结果，我们提出了一种用于GAN训练的数据表示，称为噪声尺度空间（NSS），它递归地将平衡噪声的平滑应用于数据，以便用随机数据替换高频信息，从而实现GANs的粗到细训练。我们基于基准数据集使用DCGAN和StyleGAN2对NSS进行了实验，其中基于NSS的GANs在大多数情况下都优于最先进的技术。
2022-08-01 cs.CV cs.LG
Complexity Controlled Generative Adversarial Networks
Indian Institute of Technology（印度理工学院）
在训练生成对抗网（GANs）及其变体中面临的问题之一是模式坍塌的问题，其中，随着使用更多的训练数据，在生成损失方面的训练稳定性增加。在本文中，我们通过低复杂度神经网络（LCNN）提出了一种替代架构，该架构试图以低复杂度学习模型。其动机是控制模型复杂性导致模型不会过拟合训练数据。我们将LCNN损失函数用于GANs，深度卷积GANs（DCGANs）和频谱归一化GANs（SNGANs），以开发分别称为LCNN-GAN，LCNN-DCGAN和LCNN-SNGAN的混合架构。在各种大型基准图像数据集上，我们证明了使用我们提出的模型可以实现稳定的训练，同时避免了模式坍塌的问题，从而获得更好的训练稳定性。我们还展示了如何通过LCNN泛函中的超参数来控制学习行为，这也提供了改进的初始得分。
2020-11-20 cs.CV cs.LG
Flooding Regularization for Stable Training of Generative Adversarial Networks
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对GAN训练不稳定问题，本文提出将监督学习中的泛洪正则化应用于对抗损失，通过限制判别器损失不低于泛洪水平来稳定训练，并实验验证其有效性及可与其他稳定技术结合。
2024-03-18 cs.CV cs.LG
Customizing an Adversarial Example Generator with Class-Conditional GANs
National Taiwan University（台湾大学）
对抗性样本是故意制作的数据，目的是欺骗神经网络进行错误分类。当我们谈论创建此类示例的策略时，我们通常指的是基于扰动的方法，该方法通过对正常数据施加不可见的扰动来制造对抗性示例。由此产生的数据保留了人类观察者的视觉外观，但DNN模型可能完全无法识别，这反过来又导致了完全误导的预测。然而，在本文中，我们认为从现有数据中制作对抗性示例是对示例多样性的限制。我们提出了一个基于非扰动的框架，从类条件生成对抗网络中生成原生对抗样本。因此，生成的数据不会与任何现有数据相似，从而扩大了样本的多样性，提高了对抗防御的难度。然后，我们将这个框架扩展到预训练的条件GANs，在其中我们将现有的生成器变成“对抗示例生成器”。我们对MNIST和CIFAR10数据集进行了实验，并取得了令人满意的结果，表明这种方法可以成为以前攻击策略的潜在替代方案。
2018-06-27 cs.CR cs.CV
Attack as the Best Defense: Nullifying Image-to-image Translation GANs via Limit-aware Adversarial Attack
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；National Yang Ming Chiao Tung University（国立阳明交通大学）
随着高质量图像到图像（Img 2 Img）翻译GANs的成功创建，DeepFake和DeepNude的非道德应用也随之而来。这种对img 2 img技术的滥用给社会带来了一个具有挑战性的问题。在这项工作中，我们通过引入极限感知自引导梯度滑动攻击（LaS-GSA）来解决这个问题。LaS-GSA遵循无效攻击，在黑盒设置下取消img 2 img翻译过程。换句话说，通过在发布之前使用所提出的LaS-GSA处理输入图像，可以使任何目标img 2 img GANs无效，从而防止模型恶意操纵图像。为了提高效率，我们引入了极限感知随机无梯度估计和梯度滑动机制来估计遵循对抗极限的梯度，即，对抗性示例的像素值限制。理论论证验证了上述技术如何防止在方向和步长上的对抗限制所导致的低效率。此外，一个有效的自引导先验提取单独从威胁模型和目标图像，以有效地利用先验信息，并指导梯度估计过程。大量的实验表明，LaS-GSA需要更少的查询，以更高的成功率比4个国家的最先进的黑盒方法无效的图像翻译过程。
2021-10-06 cs.CR cs.CV cs.LG
Megapixel Size Image Creation using Generative Adversarial Networks
Happy Finish Ltd.（Happy Finish有限公司）
自出现以来，生成对抗网络（GANs）在AI社区中引起了很大的兴趣。在图像生成方面，有几个项目展示了GANs如何能够生成逼真的图像，但到目前为止，结果看起来还不足以满足视觉媒体制作行业的质量标准。我们提出了一种基于深度卷积生成对抗网络（DCGAN）的优化图像生成过程，以创建逼真的高分辨率图像（高达1024x1024像素）。此外，该系统提供了有限的图像数据集，不到两千张图像。所有这些结果为GANs在计算机图形学和视觉效果领域的进一步开发提供了更多的线索。
2017-05-31 cs.CV cs.GR cs.LG
Generative Adversarial Networks with Decoder-Encoder Output Noise
Ocean University of China（中国海洋大学）；Fudan Univesity（复旦大学）；Northeastern University（东北大学）
近年来，图像生成方法的研究得到了快速的发展。自动编码变分贝叶斯方法（VAE）于2013年提出，它使用变分推理从图像数据库中学习潜在空间，然后使用解码器生成图像。生成对抗网络（GANs）是一个很有前途的框架，它使用对抗训练来提高生成器的生成能力。然而，由GANs生成的图片通常是模糊的。然后提出了深度卷积生成对抗网络（DCGAN）来利用生成图像的质量。由于输入噪声向量是从高斯分布中随机采样的，因此生成器必须从整个正态分布映射到图像。这使得DCGAN不能反映训练数据的固有结构。在本文中，我们提出了一种新的深度模型，称为具有解码器-编码器输出噪声的生成对抗网络（DE-GAN），它利用对抗训练和变分贝叶斯推理来提高图像生成的性能。DE-GAN使用预训练的解码器-编码器架构将随机高斯噪声向量映射为信息向量，并将其传递给对抗网络的生成器。由于解码器-编码器架构由与生成器相同的图像训练，因此输出向量可以携带原始图像的固有分布信息。此外，DE-GANs的损失函数不同于GANs和DCGAN。在对抗性损失函数的基础上增加了隐空间损失函数，以增强模型的鲁棒性。大量的实验结果表明，DE-GANs可以加速对抗训练过程的收敛，并提高生成图像的质量。
2018-07-11 cs.CV
Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey
Indian Institute of Information Technology, Allahabad（印度阿拉哈巴德信息技术学院）
生成对抗网络（GANs）在合成给定数据集中的图像方面非常成功。由GANs人工生成的图像非常逼真。GANs已经在几个计算机视觉应用中显示出潜在的可用性，包括图像生成、图像到图像转换、视频合成等。传统上，生成器网络是GANs的骨干，生成器网络生成样本，而神经网络用于促进生成器网络的训练。卷积神经网络（Convolutional Neural Network，CNN）。然而，生成器网络通常是用于图像生成的Up-CNN或用于图像到图像转换的编码器-解码器网络。基于卷积的网络利用层中的局部关系，这需要深度网络来提取抽象特征。因此，CNN必须利用特征空间中的全局关系。然而，最近开发的Transformer网络能够在每一层利用全局关系。Transformer网络在解决计算机视觉中的几个问题时表现出了巨大的性能改进。受Transformer网络和GANs成功的启发，最近的工作试图利用GAN框架中的Transformers进行图像/视频合成。本文对基于Transformer网络的GANs在计算机视觉应用中的发展和进步进行了全面的综述。在基准数据集上对几个应用程序的性能进行了比较和分析。所进行的调查将非常有助于深度学习和计算机视觉社区了解与基于transformer的GANs相关的研究趋势和差距，并通过利用不同应用的全局和局部关系来开发高级GAN架构。
2023-02-17 cs.CV eess.IV
Sparsity Aware Normalization for GANs
Technion–Israel Institute of Technology（以色列理工学院）
生成对抗网络（GANs）在训练过程中受益于其评论（critic）网络的正则化或规范化。在本文中，我们分析了流行的频谱归一化方案，发现一个显着的缺点，并引入稀疏感知归一化（SAN），一种新的替代方法稳定GAN训练。与其他归一化方法相反，我们的方法明确地考虑了具有ReLU激活的卷积网络中特征映射的稀疏性。我们说明了我们的方法的有效性，通过广泛的实验与各种网络架构。正如我们所展示的，稀疏性在用于图像到图像翻译设置的评论中特别占主导地位。在这些情况下，我们的方法改进了现有的方法，在更少的训练时期和更小的容量的网络，同时几乎不需要计算开销。
2021-04-28 cs.CV eess.IV
Least Squares Generative Adversarial Networks
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）；Northwestern Polytechnical University（西北工业大学）；CodeHatch Corp.（CodeHatch公司）
使用生成对抗网络（GANs）的无监督学习已经证明非常成功。常规的GANs假设将神经网络作为具有S形交叉熵损失函数的分类器。然而，我们发现这个损失函数可能会导致学习过程中的梯度消失问题。为了克服这个问题，我们在本文中提出的最小二乘生成对抗网络（LSGAN），采用最小二乘损失函数的网络。我们表明，最小化的目标函数的LSGAN产量最小化皮尔逊$χ^2$分歧。与常规GANs相比，LSGAN有两个好处。首先，LSGAN能够生成比常规GANs更高质量的图像。其次，LSGAN在学习过程中表现得更稳定。我们在五个场景数据集上对LSGAN进行了评估，实验结果表明，LSGAN生成的图像质量优于常规GANs生成的图像。我们还进行了两个LSGAN和常规GANs之间的比较实验，以说明LSGAN的稳定性。
2017-04-05 cs.CV
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
Shanghai Jiao Tong University（上海交通大学）；École de technologie supérieure（高等技术学院）；University of Leicester（莱斯特大学）；Massey University（梅西大学）；University of Central Arkansas（中阿肯色大学）
生成对抗网络（GANs）在计算机视觉、医学和自然语言处理等各种应用领域都取得了巨大的成功。此外，将物体或人转换为期望的形状成为GANs中的一个研究热点。GANs是学习复杂分布以合成语义上有意义的样本的强大模型。然而，在这一领域缺乏全面的审查，特别是缺乏一个集合的GANs损失变量，评估指标，补救措施，多样化的图像生成，和稳定的训练。鉴于当前GANs的快速发展，在本次调查中，我们对用于图像合成的对抗模型进行了全面的回顾。我们总结了合成图像的生成方法，并讨论了类别，包括图像到图像的翻译，融合图像的生成，标签到图像的映射，和文本到图像的翻译。我们组织文献的基础上，他们的基本模型，开发的想法与架构，约束，损失函数，评估指标，和训练数据集。我们提出了对抗模型的里程碑，回顾了各种类别的大量先前作品，并提出了从基于模型到数据驱动方法的发展路线的见解。此外，我们强调了一系列潜在的未来研究方向。本综述的一个独特之处在于，这些GAN方法和数据集的所有软件实现都已收集并在https://github.com/pshams55/GAN-Case-Study上提供。
2020-12-26 cs.CV eess.IV
GANs-NQM: A Generative Adversarial Networks based No Reference Quality Assessment Metric for RGB-D Synthesized Views
University of Nantes（南特大学）；Tencent（腾讯）
本文提出了一种基于生成对抗网络（GANs）的RGB+图像深度（RGB-D）合成图像的无参考（NR）质量度量，即GANs-NQM。由于在RGB-D合成过程中对未遮挡区域的修复失败，捕获非均匀分布的局部失真并了解其对感知质量的影响是客观质量度量的挑战性任务。在我们的研究中，基于GANs的特点，我们提出了i）一种新的GANs训练策略，用于使用现有的大规模计算机视觉数据集而不是RGB-D数据集进行RGB-D合成图像; ii）一种基于训练后的图像的无参考质量度量，通过学习“失真词袋”（BDW）码本和局部失真区域选择器; iii）一种孔洞填充inpainter，即，训练的GANs的生成器，用于RGB-D非遮挡区域作为副结果。在IRCCyN/IVC DIBR数据库上的实验结果表明，该模型在性能上优于现有的质量度量标准，并且更适用于实际场景。相应的上下文inpainter也显示出比其他修复算法有吸引力的结果。
2019-03-28 cs.CV cs.MM
Model Extraction and Defenses on Generative Adversarial Networks
University of Luxembourg（卢森堡大学）
模型窃取攻击旨在通过对目标模型的查询访问来复制机器学习模型。早期的研究主要集中在判别模型上。尽管取得了成功，但对生成模型的模型窃取攻击还没有得到很好的研究。在本文中，我们系统地研究了对生成对抗网络（GANs）的模型窃取攻击的可行性。具体来说，我们首先定义了针对GANs的模型窃取攻击的准确性和保真度。然后根据攻击者的目标和背景知识，从精确度提取和保真度提取两个角度研究了针对GANs的模型窃取攻击。我们进一步进行了一个案例研究，其中对手可以将提取模型的知识转移到新的领域，以拓宽模型窃取攻击的应用范围，该模型窃取了用超过300万张图像训练的最先进的GAN。最后，考虑到GAN模型的实用性和安全性之间的权衡，我们提出了有效的防御技术来保护GANs。
2021-01-06 cs.CR cs.CV cs.LG
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
Attention-Aware Generative Adversarial Networks (ATA-GANs)
University of Patras（帕特雷大学）
在这项工作中，我们提出了一种新的方法来训练生成对抗网络（GANs）。使用教师网络产生的注意力地图，我们能够提高生成的图像的质量，以及对生成的图像执行弱对象定位。为此，我们生成了用间接免疫荧光（IIF）捕获的HEp-2细胞的图像，并研究了我们的网络对细胞进行弱定位的能力。首先，我们证明了虽然GANs可以有效地学习输入域和目标分布之间的映射，但RBF网络无法检测到感兴趣的区域。其次，我们提出了一种新的注意力转移机制，它允许我们通过迁移学习来加强对感兴趣区域的强调。第三，我们表明，这会导致更逼真的图像，因为神经元学会把重点放在感兴趣的区域。第四，所提出的方法允许人们生成图像以及注意力图，这对于例如目标检测中的数据注释是有用的。
2018-02-25 cs.CV
A Chronological Survey of Theoretical Advancements in Generative Adversarial Networks for Computer Vision
TCS Research（塔塔咨询服务研究院）
本文针对现有GAN综述缺乏编年视角的问题，梳理计算机视觉领域GAN理论与应用的里程碑工作，展示其训练与应用挑战如何随时间被逐步解决。
2023-11-02 cs.CV eess.IV
AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
本文提出一种基于CNN的儿科肺炎分类系统，结合数据增强和GANs生成合成图像以缓解数据不足与类别不平衡，并通过Flask部署实现实时诊断，在资源有限场景下提升诊断准确率与效率。
2025-07-13 cs.AI cs.CV eess.IV
HGAN: Hybrid Generative Adversarial Network
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种简单的方法来训练生成对抗网络（GANs），以避免\textit {模式坍塌}问题。与在易处理的数据可能性上训练的显式模型相比，GANs等隐式模型往往会生成更好的样本。然而，GANs忽略了显式的数据密度特性，这导致了不期望的定量评估和模式坍塌。为了弥合这一差距，我们提出了一种混合生成对抗网络（HGAN），我们可以通过自回归模型来执行数据密度估计，并以联合训练的方式支持对抗和似然框架，从而使估计的密度多样化，以覆盖不同的模式。我们建议使用对抗网络将\textit {将知识}从自回归模型（教师）转移到GAN模型的生成器（学生）。除了简单的GAN训练方法之外，还开发了GAN公式中的一种新的深度架构来对抗地提取自回归模型信息。我们对真实世界的数据集进行了广泛的实验（即，MNIST，CIFAR-10，STL-10），以证明所提出的HGAN在定性和定量评价下的有效性。实验结果表明，我们的方法相比基线的优越性和竞争力。
2021-02-07 cs.CV cs.LG
Improving generative adversarial network inversion via fine-tuning GAN encoders
Chongqing University of Technology（重庆理工大学）；Macau University of Science and Technology（澳门科技大学）；University College London（伦敦大学学院）
针对现有GAN反演方法性能有限、泛化性差的问题，提出一种自监督预训练与微调GAN编码器的方法，通过自适应模块适配多架构，实现主流GAN上更优的高质量图像重建。
2024-12-12 cs.CV eess.IV
PMC-GANs: Generating Multi-Scale High-Quality Pedestrian with Multimodal Cascaded GANs
University of Electronic Science and Technology of China（电子科技大学）
最近，生成对抗网络（GANs）在合成图像方面表现出了巨大的优势，从而推动了使用伪造图像来增强数据的探索。本文提出了一种多模态级联生成对抗网络（PMC-GANs）来生成真实多样的行人图像并增强行人检测数据。我们的模型的生成器采用了残差U网结构，多尺度残差块编码的功能，并注意残差块，以帮助解码和重建行人图像。该模型采用由粗到细的方式构造，并采用级联结构，有利于产生高分辨率的行人。PMC-GAN的性能优于基线，当用于数据增强时，它可以改善行人检测结果。
2019-12-30 cs.CV
Masked GANs for Unsupervised Depth and Pose Prediction with Scale Consistency
East China University of Science and Technology（华东理工大学）；Oklahoma State University（俄克拉荷马州立大学）
以往的工作表明，对抗学习可以用于无监督的单目深度和视觉里程计（VO）估计，其中对抗损失和几何图像重建损失被用作主要的监督信号来训练整个无监督框架。然而，对抗框架和图像重建的性能通常受到遮挡和帧之间视野变化的限制。提出了一种用于无监督单目深度和自运动估计的掩码生成对抗网络（GAN），在该框架中设计了MaskNet和布尔掩码方案，分别消除了遮挡和视野变化对重建损失和对抗损失的影响。此外，我们还考虑了我们的姿势网络的规模一致性，利用一个新的规模一致性损失，因此，我们的姿势网络能够提供完整的相机轨迹在一个长的单目序列。在KITTI数据集上进行的大量实验表明，本文提出的每个组件都有助于提高性能，并且我们的深度和轨迹预测在KITTI和Make3D数据集上都具有竞争力的性能。
2021-04-13 cs.CV eess.IV
Unsupervised Image Generation with Infinite Generative Adversarial Networks
Zhejiang University（浙江大学）；University of Leeds（利兹大学）；Clemson University（克莱姆森大学）
图像生成在计算机视觉中得到了广泛的研究，其中一个核心研究挑战是在很少监督的情况下从任意复杂分布生成图像。生成对抗网络（GANs）作为一种隐式方法在这方面取得了巨大的成功，因此得到了广泛的应用。然而，GANs被称为遭受的问题，如模式坍塌，非结构化的潜在空间，无法计算似然度等，在本文中，我们提出了一种新的无监督的非参数方法命名为混合的无限条件GANs或MIC-GANs，以解决几个GAN问题，旨在与简约的先验知识的图像生成。通过对不同数据集的综合评估，我们表明MIC-GAN在构建潜在空间和避免模式坍塌方面是有效的，并且优于最先进的方法。MICGAN具有自适应性、通用性和鲁棒性。它们为几个众所周知的GAN问题提供了一个有前途的解决方案。可用代码：github.com/yinghdb/MICGANs。
2021-08-18 cs.CV
Generative Adversarial Networks with Limited Data: A Survey and Benchmarking
Fraunhofer IPA（弗劳恩霍夫IPA）；University of Stuttgart（斯图加特大学）；University of Salento（萨兰托大学）
本文综述了有限数据条件下生成对抗网络（GANs）的变体与应用，通过基准实验分析现有方法，并指出未来挑战与趋势。
2025-04-07 cs.CV
