When do GANs replicate? On the choice of dataset size
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊）
GANs会复制训练图像吗？以前的研究表明，如果训练过程没有显著变化，GANs似乎无法复制训练数据。这导致了一系列关于GANs过拟合训练数据所需的确切条件的研究。尽管已经从理论上或经验上确定了许多因素，但数据集大小和复杂性对GANs复制的影响仍然未知。通过BigGAN和StyleGAN 2的经验证据，在数据集CelebA，Flower和LSUN-bedroom上，我们表明数据集的大小及其复杂性在GANs复制和生成图像的感知质量中起着重要作用。我们进一步量化了这种关系，发现复制百分比随数据集大小和复杂性呈指数衰减，在GAN数据集组合中具有共享的衰减因子。同时，感知图像质量随数据集大小呈U形趋势。这一发现导致了一个实用的工具，一次性估计的最小数据集的大小，以防止GAN复制，可用于指导数据集的建设和选择。
2022-02-23 cs.AI cs.CV cs.LG
Training GANs with Stronger Augmentations via Contrastive Discriminator
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
生成对抗网络（GANs）的最新工作正在积极地重新审视各种数据增强技术，作为防止过拟合的有效方法。然而，目前还不清楚哪些增强可以真正改善GANs，特别是如何在训练中应用更广泛的增强。在本文中，我们提出了一种新的方法来解决这些问题，将最近的对比表示学习计划纳入GAN的框架，创造了ContraD。这种“融合”使判别器能够在不增加其训练不稳定性的情况下使用更强的增强，从而更有效地防止GANs中的过拟合问题。更好的是，我们观察到对比学习本身也受益于我们的GAN训练，即，通过维持真实样本和假样本之间的区分特征，表明两个世界之间具有很强的一致性：良好的对比表示也有利于GAN鉴别器，反之亦然。我们的实验结果表明，与采用数据增强的其他最新技术相比，具有ContradD的GANs始终提高了FID和IS，在线性评估方面仍然保持了高分辨力的特征。最后，作为一个副产品，我们还表明，我们的GANs以无监督的方式（无标签）训练，可以通过简单的潜在采样，利用ContraD的学习功能，诱导许多条件生成模型。代码可在https://github.com/jh-jeong/ContraD上获得。
2021-03-17 cs.AI cs.CV cs.LG
Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
Hasso Plattner Institute（哈索·普拉特纳研究所）
生成对抗网络（GANs）在训练后的压缩效果分析，即没有任何微调，仍然是一个未研究的，尽管重要的主题，随着其计算和内存需求的增加趋势。虽然现有的工作讨论了在训练过程中压缩GANs的困难，需要考虑到GANs训练的不稳定性而设计的新方法，但我们表明，现有的压缩方法（即裁剪和量化）可以直接应用于压缩GANs后训练，而无需任何额外的更改。高压缩级别可能会扭曲生成的集合，可能导致离群值的增加，这可能会对现有的基于k最近邻（KNN）的度量的整体评估产生负面影响。我们提出了两个新的精度和召回率指标的基础上，局部敏感的哈希（LSH），其中，在增加离群值的鲁棒性，降低评估的复杂性对$n$参考样本从$O(n)$到$O(\log(n))$，如果使用LSH和KNN，和$O(1)$，如果只应用LSH。我们发现，在多个数据集上对几个预训练的GANs进行低比特压缩会导致精度和召回率之间的权衡，在牺牲样本多样性的同时保留样本质量。
2021-03-22 cs.AI cs.CV cs.LG
A survey on GANs for computer vision: Recent research, analysis and taxonomy
Universidad Politécnica de Madrid（马德里理工大学）
本文综述了用于计算机视觉的GANs，展示了最新架构、损失函数优化、验证指标及应用领域，并评估了不同变体的性能以指导未来研究。
2024-02-16 cs.AI cs.CV cs.LG
Interleaving GANs with knowledge graphs to support design creativity for book covers
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
本文将生成对抗网络（GANs）与知识图谱结合应用于书籍封面设计，通过知识图谱扩展输入标题选项作为生成器增强输入，并利用判别器筛选最佳图像，显著提升了生成效果和设计创造力。
2023-08-03 cs.AI cs.CV cs.LG
GANspection
University of California, San Diego（加州大学圣地亚哥分校）
生成对抗网络（GANs）已被广泛使用，并非常成功地用于无监督学习。由于GANs不近似显式的概率分布，因此检查GANs学习的潜在空间表示是一项有趣的研究。目前的工作旨在推动这种检查方法的边界，以进一步更详细地了解GANs正在学习的流形。各种内插和外推技术以及矢量运算用于理解学习的流形。我们通过实验表明，GANs确实学习数据概率分布，而不是记忆图像/数据。此外，我们证明了GANs在学习的概率分布中编码语义相关的信息。实验已经在两个公开可用的数据集-大规模场景理解（LSUN）和CelebA上进行。
2019-10-21 cs.CV cs.LG
A Comprehensive Survey on Data-Efficient GANs in Image Generation
University of Science and Technology of China（中国科学技术大学）；Huazhong University of Science and Technology（华中科技大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
生成对抗网络（GANs）在图像合成方面取得了显著的成就。GANs的这些成功依赖于大规模数据集，需要太多的成本。在训练数据有限的情况下，如何稳定GANs的训练过程并生成逼真的图像引起了更多的关注。数据高效GANs（DE-GANs）的挑战主要来自三个方面：（i）训练和目标分布之间的不匹配，（ii）鉴别器的过拟合，以及（iii）潜在空间和数据空间之间的不平衡。虽然已经提出了许多增强和预训练策略来缓解这些问题，但缺乏系统的调查来总结DE-GAN的属性，挑战和解决方案。在本文中，我们从分布优化的角度重新审视和定义DE-GAN。我们总结并分析了DE-GAN面临的挑战。同时，我们提出了一个分类法，将现有的方法分为三类：数据选择，GANs优化和知识共享。最后，我们试图突出当前的问题和未来的方向。
2022-10-08 cs.AI cs.CV
Universum GANs: Improving GANs through contradictions
LG Electronics（LG电子）
有限的标签数据使得任何监督学习问题都具有挑战性。半监督学习和universum学习等替代学习设置减轻了对标记数据的依赖，但仍然需要大量未标记数据，这些数据可能无法获得或获取成本高昂。基于GAN的数据生成方法最近通过生成合成样本来改善学习表现出了希望。然而，大多数现有的基于GAN的方法要么在有限的标记数据设置下提供较差的性能，要么导致低质量的生成数据。在本文中，我们提出了一个Universum GAN游戏，它在有限的数据设置下提供了更高的计算精度，同时生成高质量的真实数据。我们进一步提出了一个不断发展的网络损失，提高其收敛性和泛化性能。我们得到的理论保证，并提供实证结果，支持我们的方法。
2022-09-20 cs.AI cs.CV cs.LG
A Novel Framework for Selection of GANs for an Application
Robert Bosch Engineering and Business Solutions Private Limited（罗伯特·博世工程与商业解决方案私人有限公司）；HEC Paris（巴黎高等商学院）
生成对抗网络（GAN）是当前的研究热点。知识体系是碎片化的，导致在为给定场景选择适当的GAN时采用试错法。我们从一开始就全面总结了GANs的演变，解决了模式坍塌、梯度消失、不稳定训练和不收敛等问题。我们还从应用的角度比较了各种GANs，其行为和实现细节。我们提出了一个新的框架来识别候选GANs的基础上的架构，损失，正则化和分歧的特定用例。我们还讨论了应用程序的框架，使用一个例子，我们证明了显着减少搜索空间。这种确定潜在GANs的有效方法降低了组织AI开发的单位经济性。
2021-05-17 cs.AI cs.CV cs.LG
Repurposing GANs for One-shot Semantic Part Segmentation
VISTEC（泰国维斯特克科技学院）
虽然GANs在真实图像生成方面取得了成功，但将GANs用于与合成无关的其他任务的想法尚未得到充分探索。GANs在尝试复制对象的过程中是否学习了对象的有意义的结构部分？在这项工作中，我们测试了这一假设，并提出了一种简单有效的方法，基于GANs的语义部分分割，只需要一个标签的例子以及一个未标记的数据集。我们的关键思想是利用经过训练的GAN从输入图像中提取像素级表示，并将其用作分割网络的特征向量。我们的实验表明，GANs表示是“容易区分的”，并产生令人惊讶的良好结果，与使用更多标签训练的监督基线的结果相当。我们相信这种新颖的GANs再利用是一类新的无监督表示学习的基础，它适用于许多其他任务。更多结果请访问https://repurposegans.github.io/。
2021-07-05 cs.CV cs.LG
Intriguing Properties of Modern GANs
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文通过实验揭示现代GAN学习到的流形和密度并不拟合训练数据分布，反而更接近分布外图像，挑战了“GAN捕获训练数据流形”的普遍认知。
2024-02-21 cs.CV cs.LG
Dualing GANs
DeepMind；University of Toronto（多伦多大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
生成对抗网络（GANs）是一种很有前途的从样本中建模分布的技术。然而，众所周知的是，GAN训练由于其极大极小公式的性质而遭受不稳定性。在本文中，我们探讨了如何解决不稳定的问题，通过对偶的双。我们从线性鉴别器开始，在这种情况下，共轭对偶提供了一种机制，将鞍点目标重新表述为最大化问题，使得这种“对偶GAN”的生成器和迭代器都一致行动。然后，我们展示了如何将这种直觉扩展到非线性配方。对于具有线性鉴别器的GANs，我们的方法能够消除训练中的不稳定性，而对于具有非线性鉴别器的GANs，我们的方法提供了常用的GAN训练算法的替代方案。
2017-06-19 cs.AI cs.CV cs.LG
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University（罗格斯大学）
辅助分类器GANs（AC-GANs）是广泛使用的条件生成模型，并且能够生成高质量的图像。以前的工作已经指出，AC-GAN学习有偏的分布。为了解决这个问题，Twin Auxiliary Classifier GAN（TAC-GAN）将一个孪生分类器引入到最小-最大博弈中。然而，据报道，使用双辅助分类器可能会导致训练不稳定。为此，我们提出了一种无偏辅助GANs（UAC-GAN），它利用互信息神经估计（MINE）来估计生成的数据分布和标签之间的互信息。为了进一步提高性能，我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯（MoG）、MNIST和CIFAR 10数据集上的实验结果表明，UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
Towards Discovery and Attribution of Open-world GAN Generated Images
University of Maryland, College Park（马里兰大学帕克分校）
随着生成对抗网络（GANs）的最新进展，媒体和视觉取证必须开发能够识别图像并将其归因于生成它们的模型的检测器。现有的工作表明，属性的图像，以其相应的GAN源具有高精度。然而，这些工作仅限于闭集场景，无法推广到在训练时间内看不见的GANs，因此无法随着新GANs的稳定涌入而扩展。我们提出了一种迭代算法，通过利用所有GANs在其生成的图像上留下不同指纹的事实，来发现从以前看不见的GANs生成的图像。我们的算法包括多个组件，包括网络训练，分布外检测，聚类，合并和细化步骤。通过大量的实验，我们表明，我们的算法发现看不见的GANs具有很高的准确性，也推广到GANs训练看不见的真实数据集。我们还将我们的算法应用于在线方式的GANs的归属和发现，以及更标准的真/假检测任务。我们的实验证明了我们的方法在发现新的GANs方面的有效性，并且可以在开放世界的设置中使用。
2021-09-20 cs.CV cs.LG
ComGAN: Toward GANs Exploiting Multiple Samples
提出 ComGAN 让生成器通过比较样本学习语义，并设计等式正则化训练判别器；实验表明其在多数损失与数据设置下取得最佳 FID。
2023-04-24 cs.CV cs.LG
Commonality in Natural Images Rescues GANs: Pretraining GANs with Generic and Privacy-free Synthetic Data
Yonsei University（延世大学）
GANs的迁移学习成功地提高了低发射机制下的生成性能。然而，现有的研究表明，使用单个基准数据集的预训练模型不能推广到各种目标数据集。更重要的是，随着成员推断攻击的发展，预训练模型可能容易受到版权或隐私风险的影响。为了解决这两个问题，我们提出了一个有效的和公正的数据合成器，即原始PS，灵感来自自然图像的通用特性。具体地，我们利用1）频率幅度谱上的一般统计，2）基本形状（即，通过基本形状的图像合成），用于表示结构信息，以及3）作为先验的显著性的存在。由于我们的合成器只考虑自然图像的一般属性，因此在我们的数据集上预训练的单个模型可以一致地转移到各种目标数据集，甚至在Fr'echet初始距离方面优于以前用自然图像预训练的方法。广泛的分析、消融研究和评估表明，我们的数据合成器的每个组件都是有效的，并为GANs的可移植性提供了关于预训练模型的理想性质的见解。
2022-04-11 cs.AI cs.CV
On the Fairness of Generative Adversarial Networks (GANs)
Innopolis University（因诺波利斯大学）
生成对抗网络（GANs）是近年来人工智能领域最大的进步之一。凭借其直接学习数据概率分布的能力，然后对合成的真实数据进行采样。已经出现了许多应用，使用GANs来解决机器学习中的经典问题，例如数据增强，类不平衡问题和公平表示学习。在本文中，我们分析和突出的公平性关注的GANs模型。在这方面，我们根据经验表明，GANs模型在训练过程中可能固有地偏好某些组，因此它们无法在测试阶段从不同的组中均匀地生成数据。此外，我们提出了解决这个问题的解决方案，通过将GAN模型调节为样本组或使用集成方法（提升）来允许GAN模型在训练阶段利用数据的分布式结构，并在测试阶段以相等的速率生成组。
2021-05-21 cs.CV cs.LG
Dr.3D: Adapting 3D GANs to Artistic Drawings
POSTECH（浦项科技大学）；Pebblous
虽然3D GANs最近已经展示了多视图一致图像和3D形状的高质量合成，但它们主要限于照片般逼真的人体肖像。本文旨在将3D GANs扩展到一种不同但有意义的视觉形式：艺术肖像画。然而，将现有的3D GANs扩展到绘图是具有挑战性的，因为绘图中存在不可避免的几何模糊性。为了解决这个问题，我们提出了Dr.3D，一种新的适应方法，使现有的3D GAN适应艺术绘画。Dr.3D配备了三个新组件来处理几何模糊性：变形感知3D合成网络，姿势估计和图像合成的交替适应，以及几何先验。实验表明，我们的方法可以成功地适应三维GANs的图纸，并实现多视图一致的语义编辑的图纸。
2022-11-30 cs.CV cs.LG
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver（丹佛大学里奇工程与计算机科学学院）；Department of Psychology, University of Tennessee（田纳西大学心理学系）；College of Arts, Humanities and Social Sciences, University of Denver（丹佛大学艺术、人文与社会科学学院）
生成对抗网络（GANs）能够合成高质量的面部图像。尽管取得了成功，但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前，面部GANs是在不平衡的数据集上训练的，这会产生不太多样化的图像。例如，我们使用StyleGAN 3随机合成的10万张图像中，超过77%被归类为快乐，只有大约3%被归类为愤怒。当需要混合面部属性时，问题甚至变得更糟：生成的样本中只有不到1%是愤怒的女人，只有大约2%是快乐的黑人。为了解决这些问题，本文提出了一个名为GANalyzer的框架，用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成，旨在操作特定面部属性（如面部表情，年龄，性别和种族）的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠，并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
Shared Loss between Generators of GANs
生成对抗网络是能够以高精度复制输入数据的隐式概率分布的生成模型。传统上，GANs由一个Generator和一个Discriminator组成，它们相互作用以产生高度真实的人工数据。传统的GANs会受到模式坍塌问题的困扰，这意味着它们无法生成输入数据集中存在的不同数据变化。最近，多个发生器已被用于通过减轻模式坍塌问题来产生更真实的输出。我们使用这个多生成器框架。本文的新颖之处在于使发电机相互竞争，同时与发电机相互作用。我们表明，这会导致GANs的训练时间大幅减少，而不会影响其性能。
2022-11-14 cs.AI cs.LG
Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs
Google（谷歌）
我们提出了一个框架，用于将未标记的图像从一个域转换为另一个域中的模拟图像。我们采用了一个逐步增长的跳跃连接的编码器-生成器结构，并训练它与GAN损失的现实输出，一个周期的一致性损失，以保持相同的域翻译身份，和语义一致性损失，鼓励网络保持输入的语义特征的输出。我们将我们的框架应用于翻译人脸图像的任务，并表明它能够学习人脸图像的语义映射，而无需监督的一对一图像映射。
2018-08-26 cs.AI cs.CV cs.LG
Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance
Eindhoven University of Technology（埃因霍温理工大学）；Zhejiang University（浙江大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；JD Explore Academy（京东探索研究院）
生成式对抗网络（GANs）由于其生成数据的高质量，自提出以来受到了越来越多的关注。虽然取得了越来越令人印象深刻的结果，但与大模型大小相关的资源需求阻碍了GANs在资源有限的场景中的使用。对于推理，现有的模型压缩技术可以降低模型的复杂度，具有相当的性能。然而，由于GANs的训练过程比较脆弱，因此对GANs的训练效率研究较少。在本文中，我们首次探索了从头开始直接训练稀疏GAN而不涉及任何密集或预训练步骤的可能性。更不寻常的是，我们提出的方法可以直接从零开始训练稀疏不平衡的GANs，使用非常稀疏的生成器。我们不是训练完整的GANs，而是从稀疏的GANs开始，并在整个训练过程中动态探索跨越生成器的参数空间。这种稀疏到稀疏训练过程逐渐增强了高度稀疏生成器的能力，同时坚持固定的小参数预算，具有吸引人的训练和推理效率增益。现代GAN架构的大量实验验证了我们的方法的有效性。我们的稀疏GANs在一次运行中从头开始训练，能够超越通过昂贵的迭代修剪和重新训练学习的GAN。也许最重要的是，我们发现，与其从昂贵的预训练GANs中继承参数，直接从头开始训练稀疏GANs可能是一个更有效的解决方案。例如，仅使用80%稀疏生成器和70%稀疏生成器进行训练，我们的方法可以实现比密集BigGAN更好的性能。
2022-03-05 cs.CV cs.LG
3D GANs and Latent Space: A comprehensive survey
School of Computer Sciences, National Institute of Science Education and Research (NISER)（印度国家教育与研究学院计算机科学学院）
本文全面综述了3D GANs及其潜在空间，考察了多种GAN变体与训练方法，以提供改进3D GAN训练的见解并指明未来研究方向。
2023-04-08 cs.AI cs.CV cs.LG
Guiding GANs: How to control non-conditional pre-trained GANs for conditional image generation
La Salle - Universitat Ramon Llull（拉蒙·柳利大学拉萨尔学院）
生成对抗网络（GANs）是由两个神经网络--生成器和神经网络--组成的一种结构，它们被联合训练，从随机输入中生成人工数据，如图像。这些生成的图像的质量最近已经达到了这样的水平，经常会导致机器和人类将假的误认为真实的例子。然而，当我们想要调节网络以从特定类别的子类别生成图像时，GAN的生成器执行的过程有一些限制。最近的一些方法通过在训练过程之前引入额外的信息（例如图像语义分割或文本描述）来解决该\textit{conditional generation}。虽然成功，这些技术仍然需要预先定义所需的子类别，并收集表示它们的大型标记图像数据集，以从头开始训练GAN。在本文中，我们提出了一种新的替代方法，用于指导通用的非条件GANs表现为条件GANs。我们的方法不是重新训练GAN，而是将编码器网络添加到混合中以生成高维随机输入向量，这些向量被馈送到非条件GAN的生成器网络，以使其从特定子类别生成图像。在我们的实验中，与从头开始训练条件GAN相比，我们的引导式GAN能够在训练编码器后生成感知质量与非条件GANs相当的人工图像，这大大加快了过程，并能够无缝添加新的子类别。
2021-01-04 cs.CV cs.LG eess.IV
Message Passing Multi-Agent GANs
IIT Kanpur（印度理工学院坎普尔分校）
智能体之间的通信和共享智能是实现人工通用智能的一个重要方面。作为迎接这一挑战的第一步，我们引入了一个新的图像生成框架：消息传递多代理生成对抗网络（MPM GANs）。虽然GANs最近被证明对图像生成和其他任务非常有效，但这些网络主要限于单生成器-多线程网络。我们表明，我们可以获得通过消息传递进行通信的多代理GANs，以实现更好的图像生成。在这个框架中，个体行为者的目标有两个方面：合作目标和竞争目标。合作目标确保信息共享机制引导其他生成器生成比自己更好的信息，而竞争目标则鼓励每个生成器生成比其对应方更好的信息。我们分析和可视化这些GANs在各种场景中相互共享的消息。我们定量地表明，消息共享公式作为对抗训练的正则化。定性，我们表明，不同的发电机捕捉不同的特点的底层数据分布。
2016-12-05 cs.AI cs.CV cs.LG
Bridging the Gap Between $f$-GANs and Wasserstein GANs
Stanford University（斯坦福大学）
生成对抗网络（GANs）在学习高维分布方面取得了很大的成功。学习目标近似地最小化模型和数据分布之间的$f$ -发散（$f$ -GANs）或积分概率度量（Wasserstein GANs）。Wasserstein GANs具有优越的经验性能，但在$f$ -GANs中，可以将该算法解释为密度比估计器，这在某些GAN应用中是必要的。在本文中，我们弥合了$f$ -GANs和Wasserstein GANs（WGANs）之间的差距。首先，我们列出了两个约束变$f$发散估计目标，保持最佳的解决方案。接下来，我们最小化约束目标的拉格朗日松弛，并表明它概括了$f$ -GAN和WGAN的关键目标。在此基础上，提出了一种新的实用目标，命名为KL-Wasserstein GAN（KL-WGAN）.我们证明了KL-WGAN在合成数据集和真实世界图像生成基准上的经验成功，并在CIFAR 10图像生成上获得了最先进的FID分数。
2020-06-17 cs.LG stat.ML
Semi-supervised Learning with GANs: Manifold Invariance with Improved Inference
IBM Research AI（IBM研究院人工智能中心）；University of Utah（犹他大学）
使用生成对抗网络（GANs）的半监督学习方法最近已经显示出有希望的经验成功。这些方法中的大多数使用共享的分类器/分类器，该分类器可以区分真实的例子和虚假的例子，同时还可以预测类别标签。受GANs生成器很好地捕获数据流形的能力的启发，我们建议使用GANs来估计数据流形的切空间，并将其用于将不变性注入分类器。在这个过程中，我们提出了对现有方法的增强，用于学习逆映射（即，编码器），这极大地提高了重构样本与输入样本的语义相似性。我们在半监督学习中观察到了相当多的经验收益，特别是在标记示例数量较低的情况下。我们还提供了关于假例子如何影响半监督学习过程的见解。
2017-12-05 cs.AI cs.CV cs.LG
Evaluating the distribution learning capabilities of GANs
University of Colorado Boulder（科罗拉多大学博尔德分校）
我们通过在合成数据集上测试生成对抗网络来评估其分布学习能力。这些数据集包括$R^n$空间中点的常见分布以及包含各种形状和大小的多边形的图像。我们发现，总的来说，GANs无法忠实地重建包含不连续支持或带有噪声的急剧弯曲的点数据集。此外，在图像数据集上，我们发现GANs似乎没有学会计算图像中同类对象的数量。我们还强调了GANs中泛化和学习之间明显的紧张关系。
2019-07-05 cs.CV cs.LG stat.ML
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Color Constancy by GANs: An Experimental Survey
University of Amsterdam（阿姆斯特丹大学）；DUniversum（3DUniversum）
在本文中，我们使用GANs将颜色恒定性任务表示为图像到图像的转换问题。通过在不同数据集上进行大量实验，提供了关于使用不同类型的GANs来解决颜色恒定性的实验调查，即CC-GANs（颜色恒定性GANs）。在实验回顾的基础上，根据不同的标准、环境和数据集，给出了CC-GAN架构设计的建议。
2018-12-07 cs.CV
PMC-GANs: Generating Multi-Scale High-Quality Pedestrian with Multimodal Cascaded GANs
University of Electronic Science and Technology of China（电子科技大学）
最近，生成对抗网络（GANs）在合成图像方面表现出了巨大的优势，从而推动了使用伪造图像来增强数据的探索。本文提出了一种多模态级联生成对抗网络（PMC-GANs）来生成真实多样的行人图像并增强行人检测数据。我们的模型的生成器采用了残差U网结构，多尺度残差块编码的功能，并注意残差块，以帮助解码和重建行人图像。该模型采用由粗到细的方式构造，并采用级联结构，有利于产生高分辨率的行人。PMC-GAN的性能优于基线，当用于数据增强时，它可以改善行人检测结果。
2019-12-30 cs.CV
GANs for Medical Image Synthesis: An Empirical Study
University of Bourgogne Franche-Comte（勃艮第-弗朗什孔泰大学）；CASIS inc.（CASIS公司）；University of Sherbrooke（舍布鲁克大学）；University Hospital of Dijon（第戎大学医院）
生成对抗网络（GANs）变得越来越强大，生成令人兴奋的逼真图像，模仿它们训练复制的数据集的内容。医学成像中的一个反复出现的主题是，GANs是否也可以像生成逼真的RGB图像那样有效地生成可用的医学数据。在本文中，我们进行了多GAN和多应用研究，以衡量GANs在医学成像中的优势。我们在三种医学成像模式和器官上测试了各种GAN架构，从基本的DCGAN到更复杂的基于样式的GANs，即：心脏电影MRI，肝脏CT和RGB视网膜图像。GANs在众所周知且广泛使用的数据集上进行训练，从这些数据集计算它们的FID分数以测量它们生成的图像的视觉敏锐度。我们通过测量在这些生成的图像上训练的U-Net的分割准确度来进一步测试它们的有用性。结果表明，GANs远不平等，因为有些不适合医学成像应用，而另一些则更好。性能最好的GANs能够通过FID标准生成逼真的医学图像，这些图像可以在视觉图灵测试中欺骗训练有素的专家，并符合某些指标。然而，分割结果表明，没有GAN能够再现医学数据集的全部丰富性。
2021-07-19 cs.CV cs.LG eess.IV
A Systematic Survey of Regularization and Normalization in GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）
由于深度神经网络的发展，生成对抗网络（GANs）已被广泛应用于不同的场景。最初的GAN是基于网络容量无限的非参数假设而提出的。然而，在没有任何先验信息的情况下，GANs是否能够拟合目标分布仍然是未知的。由于过度自信的假设，GANs的训练中仍有许多问题没有解决，例如不收敛，模式坍塌，梯度消失。正则化和归一化是引入先验信息以稳定训练和提高区分度的常用方法。虽然已经为GANs提出了一些正则化和规范化方法，但据我们所知，除了一些不全面和范围有限的研究外，还没有主要关注这些方法的目标和发展的全面调查。在这项工作中，我们从GANs训练的不同角度对正则化和规范化技术进行了全面的调查。首先，我们系统地描述了GANs训练的不同视角，从而获得了正则化和规范化的不同目标。基于这些目标，我们提出了一个新的分类。此外，我们比较了主流方法在不同数据集上的性能，并研究了最先进的GANs中经常使用的正则化和归一化技术的应用。最后，我们强调了在这一领域的潜在的未来研究方向。本工作中与GANs的正则化和规范化相关的代码和研究总结在https://github.com/iceli1007/GANs-Regularization-Review上。
2022-11-03 cs.CV cs.LG eess.IV
Subverting Privacy-Preserving GANs: Hiding Secrets in Sanitized Images
NYU Tandon School of Engineering（纽约大学坦登工程学院）
前所未有的数据汇集和共享加剧了对隐私的担忧，并导致人们对隐私保护工具的兴趣日益增加，这些工具可以从图像中删除敏感属性，同时为其他任务保留有用的信息。目前，最先进的方法使用隐私保护生成对抗网络（PP-GAN）来实现这一目的，例如，在不泄露用户身份的情况下实现可靠的面部表情识别。然而，PP-GAN并不提供隐私的正式证明，而是依赖于使用基于深度学习（DL）的鉴别器的敏感属性上的分类准确性来实验性地测量信息泄漏。在这项工作中，我们通过颠覆现有的面部表情识别隐私保护GANs来质疑这种检查的严格性。我们表明，可以将敏感的识别数据隐藏在这种PP-GAN的经过消毒的输出图像中，以便以后提取，这甚至可以允许重建整个输入图像，同时满足隐私检查。我们通过基于PP-GAN的架构展示了我们的方法，并使用两个公共数据集提供定性和定量评估。我们的实验结果提出了关于需要对PP-GAN进行更严格的隐私检查的基本问题，并提供了对这些问题的社会影响的见解。
2020-09-19 cs.AI cs.CR cs.CV
Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
传统的生成对抗网络（GAN）及其许多变体都是通过最小化KL或JS发散损失来训练的，KL或JS发散损失衡量生成的数据分布与真实数据分布的接近程度。最近的一项进展称为基于Wasserstein距离的WGAN，可以改进基于KL和JS发散的GANs，并减轻GAN训练中常见的梯度消失，不稳定和模式坍塌问题。在这项工作中，我们的目标是改进WGAN，首先将其排序损失推广到基于边缘的排序损失，这会导致更好的排序损失，进而导致更好的生成器，然后执行涉及多个GANs的渐进式训练范例，以促进最大边缘排序损失，以便后期阶段的GAN将在早期阶段进行改进。我们称这种方法为Gang of GANs（GoGAN）。我们已经从理论上证明，在经过最佳训练的WGAN中，所提出的GoGAN可以将真实数据分布和生成的数据分布之间的差距减少至少一半。我们还提出了一种新的方法来衡量GAN质量，这是基于图像完成任务。我们已经在四个视觉数据集上评估了我们的方法：CelebA，LSUN Bedroom，CIFAR-10和50 K-SSFF，并且已经看到了基线WGAN的视觉和定量改善。
2017-04-17 cs.CV cs.LG
When Relation Networks meet GANs: Relation GANs with Triplet Loss
Dalian University of Technology（大连理工大学）；The University of Hong Kong（香港大学）
尽管最近的研究在使用生成对抗网络（GANs）生成逼真图像方面取得了显着进展，但缺乏训练稳定性仍然是大多数GANs挥之不去的问题，特别是在高分辨率输入和复杂数据集上。由于随机生成的分布很难与真实分布重叠，因此训练GANs通常会遇到梯度消失问题。已经提出了一些方法来解决这个问题，通过限制的ESTA的能力，使用经验的技术，如权重裁剪，梯度惩罚，频谱归一化等。在本文中，我们提供了一个更有原则的方法作为一种替代解决方案，这个问题。我们没有训练器来区分真实和虚假的输入样本，而是通过训练器来区分来自相同分布的配对样本和来自不同分布的配对样本来研究配对样本之间的关系。为此，我们探索了一个关系网络架构的数据库，并设计了一个三元组损失，执行更好的泛化和稳定性。在基准数据集上的大量实验表明，所提出的关系式和新的损失可以提供显着的改善，包括无条件和有条件的图像生成和图像翻译的可变视觉任务。
2020-03-17 cs.CV cs.LG eess.IV
Tabular GANs for uneven distribution
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文综述了三种主要范式下的表格数据生成方法，提出统一框架支持GAN、扩散模型和大语言模型，并通过实验验证框架在分布偏移下的有效性。
2026-04-08 cs.CV cs.LG
Adversarial symmetric GANs: bridging adversarial samples and adversarial networks
Tsinghua University（清华大学）；Beijing Innovation Center for Future Chip（北京未来芯片创新中心）
生成对抗网络在各种任务上都取得了显著的性能，但存在训练不稳定的问题。尽管提出了许多培训战略来提高培训稳定性，但这一问题仍然是一个挑战。在本文中，我们从对抗样本的角度研究了训练不稳定性，并揭示了在vanilla GANs中实现了对假样本的对抗训练，但对真实样本的对抗训练长期以来一直被忽视。因此，该算法极易受到对抗性扰动的影响，并且该算法给出的梯度包含无信息对抗性噪声，这阻碍了生成器捕获真实样本的模式。在这里，我们开发了对抗性对称GANs（AS-GANs），它将真实样本的对抗性训练融入到普通GANs中，使对抗性训练对称。因此，该算法更鲁棒，并提供更多信息的梯度和更少的对抗性噪声，从而稳定训练和加速收敛。在CIFAR-10，CelebA和LSUN上使用不同的网络架构验证了AS-GAN的有效性。不仅训练更加稳定，而且与基线相比，生成的样本的FID分数始终大幅提高。对抗样本和对抗网络的桥接为进一步发展对抗网络提供了一种新的途径。
2020-11-14 cs.CV cs.LG
Black-Box Training Data Identification in GANs via Detector Networks
Harvard University（哈佛大学）
本文研究了黑盒设置下针对GAN的成员推理攻击，提出基于检测器网络的攻击方法The Detector，证明其近似最优，并发现GAN可能比其他模型更具隐私性但仍有被攻击风险。
2023-10-18 cs.AI cs.LG
On GANs and GMMs
School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（希伯来大学）
机器学习中的一个长期问题是找到能够学习高维信号的统计结构的无监督方法。近年来，GANs作为该问题的可能解决方案获得了很多关注，并且特别地已经显示出生成非常逼真的高分辨率采样图像的能力。与此同时，许多作者指出，GANs可能无法对完整分布进行建模（“模式坍塌“），并且将学习的模型用于生成样本以外的任何事情可能非常困难。在本文中，我们通过将GANs与最简单的统计模型高斯混合模型进行比较，来研究GANs在学习图像统计模型方面的实用性。首先，我们提出了一个简单的方法来评估生成模型的基础上的相对比例的样本落入预定的箱子。与以前的自动评估模型的方法，我们的方法不依赖于一个额外的神经网络，也不需要近似棘手的计算。其次，我们将GANs的性能与在相同数据集上训练的GANs进行了比较。虽然Gestro以前已被证明是成功的小块图像建模，我们展示了如何训练他们的全尺寸的图像，尽管高维。我们的研究结果表明，GAN可以生成真实的样本（尽管不如GANs的样本尖锐），但也可以捕获完整的分布，而GANs无法做到这一点。此外，GARCH允许有效的推理和显式表示的基础统计结构。最后，我们讨论了如何使用GREEN来生成清晰的图像。
2018-11-03 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Invertible Conditional GANs for image editing
Computer Vision Center（计算机视觉中心）
生成对抗网络（GANs）最近已经证明可以成功地近似复杂的数据分布。该模型的一个相关扩展是条件GANs（cGANs），其中引入外部信息允许确定生成图像的特定表示。在这项工作中，我们评估编码器以逆cGAN的映射，即，将真实图像映射到潜在空间和条件表示。例如，这允许重建和修改以任意属性为条件的面部的真实图像。此外，我们还评估了cGAN的设计。编码器与cGAN的组合，我们称之为Invertible cGAN（IcGAN），能够重新生成具有确定性复杂修改的真实图像。
2016-11-19 cs.AI cs.CV
Spectral Regularization for Combating Mode Collapse in GANs
Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
针对生成对抗网络（GANs）模式崩溃问题，提出了一种基于谱正则化的GANs（SR-GANs GANs）方法，该方法能够有效地解决GANs中的模式坍塌问题.理论分析表明，最优解的选取与权矩阵的谱分布有很强的关系，因此，我们对谱归一化GANs（SN-GANs）的最优解谱分布进行了监测，发现当模式坍塌发生时，权矩阵的奇异值大量下降，这种现象被称为谱崩溃。我们发现，有强有力的证据连接模式坍塌频谱崩溃，并基于这种联系，我们着手解决频谱崩溃作为一个替代的模式坍塌。我们已经开发了一种谱正则化方法，在该方法中，我们补偿权重矩阵的谱分布以防止它们崩溃，这反过来又成功地防止了GANs中的模式坍塌。我们从理论上解释了为什么SR-GAN比SN-GAN更稳定，并且可以提供更好的性能。我们还提供了大量的实验结果和分析，以表明SR-GAN不仅总是优于SN-GAN，而且总是成功地对抗SN-GAN失败的模式坍塌。该代码可在https://github.com/max-liu-112/SRGANs-Spectral-Regularization-GANs-上获得。
2019-10-12 cs.LG stat.ML
Improved Training with Curriculum GANs
Stanford University（斯坦福大学）
在本文中，我们介绍了课程GANs，这是一种用于训练生成对抗网络的课程学习策略，它在训练过程中增加了生成器的强度，从而使生成器的学习任务逐渐变得更加困难。我们证明，这种策略是获得最先进的图像生成结果的关键。我们还证明了这种策略可能广泛适用于改善其他数据模式的GAN训练。
2018-07-24 cs.AI cs.LG stat.ML
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India（微软印度研究院）
生成对抗网络（GANs）在学习复杂的高维实数分布和生成真实样本方面非常成功。但是，它们对生成过程的控制有限。条件GANs（cGANs）提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据，但训练cGANs需要标记的数据，这可能非常昂贵。我们提出了一个cGAN的半监督训练框架，它利用稀疏标签来学习条件映射，同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Fictitious GAN: Training GANs with Historical Models
Northwestern University（西北大学）
生成对抗网络（GANs）是学习生成模型的强大工具。在实践中，培训可能会缺乏收敛性。GANs通常被视为两个神经网络之间的两人零和游戏。在这里，我们利用这个博弈论的观点来研究训练过程的收敛行为。受虚拟游戏学习过程的启发，引入了一种新的训练方法，称为虚拟GAN。Fictionary GAN使用历史模型的混合来训练深度神经网络。具体而言，该公司（resp.生成器）根据对来自先前训练的生成器的序列的混合输出的最佳响应来更新。鉴别器）。结果表明，Fictionary GAN可以有效地解决标准训练方法无法解决的一些收敛问题。证明了生成器输出的平均值与数据样本的分布渐近一致。
2018-07-11 cs.CV cs.LG stat.ML
Entropic GANs meet VAEs: A Statistical Approach to Compute Sample Likelihoods in GANs
University of Maryland, College Park（马里兰大学帕克分校）；University of Pennsylvania（宾夕法尼亚大学）
基于深度学习的成功，从数据中学习概率模型的两种现代方法是生成对抗网络（GANs）和变分自编码器（VAE）。VAE考虑数据的显式概率模型，并通过最大化对数似然函数的变分下限来计算生成分布。然而，GANs通过最小化观察到的概率分布和生成的概率分布之间的距离来计算生成模型，而不考虑观察到的数据的显式模型。在GANs中缺乏明确的概率模型，禁止在其框架中计算样本可能性，并限制了它们在统计推断问题中的使用。在这项工作中，我们通过构建一个显式概率模型来解决这个问题，该模型可用于计算GANs中的样本似然统计。特别地，我们证明了在这个概率模型下，具有熵正则化的Wasserstein GANs家族可以被视为一个生成模型，该生成模型最大化了平均样本对数似然的变分下限，这是VAE所基于的方法。这一结果在两个现代生成模型，即GANs和VAE之间建立了原则性联系。除了上述理论结果外，我们还计算了在Gaussian，MNIST，SVHN，CIFAR-10和LSUN数据集上训练的GANs的似然统计。我们的数值结果验证了所提出的理论。
2019-06-05 cs.LG stat.ML
On the Implicit Assumptions of GANs
University of California, Berkeley（加州大学伯克利分校）
生成对抗网络（GANs）已经产生了很多兴奋。尽管它们很受欢迎，但它们在实践中表现出一些有据可查的问题，这些问题显然与理论保证相矛盾。一些有启发性的论文指出，这些问题是由于人们通常作出的不合理的假设而产生的，但在近年来的乐观情绪中，这一信息似乎已经消失。我们认为，所发现的问题值得更多的关注，并强调了对GANs属性和概率模型研究轨迹的影响。我们最近提出了一种替代方法来回避这些问题。
2018-11-29 cs.CV cs.LG stat.ML
Video Generative Adversarial Networks: A Review
University of New South Wales（新南威尔士大学）；Princess Nourah bint Abdulrahman University（诺拉·本特·阿卜杜勒拉赫曼公主大学）
随着媒体、教育和娱乐等多个领域对内容创作领域的兴趣日益浓厚，使用AI算法生成图像、视频、音频和文本等内容的论文越来越多。生成对抗网络（GANs）是一种很有前途的模型，它可以合成与真实数据样本相似的数据样本。虽然GANs模型的变化，一般来说，已经在一定程度上涵盖了几个调查文件，据我们所知，这是第一个调查文件，审查国家的最先进的视频GANs模型。本文首先将GANs综述论文分为一般GANs综述论文、图像GANs综述论文和特殊领域GANs综述论文，如异常检测、医学成像或网络安全。然后，本文总结了GANs框架的主要改进，这些框架最初不是为视频域开发的，但已被多种视频GANs变体采用。然后，根据条件的存在或不存在，在两个主要部分下提供视频GANs模型的全面回顾。然后，条件模型根据条件的类型进一步分组为音频、文本、视频和图像。本文最后强调了当前视频GANs模型的主要挑战和局限性。补充材料中提供了数据集、应用的损失函数和评估指标的全面列表。
2020-11-04 cs.CV cs.LG eess.IV
Bridging GANs and Bayesian Neural Networks via Partial Stochasticity
本文通过将GANs视为具有部分随机性的贝叶斯神经网络，提出平滑损失景观和最小描述长度方法，以提升GANs的性能和理解。
2026-02-01 cs.CV cs.LG stat.ML
Alleviation of Gradient Exploding in GANs: Fake Can Be Real
Shanghai Jiao Tong University（上海交通大学）
为了缓解生成对抗网络（GANs）中臭名昭著的模式坍塌现象，提出了一种新的GANs训练方法。该策略可以在梯度爆炸区域减小发生器接收到的梯度值。我们展示了在实际训练中梯度爆炸导致的不平衡生成和恶性循环问题的过程，这解释了GANs的不稳定性。我们还从理论上证明，梯度爆炸可以减轻惩罚的差异，输出和伪作为真实的考虑非常接近的真实和假样本。因此，提出了具有更稳定的训练过程和更忠实的生成分布的伪真GAN（FARGAN）。在不同数据集上的实验验证了我们的理论分析。
2020-03-16 cs.CV cs.LG eess.IV
Robust Semi-Supervised Classification using GANs with Self-Organizing Maps
University of Florida（佛罗里达大学）
本文提出将自组织映射与 SS-GANs 结合，在高光谱图像数据上提升分类鲁棒性，并在保持准确率的同时显著增强离群点与内点的区分能力。
2021-10-19 cs.LG
Ensembles of GANs for synthetic training data generation
Linköping University（林雪平大学）；Center for Medical Image Science and Visualization, Linköping University（林雪平大学医学影像科学与可视化中心）；Sectra AB（Sectra公司）
训练数据不足是大多数深度学习实践的主要瓶颈，尤其是在医学成像领域，由于伦理和隐私问题，数据难以收集，公共数据集稀缺。这项工作研究了使用生成对抗网络（GANs）创建的合成图像作为训练数据的唯一来源。我们证明，对于这个应用程序，利用多个GANs来提高生成数据的多样性，即充分覆盖数据分布是非常重要的。虽然单个GAN可以生成看似多样化的图像内容，但在大多数情况下，对这些数据进行训练会导致严重的过度拟合。我们测试了集成GANs对合成2D数据以及常见图像数据集（SVHN和CIFAR-10）的影响，并使用DCGAN和渐进增长的GANs。作为一个特定的用例，我们专注于合成数字病理学补丁，以提供匿名的训练数据。
2021-04-23 cs.CV cs.LG eess.IV
