VAE-QWGAN: Addressing Mode Collapse in Quantum GANs via Autoencoding Priors
University of Birmingham（伯明翰大学）；University College London（伦敦大学学院）
本文提出VAE-QWGAN，一种结合经典VAE与量子Wasserstein GAN的混合量子-经典生成模型，通过数据依赖的潜在向量采样和GMM先验，有效缓解量子GAN的模式崩溃，提升图像生成的多样性与质量。
2025-05-22 cs.CV cs.LG quant-ph
On the Evaluation of Conditional GANs
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；Facebook AI Research（Facebook人工智能研究）
条件生成对抗网络（cGAN）在许多应用领域中得到越来越广泛的使用。尽管取得了突出的进展，定量评价这些模型往往涉及多个不同的指标，以评估不同的理想属性，如图像质量，条件一致性，和内调节多样性。在这种情况下，模型基准测试成为一个挑战，因为每个指标可能表明不同的“最佳”模型。在本文中，我们提出了Frechet联合距离（FJD），它被定义为图像和条件的联合分布之间的Frechet距离，允许它在单个度量中隐式地捕获上述属性。我们在可控的合成数据集上进行概念验证实验，与目前建立的指标相比，这些实验始终突出了FJD的好处。此外，我们使用新引入的度量来比较现有的基于cGAN的模型，以用于各种条件模式（例如类标签，对象掩码，边界框，图像和文本标题）。我们表明，FJD可以用作cGAN基准测试和模型选择的一个有前途的单一指标。代码可以在https://github.com/facebookresearch/fjd上找到。
2019-12-24 cs.CV cs.LG eess.IV
Pixel-wise Conditioned Generative Adversarial Networks for Image Synthesis and Completion
Normandie Univ（诺曼底大学）；UNIROUEN（鲁昂大学）；UNIHAVRE（勒阿弗尔大学）；INSA Rouen（鲁昂国立应用科学学院）
生成对抗网络（GANs）已被证明在无监督图像生成方面是成功的。一些工作已经将GANs扩展到图像修复，通过用要重建的图像的部分来调节生成。尽管他们的成功，这些方法有局限性的设置，只有一个小的子集的图像像素是已知的。在本文中，我们研究的有效性条件GANs时，提供非常少的像素值。我们提出了一个建模框架，其结果是在GAN目标函数中添加一个显式的成本项，以执行逐像素条件。我们调查的影响，这个正则化项上生成的图像的质量和给定的像素约束的履行。使用最近的PacGAN技术，我们确保我们在生成的样本中保持多样性。在FashionMNIST上进行的实验表明，正则化项有效地控制了生成图像的质量和条件之间的权衡。在CIFAR-10和CelebA数据集上的实验评估证明，我们的方法在视觉上和定量上都实现了Fréchet初始距离的准确结果，同时仍然执行像素条件化。我们还使用全卷积网络在纹理图像生成任务上评估了我们的方法。作为最后的贡献，我们将该方法应用于一个经典的地质模拟应用程序。
2020-02-04 cs.CV cs.LG eess.IV
Conditioning of three-dimensional generative adversarial networks for pore and reservoir-scale models
Imperial College London（帝国理工学院）
岩石物性地质统计学建模是现代油气藏综合研究的关键环节。最近，生成对抗网络（GAN）已被证明是一种成功的方法，用于生成无条件模拟的孔隙和孔隙尺度模型。这一贡献利用了神经网络的可微性，将GANs扩展到三维孔隙和孔隙尺度模型的条件模拟。基于Yeh等人（2016）之前的工作，我们使用内容损失来约束条件数据和从GAN神经网络的评估中获得的感知损失。该技术的测试上产生的三维微CT图像的Ketton石灰岩约束的二维横截面，并在模拟的Maules溪冲积含水层约束的一维部分。我们的研究结果表明，GANs代表了一种强大的方法，用于对随机储层评价工作流程的条件孔隙和储层样本进行采样。
2018-02-15 cs.CV physics.geo-ph stat.ML
MGGAN: Solving Mode Collapse using Manifold Guided Training
School of Integrated Technology, Yonsei University（延世大学综合技术学院）
模式坍塌是生成对抗网络训练中的一个关键问题。为了减轻模式坍塌，最近的几项研究引入了新的目标函数，网络架构或替代的训练方案。然而，他们的成就往往是牺牲图像质量的结果。在本文中，我们提出了一种新的算法，即流形引导生成对抗网络（MGGAN），它利用现有的GAN架构的指导网络，以诱导生成器学习所有模式的数据分布。基于广泛的评估，我们表明，我们的算法解决了模式坍塌，而不会失去图像质量。特别是，我们证明了我们的算法很容易扩展到各种现有的GANs。实验分析表明，该算法是一种有效的GANs训练工具。
2018-04-12 cs.CV
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India（微软印度研究院）
生成对抗网络（GANs）在学习复杂的高维实数分布和生成真实样本方面非常成功。但是，它们对生成过程的控制有限。条件GANs（cGANs）提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据，但训练cGANs需要标记的数据，这可能非常昂贵。我们提出了一个cGAN的半监督训练框架，它利用稀疏标签来学习条件映射，同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Vit-GAN: Image-to-image Translation with Vision Transformes and Conditional GANS
在本文中，我们开发了一个通用的架构，Vit-Gan，能够执行大多数的图像到图像的翻译任务，从语义图像分割到单个图像的深度感知。本文是一个后续文件，一个扩展的发电机为基础的模型[1]，其中所获得的结果是非常有前途的。这为对抗架构的进一步改进提供了可能性。我们使用了一个独特的基于视觉变换器的生成器架构和条件GANs（cGANs），以及一个马尔可夫鉴别器（PatchGAN）（https：//github.com/YigitGunduc/vit-gan）。在目前的工作中，我们使用图像作为条件反射参数。据观察，所获得的结果是更现实的比常用的架构。
2021-10-11 cs.CV eess.IV
Conditional Image Synthesis With Auxiliary Classifier GANs
Google Brain（谷歌大脑）
合成高分辨率真实感图像一直是机器学习中的一个长期挑战。在本文中，我们介绍了用于图像合成的生成对抗网络（GANs）的改进训练的新方法。我们构建了一个变体的GANs，采用标签条件，导致128 × 128分辨率的图像样本表现出全局一致性。我们扩大以前的工作，图像质量评估提供两个新的分析，以评估类条件图像合成模型的样本的可辨别性和多样性。这些分析表明，高分辨率样品提供了低分辨率样品中不存在的类别信息。在1000个ImageNet类中，128x128样本的可分辨性是人工调整大小的32x32样本的两倍多。此外，84.7%的类具有与真实ImageNet数据相当的多样性。
2017-07-20 cs.CV stat.ML
On Convergence and Stability of GANs
Georgia Institute of Technology（佐治亚理工学院）
我们建议将GAN训练动态研究为遗憾最小化，这与流行的观点相反，即真实分布和生成分布之间的分歧是一致的最小化。我们从这个新的角度分析了GAN训练的收敛性，以理解为什么会发生模式坍塌。我们假设在这个非凸博弈中存在不期望的局部均衡，这是负责模式坍塌。我们观察到，这些局部平衡往往表现出尖锐的梯度的一些真实的数据点周围的函数。我们证明，这些退化的局部平衡可以避免梯度惩罚计划称为DRAGAN。我们表明，DRAGAN可以更快地训练，实现更少的模式坍塌，提高稳定性，并导致生成器网络具有更好的建模性能在各种架构和目标函数。
2017-12-10 cs.AI cs.CV cs.GT
To Create What You Tell: Generating Videos from Captions
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）
我们每天都在创造多媒体内容。虽然自动内容生成几十年来一直是多媒体社区的一个基本挑战，但深度学习的最新进展使这个问题变得可行。例如，生成对抗网络（GANs）是合成图像的一种有益方法。然而，当利用GANs生成视频时，这并不是微不足道的。困难源于视频的内在结构，其中视频是视觉上连贯且语义上依赖的帧的序列。这促使我们在设计生成视频的GANs时探索语义和时间一致性。在本文中，我们提出了一种新的时间GANs条件化字幕，即TGANs-C，其中生成器网络的输入是潜在噪声向量和字幕嵌入的级联，然后被转换为具有3D时空卷积的帧序列。与只判断配对是真是假的天真的机器人不同，我们的机器人还注意到视频是否与正确的标题匹配。特别是，该网络由三个鉴别器组成：视频鉴别器从生成的视频中分类现实视频并优化视频字幕匹配，帧鉴别器区分真实和假帧并将帧与条件字幕对齐，以及运动鉴别器强调生成的视频中的相邻帧应该像真实视频中一样平滑连接的理念。我们定性地证明了我们的TGANs-C在两个合成数据集（SBMG和TBMG）和一个真实世界数据集（MSVD）上生成给定字幕的合理视频的能力。此外，定量实验MSVD进行验证我们的建议，通过生成对抗度量和人类的研究。
2018-04-23 cs.CV
On the Fairness of Generative Adversarial Networks (GANs)
Innopolis University（因诺波利斯大学）
生成对抗网络（GANs）是近年来人工智能领域最大的进步之一。凭借其直接学习数据概率分布的能力，然后对合成的真实数据进行采样。已经出现了许多应用，使用GANs来解决机器学习中的经典问题，例如数据增强，类不平衡问题和公平表示学习。在本文中，我们分析和突出的公平性关注的GANs模型。在这方面，我们根据经验表明，GANs模型在训练过程中可能固有地偏好某些组，因此它们无法在测试阶段从不同的组中均匀地生成数据。此外，我们提出了解决这个问题的解决方案，通过将GAN模型调节为样本组或使用集成方法（提升）来允许GAN模型在训练阶段利用数据的分布式结构，并在测试阶段以相等的速率生成组。
2021-05-21 cs.CV cs.LG
Unsupervised Image Generation with Infinite Generative Adversarial Networks
Zhejiang University（浙江大学）；University of Leeds（利兹大学）；Clemson University（克莱姆森大学）
图像生成在计算机视觉中得到了广泛的研究，其中一个核心研究挑战是在很少监督的情况下从任意复杂分布生成图像。生成对抗网络（GANs）作为一种隐式方法在这方面取得了巨大的成功，因此得到了广泛的应用。然而，GANs被称为遭受的问题，如模式坍塌，非结构化的潜在空间，无法计算似然度等，在本文中，我们提出了一种新的无监督的非参数方法命名为混合的无限条件GANs或MIC-GANs，以解决几个GAN问题，旨在与简约的先验知识的图像生成。通过对不同数据集的综合评估，我们表明MIC-GAN在构建潜在空间和避免模式坍塌方面是有效的，并且优于最先进的方法。MICGAN具有自适应性、通用性和鲁棒性。它们为几个众所周知的GAN问题提供了一个有前途的解决方案。可用代码：github.com/yinghdb/MICGANs。
2021-08-18 cs.CV
Conditional GANs For Painting Generation
The University of Edinburgh（爱丁堡大学）
我们研究了现代生成对抗网络的使用，以使用Painter By Numbers数据集生成油画的新图像。我们实现了谱归一化GAN（SN-GAN）和带梯度惩罚的谱归一化GAN，并将它们的输出与深度卷积GAN进行了比较。根据切片Wasserstein距离度量，在视觉上和定量上，我们确定SN-GAN产生的绘画与我们的训练数据集最具可比性。然后，我们进行了一系列实验，将监督条件作用添加到SN-GAN中，我们认为这是一种新颖的架构，可以生成具有用户指定特征的人脸绘画。
2019-03-06 cs.CV cs.LG stat.ML
Enhancing GANs with Contrastive Learning-Based Multistage Progressive Finetuning SNN and RL-Based External Optimization
Bahria University（巴里亚大学）
针对GAN在高分辨率组织病理学图像合成中训练不稳定、模式崩溃等问题，提出融合对比学习多阶段渐进微调SNN与强化学习外部优化器的框架，多项指标优于SOTA模型。
2024-10-26 cs.AI cs.CV cs.LG
Digital rock reconstruction with user-defined properties using conditional generative adversarial networks
Peng Cheng Laboratory（鹏城实验室）；Southern University of Science and Technology（南方科技大学）
由于地下岩石固有的不均匀性和缺乏现场测量，地下岩石中的流动普遍存在不确定性。要完成多尺度的不确定度分析，必须提供足够的岩石样品。尽管数字岩石技术的出现提供了复制岩石的机会，但由于成本高，它仍然不能用于提供大量样品，因此导致了多样化的数学方法的发展。其中，两点统计量（TPS）和多点统计量（MPS）是常用的，其特点是分别包含低阶和高阶统计信息。最近，生成对抗网络（GANs）变得越来越受欢迎，因为它们可以以出色的视觉和随之而来的地质现实主义再现训练图像。然而，标准GANs只能合并来自数据的信息，而没有为用户定义的属性留下接口，因此可能限制重构样本的代表性。在这项研究中，我们提出了数字岩石重建的条件GANs，旨在重现样本不仅类似于真实的训练数据，但也满足用户指定的属性。事实上，所提出的框架可以通过将直接来自岩石图像的高阶信息与GANs方案结合，同时通过条件化保留低阶对应物，从而同时实现MPS和TPS的目标。我们进行了三个重建实验，结果表明，岩石类型，岩石孔隙度，和相关长度可以成功地调节影响重建的岩石图像。此外，与现有的GANs相比，所提出的条件能够同时学习多种岩石类型，从而无形地节省了计算成本。
2021-06-01 cs.AI cs.CV cs.LG
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe研究）
我们介绍了一种简单但有效的无监督方法，用于生成逼真和多样化的图像。我们训练类条件GAN模型，而不使用手动注释的类标签。相反，我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式，并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明，我们的方法优于几个竞争的方法时，解决模式坍塌。与以前的方法相比，我们的方法在ImageNet和Places365等大规模数据集上也表现良好，提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
Transferring Unconditional to Conditional GANs with Hyper-Modulation
Computer Vision Center（计算机视觉中心）；Nankai University（南开大学）
近年来，GANs已经成熟，能够生成高分辨率、逼真的图像。然而，训练高质量的GANs所需的计算资源和数据是巨大的，因此研究这些模型的迁移学习是一个紧迫的课题。许多可用的高质量预训练GANs都是无条件的（如StyleGAN）。然而，对于许多应用程序来说，条件GANs更可取，因为它们对生成过程提供了更多的控制，尽管它们经常遭受更多的训练困难。因此，在本文中，我们专注于从高质量的预训练无条件GANs转换到条件GANs。这需要对预训练的GAN进行架构调整以执行调节。为此，我们提出了超调制生成网络，允许共享和互补的监督。为了防止超网络的额外的权重过拟合，与随后的小目标域上的模式坍塌，我们引入了一个自初始化过程，不需要任何真实的数据来初始化超网络参数。为了进一步提高迁移的样本效率，我们在机器学习中应用了对比学习，它有效地适用于非常有限的批量大小。在大量的实验中，我们验证了超网络的效率，自我初始化和对比度损失的知识转移标准基准。
2022-04-23 cs.CV
Latent Space is Feature Space: Regularization Term for GANs Training on Limited Dataset
School of Software, Northwestern Polytechnical University（西北工业大学软件学院）
生成对抗网络（GAN）是目前广泛使用的一种无监督图像生成方法。目前最先进的GANs可以生成具有高分辨率的照片级逼真图像。然而，需要大量的数据，否则模型将容易生成具有相似模式（模式坍塌）和质量差的图像。我为GANs提出了一个额外的结构和损失函数，称为LFM，经过训练可以最大化潜在空间不同维度之间的特征多样性，以避免模式坍塌而不影响图像质量。构造正交特征向量对，并对特征向量对进行点积检验，使特征向量对与生成元之间形成一种新的对抗关系。在实验中，该系统已建立在DCGAN和证明有从零开始的CelebA数据集上的Frechet初始距离（FID）训练的改进。该系统需要适度的额外性能，并且可以与数据增强方法一起工作。该代码可在github.com/penway/LFM上获得。
2022-11-15 cs.CV cs.LG
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Neural Video Compression using GANs for Detail Synthesis and Propagation
Google Research（谷歌研究院）
我们提出了第一个基于生成对抗网络（GANs）的神经视频压缩方法。在用户研究中，我们的方法显著优于以前的神经和非神经视频压缩方法，为神经方法的视觉质量提供了新的最先进的技术。我们表明，GAN损失是至关重要的，以获得这种高的视觉质量。两个组件使GAN损失有效：我们i）通过将生成器调节到从扭曲的先前重建中提取的潜在值来合成细节，然后ii）用高质量流传播该细节。我们发现，用户研究需要比较方法，即，我们的定量指标都不能预测所有的研究。我们详细介绍了网络设计的选择，并与用户研究消融他们。
2022-07-12 cs.CV eess.IV
Transferring GANs: generating images from limited data
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
通过微调将预训练网络的知识转移到新的领域是基于判别模型的应用程序中广泛使用的实践。据我们所知，这种做法还没有在生成深度网络的背景下进行过研究。因此，我们研究领域自适应应用于图像生成与生成对抗网络。我们评估了领域自适应的几个方面，包括目标域大小的影响，源和目标域之间的相对距离，以及条件GANs的初始化。我们的研究结果表明，使用来自预训练网络的知识可以缩短收敛时间，并可以显着提高生成图像的质量，特别是当目标数据有限时。我们表明，这些结论也可以得出条件GANs，即使在没有条件的情况下训练预训练模型。我们的研究结果还表明，密度可能比多样性更重要，具有一个或几个密集采样类的数据集可能是比ImageNet或Places等更多样化的数据集更好的源模型。
2018-10-02 cs.CV
A Novel Framework for Selection of GANs for an Application
Robert Bosch Engineering and Business Solutions Private Limited（罗伯特·博世工程与商业解决方案私人有限公司）；HEC Paris（巴黎高等商学院）
生成对抗网络（GAN）是当前的研究热点。知识体系是碎片化的，导致在为给定场景选择适当的GAN时采用试错法。我们从一开始就全面总结了GANs的演变，解决了模式坍塌、梯度消失、不稳定训练和不收敛等问题。我们还从应用的角度比较了各种GANs，其行为和实现细节。我们提出了一个新的框架来识别候选GANs的基础上的架构，损失，正则化和分歧的特定用例。我们还讨论了应用程序的框架，使用一个例子，我们证明了显着减少搜索空间。这种确定潜在GANs的有效方法降低了组织AI开发的单位经济性。
2021-05-17 cs.AI cs.CV cs.LG
Deep Convolutional GANs for Car Image Generation
Stanford University（斯坦福大学）
在本文中，我们研究了深度卷积GANs在汽车图像生成上的应用。我们改进了常用的DCGAN结构，通过实现Wasserstein损失来减少模式坍塌，并在判别器的末尾引入dropout来引入随机性。此外，我们在生成器的末尾引入了卷积层，以提高表现力和平滑噪声。所有这些对DCGAN架构的改进包括我们提出的新的BoolGAN架构，它能够将FID从195.922（基线）降低到165.966。
2020-06-24 cs.CV eess.IV
Inducing Optimal Attribute Representations for Conditional GANs
Imperial College London（帝国理工学院）；KAIST（韩国科学技术院）
条件GANs广泛用于将图像从一个类别转换为另一个类别。对GANs的有意义的条件提供了更大的灵活性和对目标域合成数据的性质的控制。现有的条件GANs通常将目标域标签信息编码为0和1形式的硬编码分类向量。这种表示的主要缺点是无法编码的高阶语义信息的目标类别和它们的相对依赖关系。我们提出了一种新的端到端的学习框架与图卷积网络学习的属性表示条件的生成器。将GAN损失，即分类损失和属性分类损失，反馈给Graph，从而产生在属性上更自然和更清晰的合成图像。此外，现有技术被赋予优先权以在发电机侧而不是在GANs的发电机侧进行调节。我们也通过多任务学习将这些条件应用于大脑一侧。我们增强了四种最先进的cGAN架构：Stargan，Stargan-JNT，AttGAN和STGAN。我们对具有挑战性的人脸属性操作数据集CelebA，LFWA和RaFD进行了广泛的定性和定量评估，结果表明，与其对手和其他调节方法相比，我们的方法增强的cGAN在目标属性识别率和质量指标（如PSNR和SSIM）方面都有很大的优势。
2020-09-08 cs.CV
GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation
University of British Columbia（不列颠哥伦比亚大学）
将图像分割成各个部分是高级视觉任务（如图像编辑）的常见预处理。然而，为监督训练注释掩码是昂贵的。存在弱监督和无监督方法，但它们依赖于图像对的比较，例如来自多视图、视频帧和图像增强，这限制了它们的适用性。为了解决这个问题，我们提出了一种基于GAN的方法，该方法生成以潜在掩码为条件的图像，从而减轻了以前方法所需的完整或弱注释。我们表明，这样的掩模条件的图像生成可以忠实地学习时，条件的面具在一个层次的方式上的潜在的关键点，明确定义的位置的部分。在不需要监督掩模或点的情况下，该策略增加了对视点和对象位置变化的鲁棒性。它还允许我们生成用于训练分割网络的图像掩码对，该分割网络在已建立的基准上优于最先进的无监督分割方法。
2022-10-09 cs.CV
Directional GAN: A Novel Conditioning Strategy for Generative Networks
Adobe（奥多比）；Amazon（亚马逊）
图像内容是营销活动、网站和横幅广告中的主要因素。今天，营销人员和设计师花费大量的时间和金钱来生成这种专业质量的内容。我们使用生成对抗网络（GANs）简化了这一过程。我们提出了一个简单而新颖的条件策略，它允许使用一个无条件的图像生成任务训练的生成器生成给定的语义属性条件下的图像。我们的方法是基于修改潜在的向量，使用方向向量的相关语义属性在潜在的空间。我们的方法被设计为与离散（二进制和多类）和连续图像属性。我们展示了我们提出的方法的适用性，命名为定向GAN，在多个公共数据集上，不同属性的平均准确率为86.4%。
2021-05-13 cs.CV cs.NE
Complexity Controlled Generative Adversarial Networks
Indian Institute of Technology（印度理工学院）
在训练生成对抗网（GANs）及其变体中面临的问题之一是模式坍塌的问题，其中，随着使用更多的训练数据，在生成损失方面的训练稳定性增加。在本文中，我们通过低复杂度神经网络（LCNN）提出了一种替代架构，该架构试图以低复杂度学习模型。其动机是控制模型复杂性导致模型不会过拟合训练数据。我们将LCNN损失函数用于GANs，深度卷积GANs（DCGANs）和频谱归一化GANs（SNGANs），以开发分别称为LCNN-GAN，LCNN-DCGAN和LCNN-SNGAN的混合架构。在各种大型基准图像数据集上，我们证明了使用我们提出的模型可以实现稳定的训练，同时避免了模式坍塌的问题，从而获得更好的训练稳定性。我们还展示了如何通过LCNN泛函中的超参数来控制学习行为，这也提供了改进的初始得分。
2020-11-20 cs.CV cs.LG
Alleviation of Gradient Exploding in GANs: Fake Can Be Real
Shanghai Jiao Tong University（上海交通大学）
为了缓解生成对抗网络（GANs）中臭名昭著的模式坍塌现象，提出了一种新的GANs训练方法。该策略可以在梯度爆炸区域减小发生器接收到的梯度值。我们展示了在实际训练中梯度爆炸导致的不平衡生成和恶性循环问题的过程，这解释了GANs的不稳定性。我们还从理论上证明，梯度爆炸可以减轻惩罚的差异，输出和伪作为真实的考虑非常接近的真实和假样本。因此，提出了具有更稳定的训练过程和更忠实的生成分布的伪真GAN（FARGAN）。在不同数据集上的实验验证了我们的理论分析。
2020-03-16 cs.CV cs.LG eess.IV
Fast-converging Conditional Generative Adversarial Networks for Image Synthesis
University of Tennessee（田纳西大学）
在生成对抗网络（GANs）成功的基础上，条件GANs试图通过某些附加信息来更好地指导数据生成过程。受最新的AC-GAN的启发，本文提出了一种快速收敛的条件GAN（FC-GAN）。除了vanilla GANs中使用的真/假分类器之外，我们的鉴别器还有一个高级辅助分类器，可以将每个真实类与额外的“假”类区分开来。“假”类避免了将生成的数据与真实数据混合，这可能会像AC-GAN那样混淆真实数据的分类，并使高级辅助分类器表现为另一个真实/假分类器。因此，FC-GAN可以加速所有类别的区分过程，从而提高收敛速度。图像合成的实验结果表明，我们的模型是有竞争力的图像质量，同时实现了更快的收敛速度。
2018-05-05 cs.CV
Comparative Analysis of Generative Models: Enhancing Image Synthesis with VAEs, GANs, and Stable Diffusion
Huddersfield University（哈德斯菲尔德大学）
本文对比分析VAEs、GANs、Stable Diffusion三类生成模型的优劣，探索结合Grounding DINO与Grounded SAM优化Stable Diffusion的图像精度，为场景选型和后续研究提供参考。
2024-08-16 cs.CV eess.IV
Diverse Rare Sample Generation with Pretrained GANs
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；INEEJI
针对预训练 GAN 难以生成低密度稀有样本的问题，提出结合多目标潜在向量梯度优化与 normalizing flows 特征密度估计的方法，可控制稀有度、多样性和参考相似度，并在多种数据集与 GAN 上验证有效。
2025-01-07 cs.CV
Conditioning Diffusion Models via Attributes and Semantic Masks for Face Generation
University of Bologna（博洛尼亚大学）
本文提出基于交叉注意力的扩散模型多条件方法，联合属性与语义掩码实现人脸图像的高质量、多样化及细粒度可控生成，并在 CelebA-HQ 上验证有效性。
2023-09-27 cs.CV
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Generative Adversarial Networks
Tel Aviv University（特拉维夫大学）
生成对抗网络（GANs）是用于生成高质量数据的非常流行的框架，并且在许多领域的学术界和工业界都得到了广泛的应用。可以说，它们最大的影响是在计算机视觉领域，在那里它们实现了最先进的图像生成。本章介绍了GANs，讨论了它们的原理机制，并提出了它们在训练和评估过程中的一些固有问题。我们集中在这三个问题：（1）模式坍塌，（2）消失的梯度，（3）低质量的图像的生成。然后，我们列出了一些架构变体和丢失变体GANs，它们可以解决上述挑战。最后，我们给出了GANs在实际应用中的两个应用示例：数据增强和人脸图像生成。
2022-03-01 cs.CV cs.LG
Latent Space Conditioning on Generative Adversarial Networks
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Heidelberg（海德堡大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；University of Mannheim（曼海姆大学）；Offenburg University（奥芬堡大学）
生成对抗网络是学习合成图像生成的最新方法。虽然早期的成功大多是在无人监督的情况下一点点取得的，但这种趋势已经被基于标记数据的方法所取代。这些监督方法允许对输出图像进行更细粒度的控制，提供更大的灵活性和稳定性。然而，这种模型的主要缺点是需要注释数据。在这项工作中，我们引入了一个新的框架，该框架受益于两种流行的学习技术，对抗训练和表示学习，并向无监督条件GANs迈出了一步。特别是，我们的方法利用了潜在空间的结构（通过表示学习学习），并利用它来调节生成模型。通过这种方式，我们打破了传统的条件和标签之间的依赖关系，用来自潜在空间的无监督特征来代替后者。最后，我们证明了这种新技术能够按需生成样本，同时保持其监督对应物的质量。
2020-12-16 cs.CV
Conditional Invertible Neural Networks for Diverse Image-to-Image Translation
Heidelberg University（海德堡大学）
我们引入了一个新的架构称为条件可逆神经网络（cINN），并使用它来解决不同的图像到图像的自然图像的翻译任务。由于一些基本的限制，这在现有的INN模型中是不容易实现的。cINN将纯生成INN模型与无约束前馈网络相结合，该网络有效地将调节图像预处理为最大信息特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。尽管基于INN的模型在文献中受到的关注远低于GANs，但它们已被证明具有GANs中不存在的一些显着特性，例如对模式坍塌的明显免疫力。我们发现，我们的cINN利用这些特性进行图像到图像的转换，在白天到夜晚的转换和图像着色上得到了证明。此外，我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性，例如以直观的方式改变图像风格。
2021-05-05 cs.AI cs.CV
AE-OT-GAN: Training GANs from data specific latent distribution
Stony Brook University（石溪大学）；Brigham and Women’s Hospital（布里格姆妇女医院）；Harvard Medical School（哈佛医学院）；Dalian University of Technology（大连理工大学）；Harvard University（哈佛大学）；DLUT-RU（大连理工大学（DLUT-RU））
生成对抗网络（generative adversarial networks，GANs）是生成逼真、清晰图像的主要模型，但由于用连续DNN逼近固有的不连续分布变换映射，因此经常会遇到模式崩溃问题，难以训练。最近提出的AE-OT模型通过求解自编码器潜在空间中的半离散最优传输（OT）映射来显式计算不连续分布变换映射，解决了这个问题，但生成的图像是模糊的。本文提出了AE-OT-GAN模型，该模型结合了两种模型的优点：生成高质量的图像，同时克服了模式坍塌/混合问题。然后我们计算最优传输（OT）映射，将均匀分布推进到潜流形上支持的潜分布。最后，我们的GAN模型被训练成从潜在分布生成高质量的图像，从潜在分布到经验数据分布的分布转换映射将是连续的。在简单的MNIST数据集和Cifar-10、CelebA等复杂数据集上的实验结果表明了该方法的有效性。
2020-01-27 cs.CV eess.IV
Album cover art image generation with Generative Adversarial Networks
生成对抗网络（GANs）是由Goodfellow在2014年提出的，从那时起，它已经成为构建生成式人工智能模型的热门方法。然而，这样的网络的缺点是很多的，像它们的较长的训练时间，它们对超参数调整的敏感性，几种类型的损失和优化函数以及其他困难，如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而，我想通过使用现有的模型并从中学习，更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识，并致力于GANs的特定方面，以及对现有模型的实验和修改，从最不复杂到最复杂。我们的目的是看看最先进的GANs（特别是StyleGAN 2）是否可以生成专辑封面，以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的，包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型，然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG
Freehand Ultrasound Image Simulation with Spatially-Conditioned Generative Adversarial Networks
Centre for Medical Image Computing, University College London（伦敦大学学院医学图像计算中心）；Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所）；Department of Diagnostic Imaging, Royal Free London NHS Foundation Trust（伦敦皇家自由NHS基金会信托诊断影像科）
超声图像合成有着广泛的应用，包括医疗过程模拟、临床训练和多模态图像配准。在本文中，我们提出了一种基于条件生成对抗网络（GANs）的机器学习方法来模拟给定3D空间位置（相对于患者解剖结构）的超声图像。特别是，我们介绍了一种新的神经网络架构，可以采样解剖学上的准确图像有条件的（真实或模拟）徒手超声探头的空间位置。为了确保有效和高效的空间信息同化，所提出的空间调节GANs将全局物理空间中校准的像素坐标作为调节输入，并分别在GANs的搜索器和生成器中利用调节数据的残差网络单元和快捷方式。使用光学跟踪的B型超声图像，由经验丰富的超声医师在胎儿体模上采集，我们通过两组定量结果证明了所提出的方法的可行性：计算在保持出的超声图像中识别的相应解剖标志与网络看不到的相同位置处的模拟数据之间的距离;进行可用性研究以区分模拟数据和真实图像。总之，我们提出了我们认为是最先进的视觉逼真的超声图像，模拟所提出的GAN架构，是稳定的训练，并能够产生可接受的不同的图像样本。
2017-07-17 cs.CV cs.LG
Stabilizing GANs with Soft Octave Convolutions
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Heidelberg（海德堡大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Offenburg University（奥芬堡大学）
受最近发表的使用卷积频率分解的方法（例如Octave卷积）的启发，我们提出了一种新的卷积方案来稳定训练并降低模式坍塌的可能性。我们方法的基本思想是将卷积滤波器分为加性高频和低频部分，同时在训练过程中将权重更新从低到高。直观地说，这种方法迫使GANs在下降到精细（高频）细节之前学习低频粗略图像结构。我们还表明，所提出的软倍频程卷积的使用减少了常见的伪影在频域生成的图像。我们的方法与现有的稳定方法是正交和互补的，并且可以简单地插入到任何基于CNN的GAN架构中。在CelebA数据集上的实验表明了该方法的有效性。
2020-12-17 cs.CV cs.LG stat.ML
Aggregated Multi-GANs for Controlled 3D Human Motion Prediction
Zhejiang Gongshang University（浙江工商大学）；Jilin University（吉林大学）；Nanyang Technological University（南洋理工大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
从历史姿态序列预测人体运动是机器智能中许多应用的核心。然而，在当前最先进的方法中，预测的未来运动被限制在同一活动内。人们既不能产生与当前活动不同的预测，也不能操纵身体部位来探索各种未来的可能性。毫无疑问，这极大地限制了运动预测的有用性和适用性。在本文中，我们提出了一个泛化的人类运动预测任务，其中控制参数可以很容易地纳入调整预测的运动。我们的方法是令人信服的，因为它使可操纵的运动预测跨活动类型，并允许定制的人类运动在各种细粒度的方式。为此，提出了一种简单而有效的复合GAN结构，该结构由用于不同身体部位的局部GANs组成，并通过全局GAN聚合。局部GANs在较低维度中进行游戏，而全局GAN在高维空间中进行调整以避免模式坍塌。大量的实验表明，我们的方法优于国家的最先进的。代码可在https://github.com/herolvkd/AM-GAN。
2021-03-17 cs.CV
MineGAN: effective knowledge transfer from GANs to target domains with few images
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Linköping University（林雪平大学）
深度神经网络的一个吸引人的特性是它们能够将在一个领域中获得的知识转移到其他相关领域。因此，可以在具有相对较少的训练数据的域中训练高质量的网络。这一特性在判别网络中得到了广泛的研究，但在生成模型中却很少受到关注。考虑到训练GANs通常需要付出巨大的努力，无论是在计算上还是在数据集收集中，重新使用预训练的GANs是一个理想的目标。我们提出了一种新的生成模型的知识转移方法，该方法基于从单个或多个预训练的GANs中挖掘对特定目标领域最有益的知识。这是使用矿工网络来完成的，该网络识别每个预训练的GAN的生成分布的哪一部分输出最接近目标域的样本。挖掘有效地将GAN采样转向潜在空间的合适区域，这有助于后验微调并避免其他方法的病态，例如模式坍塌和缺乏灵活性。我们使用各种GAN架构（BigGAN，Progressive GAN）在几个复杂的数据集上进行实验，并表明所提出的方法，称为MineGAN，有效地将知识转移到目标图像很少的领域，优于现有的方法。此外，MineGAN可以成功地从多个预训练的GANs中转移知识。我们的代码可在https://github.com/yaxingwang/MineGAN上获得。
2020-04-02 cs.CV
Improving GANs for Long-Tailed Data through Group Spectral Regularization
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
深度长尾学习的目标是在实际的、真实世界的不平衡分布上训练有用的深度网络，其中尾部类的大多数标签与少数样本相关联。人们已经做了大量的工作来训练用于视觉识别的长尾分布的判别模型。相比之下，我们的目标是训练条件生成对抗网络，这是一类基于长尾分布的图像生成模型。我们发现，类似的识别，国家的最先进的方法，图像生成也遭受性能下降的尾巴类。性能下降主要是由于类特定的模式坍塌的尾巴类，我们观察到的空调参数矩阵的频谱爆炸。我们提出了一种新的组谱正则化器（gSR），防止光谱爆炸减轻模式坍塌，这导致多样的和合理的图像生成，即使是尾部类。我们发现，gSR有效地结合了现有的增强和正则化技术，导致国家的最先进的图像生成性能的长尾数据。大量的实验证明了我们的正则化器在具有不同程度不平衡的长尾数据集上的有效性。
2022-08-21 cs.CV cs.LG eess.IV
Efficient Subsampling of Realistic Images From GANs Conditional on a Class or a Continuous Variable
University of British Columbia（不列颠哥伦比亚大学）
最近，已经积极研究了从无条件GANs生成的子采样或细化图像，以提高整体图像质量。不幸的是，这些方法在处理条件GANs（cGANs）时通常被观察到效率较低或效率较低-以类（又名类条件GANs）或连续变量（又名连续cGANs或Cc GANs）为条件。在这项工作中，我们引入了一种有效且高效的子采样方案，称为条件密度比引导拒绝采样（cDR-RS），以从cGAN中采样高质量图像。具体而言，我们首先开发了一种新的条件密度比估计方法，称为cDRE-F-cSP，提出了条件Softplus（cSP）损失和改进的特征提取机制。然后，我们推导出一个密度比模型训练的cSP损失的误差界。最后，我们接受或拒绝一个假的图像在其估计的条件密度比。还开发了一种过滤方案，以增加假图像的标签一致性，而不会在从CcGAN采样时失去多样性。我们在五个基准数据集上广泛测试了cDR-RS在类条件GANs和Cc GANs采样中的有效性和效率。当从类条件GANs中采样时，cDR-RS在有效性方面远远优于现代最先进的方法（DRE-F-SP+RS除外）。虽然cDR-RS的有效性通常与DRE-F-SP+RS相当，但cDR-RS的效率要高得多。当从CcGAN采样时，cDR-RS的优势在有效性和效率方面更加明显。值得注意的是，在消耗合理的计算资源的情况下，cDR-RS可以在不降低CcGAN生成的图像的多样性的情况下大幅降低标签分数，而其他方…
2022-04-20 cs.CV cs.LG stat.ML
Towards a Better Global Loss Landscape of GANs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
对GAN培训的理解仍然非常有限。一个主要的挑战是它的非凸-非凹的最小-最大目标，这可能导致次优的局部最小值。在这项工作中，我们对GANs的经验损失进行了全球景观分析。我们证明了一类可分离的GAN，包括原来的JS-GAN，有指数的坏盆被视为模式崩溃。我们还研究了相对论性配对GAN（RpGAN）损失，它将产生的样本和真实样本耦合在一起。我们证明了RpGAN没有坏盆。在合成数据上的实验表明，预测的坏盆确实可以在训练中出现。我们还进行了实验来支持我们的理论，即RpGAN比可分离GAN具有更好的景观。例如，我们的经验表明，RpGAN在相对狭窄的神经网络中比可分离GAN表现得更好。该代码可在www.example.com上获得。
2020-11-10 cs.AI cs.CV cs.IT
Evolving GAN Formulations for Higher Quality Image Synthesis
Apple Inc.（苹果公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Labs（高知特人工智能实验室）
生成对抗网络（GANs）已经将深度学习扩展到跨不同数据模式的复杂生成和转换任务。然而，众所周知，GANs很难训练：训练过程中的模式坍塌和其他不稳定性通常会降低生成结果（如图像）的质量。本文提出了一种名为TaylorGAN的新技术，通过为两个网络中的每个网络发现定制的损失函数来改进GANs。将损失函数参数化为泰勒展开式，并通过多目标进化进行优化。在一个图像到图像的翻译基准任务，这种方法定性地提高了生成的图像质量和定量地提高了两个独立的GAN性能指标。因此，它为将来将GANs应用于更具挑战性的任务提供了一种有前途的方法。
2021-10-28 cs.CV cs.LG cs.NE
A Systematic Survey of Regularization and Normalization in GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）
由于深度神经网络的发展，生成对抗网络（GANs）已被广泛应用于不同的场景。最初的GAN是基于网络容量无限的非参数假设而提出的。然而，在没有任何先验信息的情况下，GANs是否能够拟合目标分布仍然是未知的。由于过度自信的假设，GANs的训练中仍有许多问题没有解决，例如不收敛，模式坍塌，梯度消失。正则化和归一化是引入先验信息以稳定训练和提高区分度的常用方法。虽然已经为GANs提出了一些正则化和规范化方法，但据我们所知，除了一些不全面和范围有限的研究外，还没有主要关注这些方法的目标和发展的全面调查。在这项工作中，我们从GANs训练的不同角度对正则化和规范化技术进行了全面的调查。首先，我们系统地描述了GANs训练的不同视角，从而获得了正则化和规范化的不同目标。基于这些目标，我们提出了一个新的分类。此外，我们比较了主流方法在不同数据集上的性能，并研究了最先进的GANs中经常使用的正则化和归一化技术的应用。最后，我们强调了在这一领域的潜在的未来研究方向。本工作中与GANs的正则化和规范化相关的代码和研究总结在https://github.com/iceli1007/GANs-Regularization-Review上。
2022-11-03 cs.CV cs.LG eess.IV
AvatarMMC: 3D Head Avatar Generation and Editing with Multi-Modal Conditioning
KAUST（阿卜杜拉国王科技大学）；University College London（伦敦大学学院）；Imperial College London（伦敦帝国学院）
提出AvatarMMC，结合3D GAN与潜在扩散模型，实现多模态条件控制的三维头部虚拟形象生成与编辑，性能优于纯GAN方法。
2024-02-08 cs.CV cs.GR
A cost-effective method for improving and re-purposing large, pre-trained GANs by fine-tuning their class-embeddings
Auburn University（奥本大学）；Adobe Research（Adobe研究所）
大型的预训练生成模型越来越受欢迎，对研究和更广泛的社区都很有用。具体来说，BigGANs是一种在ImageNet上训练的类条件生成对抗网络，在生成逼真的照片方面具有出色的、最先进的能力。然而，对于大多数研究人员和工程师来说，从头开始微调或训练BigGAN几乎是不可能的，因为（1）GAN训练通常不稳定，并且会出现模式崩溃;（2）训练需要大量的计算，256个Google TPU持续2天或8xV100 GPU持续15天。重要的是，在NLP和图像领域，许多预先训练的生成模型都被发现包含对社会有害的偏见。因此，我们需要计算上可行的方法来修改和重新利用这些庞大的、预先训练好的模型来完成下游任务。在本文中，我们提出了一种具有成本效益的优化方法，通过仅对类嵌入层进行微调来改进和重新利用BigGAN。我们在三个任务中展示了我们的模型编辑方法的有效性：（1）显着提高完整模式崩溃类样本的真实性和多样性;（2）重新利用ImageNet BigGAN为Places365生成图像;（3）去偏置或提高选定ImageNet类的样本多样性。
2020-10-08 cs.CV cs.LG stat.ML
On GANs and GMMs
School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（希伯来大学）
机器学习中的一个长期问题是找到能够学习高维信号的统计结构的无监督方法。近年来，GANs作为该问题的可能解决方案获得了很多关注，并且特别地已经显示出生成非常逼真的高分辨率采样图像的能力。与此同时，许多作者指出，GANs可能无法对完整分布进行建模（“模式坍塌“），并且将学习的模型用于生成样本以外的任何事情可能非常困难。在本文中，我们通过将GANs与最简单的统计模型高斯混合模型进行比较，来研究GANs在学习图像统计模型方面的实用性。首先，我们提出了一个简单的方法来评估生成模型的基础上的相对比例的样本落入预定的箱子。与以前的自动评估模型的方法，我们的方法不依赖于一个额外的神经网络，也不需要近似棘手的计算。其次，我们将GANs的性能与在相同数据集上训练的GANs进行了比较。虽然Gestro以前已被证明是成功的小块图像建模，我们展示了如何训练他们的全尺寸的图像，尽管高维。我们的研究结果表明，GAN可以生成真实的样本（尽管不如GANs的样本尖锐），但也可以捕获完整的分布，而GANs无法做到这一点。此外，GARCH允许有效的推理和显式表示的基础统计结构。最后，我们讨论了如何使用GREEN来生成清晰的图像。
2018-11-03 cs.CV cs.LG
Cluster-guided Image Synthesis with Unconditional Models
Imperial College London（伦敦帝国学院）；Queen Mary University of London（伦敦玛丽女王大学）；EPFL（洛桑联邦理工学院）；University of Athens（雅典大学）
生成对抗网络（GANs）是图像生成技术的驱动力。尽管它们能够合成高分辨率的照片级逼真图像，但生成具有不同粒度的按需调节的内容仍然是一个挑战。这一挑战通常通过用感兴趣的属性注释大量数据集来解决，这是一项艰巨的任务，并不总是可行的选择。因此，在无监督生成模型的生成过程中引入控制是至关重要的。在这项工作中，我们专注于通过利用以无监督方式训练有素的GANs来生成可控图像。为此，我们发现生成器的中间层的表示空间形成了许多聚类，这些聚类根据语义上有意义的属性（例如，头发颜色和姿势）。通过对聚类分配的条件，所提出的方法是能够控制生成的图像的语义类。我们的方法使采样从每个集群的隐式最大似然估计（IMLE）。我们使用不同的预训练生成模型展示了我们的方法在人脸（CelebA-HQ和FFHQ），动物（Imagenet）和物体（LSUN）上的功效。结果突出了我们的方法能够根据面部的性别，姿势和发型等属性以及不同对象类的各种特征来调节图像生成。
2021-12-24 cs.CV
Sparse Generative Adversarial Network
North Carolina State University（北卡罗来纳州立大学）
我们提出了一种新的生成对抗网络（GANs）方法，以提高性能，并对其所谓的和公认的模式坍塌具有额外的鲁棒性。我们首先将所需数据映射到基于帧的空间以进行稀疏表示，以在学习结构之前消除对小支持特征的任何限制。为此，我们首先将图像划分为多个补丁，并修改生成网络的角色，从一次生成整个图像，到为每个图像补丁创建稀疏表示向量。我们通过将生成的稀疏表示乘以预先训练的字典并组装生成的补丁来合成整个图像。这种方法将生成器的输出限制为特定的结构，通过将子空间联合（UoS）模型施加到原始训练数据来获得，从而产生更逼真的图像，同时保持期望的多样性。为了进一步规范GANs生成高质量图像并避免臭名昭著的模式崩溃问题，我们在GANs中引入了第三个参与者，称为重建器。该播放器利用自动编码方案来确保：首先，生成器中的输入-输出关系是单射的，其次，每个真实图像对应于一些输入噪声。我们提出了一些实验，其中所提出的算法显示出显着更高的初始分数相比，等效的传统GANs。
2019-08-20 cs.CV cs.LG eess.IV
HGAN: Hybrid Generative Adversarial Network
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一种简单的方法来训练生成对抗网络（GANs），以避免\textit {模式坍塌}问题。与在易处理的数据可能性上训练的显式模型相比，GANs等隐式模型往往会生成更好的样本。然而，GANs忽略了显式的数据密度特性，这导致了不期望的定量评估和模式坍塌。为了弥合这一差距，我们提出了一种混合生成对抗网络（HGAN），我们可以通过自回归模型来执行数据密度估计，并以联合训练的方式支持对抗和似然框架，从而使估计的密度多样化，以覆盖不同的模式。我们建议使用对抗网络将\textit {将知识}从自回归模型（教师）转移到GAN模型的生成器（学生）。除了简单的GAN训练方法之外，还开发了GAN公式中的一种新的深度架构来对抗地提取自回归模型信息。我们对真实世界的数据集进行了广泛的实验（即，MNIST，CIFAR-10，STL-10），以证明所提出的HGAN在定性和定量评价下的有效性。实验结果表明，我们的方法相比基线的优越性和竞争力。
2021-02-07 cs.CV cs.LG
A Classification-Based Study of Covariate Shift in GAN Distributions
Massachusetts Institute of Technology（麻省理工学院）
在生成对抗网络（GANs）的背景下，一个基本的，而且在很大程度上仍然没有答案的问题是，它们是否真的能够捕捉到它们所训练的分布的所有基本特征。特别是，评估GAN分布的多样性是具有挑战性的，现有的方法只能部分地理解这个问题。在本文中，我们开发了定量和可扩展的工具来评估GAN分布的多样性。具体来说，我们采取基于分类的观点，并将多样性损失视为GANs引入的协变量偏移的一种形式。我们研究两种具体形式的这种转变：模式坍塌和边界失真。与之前的工作相比，我们的方法只需要最少的人工监督，并且可以很容易地应用于大型规范数据集上的最先进的GANs。使用我们的工具检查流行的GANs表明，这些GANs在再现其训练数据集的更多分布特性方面存在重大问题。
2018-06-06 cs.CV cs.LG cs.NE
