FewGAN: Generating from the Joint Distribution of a Few Images
Tel Aviv University（特拉维夫大学）；University of Copenhagen（哥本哈根大学）
我们介绍FewGAN，一种生成模型，用于生成新颖，高质量和多样化的图像，其补丁分布位于少量N>1训练样本的联合补丁分布中。该方法本质上是一种分层的补丁GAN，它以类似于VQ-GAN的方式在第一个粗略尺度上应用量化，然后是在更精细尺度上的残留完全卷积GANs的金字塔。我们的关键思想是首先使用量化来学习训练图像的固定补丁嵌入集合。然后，我们使用一组单独的侧边图像，使用在训练图像的学习补丁嵌入上训练的自回归模型来对生成图像的结构进行建模。在粗尺度上使用量化允许模型生成有条件和无条件的新图像。随后，patch-GAN渲染细节，从而生成高质量的图像。在一组广泛的实验中，结果表明FewGAN在定量和定性方面都优于基线。
2022-07-18 cs.CV cs.LG
Post-training Model Quantization Using GANs for Synthetic Data Generation
Delft University of Technology（代尔夫特理工大学）；Intel（英特尔）
本研究提出用GAN生成合成数据替代真实数据进行后训练模型量化校准，实验表明准确率下降小于0.6%，最佳性能在MobileNetV2上达0.05%。
2023-05-10 cs.CV
QGAN: Quantized Generative Adversarial Networks
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Department of Electrical and Computer Engineering, University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校电气与计算机工程系）
生成对抗神经网络（GANs）的密集计算和内存需求阻碍了其在智能手机等边缘设备上的实际部署。尽管在CNN的模型降阶方面取得了成功，但神经网络量化方法尚未在GANs上进行研究，主要面临量化算法的有效性和训练GAN模型的不稳定性两方面的问题。在本文中，我们首先对将现有的成功方法应用于并行GANs进行了广泛的研究。我们的观察表明，它们都没有生成具有合理质量的样本，因为模型权重中的量化值的代表性不足，并且生成器和神经网络对量化方法表现出不同的敏感性。受这些观察的启发，我们开发了一种新的基于EM算法的GANs量化方法，称为QGAN。我们还提出了一个多精度算法，以帮助找到量化的GAN模型的最佳比特数与相应的结果质量。在CIFAR-10和CelebA上的实验表明，QGAN可以将GANs扩展到甚至1位或2位表示，其质量与原始模型相当。
2019-01-24 cs.LG cs.NE
GAN Slimming: All-in-One GAN Compression by A Unified Optimization Framework
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）
生成对抗网络（GANs）在各种计算机视觉应用中越来越受欢迎，最近开始部署到资源受限的移动设备。与其他深度模型类似，最先进的GANs具有高参数复杂性。这最近激发了压缩GANs（通常是发电机）的探索。与大量文献和压缩深度分类器的普遍成功相比，GAN压缩的研究仍处于起步阶段，到目前为止，利用单独的压缩技术而不是更复杂的组合。我们观察到，由于训练GANs的不稳定性，将不同的压缩技术堆叠在一起会导致不满意的结果。为此，我们提出了第一个统一的优化框架，结合多种压缩手段的GAN压缩，称为GAN瘦身（GS）。GS将三种主流压缩技术（模型蒸馏、通道修剪和量化）与GAN极大极小目标无缝集成为一个统一的优化形式，可以从端到端进行高效优化。没有花里胡哨的东西，GS在压缩图像到图像转换GANs方面大大优于现有的选项。具体来说，我们应用GS将CartoonGAN（一种最先进的风格传输网络）压缩了47倍，视觉质量下降最小。代码和预训练模型可以在https://github.com/TAMU-VITA/GAN-Slimming上找到。
2020-08-25 cs.CV cs.LG eess.IV
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning
University of Cambridge（剑桥大学）；Snap Inc.（Snap公司）；Singapore University of Technology and Design（新加坡科技设计大学）
虽然生成对抗网络（GANs）是许多生成建模应用的基础，但它们存在许多问题。在这项工作中，我们提出了一个原则性的框架，以同时减轻GANs中的两个基本问题：灾难性遗忘的发生器和模式坍塌。我们通过为GANs采用对比学习和互信息最大化方法来实现这一点，并进行广泛的分析以了解改进的来源。我们的方法显着稳定了GAN训练，并提高了GAN在相同的训练和评估条件下对最先进的作品进行图像合成的性能。特别是，与最先进的SSGAN相比，我们的方法不会在人脸等图像域上表现较差，反而显著提高了性能。我们的方法实现简单且实用：它只涉及一个辅助目标，计算成本低，并且在广泛的训练设置和数据集上表现稳健，无需任何超参数调整。为了重现性，我们的代码可以在Mimicry中找到：https://github.com/kwotsin/mimicry。
2020-11-22 cs.CV cs.LG stat.ML
Prb-GAN: A Probabilistic Framework for GAN Modelling
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
生成对抗网络（GANs）在生成真实感图像方面非常受欢迎，但它们经常遭受训练不稳定性问题和模式丢失现象。为了在GAN合成数据中获得更大的多样性，关键是解决模式丢失问题。我们的工作探索了GAN建模的概率方法，可以让我们解决这些问题。我们提出了Prb-GAN，这是一种新的变体，它使用dropout来创建网络参数的分布，并使用变分推理学习后验。我们从理论上描述和实验验证，使用简单和复杂的数据集，这种方法的好处。我们期待进一步的改进，使用不确定性措施的概念。通过对GAN的每个网络的损失函数的一组进一步修改，我们能够得到显示GAN性能的改进的结果。我们的方法是非常简单的，需要很少的修改现有的GAN架构。
2021-07-12 cs.CV cs.LG stat.ML
Scaling Image Tokenizers with Grouped Spherical Quantization
Jülich Supercomputing Centre（于利希超级计算中心）；TapTap；Tsinghua University（清华大学）
本文提出分组球面量化 GSQ 及 GSQ-GAN，通过球面码本约束与系统扩展分析，在16倍下采样下取得0.50 rFID的优异重建质量。
2024-12-04 cs.AI cs.CV
Why Spectral Normalization Stabilizes GANs: Analysis and Improvements
Carnegie Mellon University（卡内基梅隆大学）
频谱归一化（SN）是一种广泛使用的技术，用于提高生成对抗网络（GANs）的稳定性和样本质量。然而，目前对SN为什么有效的理解有限。在这项工作中，我们表明，SN控制两个重要的故障模式的GAN培训：爆炸和消失的梯度。我们的证明说明了与成功的LeCun初始化的（也许是无意的）联系。这种联系有助于解释为什么GANs最流行的SN实现不需要超参数调整，而更严格的SN实现具有开箱即用的经验性能差。与仅在训练开始时控制梯度消失的LeCun初始化不同，SN在整个训练过程中保留了此属性。基于这种理论理解，我们提出了一种新的光谱归一化技术：双向缩放光谱归一化（BSSN），它结合了后来对LeCun初始化的改进：Xavier初始化和Kaiming初始化。理论上，我们证明了BSSN比SN提供了更好的梯度控制。从经验上讲，我们证明了它在几个基准数据集上的样本质量和训练稳定性方面优于SN。
2021-04-08 cs.CV cs.LG stat.ML
Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
Hasso Plattner Institute（哈索·普拉特纳研究所）
生成对抗网络（GANs）在训练后的压缩效果分析，即没有任何微调，仍然是一个未研究的，尽管重要的主题，随着其计算和内存需求的增加趋势。虽然现有的工作讨论了在训练过程中压缩GANs的困难，需要考虑到GANs训练的不稳定性而设计的新方法，但我们表明，现有的压缩方法（即裁剪和量化）可以直接应用于压缩GANs后训练，而无需任何额外的更改。高压缩级别可能会扭曲生成的集合，可能导致离群值的增加，这可能会对现有的基于k最近邻（KNN）的度量的整体评估产生负面影响。我们提出了两个新的精度和召回率指标的基础上，局部敏感的哈希（LSH），其中，在增加离群值的鲁棒性，降低评估的复杂性对$n$参考样本从$O(n)$到$O(\log(n))$，如果使用LSH和KNN，和$O(1)$，如果只应用LSH。我们发现，在多个数据集上对几个预训练的GANs进行低比特压缩会导致精度和召回率之间的权衡，在牺牲样本多样性的同时保留样本质量。
2021-03-22 cs.AI cs.CV cs.LG
Universum GANs: Improving GANs through contradictions
LG Electronics（LG电子）
有限的标签数据使得任何监督学习问题都具有挑战性。半监督学习和universum学习等替代学习设置减轻了对标记数据的依赖，但仍然需要大量未标记数据，这些数据可能无法获得或获取成本高昂。基于GAN的数据生成方法最近通过生成合成样本来改善学习表现出了希望。然而，大多数现有的基于GAN的方法要么在有限的标记数据设置下提供较差的性能，要么导致低质量的生成数据。在本文中，我们提出了一个Universum GAN游戏，它在有限的数据设置下提供了更高的计算精度，同时生成高质量的真实数据。我们进一步提出了一个不断发展的网络损失，提高其收敛性和泛化性能。我们得到的理论保证，并提供实证结果，支持我们的方法。
2022-09-20 cs.AI cs.CV cs.LG
Improved generator objectives for GANs
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
我们提出了一个框架来理解GAN训练交替密度比估计和近似发散最小化。这为实践中经常使用的不匹配的GAN生成器和SVM目标提供了解释，并解释了样本多样性差的问题。我们还得到了一个家庭的发电机目标，目标是任意$f$ -分歧，而不最小化下限，并使用它们来训练生成图像模型，目标是提高样本质量或更大的样本多样性。
2016-12-08 cs.LG stat.ML
Generating 3D Brain Tumor Regions in MRI using Vector-Quantization Generative Adversarial Networks
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）；University Hospital Augsburg（奥格斯堡大学医院）
针对临床医学数据不足及现有GAN生成全图像体的问题，提出结合向量量化GAN与掩码令牌建模Transformer的框架，生成3D脑肿瘤ROI以扩充不平衡数据集，提升分类性能，助力罕见脑肿瘤精准诊断。
2023-10-02 cs.CV cs.LG
Improved Consistency Regularization for GANs
University of California, Irvine（加利福尼亚大学欧文分校）；Google Research（谷歌研究院）
最近的工作通过对生成对抗网络（GANs）强制执行一致性成本来提高生成对抗网络的性能。我们在几个方面改进了这项技术。我们首先展示了一致性正则化可以将伪影引入到GAN样本中，并解释了如何解决这个问题。然后，我们提出了几个修改的一致性正则化过程，旨在提高其性能。我们进行了大量的实验来量化我们改进的好处。对于CIFAR-10和CelebA上的无条件图像合成，我们的修改在各种GAN架构上产生最知名的FID分数。对于CIFAR-10上的条件图像合成，我们将最先进的FID分数从11.48提高到9.21。最后，在ImageNet-2012上，我们将我们的技术应用于原始BigGAN模型，并将FID从6.66提高到5.38，这是该模型大小的最佳分数。
2020-12-14 cs.LG stat.ML
Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect
University of Central Florida（中佛罗里达大学）；Beijing Jiaotong University（北京交通大学）；Tencent AI Lab（腾讯人工智能实验室）
尽管生成对抗网络（GANs）对各种问题和应用都有影响，但训练非常困难。\cite{arjovsky2017towards}正式分析了这个问题，他还提出了一个替代方向，以避免GANs的最小最大两人训练中的警告。相应的算法，称为Wasserstein GAN（WGAN），取决于1-Lipschitz连续的时间序列。在本文中，我们提出了一种新的方法来加强WGAN的训练过程中的Lipschitz连续性。我们的方法无缝连接WGAN与最近的半监督学习方法之一。因此，它不仅产生了比以前的方法更好的照片般逼真的样本，而且还产生了最先进的半监督学习结果。特别是，我们的方法仅使用1，000张CIFAR-10图像就获得了超过5.0的初始分数，并且是第一个仅使用4，000张标记图像就超过CIFAR-10数据集90%准确度的方法。
2018-03-05 cs.CV cs.LG stat.ML
Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad Samples
University of Toronto（多伦多大学）；University of California, Irvine（加州大学欧文分校）；Mila, Université de Montréal（米拉-蒙特利尔大学）；Google Brain（谷歌大脑）
我们对生成对抗网络（GAN）训练算法进行了一个简单的（一行代码）修改，该算法在不增加计算成本的情况下显著改善了结果：当更新生成器参数时，我们只需将来自批处理中被评论家评为“最不真实”的元素的梯度贡献归零。通过对许多不同的GAN变体的实验，我们表明，这种“top-k更新”过程是一个普遍适用的改进。为了理解改进的本质，我们对一个简单的混合高斯数据集进行了广泛的分析，发现了几个有趣的现象。其中之一是，当梯度更新使用最差评分的批处理元素计算时，样本实际上可以被推到离它们最近的模式更远的地方。我们还将我们的方法应用于最近的GAN变体，并在CIFAR-10上将最先进的FID条件生成从9.21提高到8.57。
2020-10-22 cs.LG stat.ML
GAN-QP: A Novel GAN Framework without Gradient Vanishing and Lipschitz Constraint
School of Mathematics（数学学院）；Sun Yat-sen University（中山大学）
我们知道SGAN可能有梯度消失的风险。一个显着的改进是WGAN，在1-Lipschitz约束的帮助下，防止梯度消失。有没有任何GAN没有梯度消失，也没有1-Lipschitz约束？我们确实找到了一个，叫做GAN-QP。构建一个新的生成对抗网络（GAN）框架通常包括三个步骤：1。选择概率发散; 2.将其转换为对偶形式; 3.玩最小最大的游戏在这篇文章中，我们证明了第一步是不必要的。我们可以直接在对偶空间中分析发散的性质，甚至构造新的发散。作为奖励，我们获得了WGAN的一个更简单的替代方案：GAN-QP。我们证明了GAN-QP在理论和实践上都比WGAN有更好的性能。
2018-12-15 cs.CV cs.LG stat.ML
Improved Training of Wasserstein GANs
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Google Brain（谷歌大脑）
生成对抗网络（GANs）是强大的生成模型，但存在训练不稳定的问题。最近提出的Wasserstein GAN（WGAN）在GANs的稳定训练方面取得了进展，但有时仍然只能生成低质量的样本或无法收敛。我们发现，这些问题往往是由于在WGAN中使用权重裁剪来对评论家实施Lipschitz约束，这可能导致不期望的行为。我们提出了一种替代裁剪权重：惩罚相对于其输入的评论家的梯度范数。我们提出的方法比标准的WGAN性能更好，并且能够稳定地训练各种各样的GAN架构，几乎没有超参数调整，包括101层ResNet和离散数据上的语言模型。我们还在CIFAR-10和LSUN卧室上实现了高质量的世代。
2017-12-25 cs.LG stat.ML
Improved Training with Curriculum GANs
Stanford University（斯坦福大学）
在本文中，我们介绍了课程GANs，这是一种用于训练生成对抗网络的课程学习策略，它在训练过程中增加了生成器的强度，从而使生成器的学习任务逐渐变得更加困难。我们证明，这种策略是获得最先进的图像生成结果的关键。我们还证明了这种策略可能广泛适用于改善其他数据模式的GAN训练。
2018-07-24 cs.AI cs.LG stat.ML
Gang of GANs: Generative Adversarial Networks with Maximum Margin Ranking
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
传统的生成对抗网络（GAN）及其许多变体都是通过最小化KL或JS发散损失来训练的，KL或JS发散损失衡量生成的数据分布与真实数据分布的接近程度。最近的一项进展称为基于Wasserstein距离的WGAN，可以改进基于KL和JS发散的GANs，并减轻GAN训练中常见的梯度消失，不稳定和模式坍塌问题。在这项工作中，我们的目标是改进WGAN，首先将其排序损失推广到基于边缘的排序损失，这会导致更好的排序损失，进而导致更好的生成器，然后执行涉及多个GANs的渐进式训练范例，以促进最大边缘排序损失，以便后期阶段的GAN将在早期阶段进行改进。我们称这种方法为Gang of GANs（GoGAN）。我们已经从理论上证明，在经过最佳训练的WGAN中，所提出的GoGAN可以将真实数据分布和生成的数据分布之间的差距减少至少一半。我们还提出了一种新的方法来衡量GAN质量，这是基于图像完成任务。我们已经在四个视觉数据集上评估了我们的方法：CelebA，LSUN Bedroom，CIFAR-10和50 K-SSFF，并且已经看到了基线WGAN的视觉和定量改善。
2017-04-17 cs.CV cs.LG
From GAN to WGAN
OpenAI
本文解释了生成对抗网络（GAN）模型背后的数学原理以及为什么它很难训练。Wasserstein GAN旨在通过采用平滑度量来测量两个概率分布之间的距离来改进GANs的训练。
2019-04-18 cs.LG stat.ML
Insights into Closed-form IPM-GAN Discriminator Guidance for Diffusion Modeling
Microsoft Research #9 VIGYAN（微软研究院）
本文提出理论框架分析GAN判别器对朗之万采样的影响，证明IPM-GAN优化是平滑分数匹配，统一两类方法，并验证闭式核判别器引导可提升多种扩散模型的生成质量。
2025-07-31 cs.CV cs.LG stat.ML
Assisting the Adversary to Improve GAN Training
University of British Columbia（不列颠哥伦比亚大学）
提高GANs稳定性和性能的一些最流行的方法涉及约束或正则化神经网络。在本文中，我们考虑了一个在很大程度上被忽视的正则化技术，我们称之为Advertisement的助手（AdvAs）。我们使用与先前工作不同的视角来激励这一点。具体来说，我们考虑了理论分析和实践之间的一个常见的不匹配：分析通常假设在每次迭代中，最小值都达到其最优值。在实践中，这基本上是不正确的，通常会导致生成器的梯度估计不佳。为了解决这个问题，AdvA是基于用于训练发电机的梯度的范数而施加在发电机上的理论上有动机的惩罚。这鼓励发电机向最佳转速点移动。我们展示了将AdvAs应用于几个GAN目标、数据集和网络架构的效果。结果表明，减少理论和实践之间的不匹配，AdvAs可以导致GAN培训的改善，如FID分数所衡量的。
2020-12-09 cs.LG stat.ML
Improved $α$-GAN architecture for generating 3D connected volumes with an application to radiosurgery treatment planning
Toronto Metropolitan University（多伦多都会大学）
生成对抗网络（GANs）在几个计算机视觉任务中获得了极大的关注，用于生成高质量的合成数据。由于该领域的数据稀缺性，包括诊断成像和放射治疗在内的各种医疗应用可以从合成数据生成中受益匪浅。然而，医学图像数据通常保持在3D空间中，并且生成模型在生成这种合成数据时遭受维度问题的灾难。在本文中，我们研究了GANs用于生成连接的3D体积的潜力。我们提出了一个改进版本的3D $α$ -GAN，结合各种架构增强。在连接的3D球体和椭球体的合成数据集上，我们的模型可以生成与训练数据具有相似几何特征的完全连接的3D形状。我们还表明，我们的3D GAN模型可以成功地生成高质量的3D肿瘤体积和相关的治疗规范（例如，等中心点位置）。与训练数据相似的不变矩以及完全连接的3D形状证实了改进的3D $α$ -GAN隐式地学习训练数据分布，并生成逼真的样本。改进的3D $α$ -GAN的能力使其成为生成合成医学图像数据的有价值的来源，可以帮助该领域的未来研究。
2022-07-13 cs.CV cs.LG eess.IV
Image Augmentations for GAN Training
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
数据增强已被广泛研究，以提高分类器的准确性和鲁棒性。然而，在以前的研究中，图像增强在改进用于图像合成的GAN模型中的潜力还没有被彻底研究。在这项工作中，我们系统地研究了各种现有的增强技术的有效性，在各种设置的GAN培训。我们提供了关于如何为普通GANs和具有正则化的GANs增强图像的见解和指导方针，大大提高了生成图像的保真度。令人惊讶的是，我们发现，如果我们在真实图像和生成图像上使用增强，香草GANs的生成质量与最近的最先进的结果相当。当这种GAN训练与其他基于增强的正则化技术（例如对比度损失和一致性正则化）相结合时，增强进一步提高了生成图像的质量。我们为CIFAR-10的条件生成提供了新的最先进的结果，其中一致性损失和对比损失作为额外的正则化。
2020-06-04 cs.CV cs.LG eess.IV
Generative Zero-shot Network Quantization
NLPR（国家模式识别实验室）；CASIA（中国科学院自动化研究所）
卷积神经网络能够从大量的训练样本中学习真实感图像的先验知识，用于低层图像的生成和恢复。我们表明，对于高层次的图像识别任务，我们可以进一步重建“现实”的图像，利用内在的批量归一化（BN）的统计数据，没有任何训练数据的每一个类别。受流行的VAE/GAN方法的启发，我们将合成图像的zero-shot优化过程视为生成式建模，以匹配BN统计量的分布。生成的图像用作以下zero-shot网络量化的校准集。我们的方法满足了基于敏感信息的量化模型的需求，\textit{e.g.,}由于隐私问题，没有数据可用。在基准数据集上的大量实验表明，在生成数据的帮助下，我们的方法始终优于现有的无数据量化方法。
2021-01-21 cs.AI cs.CV
PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse
Wake Forest University School of Medicine（威克森林大学医学院）
PCA-VAE通过在线PCA瓶颈替代VQ，实现无需码本的可微子空间量化，提升重建质量并减少潜在位数，同时产生可解释的维度特征。
2026-02-21 cs.CV cs.LG
An Improved Self-supervised GAN via Adversarial Training
ST Electronics - SUTD Cyber Security Laboratory（新加坡科技电子-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
我们提出了改进的无条件生成对抗网络（GAN）的训练自监督学习的对抗过程。特别地，我们通过对输入图像进行几何变换来应用自监督学习，并将伪标签分配给这些变换后的图像。(i)除了GAN任务（区分数据（真实）和生成的（假）样本）之外，我们还训练了预测器来预测真实转换样本的正确伪标签（分类任务）。重要的是，我们发现，同时训练的分类器分类假类从真实样本的伪类的分类任务将提高分类器，并随后导致更好的指导训练发电机。(ii)通过尝试混淆鉴别器来训练生成器，不仅用于GAN任务，还用于分类任务。对于分类任务，生成器试图混淆将其输出的转换识别为真实转换类之一的转换器。特别是，我们利用当生成器创建的样本导致与真实样本类似的损失（通过交叉熵）时，训练更稳定，生成器分布往往更好地匹配数据分布。当将我们的技术集成到最先进的基于自动编码器（AE）的GAN模型中时，它们有助于显着提高模型的性能，并在CIFAR-10和STL-10数据集的无条件GAN文献中建立新的最先进的Fréchet Inception Distance（FID）分数。
2019-05-14 cs.CV cs.LG
Self-supervised GAN: Analysis and Improvement with Multi-class Minimax Game
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）
自监督（SS）学习是一种使用未标记数据进行表示学习的强大方法。最近，它已被应用于生成对抗网络（GAN）训练。具体而言，SS任务被提出来解决GAN中的灾难性遗忘问题。在这项工作中，我们进行了深入的分析，以了解SS任务如何与生成器的学习相互作用。从分析中，我们确定的SS任务，允许严重模式崩溃的发电机优于SS任务的问题。为了解决这些问题，我们提出了基于多类极大极小博弈的新SS任务。我们提出的SS任务在游戏中的竞争鼓励生成器学习数据分布并生成不同的样本。我们提供了理论和实证分析，以支持我们提出的SS任务有更好的收敛性能。我们进行实验，将我们提出的SS任务到两个不同的GAN基线模型。我们的方法在CIFAR-10，CIFAR-100，STL-10，CelebA，Imagenet $32\times32$和Stacked-MNIST数据集上建立了最先进的FID分数，在某些情况下，其表现远远优于现有的作品。我们的无条件GAN模型在不使用标记数据的情况下接近条件GAN的性能。我们的代码：https://github.com/tntrung/msgan
2020-01-08 cs.CV cs.LG
Metropolis-Hastings Generative Adversarial Networks
Uber AI Labs（优步人工智能实验室）
我们介绍了Metropolis-Hastings生成对抗网络（MH-GAN），它结合了马尔可夫链蒙特卡罗和GANs的各个方面。MH-GAN从由GAN的鉴别器-生成器对隐式定义的分布中提取样本，而标准GANs从仅由生成器定义的分布中提取样本。它使用来自GAN训练的鉴别器来构建围绕生成器的包装器，以改进采样。使用完美的分布函数，即使生成器不完美，这个包装的生成器也会从数据的真实分布中进行采样。我们使用DCGAN，WGAN和渐进式GAN在多个基准数据集（包括CIFAR-10和CelebA）上展示了改进的生成器的好处。
2019-05-17 cs.LG stat.ML
DCNGAN: A Deformable Convolutional-Based GAN with QP Adaptation for Perceptual Quality Enhancement of Compressed Video
Xidian University（西安电子科技大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了一种基于可变形卷积的生成对抗网络（DCNGAN），用于压缩视频的感知质量增强。DCNGAN也是自适应的量化参数（QP）。与光流相比，可变形卷积更有效和高效地对齐帧。可变形卷积可以对多个帧进行操作，从而利用更多的时间信息，这有利于增强压缩视频的感知质量。代替以成对方式对齐帧，可变形卷积可以同时处理多个帧，这导致较低的计算复杂度。实验结果表明，提出的DCNGAN优于其他国家的最先进的压缩视频质量增强算法。
2022-01-28 cs.CV cs.MM eess.IV
DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
生成对抗网络（GANs）在学习从给定数据集指定的分布中采样方面非常成功，特别是如果给定数据集与其维度相比相当大。然而，由于数据有限，经典的GANs一直在努力，输出正则化，数据增强，使用预训练模型和修剪等策略已被证明可以带来改进。值得注意的是，这些策略的适用性1）通常限于特定的设置，例如，预训练的GAN的可用性;或者2）增加训练时间，例如，当使用修剪。相比之下，我们提出了一个鉴别器梯度间隙正则化GAN（DigGAN）配方，可以添加到任何现有的GAN。DigGAN增强了现有的GANs，鼓励缩小神经网络预测的梯度范数与r.t.之间的差距。真实图像和w.r.t.\生成的样本。我们观察这个公式以避免GAN损失景观中的不良吸引子，并且我们发现DigGAN在有限的数据可用时显着改善了GAN训练的结果。代码可在\url{https://github.com/AilsaF/DigGAN}上获得。
2022-11-27 cs.CV cs.LG
SPATE-GAN: Improved Generative Modeling of Dynamic Spatio-Temporal Patterns with an Autoregressive Embedding Loss
University of Warwick（华威大学）；New York University（纽约大学）；London School of Economics（伦敦政治经济学院）；ETH Zurich（苏黎世联邦理工学院）
从生态学到大气科学，许多学科都处理具有复杂时空复杂性的数据，其建模通常需要专门的方法。这些数据的生成模型特别令人感兴趣，因为它们能够实现一系列有影响力的下游应用，如模拟或创建合成训练数据。最近的工作突出了生成对抗网络（GANs）用于生成时空数据的潜力。受因果最优传输理论的启发，提出了一种新的GAN算法COT-GAN.然而，学习更复杂的时空模式的任务需要额外的知识，其特定的数据结构。在这项研究中，我们提出了一种新的损失目标结合COT-GAN基于自回归嵌入，以加强时空动态的学习。我们设计了SPATE（时空关联），一个新的度量测量时空自相关性，通过使用偏离其期望值的观测。我们计算真实和合成数据样本的SPATE，并使用它来计算考虑时空相互作用的嵌入损失，推动GAN学习忠实于观察到的动态的输出。我们测试这个新的目标上的一组复杂的时空模式：湍流，对数高斯考克斯过程和全球天气数据。我们表明，我们的新型嵌入损失在不改变COT-GAN骨干网架构的情况下提高了性能，突出了我们的模型捕获自回归结构的能力。我们还将我们的工作与物理学深度学习的最新进展以及将神经网络与地理和地球物理科学联系起来的跨学科工作联系起来。
2021-09-30 cs.CV cs.LG
Latent reweighting, an almost free improvement for GANs
Criteo AI Lab（Criteo AI实验室）；LIGM, Ecole des Ponts（法国国立桥路学校LIGM实验室）
GANs的标准公式，其中连续函数使连接的潜在空间变形，已被证明在拟合不同类别的图像时被错误指定。特别是，生成器将必须在类之间采样一些低质量的图像。不是修改架构，而是一系列工作旨在以增加计算成本为代价来提高预训练生成器的采样质量。在此基础上，我们引入了一个额外的网络来预测潜在的重要性权重和两个相关的抽样方法，以避免最差的样本。这个想法有几个优点：1）它提供了一种将不连通性注入任何GAN架构的方法，2）由于拒绝发生在潜在空间中，它避免了通过生成器和搜索器，节省了计算时间，3）这个重要性权重公式提供了一种原则性的方法来减少Wasserstein到目标分布的距离。我们证明了我们的方法在几个数据集，合成和高维的有效性。
2021-10-19 cs.CV cs.LG
UW-CVGAN: UnderWater Image Enhancement with Capsules Vectors Quantization
University of Udine（乌迪内大学）
水下图像的退化是由于波长相关的光衰减、散射以及捕获它们的水类型的多样性。深度神经网络在这一领域迈出了一步，提供了能够实现水下图像增强的自主模型。我们引入水下胶囊矢量GAN UWCV GAN的基础上，从矢量GAN的离散特征量化范式为这项任务。拟议的UWCVGAN结合了编码网络，它将图像压缩到其潜在的表示，与解码网络，能够重建的增强图像从唯一的潜在表示。与VQGAN相比，UWCVGAN通过利用胶囊层的聚类能力实现特征量化，使模型完全可训练，更易于管理。该模型得到的增强水下图像质量高，细节细腻。此外，训练的编码器独立于解码器，从而有可能作为压缩算法嵌入到收集器上，以减少因子$3\times$的图像所需的存储空间。\myUWCVGAN{ }的验证与基准数据集上的定量和定性分析，我们提出的度量结果与最先进的。
2023-02-02 cs.CV cs.LG eess.IV
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology（孟加拉工程技术大学）
本文提出MGMD-GAN框架，通过多生成器与多判别器结合不相交训练数据分区学习混合分布，缩小泛化差距，从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
On Computation and Generalization of GANs with Spectrum Control
Georgia Tech（佐治亚理工学院）；Florida Atlantic University（佛罗里达大西洋大学）
生成对抗网络（GANs）虽然强大，但很难训练。最近的几项工作（brock 2016 neural，miyato 2018 spectral）表明，控制神经网络中权重矩阵的频谱可以显着改善GANs的训练。受他们的发现的启发，我们提出了一个新的训练GANs的框架，它允许更灵活的频谱控制（例如，使得所述矩阵的权重矩阵具有缓慢的奇异值衰减）。具体来说，我们提出了一种新的重新参数化方法的权重矩阵的权重矩阵的GANs，这使我们能够直接操纵的频谱的权重矩阵通过各种正则化和约束，而无需密集计算奇异值分解。理论上，我们进一步证明了频谱控制提高了GANs的泛化能力。我们在CIFAR-10，STL-10和ImageNet数据集上的实验证实，与其他方法相比，我们提出的方法能够通过利用光谱归一化和鼓励缓慢的奇异值衰减来生成具有竞争力质量的图像。
2019-03-03 cs.LG stat.ML
Data Augmentation using Generative Adversarial Networks (GANs) for GAN-based Detection of Pneumonia and COVID-19 in Chest X-ray Images
Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（病童医院）；University Health Network（大学健康网络）；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
成功训练卷积神经网络（CNN）需要大量的数据。对于小数据集，网络的泛化能力很差。数据增强技术通过更有效地使用现有的训练数据来提高神经网络的泛化能力。然而，标准的数据增强方法产生有限的合理替代数据。生成对抗网络（GANs）已被用于生成新数据并提高CNN的性能。然而，与CNN相比，用于训练GANs的数据增强技术尚未得到充分探索。在这项工作中，我们提出了一种新的GAN架构，用于增强胸部X射线，以使用生成模型进行肺炎和COVID-19的半监督检测。我们表明，所提出的GAN可用于有效地增强数据，并提高肺炎和COVID-19胸部X射线中疾病的分类准确性。我们在两个不同的X射线数据集上将我们的增强GAN模型与深度卷积GAN和传统增强方法（旋转，缩放等）进行比较，并显示我们基于GAN的增强方法优于其他增强方法，用于训练GAN检测X射线图像中的异常。
2021-01-12 cs.CV cs.LG eess.IV
FuseDream: Training-Free Text-to-Image Generation with Improved CLIP+GAN Space Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
从自然语言指令生成图像是一项有趣但极具挑战性的任务。我们通过将重新训练的CLIP表示的功能与现成的图像生成器（GANs）相结合来实现文本到图像的生成，在GAN的潜在空间中进行优化，以找到具有给定输入文本的最大CLIP分数的图像。与从文本到图像从头开始训练生成模型的传统方法相比，CLIP+GAN方法无需训练，zero shot，并且可以很容易地使用不同的生成器进行定制。然而，在GAN空间中优化CLIP分数是一个极具挑战性的优化问题，并且诸如Adam的现成优化器未能产生令人满意的结果。在这项工作中，我们提出了一个FuseDream管道，它通过三个关键技术改进了CLIP+GAN方法：1）AugCLIP评分，通过在图像上引入随机增强来增强CLIP目标。2)一种新的初始化和过参数化优化策略，使我们能够有效地导航非凸景观在GAN空间。3)一种合成生成技术，通过利用新颖的双层优化公式，可以合成多个图像以扩展GAN空间并克服数据偏差。当由不同的输入文本提升时，FuseDream可以生成具有不同对象、背景、艺术风格的高质量图像，甚至是我们使用的GAN的训练数据中没有出现的新颖的反事实概念。从量化的角度来看，FuseDream生成的图像在MS COCO数据集上产生顶级的Inception评分和FID评分，而无需额外的架构设计或训练。我们的代码可在\url{https://github.com/gnob…
2021-12-02 cs.CL cs.CV cs.LG
Semi-Supervised Learning with GANs: Revisiting Manifold Regularization
Télécom ParisTech（巴黎高等电信学院）；Institute for Infocomm Research（信息通信研究院）；CentraleSupélec（中央理工-高等电力学院）；Nanyang Technological University（南洋理工大学）
GANs是强大的生成模型，能够对自然图像的流形进行建模。我们利用这个属性来执行流形正则化，通过使用Monte Carlo近似来近似Laplacian范数，该近似很容易用GAN计算。当被纳入改进的GAN的特征匹配GAN时，我们在CIFAR-10数据集上实现了基于GAN的半监督学习的最新结果，其方法比竞争方法更容易实现。
2018-05-23 cs.LG stat.ML
Evolving GAN Formulations for Higher Quality Image Synthesis
Apple Inc.（苹果公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant AI Labs（高知特人工智能实验室）
生成对抗网络（GANs）已经将深度学习扩展到跨不同数据模式的复杂生成和转换任务。然而，众所周知，GANs很难训练：训练过程中的模式坍塌和其他不稳定性通常会降低生成结果（如图像）的质量。本文提出了一种名为TaylorGAN的新技术，通过为两个网络中的每个网络发现定制的损失函数来改进GANs。将损失函数参数化为泰勒展开式，并通过多目标进化进行优化。在一个图像到图像的翻译基准任务，这种方法定性地提高了生成的图像质量和定量地提高了两个独立的GAN性能指标。因此，它为将来将GANs应用于更具挑战性的任务提供了一种有前途的方法。
2021-10-28 cs.CV cs.LG cs.NE
Rob-GAN: Generator, Discriminator, and Adversarial Attacker
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了对抗深度学习中的两个重要概念--对抗训练和生成对抗网络（GAN）。对抗性训练是在训练阶段将对抗性攻击者和训练器相结合来提高训练器鲁棒性的技术。GAN通常用于通过联合优化卷积和生成器来生成图像。我们证明了这两个概念确实是密切相关的，可以用来加强彼此-在对抗训练过程中添加一个生成器可以提高鉴别器的鲁棒性，在GAN训练中添加一个对抗攻击可以提高收敛速度并产生更好的生成器。结合这两种见解，我们开发了一个名为Rob-GAN的框架，以在存在对抗攻击的情况下联合优化生成器和伪装者-生成器生成虚假图像以欺骗伪装者;对抗攻击者扰动真实图像以欺骗伪装者，伪装者希望在虚假和对抗图像下最小化损失。通过这种端到端的训练过程，我们能够同时提高GAN训练的收敛速度、合成图像的质量以及在强对抗攻击下的鲁棒性。实验结果表明，所获得的分类器比最先进的对抗训练方法更鲁棒，并且生成器在ImageNet-143上的性能优于SN-GAN。
2019-04-15 cs.AI cs.LG stat.ML
Orthogonal Wasserstein GANs
University of Bonn（波恩大学）
Wasserstein-GANs已经被引入以解决生成对抗网络（GANs）在训练期间关于消失梯度和模式坍塌的问题的缺陷，从而导致改进的收敛行为和改进的图像质量。然而，Wasserstein-GAN要求连续性是Lipschitz连续的。在当前最先进的Wasserstein-GAN中，通过梯度范数正则化来强制执行此约束。在本文中，我们证明了这种正则化并不鼓励频谱值的广泛分布，因此导致学习分布的保真度降低。因此，我们调查的可能性，取代这个Lipschitz约束的正交约束的权重矩阵。我们比较了三种不同的权重正交化技术的收敛性，他们的能力，以确保Lipschitz条件和所取得的质量的学习分布。此外，我们还提供了与使用当前最先进方法训练的Wasserstein-GAN的比较，其中我们展示了仅使用基于正交性的正则化的潜力。在这种情况下，我们提出了一种改进的Wasserstein-GAN训练过程，该过程利用正交化来进一步提高其泛化能力。最后，我们提供了一个新的度量来评估不同Wasserstein-GAN的鉴别器的泛化能力。
2019-12-15 cs.LG eess.IV stat.ML
GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
生成对抗网络（GANs）擅长使用复杂模型创建逼真的图像，而最大似然法是不可行的。然而，GAN训练的收敛性仍然没有得到证明。我们提出了一个双时间尺度更新规则（TTUR），用于在任意GAN损失函数上训练具有随机梯度下降的GANs。TTUR对学习器和发生器都有各自的学习率。利用随机逼近理论，我们证明了TTUR收敛到一个平稳的局部纳什均衡在温和的假设下。收敛进行到流行的亚当优化，我们证明，它遵循一个沉重的球摩擦的动力学，从而更喜欢在客观景观平坦的最小值。为了评估GANs在图像生成时的性能，我们引入了“Fréchet Inception Distance”（FID），它比Inception Score更好地捕捉生成图像与真实图像的相似性。在实验中，TTUR改善了DCGAN和改进的Wasserstein GANs（WGAN-GP）的学习，在CelebA、CIFAR-10、SVHN、LSUN Bedrooms和10亿字基准上的表现优于传统的GAN训练。
2018-01-12 cs.LG stat.ML
xAI-GAN: Enhancing Generative Adversarial Networks via Explainable AI Systems
University of Waterloo（滑铁卢大学）
生成对抗网络（GANs）是一类革命性的深度神经网络（DNN），已成功用于生成逼真的图像，音乐，文本和其他数据。然而，GAN培训提出了许多挑战，特别是它可能非常资源密集型。GANs的一个潜在弱点是，它需要大量的数据来进行成功的训练，而数据汇集可能是一个昂贵的过程。通常情况下，从DNN到生成器DNN的校正反馈（即，DNN对生成的示例的评估）仅使用一个实数值（损失）来计算。相比之下，我们提出了一类新的GAN，我们称之为xAI-GAN，它利用可解释AI（xAI）系统的最新进展，从鉴别器到生成器提供“更丰富”形式的纠正反馈。具体来说，我们使用xAI系统修改了梯度下降过程，该系统指定了为什么分类器进行分类的原因，从而提供了“更丰富”的纠正反馈，帮助生成器更好地欺骗分类器。使用我们的方法，我们观察到xAI-GANs在MNIST和FMNIST数据集上生成的图像质量比标准GANs提高了23.18%，如Frechet Inception Distance（FID）所测量的。我们进一步比较了在20%的数据上训练的xAI-GAN与在CIFAR 10数据集上100%的数据上训练的标准GAN，发现xAI-GAN仍然显示出FID分数的改善。此外，我们将我们的工作与微分增强进行比较-这已被证明可以使GANs数据高效-并表明xAI-GANs优于在微分增强上训练的GANs。此外，这两种技术可以结合起来，以产生更好的结…
2022-03-29 cs.LG stat.ML
DeshuffleGAN: A Self-Supervised GAN to Improve Structure Learning
Istanbul Technical University（伊斯坦布尔理工大学）
生成对抗网络（GANs）由于其提高的输出图像质量和扩展到新方法的多功能性，引发了人们对图像生成问题的兴趣。许多基于GAN的作品试图通过架构和基于丢失的扩展来改进生成。我们认为，提高GAN性能的真实性和原始数据分布的相似性的关键点之一是能够提供一个学习数据的空间结构的能力的模型。为此，我们提出了DeshuffleGAN，通过自我监督的方法来增强学习的学习和发电机。具体来说，我们引入了一个去洗牌任务，解决了随机洗牌图像块的难题，这反过来又有助于DeshuffleGAN学习提高其空间结构和逼真外观的表达能力。我们提供了实验证据，生成的图像的性能改善，相比基线方法，这是一致的观察到两个不同的数据集。
2020-06-15 cs.CV
Dist-GAN: An Improved GAN using Distance Constraints
ST Electronics - SUTD Cyber Security Laboratory（ST电子-新加坡科技设计大学网络安全实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
我们引入有效的生成对抗网络（GAN）的训练算法，以减轻模式坍塌和梯度消失。在我们的系统中，我们约束生成器的自动编码器（AE）。我们提出了一个配方，考虑从AE重建的样本作为“真正的”样本的ESTA。这耦合了AE的收敛与梯度的收敛，有效地减慢了梯度的收敛并减少了梯度消失。重要的是，我们提出了两个新的距离约束，以改善发电机。首先，我们提出了一个潜在的数据距离约束，以执行潜在的样本距离和相应的数据样本距离之间的兼容性。我们使用此约束来显式防止生成器发生模式坍塌。其次，我们提出了一个鉴别器分数距离约束，通过鉴别器分数将生成的样本的分布与真实样本的分布对齐。我们使用这个约束来指导生成器合成与真实样本相似的样本。我们提出的使用这些距离约束的GAN，即Dist-GAN，可以在基准数据集上取得比最先进的方法更好的结果：合成，MNIST，MNIST-1 K，CelebA，CIFAR-10和STL-10数据集。我们的代码发布在这里（https：//github.com/tntrung/gan）以供研究。
2018-12-15 cs.CV
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University（罗格斯大学）
辅助分类器GANs（AC-GANs）是广泛使用的条件生成模型，并且能够生成高质量的图像。以前的工作已经指出，AC-GAN学习有偏的分布。为了解决这个问题，Twin Auxiliary Classifier GAN（TAC-GAN）将一个孪生分类器引入到最小-最大博弈中。然而，据报道，使用双辅助分类器可能会导致训练不稳定。为此，我们提出了一种无偏辅助GANs（UAC-GAN），它利用互信息神经估计（MINE）来估计生成的数据分布和标签之间的互信息。为了进一步提高性能，我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯（MoG）、MNIST和CIFAR 10数据集上的实验结果表明，UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
Optimisation of SOUP-GAN and CSR-GAN for High Resolution MR Images Reconstruction
Bahria University（巴赫里亚大学）
本研究通过优化SOUP-GAN和CSR-GAN模型，提升高分辨率MRI图像重建质量，以改善疾病诊断效果。
2026-02-27 cs.CV cs.LG eess.IV
A Correlation- and Mean-Aware Loss Function and Benchmarking Framework to Improve GAN-based Tabular Data Synthesis
Umeå University（于默奥大学）
针对GAN合成表格数据难以捕捉真实分布的问题，提出相关性与均值感知损失函数作为正则化器，并在十个数据集和八个基线上验证，显著提升数据质量及下游ML性能。
2024-05-27 cs.LG
A Self-Training Method for Semi-Supervised GANs
Huawei Technologies Co. Ltd.（华为技术有限公司）
自生成对抗网络（GANs）创建以来，人们已经做了很多工作来提高其训练稳定性，生成的图像质量，应用范围，但几乎没有一个探索其自我训练潜力。在深度学习出现之前，自我训练已经被使用，以便在有限的标记训练数据上进行训练，并且在半监督学习中显示出令人印象深刻的结果。在这项工作中，我们结合了这两个想法，并通过利用其无限的数据生成潜力，使GANs可自训练用于半监督学习任务。结果表明，即使使用最简单的自我训练形式也会产生改进。我们还显示了一个更复杂的自我训练计划，执行至少以及基本的自我训练计划，但显着减少数据增强的结果。
2017-10-27 cs.LG stat.ML
Properties of f-divergences and f-GAN training
Google Research（谷歌研究院）
在本技术报告中，我们描述了f-发散和f-GAN训练的一些特性。我们提出了一个初步推导的f-发散下界，形成的基础f-GAN训练。我们获得了信息丰富但可能未被充分认识的f-发散和f-GAN训练的属性，包括梯度匹配属性以及所有f-发散都同意附近分布之间发散的整体比例因子的事实。我们提供了详细的表达式计算各种常见的f-发散和它们的变分下界。最后，基于我们的重新表述，我们以一种可能提高其稳定性的方式稍微概括了f-GAN训练。
2020-09-02 cs.LG stat.ML
FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
University of Science and Technology of China（中国科学技术大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
数据高效GANs（DE-GANs）旨在利用有限的训练数据学习生成模型，在生成高质量样本方面遇到了一些挑战。由于数据增强策略在很大程度上缓解了训练的不稳定性，如何进一步提高DE-GAN的生成性能成为研究热点。近年来，对比学习在提高DE-GAN的综合质量方面显示出巨大的潜力，但相关的原理还没有得到很好的探索。本文回顾和比较了DE-GAN中不同的对比学习策略，发现（i）当前生成性能的瓶颈是潜在空间的不连续性;（ii）与其他对比学习策略相比，实例扰动法更倾向于潜在空间的连续性，这给DE-GAN带来了重大改进。基于这些观察，我们提出了FakeObserver，它只对扰动的假样本进行对比学习，并设计了三种相关的训练技术：噪声相关的潜在增强，多样性感知队列和队列的遗忘因子。我们的实验结果表明，新的艺术状态的Few-Shot生成和有限的数据生成。在多个数据集上，与现有的DE-GAN相比，Faketown获得了超过15%的FID改进。代码可在https://github.com/iceli1007/FakeCLR上获得。
2022-07-19 cs.AI cs.CV cs.LG
Improved Techniques for Training GANs
OpenAI
我们提出了各种新的架构功能和训练程序，我们应用于生成对抗网络（GANs）框架。我们专注于GANs的两个应用：半监督学习，以及生成人类视觉上逼真的图像。与大多数生成模型的工作不同，我们的主要目标不是训练一个为测试数据分配高可能性的模型，我们也不要求模型能够在不使用任何标签的情况下很好地学习。使用我们的新技术，我们在MNIST，CIFAR-10和SVHN上实现了最先进的半监督分类结果。生成的图像具有高质量，这一点得到了视觉图灵测试的证实：我们的模型生成了人类无法从真实数据中区分出来的MNIST样本，以及产生21.3%的人类出错率的CIFAR-10样本。我们还以前所未有的分辨率展示了ImageNet样本，并表明我们的方法使模型能够学习ImageNet类的可识别特征。
2016-06-10 cs.CV cs.LG cs.NE
Wasserstein GAN
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Facebook AI Research（Facebook 人工智能研究院）
我们介绍了一种新的算法命名为WGAN，替代传统的GAN训练。在这个新模型中，我们证明了我们可以提高学习的稳定性，摆脱模式崩溃等问题，并提供有意义的学习曲线，用于调试和超参数搜索。此外，我们证明了相应的优化问题是合理的，并提供了广泛的理论工作，突出了分布之间的其他距离的深层联系。
2017-12-06 cs.LG stat.ML
