ciDATGAN: Conditional Inputs for Tabular GANs
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
条件性已经成为生成对抗网络（GANs）生成合成图像的核心组件。GANs通常使用潜在的条件来控制生成过程。但是，表格数据只包含清单变量。因此，潜在的条件性要么限制了生成的数据，要么不能产生足够好的结果。因此，我们提出了一种新的方法，包括条件性的表格GANs的启发图像完成方法。这篇文章介绍了ciDAT GAN，它是定向非循环表格GAN（DAT GAN）的一种演变，已经证明它的性能优于最先进的表格GAN模型。首先，我们证明了条件输入的加入确实阻碍了模型的性能。然后，我们证明了ciDATGAN可以用于在精心选择的条件输入的帮助下消除数据集的偏差。最后，它表明ciDATGAN可以学习数据背后的逻辑，因此可以使用来自较小feeder数据集的数据来完成大型合成数据集。
2022-10-05 cs.LG
Efficient Subsampling of Realistic Images From GANs Conditional on a Class or a Continuous Variable
University of British Columbia（不列颠哥伦比亚大学）
最近，已经积极研究了从无条件GANs生成的子采样或细化图像，以提高整体图像质量。不幸的是，这些方法在处理条件GANs（cGANs）时通常被观察到效率较低或效率较低-以类（又名类条件GANs）或连续变量（又名连续cGANs或Cc GANs）为条件。在这项工作中，我们引入了一种有效且高效的子采样方案，称为条件密度比引导拒绝采样（cDR-RS），以从cGAN中采样高质量图像。具体而言，我们首先开发了一种新的条件密度比估计方法，称为cDRE-F-cSP，提出了条件Softplus（cSP）损失和改进的特征提取机制。然后，我们推导出一个密度比模型训练的cSP损失的误差界。最后，我们接受或拒绝一个假的图像在其估计的条件密度比。还开发了一种过滤方案，以增加假图像的标签一致性，而不会在从CcGAN采样时失去多样性。我们在五个基准数据集上广泛测试了cDR-RS在类条件GANs和Cc GANs采样中的有效性和效率。当从类条件GANs中采样时，cDR-RS在有效性方面远远优于现代最先进的方法（DRE-F-SP+RS除外）。虽然cDR-RS的有效性通常与DRE-F-SP+RS相当，但cDR-RS的效率要高得多。当从CcGAN采样时，cDR-RS的优势在有效性和效率方面更加明显。值得注意的是，在消耗合理的计算资源的情况下，cDR-RS可以在不降低CcGAN生成的图像的多样性的情况下大幅降低标签分数，而其他方…
2022-04-20 cs.CV cs.LG stat.ML
Bayesian Conditional Generative Adverserial Networks
The University of Adelaide（阿德莱德大学）；Queensland University of Technology（昆士兰科技大学）；CMU（卡内基梅隆大学）
传统的GANs使用确定性生成器函数（通常是神经网络）将随机噪声输入$z$转换为采样器试图区分的样本$\mathbf{x}$。我们提出了一种新的GAN，称为贝叶斯条件生成对抗网络（BC-GAN），它使用随机生成器函数将确定性输入$y'$转换为样本$\mathbf{x}$。我们的BC-GANs将传统的GANs扩展到贝叶斯框架，并自然地处理无监督学习，监督学习和半监督学习问题。实验表明，所提出的BC-GANs优于最先进的。
2017-06-17 cs.AI cs.LG stat.ML
Measure-conditional Discriminator with Stationary Optimum for GANs and Statistical Distance Surrogates
Brown University（布朗大学）
我们提出了一种简单但有效的鉴别器修改，即测量条件鉴别器，作为不同GANs的即插即用模块。通过将生成的分布作为输入的一部分，使目标最优的最佳的是固定的，建议的最佳的最佳比香草的更强大。测量条件分布的变体也可以处理多个目标分布，或者作为统计距离的代理模型，例如KL散度，应用于迁移学习。
2021-01-17 cs.LG
Robust conditional GANs under missing or uncertain labels
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Washington, Seattle（西雅图华盛顿大学）；Amazon（亚马逊）
在几乎没有监督的情况下匹配条件生成对抗网络的性能是一项重要的任务，特别是在冒险进入新领域时。我们设计了一种新的训练算法，该算法对丢失或模糊标签具有鲁棒性。其主要思想是故意破坏生成的示例的标签，以匹配真实数据的统计数据，并使用已损坏的标签处理真实和生成的示例。我们展示了这种方法的鲁棒性在理论上和经验。我们表明，最大限度地减少拟议的损失相当于最大限度地减少真实和生成的数据之间的真实分歧的乘法因子，并将此乘法因子的特征作为不确定标签的统计量的函数。在MNIST数据集上的实验表明，即使每个类只有几个示例，所提出的体系结构也能够在生成忠实于类的示例方面实现高准确度。
2019-06-09 cs.LG stat.ML
Guiding GANs: How to control non-conditional pre-trained GANs for conditional image generation
La Salle - Universitat Ramon Llull（拉蒙·柳利大学拉萨尔学院）
生成对抗网络（GANs）是由两个神经网络--生成器和神经网络--组成的一种结构，它们被联合训练，从随机输入中生成人工数据，如图像。这些生成的图像的质量最近已经达到了这样的水平，经常会导致机器和人类将假的误认为真实的例子。然而，当我们想要调节网络以从特定类别的子类别生成图像时，GAN的生成器执行的过程有一些限制。最近的一些方法通过在训练过程之前引入额外的信息（例如图像语义分割或文本描述）来解决该\textit{conditional generation}。虽然成功，这些技术仍然需要预先定义所需的子类别，并收集表示它们的大型标记图像数据集，以从头开始训练GAN。在本文中，我们提出了一种新的替代方法，用于指导通用的非条件GANs表现为条件GANs。我们的方法不是重新训练GAN，而是将编码器网络添加到混合中以生成高维随机输入向量，这些向量被馈送到非条件GAN的生成器网络，以使其从特定子类别生成图像。在我们的实验中，与从头开始训练条件GAN相比，我们的引导式GAN能够在训练编码器后生成感知质量与非条件GANs相当的人工图像，这大大加快了过程，并能够无缝添加新的子类别。
2021-01-04 cs.CV cs.LG eess.IV
Conditional Sig-Wasserstein GANs for Time Series Generation
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）；University of Kaiserslautern（凯撒斯劳滕大学）
本文提出条件 Sig-WGAN 框架，将路径签名与 WGAN 结合，用条件 Sig-W1 度量作为判别器，以显式表示避免昂贵训练，在时间序列生成任务上显著优于现有基准。
2023-10-11 cs.LG stat.ML
Real-valued (Medical) Time Series Generation with Recurrent Conditional GANs
ETH Zurich（苏黎世联邦理工学院）；Tri-Institutional Training Program in Computational Biology and Medicine, Weill Cornell Medical（威尔康奈尔医学院计算生物学与医学三机构联合培养项目）
生成对抗网络（GANs）作为训练模型以产生逼真数据的框架已经取得了显着的成功。在这项工作中，我们提出了一个经常性的GAN（RGAN）和经常性的条件GAN（RCGAN），以产生现实的实值多维时间序列，强调其应用于医疗数据。RGAN在生成器和递归神经网络中使用递归神经网络。在RCGAN的情况下，这两个RNN都以辅助信息为条件。我们在一组玩具数据集中展示了我们的模型，在那里我们直观地和定量地（使用样本可能性和最大平均差异）展示了它们可以成功地生成逼真的时间序列。我们还描述了GANs的新评估方法，其中我们生成一个合成的标记训练数据集，并在真实的测试集上评估在合成数据上训练的模型的性能，反之亦然。我们用这些指标说明，RCGAN可以生成对监督训练有用的时间序列数据，在真实测试数据上的性能只有轻微的下降。这是证明数字分类从“序列化”MNIST和训练的早期预警系统的医疗数据集的17,000名患者从重症监护病房。我们进一步讨论和分析的隐私问题时，可能会出现使用RCGAN生成现实的合成医疗时间序列数据。
2017-12-04 cs.LG stat.ML
Information Compensation for Deep Conditional Generative Networks
近年来，无监督/弱监督条件生成对抗网络（GANs）在建模和生成数据方面取得了许多成功。然而，它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题，我们提出了一种新的无监督条件GANs结构，该结构由一种新的信息补偿连接（IC-连接）驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外，为了量化离散和连续潜变量的解纠缠程度，我们设计了一个新的评估程序。我们的实证结果表明，与有条件生成设置中的最先进的GANs相比，我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Conditional GANs For Painting Generation
The University of Edinburgh（爱丁堡大学）
我们研究了现代生成对抗网络的使用，以使用Painter By Numbers数据集生成油画的新图像。我们实现了谱归一化GAN（SN-GAN）和带梯度惩罚的谱归一化GAN，并将它们的输出与深度卷积GAN进行了比较。根据切片Wasserstein距离度量，在视觉上和定量上，我们确定SN-GAN产生的绘画与我们的训练数据集最具可比性。然后，我们进行了一系列实验，将监督条件作用添加到SN-GAN中，我们认为这是一种新颖的架构，可以生成具有用户指定特征的人脸绘画。
2019-03-06 cs.CV cs.LG stat.ML
Conditional Sampling with Monotone GANs: from Generative Models to Likelihood-Free Inference
California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）；NVIDIA（英伟达）；Massachusetts Institute of Technology（麻省理工学院）
本文提出基于分块三角传输映射的条件采样框架，构建 Banach 空间理论并设计仅依赖联合样本的无似然 M-GAN，在逆问题与图像修复中实现准确条件采样。
2023-06-05 cs.LG stat.CO stat.ML
Mining GOLD Samples for Conditional GANs
KAIST（韩国科学技术院）；Kakao Brain；POSTECH（浦项科技大学）；AItrics
近年来，条件生成对抗网络（cGANs）由于其类可控性和复杂生成任务的卓越质量而受到了相当大的关注。我们介绍了一种简单而有效的方法，通过测量给定样本上的数据分布和模型分布之间的差异来改进cGAN。所提出的度量，称为对数密度间隙（GOLD），为cGAN提供了一种有效的自诊断，同时可以有效地从网络中计算。我们提出了GOLD的三个应用：示例重新加权、拒绝采样和主动学习，它们分别改进了cGAN的训练、推理和数据选择。我们的实验结果表明，所提出的方法优于相应的基线的所有三个应用程序在不同的图像数据集。
2019-10-21 cs.CV cs.LG stat.ML
Whitening and Coloring batch transform for GANs
University of Trento（特伦托大学）；Department of Information Engineering and Computer Science (DISI)（信息工程与计算机科学系（DISI））
批量归一化（BN）是一种用于加速和稳定训练的常用技术。另一方面，BN的可学习参数通常用于条件生成对抗网络（cGAN），用于使用条件批量归一化（cBN）表示类特定信息。在本文中，我们建议使用基于白化和着色的批量归一化来推广BN和cBN。我们表明，我们的条件着色可以表示分类条件信息，这在很大程度上有助于cGAN的定性结果。此外，我们证明了全特征白化在一般的GAN场景中是重要的，在这种场景中，训练过程是非常不稳定的。我们在不同的数据集上测试我们的方法，并使用不同的GAN网络和训练协议，在所有测试框架中显示出一致的改进。我们的CIFAR-10条件结果高于此数据集上的所有以前的作品。
2019-02-25 cs.LG stat.ML
Robustness of Conditional GANs to Noisy Labels
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了从噪声标记样本中学习条件生成器的问题，其中标签被随机噪声破坏。条件GANs的标准训练不仅会产生带有错误标签的样本，还会产生质量差的样本。我们考虑两种情况，这取决于噪声模型是否已知。当噪声的分布是已知的，我们引入了一种新的架构，我们称之为鲁棒条件GAN（RCGAN）。其主要思想是在将生成的样本馈送到对抗性的机器人之前破坏样本的标签，迫使生成器生成具有干净标签的样本。通过RCGAN的损失与干净的真实分布和生成器分布之间的距离之间的相应乘法近似界限，证明了通过匹配的噪声信道的这种方法是合理的。这表明，所提出的方法是鲁棒的，当使用精心选择的架构，称为投影矩阵。当噪声的分布未知时，我们提供了我们的架构的扩展，我们称之为RCGAN-U，它在训练生成器的同时学习噪声模型。我们在MNIST和CIFAR-10数据集上的实验表明，这两种方法在基线方法上都有持续的改进，RCGAN-U与RCGAN的性能非常匹配。
2018-11-08 cs.AI cs.LG stat.ML
About exchanging expectation and supremum for conditional Wasserstein GANs
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
在Wasserstein GAN依赖于条件的情况下，后者通常通过损失函数内的期望来处理。根据其动机的不同，要求在两个参数中或仅在其中一个参数中，均为Lipschitz-1。为了使较弱的要求变得可用，需要交换上确界和期望。这是一个数学上危险的操作，到目前为止，在文献中只有部分合理性。这篇简短的数学笔记旨在填补这一空白，并为这种方法更合适或更成功的情况下，仅部分Lipschitz-1的判别器提供数学原理。
2021-06-14 cs.LG
Self-Supervised GANs via Auxiliary Rotation Loss
University of California, Los Angeles（加州大学洛杉矶分校）；Google Brain（谷歌大脑）
条件GANs处于自然图像合成的最前沿。这种模型的主要缺点是需要标记数据。在这项工作中，我们利用了两种流行的无监督学习技术，对抗训练和自我监督，并朝着弥合有条件和无条件GANs之间的差距迈出了一步。特别是，我们允许网络在表示学习任务上进行合作，同时与经典的GAN游戏对抗。自我监督的作用是鼓励学习者学习有意义的特征表示，这些特征表示在训练过程中不会忘记。我们凭经验测试学习的图像表示的质量和合成图像的质量。在相同的条件下，自监督GAN达到了与最先进的条件对应物相似的性能。最后，我们证明了这种完全无监督学习的方法可以扩展到无条件ImageNet生成的FID为23.4。
2019-04-09 cs.CV cs.LG stat.ML
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
NVIDIA Corporation（英伟达公司）；UC Berkeley（加州大学伯克利分校）
我们提出了一种使用条件生成对抗网络（条件GANs）从语义标签映射合成高分辨率照片级真实感图像的新方法。条件GANs已经实现了各种应用，但结果往往局限于低分辨率，而且还远远不现实。在这项工作中，我们生成了2048 x1024视觉上吸引人的结果，具有新颖的对抗性损失，以及新的多尺度生成器和多尺度架构。此外，我们扩展了我们的框架，交互式视觉操纵两个额外的功能。首先，我们将对象实例分割信息，这使得对象操作，如删除/添加对象和改变对象类别。第二，我们提出了一种方法，以产生不同的结果给出相同的输入，允许用户交互式地编辑对象的外观。人类意见研究表明，我们的方法显著优于现有方法，提高了深度图像合成和编辑的质量和分辨率。
2018-08-20 cs.CV cs.GR cs.LG
Detecting Invasive Ductal Carcinoma with Semi-Supervised Conditional GANs
University of New Hampshire（新罕布什尔大学）
浸润性导管癌（IDC）占所有乳腺癌的近80%。IDC的检测是确定癌症的侵袭性、确定治疗方案和预测患者结果的必要预处理步骤，并且通常由专家病理学家手动执行。在这里，我们描述了一种使用半监督条件生成对抗网络（cGAN）自动检测IDC的新算法。该框架在基线CNN上提高一系列指标的分数方面简单有效。
2021-03-30 cs.CV cs.LG eess.IV
EM-GANSim: Real-time and Accurate EM Simulation Using Conditional GANs for 3D Indoor Scenes
University of Maryland, College Park（马里兰大学College Park分校）
研究针对3D室内无线通信电磁仿真问题，提出EM-GANSim方法，用改进条件GAN结合电磁理论预测功率分布，经多场景评估具有高准确率和低计算时间，是首个此类实时算法，还将发布代码和数据集。
2026-07-16 cs.LG eess.SP
Targeted Label-Flipping and Oversampling Attacks on Federated Conditional GANs
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
本研究针对联邦条件GAN，提出并验证了标签翻转及过采样变体攻击，发现其语义损害随中毒强度线性增长、分布偏差二次增长，攻击有效且难检测。
2026-08-11 cs.LG
Stein Latent Optimization for Generative Adversarial Networks
Seoul National University（首尔大学）
具有聚类潜在空间的生成对抗网络（GANs）可以以完全无监督的方式执行条件生成。在现实世界中，未标记数据的显著属性可能是不平衡的。然而，大多数现有的无监督条件GANs不能正确地聚类这些数据在其潜在空间中的属性，因为它们假设属性的均匀分布。为了解决这个问题，我们从理论上推导出Stein潜在优化，该优化提供了潜在分布参数的可重新参数化的梯度估计，假设在连续潜在空间中存在高斯混合。在结构上，我们引入了一个编码器网络和新的无监督条件对比损失，以确保从一个单一的混合成分生成的数据代表一个单一的属性。我们确认，所提出的方法，命名为斯坦潜在优化GANs（SLOGAN），成功地学习平衡或不平衡的属性，并实现了最先进的无监督条件生成性能，即使在没有属性信息的情况下（例如，不平衡度）。此外，我们证明了要学习的属性可以使用少量的探测数据进行操作。
2022-03-15 cs.LG stat.ML
Taming the Tail in Class-Conditional GANs: Knowledge Sharing via Unconditional Training at Lower Resolutions
Oregon State University（俄勒冈州立大学）；ETH Zürich（苏黎世联邦理工学院）；McGill University（麦吉尔大学）
本文针对长尾数据下类条件 GAN 偏向头部类别的问题，提出让生成器低分辨率层无条件训练、高分辨率层保留类条件生成的知识共享方法，显著提升图像多样性与保真度。
2024-06-16 cs.AI cs.CV cs.LG
Mixture Density Conditional Generative Adversarial Network Models (MD-CGAN)
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼量化金融研究所）
生成对抗网络（GANs）近年来受到了极大的关注，特别是在计算机视觉中的应用令人印象深刻。然而，与这些例子相比，GANs在时间序列建模（包括预测）方面的应用更为有限。在这项工作中，我们提出了混合密度条件生成对抗模型（MD-CGAN），重点是时间序列预测。我们表明，我们的模型是能够估计的概率后验分布的预测，并在一组基准方法相比，MD-CGAN模型表现良好，特别是在噪声是一个重要组成部分的情况下观察到的时间序列。此外，通过使用高斯混合模型作为输出分布，MD-CGAN提供了非高斯的后验预测。
2020-12-04 cs.LG stat.ML
Double Generative Adversarial Networks for Conditional Independence Testing
London School of Economics and Political Science（伦敦政治经济学院）；University of California at Berkeley（加州大学伯克利分校）
在这篇文章中，我们研究了高维条件独立性测试问题，这是统计学和机器学习中的一个关键构建块。我们提出了一种基于双生成对抗网络（GANs）的推理过程。具体来说，我们首先引入一个双GANs框架来学习条件分布的两个生成器。然后，我们整合这两个生成器，以构建一个检验统计量，它的形式的广义协方差测量的多个转换函数的最大值。我们还采用数据分裂和交叉拟合，以最大限度地减少条件的发电机，以实现所需的渐近性质，并采用乘数自助获得相应的$p$值。我们证明了构造的检验统计量是双重稳健的，得到的检验既能控制第一类错误，又能渐近地逼近1。同样值得注意的是，与现有的测试相比，我们在更弱和更可行的条件下建立了这些理论保证，我们的提案提供了一个具体的例子，说明如何利用一些最先进的深度学习工具，如GANs，来帮助解决经典但具有挑战性的统计问题。我们通过模拟和抗癌药物数据集的应用证明了我们的测试的有效性。建议过程的Python实现可在https://github.com/tianlinxu312/dgcit上获得。
2021-11-04 cs.LG stat.ML
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）
条件生成模型旨在学习数据和标签的潜在联合分布，以实现条件数据生成。其中，辅助分类器生成对抗网络（AC-GAN）得到了广泛的应用，但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的，因此不能为生成器提供信息指导以接近联合分布，从而导致条件熵最小化，从而降低了类内多样性。出于这种理解，我们提出了一种新的条件GAN与辅助判别分类器（ADC-GAN），以解决上述问题。具体来说，所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明，该生成器可以忠实地学习的联合分布，即使没有原来的卷积，使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性，并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明，与最先进的基于分类器和基于投影的条件GANs相比，ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
Generalized Regression with Conditional GANs
Mercari Inc.（株式会社Mercari）；University of Texas Austin（德克萨斯大学奥斯汀分校）
本文提出利用条件生成对抗网络解决回归问题，通过学习使输出与输入的配对在分布上与真实数据不可区分的预测函数，减少了对数据分布的假设，在重尾数据集上表现优异。
2024-04-21 cs.AI cs.LG stat.ML
On the Evaluation of Conditional GANs
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；Facebook AI Research（Facebook人工智能研究）
条件生成对抗网络（cGAN）在许多应用领域中得到越来越广泛的使用。尽管取得了突出的进展，定量评价这些模型往往涉及多个不同的指标，以评估不同的理想属性，如图像质量，条件一致性，和内调节多样性。在这种情况下，模型基准测试成为一个挑战，因为每个指标可能表明不同的“最佳”模型。在本文中，我们提出了Frechet联合距离（FJD），它被定义为图像和条件的联合分布之间的Frechet距离，允许它在单个度量中隐式地捕获上述属性。我们在可控的合成数据集上进行概念验证实验，与目前建立的指标相比，这些实验始终突出了FJD的好处。此外，我们使用新引入的度量来比较现有的基于cGAN的模型，以用于各种条件模式（例如类标签，对象掩码，边界框，图像和文本标题）。我们表明，FJD可以用作cGAN基准测试和模型选择的一个有前途的单一指标。代码可以在https://github.com/facebookresearch/fjd上找到。
2019-12-24 cs.CV cs.LG eess.IV
Bootstrapping Conditional GANs for Video Game Level Generation
New York University（纽约大学）；IT University of Copenhagen（哥本哈根信息技术大学）
生成对抗网络（GANs）在图像生成方面表现出了令人印象深刻的结果。然而，GANs在生成具有某些类型约束（例如游戏级别）的内容时面临挑战。具体来说，很难生成具有美学吸引力和可玩性的水平。此外，由于训练数据通常是有限的，因此用当前的GANs生成唯一的水平是具有挑战性的。本文提出了一种新的GAN结构--条件嵌入自注意生成对抗网络（CESA GAN）和一种新的自举训练过程。CESA GAN是自注意GAN的一种改进，它引入了一个嵌入特征向量输入来调节鉴别器和生成器的训练。这允许网络对游戏对象之间的非局部依赖进行建模，并对对象进行计数。此外，为了减少训练GAN所需的级别数量，我们提出了一种自举机制，其中可播放的生成级别被添加到训练集。结果表明，与标准GAN相比，新方法不仅生成了更多的可玩关卡，而且生成了更少的重复关卡。
2019-10-03 cs.LG cs.NE
Towards GANs' Approximation Ability
Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；China Academy of Space Technology（中国空间技术研究院）
生成对抗网络（GANs）在生成模型领域引起了人们的浓厚兴趣。然而，很少有研究集中在理论分析或算法设计的近似能力的生成器的GANs已经报道。本文首先从理论上分析了GANs的逼近特性。类似于具有一个隐藏层的全连接神经网络的通用逼近性质，我们证明了GANs中具有输入潜变量的生成器可以通用地逼近给定增加的隐藏神经元的潜在数据分布。此外，我们提出了一种称为随机数据生成（SDG）的方法，以提高GANs的逼近能力。我们的方法是基于一个简单的想法，即通过在GANs中生成数据，通过层之间的条件概率的先验分布来施加随机性。SDG方法可以很容易地通过使用重新参数化技巧来实现。在人工数据集上的实验结果验证了SDG方法的有效性。在实际数据集中，当模型架构较小时，使用SDG的四个GANs也可以优于相应的传统GANs。
2020-07-11 cs.LG stat.ML
City-GAN: Learning architectural styles using a custom Conditional GAN architecture
生成对抗网络（GANs）是一种众所周知的技术，它在样本（例如水果图片）上进行训练，并且在训练后能够生成逼真的新样本。条件GANs（CGAN）还为子类（例如苹果、橙子、梨）提供标签信息，这使得GAN能够更容易地学习并提高其输出样本的质量。我们使用GANs来学习主要城市的建筑特征，并生成不存在的建筑物的图像。我们表明，目前可用的GAN和CGAN架构不适合这项任务，并提出了一个自定义的架构，并证明我们的架构具有优越的性能，这项任务，并验证其功能与广泛的实验。
2020-05-26 cs.CV cs.GR cs.LG
Label-Removed Generative Adversarial Networks Incorporating with K-Means
Nankai University（南开大学）；Tianjin University（天津大学）；Hunan University（湖南大学）
生成对抗网络（GANs）在生成逼真图像方面取得了巨大成功。其中大多数是条件模型，尽管在实践中获取类标签是昂贵和耗时的。为了减少对标记数据的依赖，我们提出了一种无条件生成对抗模型，称为K-Means-GAN（KM-GAN），它将K-Means中更新中心的思想融入到GANs中。具体来说，我们通过对从网络中提取的特征应用K-Means来重新设计GANs的框架。利用从K-Means获得的标签，我们从深度度量学习（DML）的角度提出了新的目标函数。与以往的工作不同，在KM-GAN中，将样本作为特征提取器而不是分类器，同时利用K-Means使样本的特征更具代表性。在MNIST，Fashion-10，CIFAR-10和CelebA等数据集上进行了实验，结果表明KM-GAN生成的样本质量与一些条件生成对抗模型相当。
2019-02-19 cs.LG stat.ML
GANs for learning from very high class conditional noisy labels
IIT Bombay（印度理工学院孟买分校）
我们使用生成对抗网络（GANs）来设计一个类条件标签噪声（CCN）鲁棒的二进制分类方案。它首先从噪声标记数据和0.1%或1%的干净标签中生成一组正确标记的数据点，使得生成的和真实（干净）标记的数据分布接近;生成的标记数据用于学习一个好的分类器。通过使用Wasserstein GAN和一个简单的数据表示变化，避免了在生成正确的特征标签对时的模式坍塌问题和偏斜的特征标签维数比（$\sim$ 784：1）的问题。另一个WGAN与信息理论的味道上的新的表示也提出了。这两种方案的主要优点是，在存在非常高的CCN速率的情况下，它们比现有方案有显著的改进，而无需对噪声速率进行估计或交叉验证。我们证明了清洁和噪声分布之间的KL分歧增加w.r.t.对称标签噪声模型中的噪声速率;可以扩展到高CCN速率。这意味着我们的方案由于GANs的对抗性而表现良好。此外，在处理噪声的同时使用生成方法（学习干净的联合分布）使我们的方案能够比GLC，LCE和GCE等判别方法表现得更好;即使在类高度不平衡的情况下。使用Friedman F检验和Nemenyi posthoc检验，我们表明，在高维二进制类合成，MNIST和Fashion MNIST数据集上，我们的方案优于现有的方法，并在噪声率上表现出一致的性能。
2020-10-19 cs.LG
A Deep Learning Approach to Private Data Sharing of Medical Images Using Conditional GANs
Purdue University（普渡大学）；Novartis（诺华）；Oxford Big Data Institute（牛津大数据研究所）
共享临床研究数据可以促进创新的数据驱动研究，并最终改善公共卫生。然而，共享生物医学数据可能会使敏感的个人信息面临风险。这通常通过匿名化来解决，这是一个缓慢而昂贵的过程。匿名化的另一种选择是共享一个合成数据集，该数据集具有与真实数据类似的行为，但保留了隐私。作为诺华和牛津大数据研究所合作的一部分，我们基于COSENTYX（阿基诺单抗）强直性脊柱炎临床研究生成了一个合成数据集。我们应用辅助分类器GAN来生成脊椎单位的合成MRI。图像以VU位置（颈椎、胸椎和腰椎）为条件。在本文中，我们提出了一种生成合成数据集的方法，并沿着三个关键指标：图像保真度，样本多样性和数据集隐私对其属性进行了深入分析。
2021-08-19 cs.LG
(Un)paired signal-to-signal translation with 1D conditional GANs
University of British Columbia（不列颠哥伦比亚大学）
本研究提出基于1D条件GAN的非配对sig2sig翻译方法，借鉴WaveGAN改造简化版CycleGAN，无需大幅改动原有架构即可实现1D信号翻译，在小型数据集上验证了含噪信号的域转换效果并量化差异。
2024-03-05 cs.CV cs.GR cs.LG
Self-Supervised GAN to Counter Forgetting
University of California, Los Angeles（加州大学洛杉矶分校）；Google Brain（谷歌大脑）
GANs涉及在对抗游戏中训练两个网络，其中每个网络的任务取决于其对手。最近，一些作品将GAN训练框定为在线或持续学习问题。我们专注于分类器，它必须在（相反）移动的数据分布下执行分类。当在顺序任务上训练时，神经网络表现出\emph{forgetting}。对于GANs，遗忘导致训练不稳定。为了防止遗忘，我们鼓励学习者通过增加自我监督来保持有用的表示。条件GANs使用标签也有类似的效果。然而，我们的自监督GAN不需要标签，并缩小了条件和无条件模型之间的性能差距。我们表明，在这样做的过程中，自监督的神经网络比常规的GANs学习更好的表示。
2018-11-29 cs.CV cs.LG stat.ML
AgingMapGAN (AMGAN): High-Resolution Controllable Face Aging with Spatially-Aware Conditional GANs
L’Oréal Research & Innovation（欧莱雅研发与创新中心）
现有的面部老化方法和数据集产生的结果偏向于平均值，个体差异和表情皱纹往往不可见或被忽视，而有利于面部变胖等全局模式。此外，它们对面部老化的方式几乎没有控制，并且很难缩放到大图像，从而阻止了它们在许多现实世界应用中的使用。为了解决这些限制，我们提出了一种方法来改变高分辨率图像的外观，使用特定种族的老化信息和弱空间监督，以指导老化过程。我们展示了我们提出的方法在质量，控制方面的优势，以及如何在限制计算开销的同时用于高清图像。
2020-08-26 cs.AI cs.CV cs.LG
Taking Control of Intra-class Variation in Conditional GANs Under Weak Supervision
Ecole Centrale de Lyon（里昂中央理工学院）；IDEMIA
生成对抗网络（GANs）能够学习简单，相对低维，随机分布和图像空间中真实图像流形上的点之间的映射。然而，这种映射的语义通常是纠缠在一起的，使得有意义的图像属性不能彼此独立地控制。条件GANs（cGANs）为这个问题提供了一个潜在的解决方案，允许在训练期间强制执行特定的语义。然而，这种解决方案取决于精确标签的可用性，这些标签有时难以或几乎不可能获得，例如表示照明条件或描述背景的标签。在本文中，我们介绍了一种新的cGAN公式，它能够学习语义上有意义的变化的解纠缠的多变量模型，并且具有只需要对二进制属性标签进行弱监督的优点。例如，仅给定环境/非环境照明的标签，我们的方法能够学习从身份和姿势等其他因素中解脱出来的多变量照明模型。我们提出了类内变异隔离（IVI）方法和IVI-GAN网络。我们在CelebA数据集和合成的3D变形模型数据上评估IVI-GAN，学习如何解开照明、姿势、表情甚至背景等属性。
2020-12-19 cs.AI cs.CV cs.LG
CellCycleGAN: Spatiotemporal Microscopy Image Synthesis of Cell Populations using Statistical Shape Models and Conditional GANs
RWTH Aachen University（亚琛工业大学）
时空显微图像的自动分析是生命科学研究的必然要求。深度学习的最新发展为自动分析此类图像数据提供了强大的工具，但在很大程度上取决于所提供的训练数据的数量和质量。为此，我们开发了一种新的方法，用于真实生成荧光标记细胞核的合成2D+t显微镜图像数据。该方法结合时空统计形状模型的不同细胞周期阶段的条件GAN产生的细胞群体的时间序列，并提供实例级控制的细胞周期阶段和荧光强度的产生的细胞。我们展示了GAN调节的效果，并创建了一组合成图像，这些图像可以很容易地用于细胞分割和跟踪方法的训练和基准测试。
2021-01-26 cs.CV cs.LG eess.IV
Monte Carlo Simulation of SDEs using GANs
Centrum Wiskunde en Informatica (CWI)（荷兰国家数学与计算机科学研究中心）；Utrecht University（乌得勒支大学）；Delft University of Technology（代尔夫特理工大学）；Rabobank（荷兰合作银行）
生成对抗网络（GANs）在应用于偏微分方程和金融时间序列生成时表现出了很好的效果。我们研究了GANs是否也可以用来近似一维伊藤随机微分方程（SDEs）。我们提出了一个方案，近似的路径明智的条件分布的偏微分方程大的时间步长。标准的GANs只能近似分布过程，产生对分布的弱近似。提出了一种条件GAN架构，使强近似。我们用生成器的先前输入和相应的输出样本之间的映射来通知这个GAN的控制器，即我们引入了一个“监督GAN”。我们比较了标准GAN和监督GAN获得的输入输出图，并通过实验表明标准GAN可能无法提供路径近似。GAN在通过精确模拟获得的数据集上进行训练。该架构在几何布朗运动（GBM）和Cox-Ingersoll-Ross（CIR）过程上进行了测试。监督的GAN优于欧拉和Milstein计划在大时间步长的离散化上的强误差。在近似条件分布时，它也优于标准条件GAN。我们还演示了标准GANs如何产生对扰动敏感的非简约输入输出映射，这激发了对GAN生成器的约束和正则化的需求。
2021-04-03 cs.LG cs.NA math.NA
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen（哥本哈根信息技术大学）
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡，通过提取两个条件向量控制输出细节，发现GANs能较好近似地图形状但难以近似棋子分布，并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
Diffusion Models Beat GANs on Topology Optimization
Massachusetts Institute of Technology（麻省理工学院）
结构拓扑优化的目的是找到最佳的物理结构，最大限度地提高机械性能，是至关重要的工程设计应用在航空航天，机械和土木工程。生成对抗网络（GANs）最近成为传统迭代拓扑优化方法的流行替代方案。然而，这些模型通常难以训练，具有有限的推广性，并且由于它们的目标是模仿最佳结构，忽略了可制造性和性能目标，如机械顺应性。我们提出TopoDiff -一个条件扩散模型为基础的架构，执行性能感知和可制造性感知的拓扑优化，克服了这些问题。我们的模型引入了一个基于代理模型的指导策略，积极支持低顺应性和良好的可制造性的结构。我们的方法将物理性能的平均误差减少了八倍，并且产生的不可行样本减少了十一倍，从而显着优于最先进的条件GAN。通过将扩散模型引入拓扑优化，我们证明了条件扩散模型在工程设计综合应用中也有能力优于GANs。我们的工作还提出了一个通用的框架，工程优化问题，使用扩散模型和外部性能与约束意识的指导。我们在这里公开分享数据、代码和训练模型：https://decode.mit.edu/projects/topodiff/。
2022-12-05 cs.CE cs.LG
Splicing Detection and Localization In Satellite Imagery Using Conditional GANs
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
图像编辑工具的广泛可用性和图像处理技术的改进使得图像操作变得非常容易。通常，易于使用但复杂的图像处理工具会产生人类观察者无法察觉的失真/变化。伪造图像的传播可能会产生严重的后果，特别是当与互联网的速度和广度相结合时。因此，验证图像的完整性对数字取证社区提出了巨大而重要的挑战。卫星图像可以通过多种方式进行修改，包括插入物体以隐藏现有场景和结构。在本文中，我们描述了使用条件生成对抗网络（cGAN）来识别卫星图像中这种拼接森林的存在。此外，我们还确定了它们的位置和形状。在原始图像和伪造图像上训练，我们的方法在这些检测和定位目标上取得了很高的成功。
2022-05-03 cs.CV cs.LG eess.IV
Partially Conditioned Generative Adversarial Networks
University of Leeds（利兹大学）；KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）
生成模型无疑是人工智能领域的一个热门话题，其中最常见的类型是生成对抗网络（GANs）。这些架构通过隐式地对真实世界训练数据集的潜在概率分布进行建模来合成人工数据集。随着条件GANs及其变体的引入，这些方法被扩展到生成以数据集中每个样本可用的辅助信息为条件的样本。然而，从实际的角度来看，人们可能希望生成以部分信息为条件的数据。也就是说，在合成数据时，可能只对辅助条件变量的子集感兴趣。在这项工作中，我们认为标准的条件GANs不适合这样的任务，并提出了一种新的对抗网络架构和训练策略来处理随之而来的问题。实验表明，该方法的价值在数字和人脸图像合成部分条件下的信息，所提出的方法可以有效地优于标准的方法在这些情况下。
2020-07-06 cs.LG stat.ML
Distilling Diffusion Models into Conditional GANs
Pohang University of Science and Technology（浦项科技大学）；Adobe Research（奥多比研究院）；Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出将扩散模型蒸馏为单步条件GAN的方法，通过E-LatentLPIPS损失和多尺度判别器，在零样本COCO上超越DMD等模型，加速推理并保持图像质量。
2024-07-17 cs.CV cs.GR cs.LG
Improved Consistency Regularization for GANs
University of California, Irvine（加利福尼亚大学欧文分校）；Google Research（谷歌研究院）
最近的工作通过对生成对抗网络（GANs）强制执行一致性成本来提高生成对抗网络的性能。我们在几个方面改进了这项技术。我们首先展示了一致性正则化可以将伪影引入到GAN样本中，并解释了如何解决这个问题。然后，我们提出了几个修改的一致性正则化过程，旨在提高其性能。我们进行了大量的实验来量化我们改进的好处。对于CIFAR-10和CelebA上的无条件图像合成，我们的修改在各种GAN架构上产生最知名的FID分数。对于CIFAR-10上的条件图像合成，我们将最先进的FID分数从11.48提高到9.21。最后，在ImageNet-2012上，我们将我们的技术应用于原始BigGAN模型，并将FID从6.66提高到5.38，这是该模型大小的最佳分数。
2020-12-14 cs.LG stat.ML
VIVE3D: Viewpoint-Independent Video Editing using 3D-Aware GANs
Meta Reality Labs Research（Meta现实实验室）；KAUST（阿卜杜拉国王科技大学）
我们介绍了VIVE 3D，这是一种新颖的方法，它将基于图像的3D GANs的功能扩展到视频编辑，并且能够以保持身份和时间一致的方式表示输入视频。我们提出了两个新的组成部分。首先，我们介绍了一种新的GAN反演技术，专门针对3D GANs，通过联合嵌入多帧和优化相机参数。其次，除了传统的语义面部编辑（例如年龄和表情）之外，我们是第一个展示通过3D GANs的固有属性和我们的光流引导合成技术将头部与背景视频结合起来的头部新视图的编辑。我们的实验表明，VIVE3D从一系列相机视点生成高保真度的面部编辑，这些视点以时间和空间一致的方式与原始视频合成。
2023-03-28 cs.CV cs.GR cs.LG
Functional Magnetic Resonance Imaging data augmentation through conditional ICA
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎萨克雷大学）
计算认知神经成像研究的进展与大量标记的脑成像数据的可用性有关，但这些数据稀缺且生成成本高。虽然强大的数据生成机制，如生成对抗网络（GANs），在过去的十年中已经被设计用于计算机视觉，但这种改进尚未应用于大脑成像。一个可能的原因是，GANs训练不适合功能神经成像中的噪声，高维和小样本数据。在本文中，我们介绍了条件独立成分分析（条件ICA）：一种快速的功能性磁共振成像（fMRI）数据增强技术，利用丰富的静息状态数据创建图像的ICA分解采样。然后，我们提出了一种机制，条件生成器上观察到的类与几个样本。我们首先表明，生成机制是成功的合成数据无法区分的意见，它产生收益的分类精度在大脑解码问题。特别是，它的性能优于GANs，同时更容易优化和解释。最后，条件ICA提高了八个数据集的分类精度，而无需进一步的参数调整。
2021-07-14 cs.LG eess.IV
OCT-GAN: Neural ODE-based Conditional Tabular GANs
Yonsei University（延世大学）
综合表格数据是吸引了很多注意力，这些天来为各种目的。例如，利用增强的合成数据，可以增强其训练数据。在过去的几年里，表格数据合成技术有了很大的改进。最近的工作在解决综合表格数据方面的许多问题方面取得了进展，如分布不平衡和多模态问题。然而，国家的最先进的方法的数据效用还不令人满意。在这项工作中，我们显着提高了效用，设计我们的发电机和基于神经常微分方程（NODE）。在表明节点有理论上的首选特性生成表格数据后，我们介绍了我们的设计。基于节点的分类器执行基于隐向量进化的分类，而不是仅在最后一层使用隐向量进行分类。我们的生成器还在其架构的最开始采用ODE层来转换其初始输入向量（即，在我们的情况下是噪声向量和条件向量的连接）到适合于生成过程的另一个潜在向量空间上。我们用13个数据集进行实验，包括但不限于保险欺诈检测，在线新闻文章预测等，我们提出的方法在我们的分类，回归和聚类实验的许多情况下优于其他最先进的表格数据合成方法。
2021-05-31 cs.LG
YuruGAN: Yuru-Chara Mascot Generator Using Generative Adversarial Networks With Clustering Small Dataset
Tokyo University of Agriculture and Technology（东京农工大学）
yuru-chara是地方政府和公司为宣传地区和产品信息而创造的吉祥物。由于创建yuruchara需要各种成本，因此可以预期使用机器学习技术，如生成对抗网络（GANs）。近年来，据报道，在数据集中使用类别条件进行GANs训练可以稳定学习并提高生成图像的质量。然而，当原始数据量很小时，并且当没有给出明确的类时，例如yuruchara图像，很难应用类条件GANs。本文提出了一种基于聚类和数据增强的类条件GAN。具体来说，首先，我们对yuru-chara图像数据集进行了基于K-means++的聚类，并将其转换为类条件数据集。接下来，对类条件数据集执行数据增强，使得数据量增加五倍。此外，我们建立了一个模型，将ResBlock和自注意力结合到基于类条件GAN的网络中，并训练了类条件yuru-chara数据集。作为评价生成图像的结果，确认了聚类方法的差异对生成图像的影响。
2020-04-17 cs.CV cs.LG eess.IV
Freeze the Discriminator: a Simple Baseline for Fine-Tuning GANs
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
生成对抗网络（GANs）在计算机视觉、图形学和机器学习中的广泛问题上表现出出色的性能，但通常需要大量的训练数据和繁重的计算资源。为了解决这个问题，有几种方法在GAN训练中引入了迁移学习技术。然而，它们要么倾向于过拟合，要么仅限于学习小的分布偏移。在本文中，我们证明了对GANs进行简单的微调，冻结了底层的GANs表现得出奇的好。这个简单的基线FreezeD显著优于无条件和有条件GANs中使用的先前技术。我们使用StyleGAN和SNGAN投影架构在Animal Face，Anime Face，Oxford Flower，CUB-200-2011和Caltech-256数据集上展示了一致的效果。代码和结果可在https://github.com/sangwoomo/FreezeD上获得。
2020-02-28 cs.CV cs.LG stat.ML
FloGAN: Scenario-Based Urban Mobility Flow Generation via Conditional GANs and Dynamic Region Decoupling
Future Cities Laboratory Global（未来城市实验室全球）；Singapore-ETH Centre（新加坡-ETH中心）；College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；Department of Civil Engineering and Engineering Mechanics（土木工程与工程力学系）；Columbia University（哥伦比亚大学）
提出基于条件GAN和动态区域解耦的数据驱动方法FloGAN，结合自适应因子生成场景化城市起讫点出行流，在新加坡手机数据上验证了其无需大量校准即可快速生成的有效性。
2025-07-16 cs.LG
Imbalance-Robust and Sampling-Efficient Continuous Conditional GANs via Adaptive Vicinal Learning and Auxiliary Regularization
School of Artificial Intelligence/School of Future Technology, Nanjing University of Information Science & Technology, Nanjing, China（人工智能学院/未来技术学院，南京信息科学技术大学）；Perceptual and Generative AI Lab, Nanjing University of Information Science & Technology, Nanjing, China（感知与生成人工智能实验室，南京信息科学技术大学）；College of Media, Zhejiang University, Hangzhou, China（传媒学院，浙江大学）；College of Computer Science and Technology, Zhejiang University, Hangzhou, China（计算机科学与技术学院，浙江大学）
研究针对CcGAN固定大小邻域训练对标签密度敏感及CCDM计算昂贵问题，提出结合软/混合自适应邻域与辅助判别器引导正则化的CcGAN-AVAR，实验表明其能保持GAN采样效率，提升生成质量和标签一致性，推理速度远超CCDM。
2026-07-08 cs.CV cs.LG
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（Adobe研究）
我们介绍了一种简单但有效的无监督方法，用于生成逼真和多样化的图像。我们训练类条件GAN模型，而不使用手动注释的类标签。相反，我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式，并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明，我们的方法优于几个竞争的方法时，解决模式坍塌。与以前的方法相比，我们的方法在ImageNet和Places365等大规模数据集上也表现良好，提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
Augmenting High-dimensional Nonlinear Optimization with Conditional GANs
Stanford University（斯坦福大学）
由于维数灾难的存在，许多数学优化算法不能充分挖掘高维非线性优化问题的解空间。本文提出生成模型作为优化算法的补充，以提高性能的问题，高维。为了证明这种方法，一个条件生成对抗网络（C-GAN）是用来增强的解决方案所产生的遗传算法（GA）的311维非凸多目标混合整数非线性优化。C-GAN由具有三个完全连接的隐藏层的两个网络组成，在GA生成的解决方案上进行训练，然后给出所需标签的集合（即，目标函数值）生成对应于这些标签的互补解。六个实验进行了评估所提出的方法的能力。生成的互补的解决方案相比，原始的解决方案的最优性和多样性。生成模型生成的解决方案的目标函数比原始解决方案好100%，超体积比原始解决方案高100%。这些发现表明，即使是具有简单训练方法和架构的C-GAN，也可以在更短的运行时间内，极大地提高高维非线性优化问题的优化算法所找到的解决方案的多样性和最优性。[Link到GitHub存储库：https：//github.com/PouyaREZ/GAN_GA]
2021-05-04 cs.LG cs.NE
