S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India(微软印度研究院)
生成对抗网络(GANs)在学习复杂的高维实数分布和生成真实样本方面非常成功。但是,它们对生成过程的控制有限。条件GANs(cGANs)提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据,但训练cGANs需要标记的数据,这可能非常昂贵。我们提出了一个cGAN的半监督训练框架,它利用稀疏标签来学习条件映射,同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Conditional GANs For Painting Generation
The University of Edinburgh(爱丁堡大学)
我们研究了现代生成对抗网络的使用,以使用Painter By Numbers数据集生成油画的新图像。我们实现了谱归一化GAN(SN-GAN)和带梯度惩罚的谱归一化GAN,并将它们的输出与深度卷积GAN进行了比较。根据切片Wasserstein距离度量,在视觉上和定量上,我们确定SN-GAN产生的绘画与我们的训练数据集最具可比性。然后,我们进行了一系列实验,将监督条件作用添加到SN-GAN中,我们认为这是一种新颖的架构,可以生成具有用户指定特征的人脸绘画。
2019-03-06 cs.CV cs.LG stat.ML
The efficacy and generalizability of conditional GANs for posterior inference in physics-based inverse problems
University of Southern California(南加州大学);Stanford University(斯坦福大学)
在这项工作中,我们训练条件Wasserstein生成对抗网络,以有效地从基于物理的贝叶斯推断问题的后验中采样。该生成器使用U-Net架构构建,使用条件实例规范化注入潜在信息。前者便于多尺度逆映射,而后者使潜在空间维度与测量维度解耦,并在所有尺度上引入随机性。我们解决基于偏微分方程的逆问题,以证明我们的方法在量化推断领域的不确定性的性能。此外,我们还证明了生成器可以学习本质上是局部的逆映射,这反过来又促进了在使用分布外样本进行测试时的泛化能力。
2022-11-18 cs.LG stat.ML
ciDATGAN: Conditional Inputs for Tabular GANs
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
条件性已经成为生成对抗网络(GANs)生成合成图像的核心组件。GANs通常使用潜在的条件来控制生成过程。但是,表格数据只包含清单变量。因此,潜在的条件性要么限制了生成的数据,要么不能产生足够好的结果。因此,我们提出了一种新的方法,包括条件性的表格GANs的启发图像完成方法。这篇文章介绍了ciDAT GAN,它是定向非循环表格GAN(DAT GAN)的一种演变,已经证明它的性能优于最先进的表格GAN模型。首先,我们证明了条件输入的加入确实阻碍了模型的性能。然后,我们证明了ciDATGAN可以用于在精心选择的条件输入的帮助下消除数据集的偏差。最后,它表明ciDATGAN可以学习数据背后的逻辑,因此可以使用来自较小feeder数据集的数据来完成大型合成数据集。
2022-10-05 cs.LG
Modeling Tabular data using Conditional GAN
MIT LIDS(麻省理工学院信息与决策系统实验室);MRC-BSU, University of Cambridge(剑桥大学MRC生物统计组);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
对表格数据中行的概率分布进行建模并生成真实的合成数据是一项重要的任务。表格数据通常包含离散列和连续列的混合。连续柱可能具有多种模式,而离散柱有时不平衡,使得建模困难。现有的统计和深度神经网络模型无法正确地对这类数据进行建模。我们设计了TGAN,它使用条件生成对抗网络来解决这些挑战。为了帮助进行公平和彻底的比较,我们设计了一个基准测试,其中包含7个模拟数据集和8个真实数据集以及多个贝叶斯网络基线。TGAN在大多数真实数据集上优于贝叶斯方法,而其他深度学习方法则不能。
2019-10-28 cs.LG stat.ML
GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences
University of Maryland, College Park(马里兰大学学院公园分校);Massachusetts Institute of Technology(麻省理工学院)
生成对抗网络(GANs)是学习数据集底层分布的现代方法。GANs已广泛用于样本合成、去噪、域转移等。然而,GANs是以无模型的方式设计的,其中没有关于底层分布的附加信息可用。然而,在许多应用中,从业者可以访问变量的基本独立图,无论是贝叶斯网络还是马尔可夫随机场(MRF)。我们问:如何在设计基于模型的GANs时使用这些额外的信息?在本文中,我们提供了理论基础来回答这个问题,通过研究概率发散的次可加性性质,建立了两个高维分布之间的距离上界的贝叶斯网络或MRF的图形结构的(局部)邻域的边缘之间的距离之和。我们证明了几个流行的概率发散满足一些概念的次可加性在温和的条件下。这些结果导致了基于模型的GAN的原则性设计,该设计在贝叶斯网络/MRF的邻域上使用一组简单的鉴别器,而不是在整个网络上使用一个巨大的鉴别器,从而提供了显着的统计和计算优势。我们在合成和真实世界数据集上的实验证明了我们基于模型的GANs原则性设计的好处。
2021-02-25 cs.LG stat.ML
Learning the conditional law: signatures and conditional GANs in filtering and prediction of diffusion processes
Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所)
我们考虑扩散过程的滤波和预测问题。信号和观测由相关维纳过程驱动的随机微分方程(SDEs)建模。在经典估计理论中,测量值随机偏微分方程(SPDE)推导出的过滤和预测措施。这些方程可能很难用数值求解。我们提供了一个近似算法,使用条件生成对抗网络(GANs)结合签名,粗糙路径理论的对象。一条足够平滑的路径的特征完全决定了该路径。因此,在某些情况下,基于签名的GANs已被证明可以有效地近似随机过程的规律。对于我们的算法,我们扩展了这种方法的样本从条件的法律,噪声,部分观察。我们的发电机构造使用神经微分方程(NDEs),依靠其通用逼近器的属性。我们显示适定性提供了一个严格的数学框架。数值结果表明了算法的有效性。
2022-09-15 cs.LG math.OC stat.ML
Twin Auxiliary Classifiers GAN
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
条件生成模型在过去的几年里取得了显著的进展。其中一个流行的条件模型是辅助分类器GAN(AC-GAN),它通过用辅助分类器扩展GAN的损失函数来生成高分辨力的图像。然而,AC-GAN生成的样本的多样性往往会随着类别数量的增加而减少,从而限制了其对大规模数据的处理能力。本文从理论上分析了低分集问题的根源,并提出了一种切实可行的解决方案。我们证明了AC-GAN中的辅助分类器具有完美的可分性,当类分布的支持有显著重叠时,这是不利的。为了解决这个问题,我们提出了双辅助分类器生成对抗网络(TAC-GAN),它进一步受益于与GAN中的其他玩家(生成器和代理)进行交互的新玩家。理论上,我们证明了TAC-GAN可以有效地最大限度地减少生成的和真实数据分布之间的分歧。大量的实验结果表明,我们的TAC-GAN可以成功地复制模拟数据上的真实数据分布,并显着提高了真实数据集上的类条件图像生成的多样性。
2019-11-04 cs.LG stat.ML
Bayesian Conditional Generative Adverserial Networks
The University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);CMU(卡内基梅隆大学)
传统的GANs使用确定性生成器函数(通常是神经网络)将随机噪声输入$z$转换为采样器试图区分的样本$\mathbf{x}$。我们提出了一种新的GAN,称为贝叶斯条件生成对抗网络(BC-GAN),它使用随机生成器函数将确定性输入$y'$转换为样本$\mathbf{x}$。我们的BC-GANs将传统的GANs扩展到贝叶斯框架,并自然地处理无监督学习,监督学习和半监督学习问题。实验表明,所提出的BC-GANs优于最先进的。
2017-06-17 cs.AI cs.LG stat.ML
Real-valued (Medical) Time Series Generation with Recurrent Conditional GANs
ETH Zurich(苏黎世联邦理工学院);Tri-Institutional Training Program in Computational Biology and Medicine, Weill Cornell Medical(威尔康奈尔医学院计算生物学与医学三机构联合培养项目)
生成对抗网络(GANs)作为训练模型以产生逼真数据的框架已经取得了显着的成功。在这项工作中,我们提出了一个经常性的GAN(RGAN)和经常性的条件GAN(RCGAN),以产生现实的实值多维时间序列,强调其应用于医疗数据。RGAN在生成器和递归神经网络中使用递归神经网络。在RCGAN的情况下,这两个RNN都以辅助信息为条件。我们在一组玩具数据集中展示了我们的模型,在那里我们直观地和定量地(使用样本可能性和最大平均差异)展示了它们可以成功地生成逼真的时间序列。我们还描述了GANs的新评估方法,其中我们生成一个合成的标记训练数据集,并在真实的测试集上评估在合成数据上训练的模型的性能,反之亦然。我们用这些指标说明,RCGAN可以生成对监督训练有用的时间序列数据,在真实测试数据上的性能只有轻微的下降。这是证明数字分类从“序列化”MNIST和训练的早期预警系统的医疗数据集的17,000名患者从重症监护病房。我们进一步讨论和分析的隐私问题时,可能会出现使用RCGAN生成现实的合成医疗时间序列数据。
2017-12-04 cs.LG stat.ML
City-GAN: Learning architectural styles using a custom Conditional GAN architecture
生成对抗网络(GANs)是一种众所周知的技术,它在样本(例如水果图片)上进行训练,并且在训练后能够生成逼真的新样本。条件GANs(CGAN)还为子类(例如苹果、橙子、梨)提供标签信息,这使得GAN能够更容易地学习并提高其输出样本的质量。我们使用GANs来学习主要城市的建筑特征,并生成不存在的建筑物的图像。我们表明,目前可用的GAN和CGAN架构不适合这项任务,并提出了一个自定义的架构,并证明我们的架构具有优越的性能,这项任务,并验证其功能与广泛的实验。
2020-05-26 cs.CV cs.GR cs.LG
Efficient Subsampling of Realistic Images From GANs Conditional on a Class or a Continuous Variable
University of British Columbia(不列颠哥伦比亚大学)
最近,已经积极研究了从无条件GANs生成的子采样或细化图像,以提高整体图像质量。不幸的是,这些方法在处理条件GANs(cGANs)时通常被观察到效率较低或效率较低-以类(又名类条件GANs)或连续变量(又名连续cGANs或Cc GANs)为条件。在这项工作中,我们引入了一种有效且高效的子采样方案,称为条件密度比引导拒绝采样(cDR-RS),以从cGAN中采样高质量图像。具体而言,我们首先开发了一种新的条件密度比估计方法,称为cDRE-F-cSP,提出了条件Softplus(cSP)损失和改进的特征提取机制。然后,我们推导出一个密度比模型训练的cSP损失的误差界。最后,我们接受或拒绝一个假的图像在其估计的条件密度比。还开发了一种过滤方案,以增加假图像的标签一致性,而不会在从CcGAN采样时失去多样性。我们在五个基准数据集上广泛测试了cDR-RS在类条件GANs和Cc GANs采样中的有效性和效率。当从类条件GANs中采样时,cDR-RS在有效性方面远远优于现代最先进的方法(DRE-F-SP+RS除外)。虽然cDR-RS的有效性通常与DRE-F-SP+RS相当,但cDR-RS的效率要高得多。当从CcGAN采样时,cDR-RS的优势在有效性和效率方面更加明显。值得注意的是,在消耗合理的计算资源的情况下,cDR-RS可以在不降低CcGAN生成的图像的多样性的情况下大幅降低标签分数,而其他方…
2022-04-20 cs.CV cs.LG stat.ML
Robust conditional GANs under missing or uncertain labels
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington, Seattle(西雅图华盛顿大学);Amazon(亚马逊)
在几乎没有监督的情况下匹配条件生成对抗网络的性能是一项重要的任务,特别是在冒险进入新领域时。我们设计了一种新的训练算法,该算法对丢失或模糊标签具有鲁棒性。其主要思想是故意破坏生成的示例的标签,以匹配真实数据的统计数据,并使用已损坏的标签处理真实和生成的示例。我们展示了这种方法的鲁棒性在理论上和经验。我们表明,最大限度地减少拟议的损失相当于最大限度地减少真实和生成的数据之间的真实分歧的乘法因子,并将此乘法因子的特征作为不确定标签的统计量的函数。在MNIST数据集上的实验表明,即使每个类只有几个示例,所提出的体系结构也能够在生成忠实于类的示例方面实现高准确度。
2019-06-09 cs.LG stat.ML
Measure-conditional Discriminator with Stationary Optimum for GANs and Statistical Distance Surrogates
Brown University(布朗大学)
我们提出了一种简单但有效的鉴别器修改,即测量条件鉴别器,作为不同GANs的即插即用模块。通过将生成的分布作为输入的一部分,使目标最优的最佳的是固定的,建议的最佳的最佳比香草的更强大。测量条件分布的变体也可以处理多个目标分布,或者作为统计距离的代理模型,例如KL散度,应用于迁移学习。
2021-01-17 cs.LG
Guiding GANs: How to control non-conditional pre-trained GANs for conditional image generation
La Salle - Universitat Ramon Llull(拉蒙·柳利大学拉萨尔学院)
生成对抗网络(GANs)是由两个神经网络--生成器和神经网络--组成的一种结构,它们被联合训练,从随机输入中生成人工数据,如图像。这些生成的图像的质量最近已经达到了这样的水平,经常会导致机器和人类将假的误认为真实的例子。然而,当我们想要调节网络以从特定类别的子类别生成图像时,GAN的生成器执行的过程有一些限制。最近的一些方法通过在训练过程之前引入额外的信息(例如图像语义分割或文本描述)来解决该\textit{conditional generation}。虽然成功,这些技术仍然需要预先定义所需的子类别,并收集表示它们的大型标记图像数据集,以从头开始训练GAN。在本文中,我们提出了一种新的替代方法,用于指导通用的非条件GANs表现为条件GANs。我们的方法不是重新训练GAN,而是将编码器网络添加到混合中以生成高维随机输入向量,这些向量被馈送到非条件GAN的生成器网络,以使其从特定子类别生成图像。在我们的实验中,与从头开始训练条件GAN相比,我们的引导式GAN能够在训练编码器后生成感知质量与非条件GANs相当的人工图像,这大大加快了过程,并能够无缝添加新的子类别。
2021-01-04 cs.CV cs.LG eess.IV
Whitening and Coloring batch transform for GANs
University of Trento(特伦托大学);Department of Information Engineering and Computer Science (DISI)(信息工程与计算机科学系(DISI))
批量归一化(BN)是一种用于加速和稳定训练的常用技术。另一方面,BN的可学习参数通常用于条件生成对抗网络(cGAN),用于使用条件批量归一化(cBN)表示类特定信息。在本文中,我们建议使用基于白化和着色的批量归一化来推广BN和cBN。我们表明,我们的条件着色可以表示分类条件信息,这在很大程度上有助于cGAN的定性结果。此外,我们证明了全特征白化在一般的GAN场景中是重要的,在这种场景中,训练过程是非常不稳定的。我们在不同的数据集上测试我们的方法,并使用不同的GAN网络和训练协议,在所有测试框架中显示出一致的改进。我们的CIFAR-10条件结果高于此数据集上的所有以前的作品。
2019-02-25 cs.LG stat.ML
Label-Removed Generative Adversarial Networks Incorporating with K-Means
Nankai University(南开大学);Tianjin University(天津大学);Hunan University(湖南大学)
生成对抗网络(GANs)在生成逼真图像方面取得了巨大成功。其中大多数是条件模型,尽管在实践中获取类标签是昂贵和耗时的。为了减少对标记数据的依赖,我们提出了一种无条件生成对抗模型,称为K-Means-GAN(KM-GAN),它将K-Means中更新中心的思想融入到GANs中。具体来说,我们通过对从网络中提取的特征应用K-Means来重新设计GANs的框架。利用从K-Means获得的标签,我们从深度度量学习(DML)的角度提出了新的目标函数。与以往的工作不同,在KM-GAN中,将样本作为特征提取器而不是分类器,同时利用K-Means使样本的特征更具代表性。在MNIST,Fashion-10,CIFAR-10和CelebA等数据集上进行了实验,结果表明KM-GAN生成的样本质量与一些条件生成对抗模型相当。
2019-02-19 cs.LG stat.ML
Conditional Sig-Wasserstein GANs for Time Series Generation
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学);University of Kaiserslautern(凯撒斯劳滕大学)
本文提出条件 Sig-WGAN 框架,将路径签名与 WGAN 结合,用条件 Sig-W1 度量作为判别器,以显式表示避免昂贵训练,在时间序列生成任务上显著优于现有基准。
2023-10-11 cs.LG stat.ML
Conditional Sampling with Monotone GANs: from Generative Models to Likelihood-Free Inference
California Institute of Technology(加州理工学院);University of Washington(华盛顿大学);NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院)
本文提出基于分块三角传输映射的条件采样框架,构建 Banach 空间理论并设计仅依赖联合样本的无似然 M-GAN,在逆问题与图像修复中实现准确条件采样。
2023-06-05 cs.LG stat.CO stat.ML
Conditional GANs with Auxiliary Discriminative Classifier
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Jiao Tong University(上海交通大学)
条件生成模型旨在学习数据和标签的潜在联合分布,以实现条件数据生成。其中,辅助分类器生成对抗网络(AC-GAN)得到了广泛的应用,但存在生成样本类内多样性低的问题。本文指出的根本原因是AC-GAN的分类器是生成器不可知的,因此不能为生成器提供信息指导以接近联合分布,从而导致条件熵最小化,从而降低了类内多样性。出于这种理解,我们提出了一种新的条件GAN与辅助判别分类器(ADC-GAN),以解决上述问题。具体来说,所提出的辅助判别分类器成为发电机知道通过识别的类标签的真实数据和生成的数据有区别地。我们的理论分析表明,该生成器可以忠实地学习的联合分布,即使没有原来的卷积,使建议的ADC-GAN的系数超参数的值和选择的GAN损失的鲁棒性,并在训练过程中稳定。在合成和真实世界数据集上的大量实验结果表明,与最先进的基于分类器和基于投影的条件GANs相比,ADC-GAN在条件生成建模方面具有优越性。
2022-06-17 cs.CV cs.LG
GAN-enhanced Conditional Echocardiogram Generation
University of British Columbia(不列颠哥伦比亚大学)
超声心动图(echo)是评估心脏状况的常用方法。由于标签的稀缺性,自动回声分析中的半监督范例越来越受欢迎。超声心动图中最受欢迎的问题之一是心脏结构(例如腔室)的分割。因此,我们提出了一种使用生成对抗网络的超声心动图生成方法,该网络具有基于条件块的神经网络。在这项工作中,我们验证了GAN增强回波生成在不同条件(分割掩模)下的可行性,即左心室,心室心肌和心房。实验结果表明,该算法可以生成高质量的回波帧,其心脏结构与给定的分割模板相匹配。这种方法有望促进其他机器学习模型的训练,就像类似研究中所建议的那样。
2019-11-23 cs.LG eess.IV stat.ML
Information Compensation for Deep Conditional Generative Networks
近年来,无监督/弱监督条件生成对抗网络(GANs)在建模和生成数据方面取得了许多成功。然而,它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题,我们提出了一种新的无监督条件GANs结构,该结构由一种新的信息补偿连接(IC-连接)驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外,为了量化离散和连续潜变量的解纠缠程度,我们设计了一个新的评估程序。我们的实证结果表明,与有条件生成设置中的最先进的GANs相比,我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Conditional COT-GAN for Video Prediction with Kernel Smoothing
London School of Economics(伦敦政治经济学院);ETH Zurich(苏黎世联邦理工学院)
因果最优运输(COT)是在经典的最优运输问题上施加时间因果约束的结果,它自然地产生了一个新的概念,即路径空间上分布之间的距离。Xu等人(2020)首次将COT理论应用于顺序学习,其中COT-GAN被引入作为对抗算法,用于训练优化的隐式生成模型以产生顺序数据。依靠(Xu et al.,2020年),本文的贡献是双重的。首先,我们开发了一个适合序列预测的COT-GAN的条件版本。这意味着现在使用数据集来了解序列在观察其过去演变的情况下将如何演变。其次,我们通过核平滑修改经验测量来改进收敛结果(Pflug and Pichler(2016))。所得到的内核条件COT-GAN算法与视频预测的应用程序进行说明。
2022-01-27 cs.AI cs.CV cs.LG
Bi-Discriminator Class-Conditional Tabular GAN
École de Technologie Supérieure (ÉTS), Université du Québec(魁北克大学高等技术学院);IVADO Institution(IVADO研究所);The Fédération des Caisses Desjardins du Québec(魁北克加鼎银行联合会);École Polytechnique de Montréal(蒙特利尔理工学院);McGill University(麦吉尔大学)
本文介绍了一种双列GAN,用于合成包含连续、二元和离散列的表格数据集。我们所提出的方法采用了自适应的预处理方案和一个新的条件项的生成器网络,以更有效地捕捉输入样本分布。此外,我们实现了简单而有效的架构,旨在提供更多的判别梯度信息的生成器的神经网络。我们在四个基准公共数据集上的实验结果证实了我们的GAN在似然适应度度量和机器学习功效方面的优越性能。
2021-12-02 cs.LG
Conditional Wasserstein GAN-based Oversampling of Tabular Data for Imbalanced Learning
类不平衡是监督学习中的一个常见问题,它影响了分类模型的预测性能。流行的对策包括对少数族裔进行过度抽样。像SMOTE这样的标准方法依赖于寻找最近邻和线性插值,这在高维复杂数据分布的情况下是有问题的。生成对抗网络(GANs)已被提出作为生成人工少数样本的替代方法,因为它们可以对复杂分布进行建模。然而,先前对基于GAN的过采样的研究并没有结合文献中关于使用GANs生成现实表格数据的最新进展。以前的研究也集中在数值变量,而分类功能是常见的许多商业应用的分类方法,如信用评分。该文提出了一种基于条件Wasserstein GAN的过采样方法,该方法能够有效地对包含数值和分类变量的表格数据集进行建模,并通过辅助分类器损失来关注下游分类任务。我们对我们的方法进行基准测试,对标准的过采样方法和七个真实世界的数据集上的不平衡基线。实证结果证明了基于GAN的过采样的竞争力。
2020-08-20 cs.LG
Classification Accuracy Score for Conditional Generative Models
DeepMind(深度思维)
图像的深度生成模型(DGMs)现在已经足够成熟,它们可以生成近乎真实感的样本,并获得类似于Frechet Inception Distance(FID)等几何学数据分布的分数。这些结果,特别是在ImageNet这样的大规模数据集上,表明DGM正在感知有意义的空间中学习数据分布,并可用于下游任务。为了测试后一个假设,我们使用来自许多模型类的类条件生成模型-变分自编码器,自回归模型和生成对抗网络(GANs)-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能,我们称之为分类准确度得分(CAS),揭示了一些传统指标无法识别的令人惊讶的结果,并构成了我们的贡献。首先,当使用最先进的GAN(BigGAN-deep)时,与原始数据相比,Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型,如矢量量化变分自编码器(VQ-VAE-2)和分层自回归模型(HAM),在此基准测试中的表现大大优于GANs。其次,CAS自动表面生成模型未能捕获数据分布的特定类,并且以前在文献中是未知的。第三,我们发现传统的GAN指标,如初始得分(IS)和FID既不能预测CAS,也不能用于评估非GAN模型。此外,为了便于更好地诊断生成模型,我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
Linear Discriminant Generative Adversarial Networks
我们开发了一种新的方法来训练GANs,用于无监督和类条件生成图像,称为线性判别GAN(LD-GAN)。LD-GAN的递归被训练以最大化生成样本和目标样本的隐藏表示的分布之间的线性可分性,而生成器基于通过对隐藏表示执行LDA而计算的决策超平面进行更新。LD-GAN提供了一个具体的分离能力的度量标准,我们的实验表明,在无监督的情况下,通过校准生成器和鉴别器之间的更新频率,可以简单地稳定LD-GAN的训练,而无需使用归一化方法和对权重的约束。在类条件生成任务中,与采用辅助分类器的WGAN相比,所提出的方法显示出更好的训练稳定性以及更好的泛化性能。
2017-07-25 cs.LG stat.ML
cCorrGAN: Conditional Correlation GAN for Learning Empirical Conditional Distributions in the Elliptope
ESILV - École Supérieure d’Ingénieurs Léonard de Vinci(ESILV - 莱昂纳多·达·芬奇高等工程师学院);Sony Computer Science Laboratories Inc(索尼计算机科学实验室公司)
提出了一种基于条件生成对抗网络的相关矩阵椭圆域条件分布近似方法。我们说明的方法与应用程序从量化金融:蒙特卡罗模拟的相关回报率比较基于风险的投资组合的建设方法。最后,我们讨论了目前的局限性,并主张进一步探索的椭圆几何,以改善结果。
2021-07-22 cs.LG q-fin.ST
Robustness of Conditional GANs to Noisy Labels
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
我们研究了从噪声标记样本中学习条件生成器的问题,其中标签被随机噪声破坏。条件GANs的标准训练不仅会产生带有错误标签的样本,还会产生质量差的样本。我们考虑两种情况,这取决于噪声模型是否已知。当噪声的分布是已知的,我们引入了一种新的架构,我们称之为鲁棒条件GAN(RCGAN)。其主要思想是在将生成的样本馈送到对抗性的机器人之前破坏样本的标签,迫使生成器生成具有干净标签的样本。通过RCGAN的损失与干净的真实分布和生成器分布之间的距离之间的相应乘法近似界限,证明了通过匹配的噪声信道的这种方法是合理的。这表明,所提出的方法是鲁棒的,当使用精心选择的架构,称为投影矩阵。当噪声的分布未知时,我们提供了我们的架构的扩展,我们称之为RCGAN-U,它在训练生成器的同时学习噪声模型。我们在MNIST和CIFAR-10数据集上的实验表明,这两种方法在基线方法上都有持续的改进,RCGAN-U与RCGAN的性能非常匹配。
2018-11-08 cs.AI cs.LG stat.ML
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University(克莱姆森大学)
条件生成模型在过去几年中取得了相当大的成功,但通常需要大量的标记数据。最近,聚类器GAN将GAN与编码器相结合,通过无监督条件生成来实现显著的聚类性能。然而,它忽略了数据的真实条件分布,这导致为每个类生成较少多样性的样本,并使编码器只能实现次优聚类性能。在这里,我们提出了一个新的无监督条件生成框架,双循环一致的条件GAN(DC 3-GAN),它可以生成不同的类条件样本。除了生成器-编码器对之外,我们还强制GAN的编码器和生成器形成编码器-生成器对,这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对,它可以间接估计真实的条件分布。同时,该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配,从而将潜在空间分解为两部分:独热离散和连续潜在变量。前者可以直接表示为簇,后者表示剩余的未指定因子。这项工作表明,增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明,该方法优于现有的基于生成模型的聚类方法,同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
Mining GOLD Samples for Conditional GANs
KAIST(韩国科学技术院);Kakao Brain;POSTECH(浦项科技大学);AItrics
近年来,条件生成对抗网络(cGANs)由于其类可控性和复杂生成任务的卓越质量而受到了相当大的关注。我们介绍了一种简单而有效的方法,通过测量给定样本上的数据分布和模型分布之间的差异来改进cGAN。所提出的度量,称为对数密度间隙(GOLD),为cGAN提供了一种有效的自诊断,同时可以有效地从网络中计算。我们提出了GOLD的三个应用:示例重新加权、拒绝采样和主动学习,它们分别改进了cGAN的训练、推理和数据选择。我们的实验结果表明,所提出的方法优于相应的基线的所有三个应用程序在不同的图像数据集。
2019-10-21 cs.CV cs.LG stat.ML
Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons
Rutgers University(罗格斯大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校);Tencent YouTu Lab(腾讯优图实验室);JD Finance America Corporation(京东金融美国公司)
在过去的几年里,条件生成对抗网络表现出了卓越的生成性能。然而,它们需要大量的注释。为了解决这个问题,我们提出了一种新的生成对抗网络,利用成对比较(PC-GAN)形式的弱监督进行图像属性编辑。通过贝叶斯不确定性估计和抗噪对抗训练,PC-GAN能够有效地估计属性等级,并具有较强的抗噪能力。通过大量的实验,我们定性和定量地证明了PC-GAN在完全监督的方法下表现出色,并且优于无监督的基线。
2020-03-05 cs.CV cs.LG
Information-theoretic stochastic contrastive conditional GAN: InfoSCC-GAN
University of Geneva(日内瓦大学)
条件生成是生成问题的一个子类,其中生成的输出是由属性信息条件。在本文中,我们提出了一个随机对比条件生成对抗网络(InfoSCC-GAN)与可探索的潜在空间。InfoSCC-GAN架构基于InfoNCE范式构建的无监督对比编码器,属性分类器和EigenGAN生成器。我们提出了一种新的训练方法,基于发电机正则化使用外部或内部属性的每$n$次迭代,使用一个预先训练的对比编码器和一个预先训练的分类器。所提出的InfoSCC-GAN是基于输入数据和潜在空间表示以及潜在空间和生成数据之间的互信息最大化的信息理论公式推导出来的。因此,我们证明了训练目标函数和上述信息理论公式之间的联系。实验结果表明,InfoSCC-GAN在AFHQ和CelebA数据集上的图像生成性能优于“香草”EigenGAN。此外,我们还通过消融研究调查了消融结构和损失函数的影响。最后,我们证明了由于EigenGAN生成器,所提出的框架与香草确定性GANs相比具有随机生成,但与现有框架相比,编码器,分类器和生成器的独立训练。代码、实验结果和演示可在https://github.com/vkinakh/InfoSCC-GAN上获得。
2021-12-17 cs.CV cs.LG
About exchanging expectation and supremum for conditional Wasserstein GANs
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院)
在Wasserstein GAN依赖于条件的情况下,后者通常通过损失函数内的期望来处理。根据其动机的不同,要求在两个参数中或仅在其中一个参数中,均为Lipschitz-1。为了使较弱的要求变得可用,需要交换上确界和期望。这是一个数学上危险的操作,到目前为止,在文献中只有部分合理性。这篇简短的数学笔记旨在填补这一空白,并为这种方法更合适或更成功的情况下,仅部分Lipschitz-1的判别器提供数学原理。
2021-06-14 cs.LG
Self-Supervised GANs via Auxiliary Rotation Loss
University of California, Los Angeles(加州大学洛杉矶分校);Google Brain(谷歌大脑)
条件GANs处于自然图像合成的最前沿。这种模型的主要缺点是需要标记数据。在这项工作中,我们利用了两种流行的无监督学习技术,对抗训练和自我监督,并朝着弥合有条件和无条件GANs之间的差距迈出了一步。特别是,我们允许网络在表示学习任务上进行合作,同时与经典的GAN游戏对抗。自我监督的作用是鼓励学习者学习有意义的特征表示,这些特征表示在训练过程中不会忘记。我们凭经验测试学习的图像表示的质量和合成图像的质量。在相同的条件下,自监督GAN达到了与最先进的条件对应物相似的性能。最后,我们证明了这种完全无监督学习的方法可以扩展到无条件ImageNet生成的FID为23.4。
2019-04-09 cs.CV cs.LG stat.ML
Class-Conditional VAE-GAN for Local-Ancestry Simulation
Purdue University(普渡大学);Stanford University(斯坦福大学)
局部祖先推断(LAI)可以识别混合个体中所有染色体片段的祖先,是人类基因组分析的关键步骤,其应用范围从药物基因组学和精确医学到全基因组关联研究。近年来,许多叶面积指数技术在工业和学术研究中得到了发展。然而,这些方法需要来自感兴趣的祖先的人类基因组序列的大型训练数据集。这种参考数据集通常是有限的、专有的、受隐私限制的保护,或以其他方式不向公众开放。在这种情况下,生成类似于来自感兴趣的祖先的真实单倍体序列的训练样本的技术可以是有用的工具,因为通用模型通常可以共享,但独特的人类样本序列不能共享。在这项工作中,我们提出了一个类条件VAE-GAN产生新的人类基因组序列,可用于训练本地祖先推理(LAI)算法。我们通过比较最先进的LAI方法在使用生成的数据与真实数据进行训练时的性能来评估生成数据的质量。
2019-11-27 cs.LG q-bio.GN stat.ML
Self-Supervised GAN to Counter Forgetting
University of California, Los Angeles(加州大学洛杉矶分校);Google Brain(谷歌大脑)
GANs涉及在对抗游戏中训练两个网络,其中每个网络的任务取决于其对手。最近,一些作品将GAN训练框定为在线或持续学习问题。我们专注于分类器,它必须在(相反)移动的数据分布下执行分类。当在顺序任务上训练时,神经网络表现出\emph{forgetting}。对于GANs,遗忘导致训练不稳定。为了防止遗忘,我们鼓励学习者通过增加自我监督来保持有用的表示。条件GANs使用标签也有类似的效果。然而,我们的自监督GAN不需要标签,并缩小了条件和无条件模型之间的性能差距。我们表明,在这样做的过程中,自监督的神经网络比常规的GANs学习更好的表示。
2018-11-29 cs.CV cs.LG stat.ML
IH-GAN: A Conditional Generative Model for Implicit Surface-Based Inverse Design of Cellular Structures
University of Maryland, College Park(马里兰大学帕克分校);Northwestern University(西北大学);Clemson University(克莱姆森大学)
可变密度蜂窝结构可以克服拓扑优化结构的连接性和可制造性问题,特别是那些表示为离散密度图的结构。然而,这种蜂窝结构的优化是具有挑战性的,由于多尺度设计问题。以往的研究要么只优化单一类型单胞的体积分数,而忽略单胞几何形状对性能的影响,要么考虑单胞的几何-性能关系,但通过几何学建立这种关系。相比之下,我们提出了一种简单但更有原则的方法,使用条件深度生成模型(称为逆均匀化生成对抗网络(IH-GAN))来准确地对属性到几何映射进行建模。它学习给定性质的单胞几何的条件分布,并能实现从性质到几何的一对多映射。通过使用隐函数参数化来表示单胞几何,进一步降低了IH-GAN的复杂度。结果表明,我们的方法可以1)生成满足给定材料性能的各种单元格,具有高精度($R^2$ -目标性能和生成的单元格$>98\%$的性能之间的分数)和2)提高优化的结构性能比传统的可变密度的单一类型的结构。在最小柔度示例中,我们的IH-GAN生成的结构实现了集中应力的$79.7\%$减小和位移的额外$3.03\%$减小。在目标变形的例子中,我们的IH-GAN生成的结构减少了目标匹配误差$86.4\%$和$79.6\%$的两个测试用例,分别。我们还证明了多类型的单位细胞的连接问题可以解决过渡层混合。
2022-05-12 cs.CE cs.LG stat.ML
A Hybrid Approach on Conditional GAN for Portfolio Analysis
几十年来,马科维茨框架在投资组合分析中得到了广泛的应用,但它过于强调对市场不确定性的分析,而不是对趋势的预测。而生成对抗网络(GAN)、条件GAN(CGAN)和自动编码CGAN(ACGAN)已被探索用于生成金融时间序列并提取有助于投资组合分析的特征。CGAN或ACGAN框架的局限性在于过于强调生成序列和发现序列的内部趋势,而不是预测未来趋势。在本文中,我们介绍了一种基于深度生成模型的条件GAN混合方法,该方法在对市场不确定性和未来趋势建模的同时学习历史数据的内部趋势。我们评估了来自美国和欧洲市场的几个真实世界的数据集的模型,并表明,建议的HybridCGAN和HybridACGAN模型导致更好的投资组合分配相比,现有的Markowitz,CGAN和ACGAN的方法。
2022-07-13 cs.LG q-fin.PM
C-MI-GAN : Estimation of Conditional Mutual Information using MinMax formulation
IIT Delhi(印度理工学院德里分校);University of Washington(华盛顿大学);TIFR Mumbai(塔塔基础研究院孟买分院)
信息理论量的估计,如互信息及其条件变量,由于其多方面的应用,最近引起了人们的兴趣。新提出的神经估计这些数量克服了严重的缺点,经典的$k$ NN为基础的估计在高维。在这项工作中,我们专注于条件互信息(CMI)估计,利用其制定的最小最大优化问题。这样的公式导致了类似于生成对抗网络的联合训练过程。我们发现,我们提出的估计提供了更好的估计比现有的方法对各种模拟数据集,包括变量之间的线性和非线性关系。作为CMI估计的一个应用,我们将我们的估计器部署在真实数据上进行条件独立性(CI)测试,并获得了比最先进的CI测试仪更好的结果。
2020-07-23 cs.IT cs.LG math.IT
Label-Noise Robust Generative Adversarial Networks
The University of Tokyo(东京大学);RIKEN(理化学研究所)
生成对抗网络(GANs)是一个通过对抗训练学习生成分布的框架。最近,他们的类条件扩展(例如,条件GAN(cGAN)和辅助分类器GAN(AC-GAN)由于其学习解纠缠表示和提高训练稳定性的能力而受到广泛关注。然而,它们的训练需要大规模准确的类标记数据,这在现实世界中收集起来往往很费力或不切实际。为了解决这个问题,我们提出了一种新的GANs家族,称为标签噪声鲁棒GANs(rGANs),通过引入噪声过渡模型,即使在训练标签有噪声的情况下,也可以学习干净的标签条件生成分布。特别是,我们提出了两个变体:rAC-GAN,它是AC-GAN和标签噪声鲁棒分类模型之间的桥接模型,以及rcGAN,它是cGAN的扩展,可以在不依赖任何分类器的情况下解决这个问题。除了提供理论背景之外,我们还通过使用不同的GAN配置,各种噪声设置和多个评估指标(其中我们总共测试了402个条件)的广泛实验来证明我们的模型的有效性。我们的代码可在https://github.com/takuhirok/rGAN/上获得。
2019-05-02 cs.CV cs.LG stat.ML
DSS-GAN: Directional State Space GAN with Mamba backbone for Class-Conditional Image Synthesis
Warsaw University of Technology(华沙技术大学);National Centre for Nuclear Research(国家核物理研究所)
DSS-GAN引入了定向潜在路由机制,通过分解潜在向量并结合类别嵌入,提升图像合成的FID、KID和精度召回率。
2026-03-18 cs.CV cs.LG
Taming the Tail in Class-Conditional GANs: Knowledge Sharing via Unconditional Training at Lower Resolutions
Oregon State University(俄勒冈州立大学);ETH Zürich(苏黎世联邦理工学院);McGill University(麦吉尔大学)
本文针对长尾数据下类条件 GAN 偏向头部类别的问题,提出让生成器低分辨率层无条件训练、高分辨率层保留类条件生成的知识共享方法,显著提升图像多样性与保真度。
2024-06-16 cs.AI cs.CV cs.LG
Compositional GAN: Learning Image-Conditional Binary Composition
University of California, Berkeley(加州大学伯克利分校)
生成对抗网络(GANs)可以生成非常复杂和真实的图像,但通常被构造为从单个潜在源中采样,忽略了场景中可能存在的多个实体之间的显式空间交互。捕捉世界上不同对象之间的复杂交互,包括它们的相对缩放、空间布局、遮挡或视点变换,是一个具有挑战性的问题。在这项工作中,我们提出了一种新的自洽分解合成(Code-composition-by-Decomposition)网络来组成一对对象。给定来自两个不同分布的对象图像,我们的模型可以根据输入对象的纹理和形状从它们的联合分布生成逼真的合成图像。我们通过定性实验和用户评估来评估我们的方法。我们的研究结果表明,学习模型捕捉两个对象域之间的潜在相互作用,并在测试时生成逼真的合成场景。
2019-03-28 cs.AI cs.CV cs.LG
COCO-GAN: Generation by Parts via Conditional Coordinating
National Tsing Hua University(国立清华大学);National Taiwan University(国立台湾大学);Google AI(谷歌人工智能)
由于生物限制,人类只能与周围环境的一部分互动。因此,我们学会了通过一系列观察来推理空间关系,以拼凑周围的环境。受这种行为的启发,以及机器也有计算约束的事实,我们提出了\underline{CO} numberPDMATHABMM纵坐标GAN(COCO-GAN),其中生成器根据其空间坐标作为条件生成图像。另一方面,该算法通过全局一致性、局部外观和边缘交叉连续性来证明多个组装补丁的真实性。尽管在训练过程中从未生成完整图像,但我们表明COCO-GAN可以在推理过程中生成\textbf{state-of-the-art-quality}完整图像。我们进一步展示了各种新的应用程序,通过教学网络知道坐标。首先,我们对学习的坐标流形进行外推,并生成边界外的补丁。COCO-GAN结合原始生成的完整图像,可以生成比训练样本更大的图像,我们称之为“超边界生成”。然后,我们展示了圆柱坐标系内的全景生成,该坐标系本质上保留了水平循环拓扑。在计算方面,COCO-GAN具有内置的分治范式,可以减少训练和推理过程中的内存需求,提供高并行性,并可以按需生成部分图像。
2020-01-05 cs.CV cs.LG stat.ML
Autoencoding Conditional GAN for Portfolio Allocation Diversification
几十年来,马科维茨框架在投资组合分析中得到了广泛的应用,但它过于强调对市场不确定性的分析,而不是对趋势的预测。而生成对抗网络(GAN)和条件GAN(CGAN)已经被探索用于生成金融时间序列并提取有助于投资组合分析的特征。CGAN框架的局限性在于过于强调生成系列,而不是保留可以帮助生成器的功能。在本文中,我们介绍了一种基于深度生成模型的自动编码CGAN(ACGAN),它可以学习历史数据的内部趋势,同时对市场的不确定性和未来趋势进行建模。我们评估了来自美国和欧洲市场的几个真实世界的数据集的模型,并表明,拟议的ACGAN模型导致更好的投资组合分配,并产生一系列更接近真实的数据相比,现有的Markowitz和CGAN方法。
2022-06-17 cs.LG q-fin.PM
Bootstrapping Conditional GANs for Video Game Level Generation
New York University(纽约大学);IT University of Copenhagen(哥本哈根信息技术大学)
生成对抗网络(GANs)在图像生成方面表现出了令人印象深刻的结果。然而,GANs在生成具有某些类型约束(例如游戏级别)的内容时面临挑战。具体来说,很难生成具有美学吸引力和可玩性的水平。此外,由于训练数据通常是有限的,因此用当前的GANs生成唯一的水平是具有挑战性的。本文提出了一种新的GAN结构--条件嵌入自注意生成对抗网络(CESA GAN)和一种新的自举训练过程。CESA GAN是自注意GAN的一种改进,它引入了一个嵌入特征向量输入来调节鉴别器和生成器的训练。这允许网络对游戏对象之间的非局部依赖进行建模,并对对象进行计数。此外,为了减少训练GAN所需的级别数量,我们提出了一种自举机制,其中可播放的生成级别被添加到训练集。结果表明,与标准GAN相比,新方法不仅生成了更多的可玩关卡,而且生成了更少的重复关卡。
2019-10-03 cs.LG cs.NE
EM-GANSim: Real-time and Accurate EM Simulation Using Conditional GANs for 3D Indoor Scenes
University of Maryland, College Park(马里兰大学College Park分校)
研究针对3D室内无线通信电磁仿真问题,提出EM-GANSim方法,用改进条件GAN结合电磁理论预测功率分布,经多场景评估具有高准确率和低计算时间,是首个此类实时算法,还将发布代码和数据集。
2026-07-16 cs.LG eess.SP
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs
NVIDIA Corporation(英伟达公司);UC Berkeley(加州大学伯克利分校)
我们提出了一种使用条件生成对抗网络(条件GANs)从语义标签映射合成高分辨率照片级真实感图像的新方法。条件GANs已经实现了各种应用,但结果往往局限于低分辨率,而且还远远不现实。在这项工作中,我们生成了2048 x1024视觉上吸引人的结果,具有新颖的对抗性损失,以及新的多尺度生成器和多尺度架构。此外,我们扩展了我们的框架,交互式视觉操纵两个额外的功能。首先,我们将对象实例分割信息,这使得对象操作,如删除/添加对象和改变对象类别。第二,我们提出了一种方法,以产生不同的结果给出相同的输入,允许用户交互式地编辑对象的外观。人类意见研究表明,我们的方法显著优于现有方法,提高了深度图像合成和编辑的质量和分辨率。
2018-08-20 cs.CV cs.GR cs.LG
Detecting Invasive Ductal Carcinoma with Semi-Supervised Conditional GANs
University of New Hampshire(新罕布什尔大学)
浸润性导管癌(IDC)占所有乳腺癌的近80%。IDC的检测是确定癌症的侵袭性、确定治疗方案和预测患者结果的必要预处理步骤,并且通常由专家病理学家手动执行。在这里,我们描述了一种使用半监督条件生成对抗网络(cGAN)自动检测IDC的新算法。该框架在基线CNN上提高一系列指标的分数方面简单有效。
2021-03-30 cs.CV cs.LG eess.IV
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN), Multi Class Scenarios
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
条件生成器学习多类场景中每个类的数据分布,并在给定潜在空间的正确输入的情况下为特定类生成样本。在这项工作中,被称为“多功能辅助分类器与生成对抗网络“的多类场景的方法。在这种技术中,生成对抗网络(GAN)的生成器通过将多类分类器与PNN网络并行放置并通过生成器反向传播分类错误而变成条件生成器。这种技术是通用的,足以应用于任何GAN实现。在两个数据库上的结果以及与其他方法的比较。
2018-06-19 cs.LG eess.IV stat.ML
Targeted Label-Flipping and Oversampling Attacks on Federated Conditional GANs
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本研究针对联邦条件GAN,提出并验证了标签翻转及过采样变体攻击,发现其语义损害随中毒强度线性增长、分布偏差二次增长,攻击有效且难检测。
2026-08-11 cs.LG
OCT-GAN: Neural ODE-based Conditional Tabular GANs
Yonsei University(延世大学)
综合表格数据是吸引了很多注意力,这些天来为各种目的。例如,利用增强的合成数据,可以增强其训练数据。在过去的几年里,表格数据合成技术有了很大的改进。最近的工作在解决综合表格数据方面的许多问题方面取得了进展,如分布不平衡和多模态问题。然而,国家的最先进的方法的数据效用还不令人满意。在这项工作中,我们显着提高了效用,设计我们的发电机和基于神经常微分方程(NODE)。在表明节点有理论上的首选特性生成表格数据后,我们介绍了我们的设计。基于节点的分类器执行基于隐向量进化的分类,而不是仅在最后一层使用隐向量进行分类。我们的生成器还在其架构的最开始采用ODE层来转换其初始输入向量(即,在我们的情况下是噪声向量和条件向量的连接)到适合于生成过程的另一个潜在向量空间上。我们用13个数据集进行实验,包括但不限于保险欺诈检测,在线新闻文章预测等,我们提出的方法在我们的分类,回归和聚类实验的许多情况下优于其他最先进的表格数据合成方法。
2021-05-31 cs.LG
YuruGAN: Yuru-Chara Mascot Generator Using Generative Adversarial Networks With Clustering Small Dataset
Tokyo University of Agriculture and Technology(东京农工大学)
yuru-chara是地方政府和公司为宣传地区和产品信息而创造的吉祥物。由于创建yuruchara需要各种成本,因此可以预期使用机器学习技术,如生成对抗网络(GANs)。近年来,据报道,在数据集中使用类别条件进行GANs训练可以稳定学习并提高生成图像的质量。然而,当原始数据量很小时,并且当没有给出明确的类时,例如yuruchara图像,很难应用类条件GANs。本文提出了一种基于聚类和数据增强的类条件GAN。具体来说,首先,我们对yuru-chara图像数据集进行了基于K-means++的聚类,并将其转换为类条件数据集。接下来,对类条件数据集执行数据增强,使得数据量增加五倍。此外,我们建立了一个模型,将ResBlock和自注意力结合到基于类条件GAN的网络中,并训练了类条件yuru-chara数据集。作为评价生成图像的结果,确认了聚类方法的差异对生成图像的影响。
2020-04-17 cs.CV cs.LG eess.IV