Imperfect ImaGANation: Implications of GANs Exacerbating Biases on Facial Data Augmentation and Snapchat Selfie Lenses
Arizona State University(亚利桑那州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
在本文中,我们证明了流行的生成对抗网络(GANs)在给定面部照片的倾斜分布时会加剧性别和肤色轴上的偏见。虽然从业者庆祝使用GANs生成合成数据作为一种经济的方式来增加数据以训练数据饥渴的机器学习模型,但目前还不清楚他们是否认识到这种技术在应用于沿着潜在维度偏置的现实世界数据集时的危险。具体来说,我们表明:(1)传统的GANs进一步扭曲了由工程学院头像组成的数据集的分布,生成少数模式的频率更低,质量更差;(2)图像到图像的转换(条件)GANs也加剧了偏见,因为它减轻了非白人面孔的肤色,并在生成工程教授的面孔时将女性面部特征转换为男性化。因此,我们的研究是为了作为一个警示故事。
2021-06-16 cs.CV cs.LG eess.IV
Harnessing GANs for Zero-shot Learning of New Classes in Visual Speech Recognition
Adobe(奥多比);NUS(新加坡国立大学);IIIT-Delhi(德里英迪拉·甘地信息技术学院);Bloomberg(彭博)
视觉语音识别(VSR)是通过观察说话人的嘴唇运动来识别或解释语音的过程。最近的基于机器学习的方法将VSR建模为分类问题;然而,训练数据的稀缺性导致在预测看不见的类时具有非常低的准确性的易出错系统。为了解决这个问题,我们提出了一种通过使用生成对抗网络(GANs)生成新类来进行零样本学习的新方法,并展示了添加看不见的类样本如何将VSR系统的准确性提高27%,并使其能够处理与说话者无关的词汇表外短语。我们还表明,我们的模型是语言不可知的,因此能够无缝生成,使用英语训练数据,视频的一种新的语言(印地语)。据我们所知,这是第一个展示使用GANs在VSR领域中生成看不见的类的训练样本的经验证据的工作,从而促进了零样本学习。我们为新课程添加的视频与我们的代码一起公开。
2020-01-02 cs.LG stat.ML
Directed Chain Generative Adversarial Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对现有GAN难以生成多峰时间序列的问题,提出将时间序列数据集插入带分布约束的有向链SDE系数中的DC-GAN,在四类数据集上于多指标上均优于SOTA基准,为首款可生成多峰时间序列的相关方法。
2023-05-05 cs.LG math.PR
Teaching GANs to Sketch in Vector Format
Sri Sathya Sai Institute of Higher Learning(斯里·萨提亚·赛高等教育学院);Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
对于人类认知来说,素描比言语更重要。深度神经网络(DNN)在语音相关任务方面已经达到了最先进的水平,但在生成基于笔划的草图(也称为矢量格式的草图)方面还没有取得重大进展。虽然有可变自动编码器(VAE)用于生成矢量格式的草图,但没有生成对抗网络(GAN)架构。在本文中,我们提出了一个独立的GAN架构Ske GAN和一个VAE-GAN架构VASke GAN,用于矢量格式的草图生成。SkeGAN是强化学习(RL)中的一种随机策略,能够生成多维连续和离散输出。VASkeGAN混合了VAE和GAN,以便将VAE对数据的有效表示与GAN的强大生成能力相结合,以产生视觉上吸引人的草图。我们还提出了一个新的度量称为Ske分数量化矢量草图的质量。我们已经验证了SkeGAN和VASkeGAN通过使用人类图灵测试和Ske-score生成视觉上吸引人的草图。
2019-04-07 cs.GR cs.LG stat.ML
Instance Selection for GANs
University of Guelph(圭尔夫大学);Vector Institute(向量研究所);Facebook AI Research(Facebook人工智能研究院)
生成对抗网络(GANs)的最新进展使其被广泛采用,以生成高质量的合成图像。虽然能够生成照片般逼真的图像,但这些模型通常会产生不切实际的样本,这些样本落在数据流形之外。最近提出的几种技术试图避免虚假样本,或者通过在生成后拒绝它们,或者通过截断模型的潜在空间。虽然有效,但这些方法效率低下,因为大部分训练时间和模型容量都用于最终未使用的样本。在这项工作中,我们提出了一种新的方法来提高样本质量:在模型训练之前通过实例选择来改变训练数据集。通过在训练前优化经验数据分布,我们将模型容量重定向到高密度区域,最终提高了样本保真度,降低了模型容量要求,并显著缩短了训练时间。代码可在https://github.com/uoguelph-mlrg/instance_selection_for_gans上获得。
2020-10-23 cs.CV cs.LG stat.ML
Generating User-friendly Explanations for Loan Denials using GANs
Fujitsu Laboratories of America(美国富士通实验室);University of California, Irvine(加州大学欧文分校)
财务决策影响着我们的生活,因此从监管者到消费者,每个人都对公平、合理和可解释的决策感兴趣。越来越多的竞争愿望和监管激励在金融服务中谨慎地部署人工智能。实现这一目标的一个重要机制是向各种利益相关者解释人工智能决策。最先进的可解释人工智能系统主要为人工智能工程师服务,对业务决策者、客户和其他利益相关者几乎没有价值。为了解决这一差距,在这项工作中,我们认为解释贷款拒绝的情况。我们建立了第一个代表贷款申请人友好解释的数据集。我们设计了一个新的生成对抗网络(GAN),可以容纳较小的数据集,以生成用户友好的文本解释。我们展示了我们的系统如何也可以产生服务于不同目的的解释:那些帮助教育贷款申请人,或帮助他们采取适当的行动,对未来的批准。
2019-06-24 cs.HC cs.LG stat.ML
CapsGAN: Using Dynamic Routing for Generative Adversarial Networks
University of Toronto(多伦多大学)
在本文中,我们提出了一种新的技术,用于在3D域中生成图像的图像具有高度的几何变换。通过合并近年来迅速提升到机器学习时代精神的两种流行的并发方法:GANs(Goodfellow et.(见上文)和胶囊网络(Sabour,Hinton et.(见上文)- 我们提出:\textbf{CapsGAN}。我们表明,CapsGAN在使用旋转MNIST生成具有高几何变换的图像方面优于或等于传统的基于CNN的GANs。在这个过程中,我们还展示了在GANs域中使用胶囊架构的有效性。此外,我们通过使用Wasserstein距离(梯度裁剪,惩罚)和谱归一化进行实验,解决了训练GANs中的Gordian Knot-性能控制和训练稳定性。本文的实验结果应该推动胶囊和GANs在3D图像生成和视频(帧)生成这一仍然令人兴奋和新生的领域中的应用。
2018-06-07 cs.CV cs.LG
Generating music with sentiment using Transformer-GANs
State University of Campinas(坎皮纳斯州立大学)
由于深度学习的出现,自动音乐生成领域取得了重大进展。然而,大多数这些结果都是由无条件模型产生的,这些模型缺乏与用户交互的能力,不允许他们以有意义和实用的方式指导生成过程。此外,合成在较长时间尺度上保持连贯的音乐,同时仍然捕捉使其听起来“现实”或“像人”的地方方面仍然具有挑战性。这是由于需要处理长数据序列的大计算需求,以及经常采用的训练方案所施加的限制。在本文中,我们提出了一个生成模型的符号音乐条件下检索到的数据从人类的感情。该模型是一个Transformer-GAN,使用标签进行训练,这些标签对应于定量表示人类情感状态的效价和唤醒维度的不同配置。我们试图通过采用有效的线性版本的注意力和使用鉴别器来解决上述两个问题,这两个工具都可以提高生成的音乐的整体质量及其跟随条件反射信号的能力。
2022-12-21 cs.LG cs.SD eess.AS
On Biased Behavior of GANs for Face Verification
IIT Jodhpur(印度理工学院焦特布尔分校)
深度学习系统需要大量数据进行训练。用于训练人脸验证系统的数据集很难获得,并且容易出现隐私问题。由生成模型(如GANs)生成的合成数据可以是一个很好的替代方案。然而,我们发现从GANs生成的数据容易出现偏见和公平性问题。具体来说,在FFHQ数据集上训练的GANs在20-29岁的年龄组中显示出偏向于生成白人面孔的行为。我们还表明,合成的面孔会造成不同的影响,特别是种族属性,当用于微调人脸验证系统。
2023-01-05 cs.AI cs.CV cs.LG
Quick and Easy Time Series Generation with Established Image-based GANs
Insight Centre for Data Analytics(洞察数据分析中心);Dublin City University(都柏林城市大学)
近年来,生成对抗网络(GANs)在生成真实数据方面取得了重大进展。在这项工作中,我们介绍了我们的简单方法,利用完善的基于图像的GANs的进步来合成单通道时间序列数据。我们实现了Wasserstein GANs(WGANs),由于它们在训练中的稳定性,因此具有梯度惩罚,以合成三种不同类型的数据;正弦数据,光电容积描记器(PPG)数据和心电图(ECG)数据。返回的时间序列数据的长度仅受图像分辨率的限制,我们使用64 x64像素的图像大小,产生4096个数据点。我们提出了视觉和定量证据,证明我们的新方法可以使用基于图像的GANs成功地生成时间序列数据。
2019-10-29 cs.LG stat.ML
Generating Images of the M87* Black Hole Using GANs
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Center for Astrophysics | Harvard & Smithsonian(哈佛-史密森天体物理中心);Universität Würzburg(维尔茨堡大学);Goethe Universität(歌德大学);Max-Planck-Institut für Radioastronomie(马克斯·普朗克射电天文学研究所)
本文提出基于条件渐进式GAN的黑洞图像生成方法,可覆盖任意自旋和电子温度分布,实验证明其增强数据能显著提升黑洞参数估计性能。
2023-12-02 astro-ph.GA cs.LG eess.IV
S2cGAN: Semi-Supervised Training of Conditional GANs with Fewer Labels
Microsoft Research India(微软印度研究院)
生成对抗网络(GANs)在学习复杂的高维实数分布和生成真实样本方面非常成功。但是,它们对生成过程的控制有限。条件GANs(cGANs)提供了一种通过根据用户定义的输入调节输出来控制生成过程的机制。虽然训练GANs只需要无监督的数据,但训练cGANs需要标记的数据,这可能非常昂贵。我们提出了一个cGAN的半监督训练框架,它利用稀疏标签来学习条件映射,同时利用大量的无监督数据来学习无条件分布。我们证明了我们的方法在多个数据集和不同的条件任务的有效性。
2020-10-23 cs.CV cs.LG stat.ML
Generating Geological Facies Models with Fidelity to Diversity and Statistics of Training Images using Improved Generative Adversarial Networks
Schlumberger-Doll Research(斯伦贝谢-多尔研究中心)
本文提出了一种方法和工作流程,克服了传统的生成对抗网络(GANs)的地质相建模的局限性。它试图通过可解释的潜在向量来提高训练的稳定性,并保证生成的地质的多样性。确保所得样本具有与训练数据集相等的概率(或无偏分布)。这在应用GANs生成无偏和有代表性的地质模型时至关重要,这些模型可进一步用于促进油田勘探和开发中的客观不确定性评估和最佳决策。我们提出并实现了一种新的GANs变体,称为Info-WGAN,用于地质相建模,该变体将信息最大化生成对抗网络(InfoGAN)与Wasserstein距离和梯度惩罚(GP)相结合,用于学习可解释的潜在代码,并从训练数据中生成稳定且无偏的分布。与原有的GAN设计不同,InfoGAN可以使用带有完整、部分或无标签的训练图像,对训练数据集中表现出的复杂沉积类型进行解缠,实现生成样本的多样性和多样性。这是通过添加额外的分类变量来实现的,这些变量除了在原始GANs中使用的仅仅是随机化的潜在向量之外,还提供了分离的语义表示。通过这种方式,正则化项被用于最大化这种潜在分类代码与损失函数中的生成的地质相之间的互信息。此外,通过Info-WGAN得到的无偏采样使得在地质建模中的数据调节比传统的GANs容易得多,因为多样性和多样性以及生成器的无条件采样的等概率。
2019-09-23 cs.LG eess.IV physics.comp-ph
Intriguing Properties of Modern GANs
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文通过实验揭示现代GAN学习到的流形和密度并不拟合训练数据分布,反而更接近分布外图像,挑战了“GAN捕获训练数据流形”的普遍认知。
2024-02-21 cs.CV cs.LG
Improving Model Compatibility of Generative Adversarial Networks by Boundary Calibration
National Taiwan University(台湾大学);Carnegie Mellon University(卡内基梅隆大学)
生成对抗网络(GANs)是一个强大的模型家族,它学习底层分布以生成合成数据。许多现有的GANs研究都集中在提高视觉应用所生成的图像数据的真实性上,很少有人关注提高用于训练其他分类器的生成数据的质量--这一任务被称为模型兼容性问题。因此,现有的GANs通常更喜欢生成远离分类器边界的“更容易”的合成数据,并且避免生成近边界数据,已知近边界数据在训练分类器中起重要作用。为了提高GAN的模型兼容性,我们提出了边界校准GANs(BCGAN),它利用了使用原始数据的一组预训练分类器的边界信息。特别地,我们在GAN的生成器中引入了辅助边界校准损失(BC损失),以匹配原始数据和生成数据的后验分布之间的统计数据,相对于预训练分类器的边界。BC损失是可证明无偏的,并且可以容易地与不同的GAN变体耦合以提高它们的模型兼容性。实验结果表明,BCGAN不仅能像原始GANs一样生成逼真的图像,而且比原始GANs具有更好的模型兼容性。
2021-11-03 cs.LG
Generating unrepresented proportions of geological facies using Generative Adversarial Networks
Heriot-Watt University(赫瑞-瓦特大学);TotalEnergies(道达尔能源);SSE plc(南苏格兰电力公司)
在这项工作中,我们研究了生成对抗网络(GANs)在地质数据集中内插和外推相比例的能力。新生成的实现与unrepresented(又名。缺失)比例被假定属于相同的原始数据分布。具体来说,我们设计了一个条件GANs模型,它可以将生成的相驱动到训练集中没有发现的新比例。所提出的研究包括各种培训设置和模型架构的调查。此外,我们设计了新的调理程序,以改进缺失样本的生成。在二元和多相图像上的数值实验显示出良好的地质一致性以及与目标条件的强相关性。
2022-03-17 cs.LG
GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution
Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);University of Cambridge(剑桥大学)
生成式对抗网络(GAN)在目标是生成离散元素序列时具有局限性。其原因是,来自离散对象(如多项式)上的分布的样本对于分布参数不可微。这个问题可以通过使用Gumbel-softmax分布来避免,Gumbel-softmax分布是根据softmax函数参数化的多项分布的连续近似。在这项工作中,我们评估了基于Gumbel-softmax输出分布的递归神经网络的GANs在生成离散元素序列的任务中的性能。
2016-11-12 cs.LG stat.ML
Effects of Dataset properties on the training of GANs
Hochschule Rhein-Waal(莱茵-瓦尔应用科学大学)
生成对抗网络是一种新的生成模型,经常用于生成逼真的图像。该理论承诺GAN最终达到一个平衡,在这个平衡中,生成器生成的图片对于训练集来说是不可区分的。然而,在实践中,一系列问题经常阻止系统达到这种平衡,由于不稳定或模式坍塌,训练无法进行。本文描述了一系列的实验,试图识别模式的动态和最终的训练结果的训练集的效果。
2018-11-15 cs.LG stat.ML
FusedProp: Towards Efficient Training of Generative Adversarial Networks
South Park Commons(南方公园公地)
生成对抗网络(GANs)能够生成非常逼真的样本,但最先进的GANs在训练时计算成本非常高。在本文中,我们提出了融合传播(FusedProp)算法,它可以用来有效地训练通用GANs同时使用一个前向和一个后向传播的生成器和生成器。我们表明,与传统的GANs训练相比,FusedProp的训练速度是1.49倍,尽管需要进一步的研究来提高其稳定性。通过报告我们的初步结果和开源我们的实现,我们希望加快未来对GANs训练的研究。
2020-03-30 cs.CV cs.LG
ciDATGAN: Conditional Inputs for Tabular GANs
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
条件性已经成为生成对抗网络(GANs)生成合成图像的核心组件。GANs通常使用潜在的条件来控制生成过程。但是,表格数据只包含清单变量。因此,潜在的条件性要么限制了生成的数据,要么不能产生足够好的结果。因此,我们提出了一种新的方法,包括条件性的表格GANs的启发图像完成方法。这篇文章介绍了ciDAT GAN,它是定向非循环表格GAN(DAT GAN)的一种演变,已经证明它的性能优于最先进的表格GAN模型。首先,我们证明了条件输入的加入确实阻碍了模型的性能。然后,我们证明了ciDATGAN可以用于在精心选择的条件输入的帮助下消除数据集的偏差。最后,它表明ciDATGAN可以学习数据背后的逻辑,因此可以使用来自较小feeder数据集的数据来完成大型合成数据集。
2022-10-05 cs.LG
On Computation and Generalization of GANs with Spectrum Control
Georgia Tech(佐治亚理工学院);Florida Atlantic University(佛罗里达大西洋大学)
生成对抗网络(GANs)虽然强大,但很难训练。最近的几项工作(brock 2016 neural,miyato 2018 spectral)表明,控制神经网络中权重矩阵的频谱可以显着改善GANs的训练。受他们的发现的启发,我们提出了一个新的训练GANs的框架,它允许更灵活的频谱控制(例如,使得所述矩阵的权重矩阵具有缓慢的奇异值衰减)。具体来说,我们提出了一种新的重新参数化方法的权重矩阵的权重矩阵的GANs,这使我们能够直接操纵的频谱的权重矩阵通过各种正则化和约束,而无需密集计算奇异值分解。理论上,我们进一步证明了频谱控制提高了GANs的泛化能力。我们在CIFAR-10,STL-10和ImageNet数据集上的实验证实,与其他方法相比,我们提出的方法能够通过利用光谱归一化和鼓励缓慢的奇异值衰减来生成具有竞争力质量的图像。
2019-03-03 cs.LG stat.ML
Unbiased Auxiliary Classifier GANs with MINE
Rutgers University(罗格斯大学)
辅助分类器GANs(AC-GANs)是广泛使用的条件生成模型,并且能够生成高质量的图像。以前的工作已经指出,AC-GAN学习有偏的分布。为了解决这个问题,Twin Auxiliary Classifier GAN(TAC-GAN)将一个孪生分类器引入到最小-最大博弈中。然而,据报道,使用双辅助分类器可能会导致训练不稳定。为此,我们提出了一种无偏辅助GANs(UAC-GAN),它利用互信息神经估计(MINE)来估计生成的数据分布和标签之间的互信息。为了进一步提高性能,我们还提出了一种新的基于投影的统计网络结构的MINE。在混合高斯(MoG)、MNIST和CIFAR 10数据集上的实验结果表明,UAC-GAN的性能优于AC-GAN和TAC-GAN。代码可以在项目网站上找到。
2020-06-13 cs.CV cs.LG
Interleaving GANs with knowledge graphs to support design creativity for book covers
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文将生成对抗网络(GANs)与知识图谱结合应用于书籍封面设计,通过知识图谱扩展输入标题选项作为生成器增强输入,并利用判别器筛选最佳图像,显著提升了生成效果和设计创造力。
2023-08-03 cs.AI cs.CV cs.LG
Quantum Wasserstein GANs for State Preparation at Unseen Points of a Phase Diagram
Technical University of Munich(慕尼黑工业大学);Technical University of Munich, Institute for Advanced Study(慕尼黑工业大学高等研究院)
本文提出一种基于量子Wasserstein GANs的混合经典-量子方法,可学习态测量期望的底层函数,并生成相图中未见点的新量子态。
2023-09-18 cs.LG quant-ph
When Relation Networks meet GANs: Relation GANs with Triplet Loss
Dalian University of Technology(大连理工大学);The University of Hong Kong(香港大学)
尽管最近的研究在使用生成对抗网络(GANs)生成逼真图像方面取得了显着进展,但缺乏训练稳定性仍然是大多数GANs挥之不去的问题,特别是在高分辨率输入和复杂数据集上。由于随机生成的分布很难与真实分布重叠,因此训练GANs通常会遇到梯度消失问题。已经提出了一些方法来解决这个问题,通过限制的ESTA的能力,使用经验的技术,如权重裁剪,梯度惩罚,频谱归一化等。在本文中,我们提供了一个更有原则的方法作为一种替代解决方案,这个问题。我们没有训练器来区分真实和虚假的输入样本,而是通过训练器来区分来自相同分布的配对样本和来自不同分布的配对样本来研究配对样本之间的关系。为此,我们探索了一个关系网络架构的数据库,并设计了一个三元组损失,执行更好的泛化和稳定性。在基准数据集上的大量实验表明,所提出的关系式和新的损失可以提供显着的改善,包括无条件和有条件的图像生成和图像翻译的可变视觉任务。
2020-03-17 cs.CV cs.LG eess.IV
Towards Discovery and Attribution of Open-world GAN Generated Images
University of Maryland, College Park(马里兰大学帕克分校)
随着生成对抗网络(GANs)的最新进展,媒体和视觉取证必须开发能够识别图像并将其归因于生成它们的模型的检测器。现有的工作表明,属性的图像,以其相应的GAN源具有高精度。然而,这些工作仅限于闭集场景,无法推广到在训练时间内看不见的GANs,因此无法随着新GANs的稳定涌入而扩展。我们提出了一种迭代算法,通过利用所有GANs在其生成的图像上留下不同指纹的事实,来发现从以前看不见的GANs生成的图像。我们的算法包括多个组件,包括网络训练,分布外检测,聚类,合并和细化步骤。通过大量的实验,我们表明,我们的算法发现看不见的GANs具有很高的准确性,也推广到GANs训练看不见的真实数据集。我们还将我们的算法应用于在线方式的GANs的归属和发现,以及更标准的真/假检测任务。我们的实验证明了我们的方法在发现新的GANs方面的有效性,并且可以在开放世界的设置中使用。
2021-09-20 cs.CV cs.LG
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University(哥伦比亚大学)
生成对抗网络(GANs)代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作,GANs正在改变许多艺术和科学领域。然而,它们在医疗保健方面的应用尚未完全实现,更具体地说,在生成电子健康记录(EHR)数据方面。在本文中,我们提出了一个框架,用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法,衡量合成实验室测试时间序列的预测能力。此外,我们表明,在预测药物暴露对实验室测试数据的影响时,在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
Generative Adversarial Networks
Tel Aviv University(特拉维夫大学)
生成对抗网络(GANs)是用于生成高质量数据的非常流行的框架,并且在许多领域的学术界和工业界都得到了广泛的应用。可以说,它们最大的影响是在计算机视觉领域,在那里它们实现了最先进的图像生成。本章介绍了GANs,讨论了它们的原理机制,并提出了它们在训练和评估过程中的一些固有问题。我们集中在这三个问题:(1)模式坍塌,(2)消失的梯度,(3)低质量的图像的生成。然后,我们列出了一些架构变体和丢失变体GANs,它们可以解决上述挑战。最后,我们给出了GANs在实际应用中的两个应用示例:数据增强和人脸图像生成。
2022-03-01 cs.CV cs.LG
Evolutionary Multiobjective Optimization Driven by Generative Adversarial Networks (GANs)
Southern University of Science and Technology(南方科技大学);City University of Hong Kong(香港城市大学);University of Surrey(萨里大学)
最近,越来越多的作品提出了使用机器学习模型来驱动进化算法。通常,这种基于模型的进化算法的性能高度依赖于所采用的模型的训练质量。由于它通常需要一定量的数据(即算法生成的候选解)用于模型训练,由于维数灾难,性能随着问题规模的增加而迅速恶化。为了解决这个问题,我们提出了一个多目标进化算法驱动的生成对抗网络(GANs)。在算法的每一代中,首先将父解分为真实和伪样本进行训练GANs,然后由训练好的GANs对子解进行采样。由于GANs强大的生成能力,我们提出的算法能够在有限的训练数据的高维决策空间中生成有前途的后代解决方案。该算法进行了测试,10个基准问题,多达200个决策变量。在这些测试问题上的实验结果证明了该算法的有效性。
2020-04-09 cs.LG cs.NE
Sig-Wasserstein GANs for Time Series Generation
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学);University of Kaiserslautern(凯泽斯劳滕大学)
合成数据是一种新兴技术,可以显著加速AI机器学习管道的开发和部署。在这项工作中,我们开发高保真的时间序列发生器,SigWGAN,通过结合连续时间随机模型与新提出的签名$W_1$度量。前者是基于随机微分方程的Logsig-RNN模型,后者则是基于时间序列所具有的普遍性和原则性的数学特征来刻画时间序列的测度。SigW GAN允许将计算上具有挑战性的GAN最小-最大问题转化为监督学习,同时生成高保真样本。我们验证了所提出的模型的流行的定量风险模型和实证金融数据生成的合成数据。代码可在https://github.com/SigCGANs/Sig-Wasserstein-GANs.git上获得。
2021-11-01 cs.LG
Attributing Fake Images to GANs: Learning and Analyzing GAN Fingerprints
生成对抗网络(GANs)的最新进展表明,在生成逼真图像方面取得了越来越大的成功。但它们也对视觉取证和模型归属提出了挑战。我们提出了学习GAN指纹对图像属性的第一项研究,并使用它们将图像分类为真实或GAN生成的。对于GAN生成的图像,我们进一步识别它们的来源。我们的实验表明:(1)GANs携带不同的模型指纹,并在其生成的图像中留下稳定的指纹,这支持图像属性;(2)即使GAN训练中的微小差异也会导致不同的指纹,这使得能够进行细粒度的模型认证;(3)指纹在不同的图像频率和补丁中持续存在,并且不会受到GAN伪影的影响;(4)指纹微调可以有效地免疫五种类型的对抗性图像扰动;(5)比较还显示,我们学习的指纹在各种设置中始终优于几个基线。
2019-08-16 cs.CR cs.CV cs.CY
Generative Adversarial Network Applications in Creating a Meta-Universe
The University of Georgia(佐治亚大学)
生成对抗网络(GANs)是机器学习方法,用于许多重要和新颖的应用。例如,在成像科学中,GANs被有效地用于生成图像数据集、人脸照片、图像和视频描述、图像到图像转换、文本到图像转换、视频预测和3D对象生成等。在本文中,我们讨论了如何使用GANs来创建人工世界。更具体地说,我们讨论了GANs如何帮助利用图像/视频描述方法来描述图像,以及如何在我们想要的主题中使用图像到图像转换框架将图像转换为新图像。我们阐述了GANs如何影响创建一个定制的世界。
2022-01-23 cs.CV cs.LG eess.IV
Controllable Game Level Generation: Assessing the Effect of Negative Examples in GAN Models
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院)
本研究针对游戏关卡可控生成问题,对比评估CGAN与Rumi-GAN两种GAN变体在有无负样本场景下生成满足可玩性、可控性约束关卡的性能,明确负样本对避免不良输出的作用及各方法优劣。
2024-10-30 cs.AI cs.LG
Diverse Image Generation via Self-Conditioned GANs
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Adobe Research(Adobe研究)
我们介绍了一种简单但有效的无监督方法,用于生成逼真和多样化的图像。我们训练类条件GAN模型,而不使用手动注释的类标签。相反,我们的模型是有条件的标签自动从聚类的特征空间。我们的聚类步骤自动发现不同的模式,并明确要求生成器覆盖它们。标准的模式坍塌基准测试的实验表明,我们的方法优于几个竞争的方法时,解决模式坍塌。与以前的方法相比,我们的方法在ImageNet和Places365等大规模数据集上也表现良好,提高了图像多样性和标准质量指标。
2022-02-10 cs.CV cs.LG
Semi-supervised learning with Bidirectional GANs
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Tooploox Ltd.(Tooploox有限公司)
在这项工作中,我们介绍了一种新的方法来训练双向生成对抗模型(BiGAN)在半监督的方式。所提出的方法利用三重损失函数作为目标函数的附加分量,用于在BiGAN模型的潜在空间中训练判别数据表示。这种表示可以进一步用作生成人工图像的种子,也可以作为分类和图像检索任务的良好特征嵌入。我们使用两个基准数据集:CIFAR10和SVHN,在上述两个具有挑战性的任务中评估所提出的方法的质量。
2018-11-28 cs.IR cs.LG stat.ML
Generative Adversarial Networks for Synthetic Data Generation: A Comparative Study
School of Social Sciences, University of Manchester(曼彻斯特大学社会科学学院);Alliance Manchester Business School, University of Manchester(曼彻斯特大学联盟曼彻斯特商学院)
生成对抗网络(GANs)作为一种合成数据的手段越来越受到关注。到目前为止,这项工作的大部分已经应用于数据保密领域之外的用例,其中一个常见的应用是人工图像的生成。在这里,我们考虑了GANs的潜在应用,以生成合成的人口普查微观数据。我们采用了一组效用度量和披露风险度量(目标正确归因概率)来比较表格GANs产生的数据与使用传统数据合成方法产生的数据。
2021-12-03 cs.LG
Bootstrapping Conditional GANs for Video Game Level Generation
New York University(纽约大学);IT University of Copenhagen(哥本哈根信息技术大学)
生成对抗网络(GANs)在图像生成方面表现出了令人印象深刻的结果。然而,GANs在生成具有某些类型约束(例如游戏级别)的内容时面临挑战。具体来说,很难生成具有美学吸引力和可玩性的水平。此外,由于训练数据通常是有限的,因此用当前的GANs生成唯一的水平是具有挑战性的。本文提出了一种新的GAN结构--条件嵌入自注意生成对抗网络(CESA GAN)和一种新的自举训练过程。CESA GAN是自注意GAN的一种改进,它引入了一个嵌入特征向量输入来调节鉴别器和生成器的训练。这允许网络对游戏对象之间的非局部依赖进行建模,并对对象进行计数。此外,为了减少训练GAN所需的级别数量,我们提出了一种自举机制,其中可播放的生成级别被添加到训练集。结果表明,与标准GAN相比,新方法不仅生成了更多的可玩关卡,而且生成了更少的重复关卡。
2019-10-03 cs.LG cs.NE
Unlimited Resolution Image Generation with R2D2-GANs
University of Edinburgh(爱丁堡大学);Seebyte(Seebyte公司)
在本文中,我们提出了一种新的模拟技术,用于生成任何预定义的分辨率的高质量图像。这种方法可以用来合成声纳扫描的大小相当于那些收集在一个完整的长度的任务,与跨轨道分辨率的任何选择的幅度。从本质上讲,我们的模型将基于生成对抗网络(GANs)的架构扩展为条件递归设置,这有助于生成图像的连续性。所产生的数据是连续的,看起来很逼真,并且也可以比具有更高分辨率的声纳(如EdgeTech)的实际采集速度快至少两倍。用户可以完全控制海底地形。视觉评估测试表明,人类无法区分模拟图像与真实图像。此外,实验结果表明,在缺乏真实数据的情况下,自主识别系统可以从R2D2-GANs产生的合成数据的训练中受益匪浅。
2020-03-02 cs.CV cs.LG eess.IV
Smile-GANs: Semi-supervised clustering via GANs for dissecting brain disease heterogeneity from medical images
University of Pennsylvania(宾夕法尼亚大学)
应用于复杂生物医学数据的机器学习方法已经能够构建具有诊断/预后价值的疾病特征。然而,很少有人注意到了解疾病的异质性。半监督聚类方法可以通过估计从(例如健康)对照(CN)组到患者(PT)组的多个转换来解决这个问题,试图捕获潜在病理过程的异质性。在此,我们提出了一种新的方法,微笑-GANs(SeMi-supervised cLustEring via GANs),用于半监督聚类,并将其应用于脑MRI扫描。Smile-GAN首先通过从CN生成PT来学习多个不同的映射,每个映射都表征一个相对不同的病理模式。此外,聚类模型与映射函数交互训练,以将PT分配到相应的子类型成员。通过对PT/CN数据分布的宽松假设和施加映射非线性,Smile-GANs捕获CN和PT域之间分布的异质差异。我们首先使用模拟数据验证Smile-GANs,随后在真实数据上验证,通过展示其在表征阿尔茨海默病(AD)及其前驱期异质性方面的潜力。该模型首先使用ADNI 2数据库的基线MRI进行训练,然后应用于ADNI 1和BLSA的纵向数据。发现了四种具有不同神经解剖学模式的稳健亚型:1)正常脑,2)非典型AD的弥漫性萎缩,3)局灶性内侧颞叶萎缩,4)典型AD。进一步的纵向分析发现了从前驱期到完全AD的两种不同的进展途径:i)亚型1 - 2 - 4,和ii)亚型1 - 3 - 4。虽然在一个重要的生物医学问题上得到了证明,但Sm…
2020-06-27 cs.LG eess.IV q-bio.QM
Noise Homogenization via Multi-Channel Wavelet Filtering for High-Fidelity Sample Generation in GANs
University of Macau(澳门大学)
在典型的生成对抗网络(GANs)的生成器中,输入噪声以通过一系列卷积运算生成假样本。然而,目前的噪声生成模型仅仅依赖于来自像素空间的信息,这增加了接近目标分布的难度。幸运的是,长期证明小波变换是能够分解的多个光谱信息的图像。在这项工作中,我们提出了一种新的多通道基于小波的滤波方法的GANs,以应对这个问题。当在生成器中嵌入小波去卷积层时,所得到的GAN(称为Wavelet GAN)利用小波去卷积来学习具有多个通道的滤波,其可以通过平均操作来有效地均匀化所生成的噪声,从而生成高保真样本。我们通过一个开放的GAN基准测试工具对Fashion-MNIST、KMNIST和SVHN数据集进行了基准测试实验。结果表明,WaveletGAN在生成高保真样本方面具有出色的性能,这要归功于在这些数据集上获得的最小FID。
2020-05-14 cs.CV cs.LG stat.ML
RareGAN: Generating Samples for Rare Classes
Carnegie Mellon University(卡内基梅隆大学)
我们研究了学习生成对抗网络(GANs)的问题,这是一种罕见的未标记数据集,但需要标记预算。这个问题是从包括安全性(例如,合成用于DNS放大攻击的分组),系统和联网(例如,合成触发高资源使用的工作负载),以及机器学习(例如,从稀有类生成图像)。现有的方法是不合适的,要么需要完全标记的数据集或牺牲的保真度的罕见类的常见类。我们提出了RareGAN,这是一种新的三个关键思想的综合:(1)扩展条件GANs,以使用标记和未标记的数据来更好地泛化;(2)一种主动学习方法,要求最有用的标签;(3)一个加权的损失函数,以支持学习稀有类。我们表明,罕见的GAN实现了更好的可靠性多样性权衡的稀有类比以前的工作在不同的应用程序,预算,稀有类分数,GAN损失,和架构。
2022-03-20 cs.CR cs.LG cs.NI
GANalyzer: Analysis and Manipulation of GANs Latent Space for Controllable Face Synthesis
Ritchie School of Engineering and Computer Science, University of Denver(丹佛大学里奇工程与计算机科学学院);Department of Psychology, University of Tennessee(田纳西大学心理学系);College of Arts, Humanities and Social Sciences, University of Denver(丹佛大学艺术、人文与社会科学学院)
生成对抗网络(GANs)能够合成高质量的面部图像。尽管取得了成功,但GANs并没有提供任何关于输入向量和生成图像之间关系的信息。目前,面部GANs是在不平衡的数据集上训练的,这会产生不太多样化的图像。例如,我们使用StyleGAN 3随机合成的10万张图像中,超过77%被归类为快乐,只有大约3%被归类为愤怒。当需要混合面部属性时,问题甚至变得更糟:生成的样本中只有不到1%是愤怒的女人,只有大约2%是快乐的黑人。为了解决这些问题,本文提出了一个名为GANalyzer的框架,用于分析和操纵训练有素的GANs的潜在空间。GANalyzer由一组转换函数组成,旨在操作特定面部属性(如面部表情,年龄,性别和种族)的潜在向量。我们分析了GANs的潜在空间中的面部属性纠缠,并应用所提出的变换来编辑解纠缠的面部属性。我们的实验结果证明了GANalyzer在编辑面部属性和生成任何所需面部方面的优势。我们还创建并发布了一个平衡的照片逼真的人脸数据集。我们的代码在GitHub上公开。
2023-02-02 cs.CV cs.LG
On GANs and GMMs
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(希伯来大学)
机器学习中的一个长期问题是找到能够学习高维信号的统计结构的无监督方法。近年来,GANs作为该问题的可能解决方案获得了很多关注,并且特别地已经显示出生成非常逼真的高分辨率采样图像的能力。与此同时,许多作者指出,GANs可能无法对完整分布进行建模(“模式坍塌“),并且将学习的模型用于生成样本以外的任何事情可能非常困难。在本文中,我们通过将GANs与最简单的统计模型高斯混合模型进行比较,来研究GANs在学习图像统计模型方面的实用性。首先,我们提出了一个简单的方法来评估生成模型的基础上的相对比例的样本落入预定的箱子。与以前的自动评估模型的方法,我们的方法不依赖于一个额外的神经网络,也不需要近似棘手的计算。其次,我们将GANs的性能与在相同数据集上训练的GANs进行了比较。虽然Gestro以前已被证明是成功的小块图像建模,我们展示了如何训练他们的全尺寸的图像,尽管高维。我们的研究结果表明,GAN可以生成真实的样本(尽管不如GANs的样本尖锐),但也可以捕获完整的分布,而GANs无法做到这一点。此外,GARCH允许有效的推理和显式表示的基础统计结构。最后,我们讨论了如何使用GREEN来生成清晰的图像。
2018-11-03 cs.CV cs.LG
Improved $α$-GAN architecture for generating 3D connected volumes with an application to radiosurgery treatment planning
Toronto Metropolitan University(多伦多都会大学)
生成对抗网络(GANs)在几个计算机视觉任务中获得了极大的关注,用于生成高质量的合成数据。由于该领域的数据稀缺性,包括诊断成像和放射治疗在内的各种医疗应用可以从合成数据生成中受益匪浅。然而,医学图像数据通常保持在3D空间中,并且生成模型在生成这种合成数据时遭受维度问题的灾难。在本文中,我们研究了GANs用于生成连接的3D体积的潜力。我们提出了一个改进版本的3D $α$ -GAN,结合各种架构增强。在连接的3D球体和椭球体的合成数据集上,我们的模型可以生成与训练数据具有相似几何特征的完全连接的3D形状。我们还表明,我们的3D GAN模型可以成功地生成高质量的3D肿瘤体积和相关的治疗规范(例如,等中心点位置)。与训练数据相似的不变矩以及完全连接的3D形状证实了改进的3D $α$ -GAN隐式地学习训练数据分布,并生成逼真的样本。改进的3D $α$ -GAN的能力使其成为生成合成医学图像数据的有价值的来源,可以帮助该领域的未来研究。
2022-07-13 cs.CV cs.LG eess.IV
F-Drop&Match: GANs with a Dead Zone in the High-Frequency Domain
NTT(日本电信电话公司)
由深度卷积神经网络(GANs)构建的生成对抗网络缺乏准确复制自然图像高频分量的能力。为了缓解这个问题,我们引入了两种新的训练技术,称为频率下降(F-Drop)和频率匹配(F-Match)。F-Drop的关键思想是从鉴别器的输入图像中滤除不必要的高频分量。这种简单的修改防止了鉴别器被高频分量的扰动所混淆。此外,F-Drop使GANs专注于低频域的拟合,其中有自然图像的主要成分。F-Match可最大限度地减少频域中真实图像和伪图像之间的差异,以生成更逼真的图像。F-Match作为生成器的目标函数中的正则化项实现;它在频域中惩罚批平均误差。F-Match帮助发生器将F-Drop过滤出的高频域与真实图像相匹配。我们通过实验证明,F-Drop和F-Match的组合在多个图像基准上提高了GANs在频域和空间域的生成性能。
2021-08-18 cs.CV cs.LG eess.IV
Information Compensation for Deep Conditional Generative Networks
近年来,无监督/弱监督条件生成对抗网络(GANs)在建模和生成数据方面取得了许多成功。然而,它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题,我们提出了一种新的无监督条件GANs结构,该结构由一种新的信息补偿连接(IC-连接)驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外,为了量化离散和连续潜变量的解纠缠程度,我们设计了一个新的评估程序。我们的实证结果表明,与有条件生成设置中的最先进的GANs相比,我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Generating Synthetic but Plausible Healthcare Record Datasets
ESCI-UPF
对于ML的医疗保健应用以及许多其他科学和工程领域来说,生成“看起来像”给定真实数据的数据集是一项有趣的任务。在本文中,我们提出了一种新的方法,一般应用到二进制数据集的基础上学习的潜变量矩,我们以前用于聚类患者数据集的参数的方法。我们将我们的方法与最近提出的基于生成对抗方法的建议(MedGan)进行了比较,发现我们生成的合成数据集至少在两个意义上更加真实:真实和合成实例更难通过随机森林和MMD统计来区分。最可能的解释是,我们的方法不会遭受“模式崩溃”,这是一个公认的问题,GANs。此外,我们生成的生成模型很容易解释,不像相当模糊的GANs。我们的实验是在两个包含ICD-9诊断代码的患者数据集上进行的:公开可用的MIMIC-III数据集和一个包含7年来在巴塞罗那圣保罗医院因充血性心力衰竭入院的数据集。
2018-07-04 cs.LG stat.ML
A cost-effective method for improving and re-purposing large, pre-trained GANs by fine-tuning their class-embeddings
Auburn University(奥本大学);Adobe Research(Adobe研究所)
大型的预训练生成模型越来越受欢迎,对研究和更广泛的社区都很有用。具体来说,BigGANs是一种在ImageNet上训练的类条件生成对抗网络,在生成逼真的照片方面具有出色的、最先进的能力。然而,对于大多数研究人员和工程师来说,从头开始微调或训练BigGAN几乎是不可能的,因为(1)GAN训练通常不稳定,并且会出现模式崩溃;(2)训练需要大量的计算,256个Google TPU持续2天或8xV100 GPU持续15天。重要的是,在NLP和图像领域,许多预先训练的生成模型都被发现包含对社会有害的偏见。因此,我们需要计算上可行的方法来修改和重新利用这些庞大的、预先训练好的模型来完成下游任务。在本文中,我们提出了一种具有成本效益的优化方法,通过仅对类嵌入层进行微调来改进和重新利用BigGAN。我们在三个任务中展示了我们的模型编辑方法的有效性:(1)显着提高完整模式崩溃类样本的真实性和多样性;(2)重新利用ImageNet BigGAN为Places365生成图像;(3)去偏置或提高选定ImageNet类的样本多样性。
2020-10-08 cs.CV cs.LG stat.ML
Coulomb GANs: Provably Optimal Nash Equilibria via Potential Fields
LIT AI Lab & Institute of Bioinformatics, Johannes Kepler University Linz(约翰内斯开普勒大学林茨分校LIT人工智能实验室与生物信息学研究所);Zalando Research(Zalando研究公司);Johannes Kepler University Linz(约翰内斯开普勒大学林茨分校);LIT AI Lab & Institute of Bioinformatics(LIT人工智能实验室与生物信息学研究所)
生成对抗网络(GANs)发展成为生成逼真图像的最成功的无监督技术之一。尽管最近已经表明,GAN训练收敛,但GAN模型通常最终处于与模式坍塌相关联的局部纳什均衡,或者无法对目标分布进行建模。我们引入了库仑GANs,它将GAN学习问题作为带电粒子的势场,其中生成的样本被吸引到训练集样本,但相互排斥。在生成器通过沿着由势场的梯度确定的矢量(力)场移动其样本来降低能量的同时,卷积器学习势场。通过降低能量,GAN模型学习根据整个目标分布生成样本,而不仅仅覆盖其部分模式。我们证明了库仑GANs只有一个纳什均衡,这是最优的意义上,模型分布等于目标分布。我们展示了库仑GANs在各种图像数据集上的功效。在LSUN和celebA上,Coulomb GANs开创了一个新的艺术状态,并产生了以前从未见过的各种不同样本。
2018-01-30 cs.GT cs.LG stat.ML
Protect and Extend -- Using GANs for Synthetic Data Generation of Time-Series Medical Records
University of Applied Sciences Hamm-Lippstadt(哈姆-利普施塔特应用科学大学);TU Berlin(柏林工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文比较多种基于 GAN 的合成数据生成模型,利用预测建模、自相关、分布分析和成员推理攻击评估时序痴呆医疗记录的生成质量与隐私风险,发现 PPGAN 在保持可接受 QoG 的同时隐私保护最优。
2024-03-01 cs.AI cs.CR cs.LG
Generating Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对极低数据量下GAN训练易过拟合的问题,提出双分支判别器架构的SIV-GAN,可从单图或单视频少量帧生成多样高质量的新颖场景构图。
2023-12-13 cs.CV cs.LG
Online GANs for Automatic Performance Testing
Åbo Akademi University(奥博学术大学)
在本文中,我们提出了一种新的自动性能测试算法,使用生成对抗网络(GAN)的在线变体来优化测试生成过程。所提出的方法的目的是生成,对于一个给定的测试预算,一个测试套件包含大量的测试揭示性能缺陷。这是通过使用GAN来生成测试并预测其结果来实现的。该GAN在生成和执行测试时在线训练。所提出的方法不需要事先训练集或测试下的系统模型。我们提供了一个初步的评估算法使用一个例子测试系统,并比较所获得的结果与其他可能的方法。我们认为,所提出的算法作为一个概念的证明,我们希望它可以引发一个研究讨论的应用GANs的测试生成。
2021-04-21 cs.LG cs.PF cs.SE
One Shot GANs for Long Tail Problem in Skin Lesion Dataset using novel content space assessment metric
Koita Centre for Digital Health, Indian Institute of Technology, Bombay(印度理工学院孟买分校科伊塔数字健康中心)
本文针对医学图像长尾问题,采用One Shot GANs为HAM10000数据集尾部类别生成样本,并提出适配该模型的新型内容空间评估指标以提升检测准确性。
2024-09-30 cs.CV cs.LG eess.IV
Album cover art image generation with Generative Adversarial Networks
生成对抗网络(GANs)是由Goodfellow在2014年提出的,从那时起,它已经成为构建生成式人工智能模型的热门方法。然而,这样的网络的缺点是很多的,像它们的较长的训练时间,它们对超参数调整的敏感性,几种类型的损失和优化函数以及其他困难,如模式坍塌。GANs目前的应用包括生成照片般逼真的人脸、动物和物体。然而,我想通过使用现有的模型并从中学习,更详细地探索GANs的艺术能力。本论文涵盖了神经网络的基础知识,并致力于GANs的特定方面,以及对现有模型的实验和修改,从最不复杂到最复杂。我们的目的是看看最先进的GANs(特别是StyleGAN 2)是否可以生成专辑封面,以及是否可以根据流派对其进行定制。这是通过首先熟悉3个现有的GANs架构来尝试的,包括最先进的StyleGAN2。StyleGAN 2代码用于训练一个包含80K专辑封面图像的数据集的模型,然后通过挑选精选图像并混合它们的风格来设计图像。
2022-12-09 cs.AI cs.CV cs.LG