Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University(首尔大学)
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络(GAN)成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型,它揭示了具有多个生成器的图像的复杂结构,其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如,它可以在人脸数据集上训练后,使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的,没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性,通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
Modeling documents with Generative Adversarial Networks
Aylien Ltd.(Aylien有限公司)
本文描述了一种使用生成对抗网络来学习自然语言文档的分布式表示的方法。我们提出了一个模型,该模型是基于最近提出的基于能量的GAN,而是使用一个去噪自动编码器作为网络。文档表示提取的隐藏层中的隐藏层和定量和定性的评价。
2016-12-29 cs.LG
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
An attempt to generate new bridge types from latent space of generative adversarial network
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd(万世先见数智交通科技有限公司)
本研究利用生成对抗网络,基于Python、TensorFlow和Keras框架及四种对称结构桥梁图像数据集,通过低维潜在空间采样生成具有不对称结构的新桥型,展现了生成式AI的原创能力与启发潜力。
2024-01-01 cs.AI cs.CV cs.LG
NIPS 2016 Tutorial: Generative Adversarial Networks
OpenAI
本报告总结了作者在NIPS 2016上介绍的关于生成对抗网络(GANs)的教程。该教程介绍:(1)为什么生成建模是一个值得研究的话题,(2)生成模型如何工作,以及GANs与其他生成模型的比较,(3)GANs如何工作的细节,(4)GANs的研究前沿,以及(5)将GANs与其他方法相结合的最先进的图像模型。最后,本教程包含三个练习供读者完成,以及这些练习的解决方案。
2017-04-03 cs.LG
Tensorizing Generative Adversarial Nets
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Saitama Institute of Technology(埼玉工业大学)
生成对抗网络(GAN)及其变体在生成模型中表现出最先进的性能。为了捕获更高维的分布,通常的学习过程需要高的计算复杂性和大量的参数。当将其部署在具有有限计算能力的平台(例如移动电话)上时,会出现采用这种大型框架的问题。在本文中,我们提出了一种新的生成对抗框架,将每一层表示为通过多线性运算连接的张量结构,旨在将模型参数的数量减少一个很大的因素,同时保持生成性能和样本质量。为了学习模型,我们采用了一种有效的算法,交替优化的发电机和发电机。实验结果表明,我们的模型可以实现高压缩率的模型参数$35$倍相比,原始GAN的MNIST数据集。
2018-03-30 cs.AI cs.LG stat.ML
Ways of Conditioning Generative Adversarial Networks
Seoul National University(首尔大学)
GANs是生成模型,其随机样本真实地反映了自然图像。它还可以通过将条件向量连接到输入中来生成具有特定属性的样本,但这方面的研究还没有得到很好的研究。我们提出了调节生成对抗网络(GANs)的新方法,这些方法在MNIST和CIFAR-10上实现了最先进的结果。我们主要介绍了两个模型:一个是从样本中提取条件信息的信息检索模型,一个是从图像和条件向量的空间叉积中形成双线性特征的空间双线性池模型。这些方法显着提高对数似然测试数据下的条件分布相比,串联的方法。
2016-11-04 cs.AI cs.LG stat.ML
Generative Adversarial Classifier for Handwriting Characters Super-Resolution
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
生成对抗网络(GAN)由于在图像生成、图像变换和超分辨率等方面的优异性能,近年来受到了广泛的关注。然而,GAN很少被研究和训练用于分类,导致生成的图像可能不适合分类。在本文中,我们提出了一种新的生成对抗分类器(GAC),特别是低分辨率手写字符识别。具体地说,在普通GANs的训练过程中,额外引入一个分类器,对GAC进行校准,以学习合适的结构并恢复有利于分类的字符图像。实验结果表明,在基准数据CASIA-HWDB 1.1和MNIST上,该方法在手写字符8倍超分辨率上的性能较现有方法分别提高了约10%和20%。
2019-01-18 cs.AI cs.CV cs.LG
Quantum generative adversarial networks
Xanadu
量子机器学习有望成为近期量子设备的首批潜在通用应用之一。经典机器学习最近的一个重大突破是生成对抗训练的概念,其中一个训练模型的梯度被用来训练一个单独的生成模型。在这项工作和一篇配套论文中,我们将对抗训练扩展到量子领域,并展示了如何使用量子线路构建生成对抗网络。此外,我们还展示了如何使用另一个量子线路计算梯度-生成对抗网络训练中的关键要素。我们给出了一个简单的实用电路模型的例子来参数化量子机器学习模型,并进行了一个简单的数值实验来证明量子生成对抗网络可以成功训练。
2018-04-30 cs.LG quant-ph
Quantum-Enhanced Generative Adversarial Networks: Comparative Analysis of Classical and Hybrid Quantum-Classical Generative Adversarial Networks
School of Computing(计算学院);Singapore Polytechnic(新加坡理工学院)
本文比较经典GAN与3、5、7量子比特的混合量子-经典GAN在二元MNIST上的表现,发现7量子比特模型在噪声模拟下性能接近经典GAN,验证了NISQ时代量子电路作为潜在先验的可行性。
2025-08-17 cs.AI cs.LG quant-ph
Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models
Stanford University(斯坦福大学)
概率模型的对抗学习最近已经成为最大似然的一种有前途的替代方案。与通过最大似然训练的显式模型相比,生成对抗网络(GAN)等隐式模型通常会生成更好的样本。然而,GANs回避了显式密度的表征,这使得定量评估具有挑战性。为了弥合这一差距,我们提出了Flow-GAN,这是一种生成对抗网络,我们可以对其进行精确的似然评估,从而支持对抗和最大似然训练。当进行逆向训练时,Flow-GAN生成高质量的样本,但获得极差的对数似然分数,甚至不如记忆训练数据的混合模型;当通过最大似然训练时,情况正好相反。MNIST和CIFAR-10上的结果表明,混合训练可以获得高的保持概率,同时保持生成的样本的视觉保真度。
2018-01-03 cs.AI cs.LG cs.NE
Fostering Diversity in Spatial Evolutionary Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院)
生成式对抗网络(GANs)遭受训练病态,如不稳定性和模式坍塌,这主要是由于缺乏多样性,在他们的对抗互动。协同进化GAN(CoE-GAN)训练算法已被证明对这些病理具有弹性。本文介绍了Mustangs,一种空间分布的CoE-GAN,它通过在训练期间使用不同的损失函数来促进多样性。对MNIST和CelebA的实验分析表明,Mustangs在统计上训练更准确的生成器。
2021-06-25 cs.AI cs.DC cs.LG
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen(图宾根马普研究所);Microsoft Research Cambridge(微软剑桥研究院);ETH Zürich(苏黎世联邦理工学院)
变分自编码器(VAE)是一种表达性的潜变量模型,可用于从训练数据中学习复杂的概率分布。然而,最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯(AVB),一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标,该网络允许将最大似然问题重新表述为两人游戏,从而在VAE和生成对抗网络(GANs)之间建立原则性联系。我们表明,在非参数限制,我们的方法产生一个确切的最大似然分配的生成模型的参数,以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反,我们的方法具有明确的理论依据,保留了标准变分自编码器的大多数优点,并且易于实现。
2018-06-11 cs.LG
Synthesizing Tabular Data using Generative Adversarial Networks
MIT(麻省理工学院)
生成对抗网络(GANs)隐式地学习数据集的概率分布,并可以从分布中提取样本。本文提出了表格式GAN(TGAN),这是一种生成对抗网络,可以生成医疗或教育记录等表格数据。利用深度神经网络的强大功能,TGAN生成高质量的全合成表,同时生成离散和连续变量。当我们在三个数据集上评估我们的模型时,我们发现TGAN在捕获列之间的相关性和扩大大型数据集方面都优于传统的统计生成模型。
2018-11-27 cs.LG stat.ML
CapsuleGAN: Generative Adversarial Capsule Network
USC Information Sciences Institute(南加州大学信息科学研究所)
我们提出了生成对抗胶囊网络(Capsule GAN),这是一个框架,它使用胶囊网络(CapsNets)而不是标准卷积神经网络(CNN)作为生成对抗网络(GAN)设置中的鉴别器,同时对图像数据进行建模。我们提供了设计CapsNet鉴别器和更新的GAN目标函数的指南,该目标函数包含CapsNet边际损失,用于训练Capsule GAN模型。我们表明,CapsuleGAN在MNIST和CIFAR-10数据集上建模图像数据分布方面优于卷积GAN,在生成对抗度量和半监督图像分类方面进行了评估。
2018-10-02 cs.LG stat.ML
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建,当前的防御方法主要集中在防范这种类型的攻击。在本文中,我们提出了无限制的对抗性示例,这是一种新的威胁模型,其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同,我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说,我们首先训练一个辅助分类器生成对抗网络(AC-GAN)来对数据样本上的类条件分布进行建模。然后,以所需类别为条件,我们在AC-GAN潜在空间中搜索,以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明,以这种方式生成的不受限制的对抗性示例是合法的,并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明,不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
A Non-Adversarial Approach to Idempotent Generative Modelling
KTH Royal Institute of Technology(皇家理工学院);Uppsala University(乌普萨拉大学)
针对IGNs因对抗性目标导致的模式崩溃与训练不稳定问题,提出NAIGNs,通过结合重构与IMLE的非对抗性生成目标,提升了数据恢复与生成能力,并隐式学习数据流形距离场。
2025-11-04 cs.LG
Distributed Generative Adversarial Net
近年来,生成对抗网络成为研究的热点。考虑到GAN在多用户环境中的应用,本文提出了分布式GAN。它使多个用户能够在本地使用自己的数据进行训练,并生成更多样化的样本。用户不需要相互分享数据,以避免隐私泄露。近年来,商业公司纷纷推出基于人工智能的云平台,为缺乏计算能力的用户提供模型。我们希望我们的工作能够激励这些公司提供更强大的人工智能服务。
2019-11-19 cs.LG
Modeling urbanization patterns with generative adversarial networks
Massachusetts Institute of Technology(麻省理工学院);Lawrence Berkeley National Laboratory (LBNL)(劳伦斯伯克利国家实验室);German Aerospace Center (DLR)(德国航空航天中心);Philips Research U.S.A.(飞利浦美国研究院);University of California, Berkeley(加州大学伯克利分校)
在这项研究中,我们提出了一种新的方法来模拟超现实的城市模式,使用生成对抗网络训练与全球城市土地利用清单。我们生成了一个合成的城市“宇宙”,它在质量上再现了在全球城市模式中观察到的复杂空间组织,同时能够定量地恢复某些关键的高层次城市空间指标。
2018-01-08 cs.LG
Imputation of Missing Data with Class Imbalance using Conditional Generative Adversarial Networks
缺失数据是现实世界数据集面临的一个常见问题。插补是一种广泛使用的估计缺失数据的技术。最先进的插补方法,如生成对抗插补网络(GAIN),对观察数据的分布进行建模,以近似缺失值。这种方法通常为整个数据集建模单个分布,忽略了数据的类特定特征。当存在类不平衡时,类特定的特征特别有用。我们提出了一种新的方法,通过适应流行的条件生成对抗网络(CGAN)的基础上,其类特定的特征,填补缺失数据。我们的条件生成对抗插补网络(CGAIN)使用特定于类的分布来插补缺失数据,这可以为缺失值产生最佳估计。我们在基准数据集上测试了我们的方法,并与最先进和流行的插补方法相比,取得了优异的性能。
2020-12-01 cs.LG
Permutation Equivariant Generative Adversarial Networks for Graphs
University of Geneva(日内瓦大学)
图生成建模中讨论最多的问题之一是表示的排序。一种解决方案包括使用等变生成函数,这确保了排序不变性。在讨论了这些函数的一些性质之后,我们提出了3G-GAN,一个依赖于GANs和等变函数的3阶段模型。该模型仍在开发中。然而,我们提出了一些令人鼓舞的探索性实验,并讨论了仍有待解决的问题。
2021-12-07 cs.LG
Generating Adversarial Examples With Conditional Generative Adversarial Net
近年来,深度神经网络在各个领域都取得了重大进展和成功应用,但发现它们容易受到攻击实例的攻击,例如,敌对的例子。现有的攻击方法可以通过向源图像添加小的扰动来生成攻击图像。这些攻击图像可以欺骗分类器,但对人的影响很小。因此,这样的攻击实例难以通过搜索特征空间来生成。如何设计一种有效的、鲁棒的生成方法已成为研究的热点。受对抗实例的启发,本文提出了两种新的生成模型,采用条件生成对抗网络,设计了不同的训练策略,直接生成自适应攻击实例。与常用的方法如快速梯度符号法相比,该模型可以降低生成成本,提高鲁棒性,并且生成攻击实例的运行时间约为五分之一。
2019-03-18 cs.LG stat.ML
Style Transfer Generative Adversarial Networks: Learning to Play Chess Differently
University of Virginia(弗吉尼亚大学)
风格转移的概念在很大程度上只在基于图像的任务中被探索过,我们将其部分归因于用于风格转移的损失函数的特定性质。我们提出了一个通用的公式的风格转移作为生成对抗网络的扩展,通过使用一个正则化的生成器,否则单独的损失函数。我们将我们的方法应用于学习以特定玩家的风格下国际象棋的任务,并为我们的方法的可行性提供经验证据。
2017-05-07 cs.LG
Logo Generation Using Regional Features: A Faster R-CNN Approach to Generative Adversarial Networks
CitAI Research Center(CitAI研究中心);University of London(伦敦大学)
在本文中,我们介绍了本地标志生成对抗网络(LL-GAN),它使用从Faster R-CNN中提取的区域特征来生成标志。我们展示了这种方法的优势,通过在一个风格丰富的小数据集上训练框架来生成新的重金属标志。LL-GAN实现了5.29的初始得分和223.94的Frechet初始距离,改进了最先进的模型StyleGAN 2和Self-Attention GAN。
2021-10-02 cs.AI cs.CV cs.GR
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo(奥斯陆大学)
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务,利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382,F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络(O-GANs)。我们将编码器的网络进行正交分解,并在普通GANs的目标中添加额外的损失,这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中,并且几乎没有增加计算量。此外,我们讨论了我们的方法的原则,这是相对于充分利用剩余的自由度的时间。正如我们所知,我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
ECG-Adv-GAN: Detecting ECG Adversarial Examples with Conditional Generative Adversarial Networks
University of Nevada, Reno(内华达大学雷诺分校);Deakin University(迪肯大学)
心电图(ECG)采集需要一个自动化系统和分析管道,以了解特定的心律失常。深度神经网络已经成为追踪ECG信号的流行技术,其性能超过了人类专家。尽管如此,卷积神经网络容易受到对抗性样本的影响,这些样本可能会对ECG信号进行错误分类,并降低模型的精度。此外,它们在分布外数据集上的推广效果不好。GAN架构已在最近的工作中被用于合成对抗性ECG信号以增加现有的训练数据。然而,他们使用一个脱节的基于CNN的分类架构来检测心律失常。到目前为止,还没有提出可以同时检测对抗性样本和分类心律失常的通用架构。为了缓解这一问题,我们提出了一种新的条件生成对抗网络,以同时生成不同类别的ECG信号并检测心脏异常。此外,该模型以特定类别的ECG信号为条件,以合成现实的对抗性示例。因此,我们比较了我们的架构,并通过对真实世界和对抗性信号进行基准测试,展示了它在正常/异常ECG信号检测中优于其他分类模型。
2021-10-19 cs.LG
Ambient Hidden Space of Generative Adversarial Networks
Huawei Technologies Noah’s Ark Lab(华为技术诺亚方舟实验室);National University of Singapore(新加坡国立大学)
生成对抗模型是为各种任务在复杂分布中建模结构的强大工具。用于学习生成模型的当前技术需要访问具有高质量的样本,并且高级生成模型被应用于通过环境模块从噪声训练数据生成样本。然而,这些模仅对生成器的输出空间是实用的,它们在隐空间中的应用还没有得到很好的研究。本文将环境模块扩展到生成器的隐空间,并给出了对抗训练过程中环境隐生成器的唯一性条件和相应的策略。我们报告所提出的方法在基准数据集上的实用性。
2018-07-02 cs.AI cs.CV cs.LG
Autoencoding Generative Adversarial Networks
Flatland Data Solutions(Flatland数据解决方案公司)
自从Goodfellow等人引入生成对抗网络(GANs)以来,生成模型应用的广度和质量都出现了爆炸式增长。尽管做了这些工作,但GANs在主流采用之前还有很长的路要走,这主要是因为它们臭名昭著的训练不稳定性。在这里,我提出了自动编码生成对抗网络(AEGAN),这是一个四网络模型,它通过对生成的图像和生成的潜在向量应用对抗损失和重建损失来学习指定潜在空间和给定样本空间之间的双射映射。AEGAN技术对典型的GAN训练提供了若干改进,包括训练稳定性、模式崩溃预防以及允许在真实样本之间直接插值。该技术的有效性说明使用动漫人脸数据集。
2020-04-11 cs.LG stat.ML
Unsupervised Anomaly Detection and Localization with Generative Adversarial Networks
Nokia Bell Labs(诺基亚贝尔实验室);Nokia(诺基亚)
本文提出一种基于生成对抗网络和SOP频谱图的无监督异常检测方法,在海底和陆地光纤链路数据集上实现超过97%的准确率,无需标记数据。
2024-09-05 cs.LG eess.SP
Stabilizing Generative Adversarial Networks: A Survey
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
生成对抗网络(GANs)是一种生成模型,由于其对复杂现实世界数据建模的能力而受到广泛关注。尽管最近取得了成功,但训练GANs的过程仍然具有挑战性,存在不稳定性问题,如不收敛,梯度消失或爆炸,以及模式坍塌。近年来,已经提出了一组不同的方法,这些方法集中于稳定GAN训练过程。本调查的目的是提供一个全面的概述GAN训练稳定的方法,可以在文献中找到。我们讨论了每种方法的优点和缺点,提供了一个比较总结,最后讨论了开放的问题。
2020-03-24 cs.LG
Composite Functional Gradient Learning of Generative Adversarial Models
RJ Research Consulting(RJ研究咨询公司);Tencent AI Lab(腾讯人工智能实验室)
本文首先提出了一种不依赖于传统极大极小公式的生成对抗方法理论。它表明,利用强的梯度,可以学习好的生成器,使得真实数据和生成数据的分布之间的库尔贝克-莱布勒散度在每个函数梯度步骤之后改善,直到它收敛到零。在此基础上,提出了一种新的稳定的生成式对抗方法。从这个新的角度对原始的GAN也提供了一个理论上的见解。图像生成实验表明了该方法的有效性。
2018-06-08 cs.LG stat.ML
Calibrating Energy-based Generative Adversarial Networks
Carnegie Mellon University(卡内基梅隆大学);Maluuba Research(Maluuba研究院);Université de Montréal(蒙特利尔大学)
在本文中,我们提出了一种新的生成对抗网络(生成对抗网络),使其具有直接估计样本能量的能力,并提出了一种灵活的对抗训练框架,证明了该框架不仅能保证生成器收敛到真实的数据分布,而且能使生成器保持全局最优的密度信息。导出了诱导解的解析形式,并分析了其性质。为了使所提出的框架在实践中可训练,我们引入了两个有效的近似技术。实验结果与理论分析吻合较好,验证了该算法能够有效地恢复数据分布的能量。
2017-02-24 cs.LG
Generative Adversarial Parallelization
AIFounded Inc.(AIFounded公司);University of Guelph(圭尔夫大学)
生成对抗网络由于其直观的表述方式,已经成为无监督学习研究最多的框架之一。它们也被证明能够在有限的领域(如低分辨率图像)中生成令人信服的示例。然而,他们仍然证明很难在实践中训练,并往往忽视数据生成分布的模式。量化捕获效果,如模式覆盖率和更一般的生成模型的质量仍然难以捉摸。我们提出了生成式对抗神经元化,这是一个框架,在这个框架中,许多GANs或它们的变体同时被训练,交换它们的判别器。这消除了发生器和振荡器之间的紧密耦合,从而改善了收敛性和模式覆盖范围。我们还提出了最近提出的生成对抗度量的改进变体,并展示了它如何在GAP模型下对单个GANs或其集合进行评分。
2016-12-13 cs.LG stat.ML
Selective Sampling and Mixture Models in Generative Adversarial Networks
University of Stuttgart(斯图加特大学)
在本文中,我们提出了对抗训练框架的多生成器扩展,其中每个生成器的目标是表示目标混合分布的唯一分量。在训练阶段,生成器合作以将目标分布表示为混合物,同时保持不同的流形。与传统的生成模型相反,在训练后从特定生成器进行的推断类似于从目标分布中的唯一分量进行的选择性采样。我们证明了所提出的架构的可行性分析和基本的多层感知器(MLP)模型上训练的MNIST数据集。
2018-02-02 cs.LG
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg(弗赖堡大学)
在本文中,我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数,该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息,以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络(GAN)框架的自然推广,或者作为正则化信息最大化(RIM)框架的扩展,以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络(或CatGAN)-在合成数据以及具有挑战性的图像分类任务上,证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度,并确定了CatGAN目标和判别聚类算法(如RIM)之间的联系。
2016-04-30 cs.LG stat.ML
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater(威斯康星大学白水分校)
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题,我们可以更好地理解生成的作品所需的参数,这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
Labeled Graph Generative Adversarial Networks
Virginia Tech(弗吉尼亚理工大学);Tufts University(塔夫茨大学)
\emph{generative adversarial networks}(GANs)作为一种新的生成模型训练方法,在图像生成方面取得了巨大的成功。这个框架最近也被应用于具有图形结构的数据。我们提出了标记图生成对抗网络(LGGAN)来训练具有节点标签的图结构数据的深度生成模型。我们在各种类型的图形数据集上测试了该方法,例如引文网络和蛋白质图的集合。实验结果表明,该模型能够生成与训练数据结构特征相匹配的标记图,在质量和通用性上优于其他方法。为了进一步评估生成的图的质量,我们将它们用于图分类的下游任务,结果表明LGGAN可以忠实地捕获图结构的重要方面。
2021-02-25 cs.LG stat.ML
Generative Adversarial Trainer: Defense to Adversarial Perturbations with GAN
Seoul National University(首尔国立大学)
本文提出利用生成对抗网络交替训练生成器和分类器,以增强神经网络对对抗扰动的鲁棒性,并在CIFAR数据集上显著降低泛化误差,优于Dropout等正则化方法。
2023-07-04 cs.LG stat.ML
Generative Adversarial Network for Handwritten Text
Zhejiang University(浙江大学);Microsoft Cloud & AI(微软云与AI)
生成对抗网络(GANs)在图像处理的各种应用中已经证明是非常成功的。然而,由于卷积神经网络(CNN)难以处理连续的手写数据,手写生成对抗网络相对较少。在本文中,我们提出了一个手写生成对抗网络框架(HWGANs)合成手写笔画数据。新框架的主要特征包括:(i)一个由集成的CNN-长短期记忆(LSTM)为基础的特征提取与路径签名特征(PSF)作为输入和前馈神经网络(FNN)为基础的二进制分类器组成的分类器;(ii)一个循环潜在变量模型作为生成器,用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比,HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
Generating protein sequences from antibiotic resistance genes data using Generative Adversarial Networks
SRM Institute of Science and Technology(SRM科学技术学院)
我们介绍了一种方法,以产生合成的蛋白质序列,预测是耐某些抗生素。我们使用6,023个基因,这些基因被预测在人类肠道的肠道区域对抗生素具有耐药性,并作为Wasserstein生成对抗网络(W-GAN)的输入对原始生成对抗模型的变体进行建模,该模型在模仿真实数据的分布时被认为是有效的,以便生成风格类似于作为训练数据输入的原始数据
2019-04-28 cs.LG q-bio.GN
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China(电子科技大学)
我们研究了基于生成对抗网络(GANs)的图像多模态生成建模问题。尽管现有的方法取得了成功,但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题,我们引入狄利克雷先验的多模态图像生成,这导致了一个新的潜在狄利克雷分配的GAN(LDAGAN)。详细地,对于生成过程建模,LDAGAN为每个样本定义生成模式,确定其属于哪个生成子过程。对于对抗训练,LDAGAN推导出一种变分期望最大化(VEM)算法来估计模型参数。在真实数据集上的实验结果表明,LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research(谷歌研究院)
我们研究生成对抗网络(GANs)中的欠拟合和过拟合,使用生成器看不到的鉴别器来测量泛化。我们发现,模型的容量的控制器有一个显着的影响,对发电机的模型质量,和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反,我们发现,相对于CIFAR10,CIFAR100和CelebA,具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models
University Of Pretoria(比勒陀利亚大学)
音乐创作是一种在最少或没有人为干预的情况下创作音乐作品的方式。虽然递归神经网络传统上被应用于许多序列到序列的预测任务,包括音乐创作的成功实现,但其基于输入到输出映射的标准监督学习方法导致缺乏音符多样性。因此,这些模型可能被视为不适合诸如音乐生成之类的任务。生成对抗网络学习数据的生成分布,并产生不同的样本。这项工作实现并比较了递归神经网络音乐作曲家在数据库上的对抗性和非对抗性训练。由此产生的音乐样本由人类听众评估,他们的偏好被记录下来。评估表明,对抗性训练产生更美观的音乐。
2022-11-01 cs.LG cs.SC cs.SD
Generative Adversarial Stacked Autoencoders
Coventry University(考文垂大学);LatinX in AI
生成对抗网络(GANs)已成为图像生成任务的主导。他们的成功归功于训练制度,它采用了两种模式:一个发电机G和CNOD,在一个极小极大零和游戏的竞争。尽管如此,GANs由于其对超参数和参数初始化的敏感性而难以训练,这通常会导致梯度消失、不收敛或模式坍塌,其中生成器无法创建具有不同变化的样本。在这项工作中,我们提出了一种新的生成对抗堆叠卷积自动编码器(GASCA)模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG(拜耳公司)
生成对抗网络(GANs)是生成任务的强大框架。然而,它们难以训练,并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示,但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络(IVE-GANs),这是一种新的GAN框架,它通过利用数据中对某些变换不变的特征,为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间,因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集,包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
Generative Adversarial Networks: recent developments
Wrocław University of Science and Technology(弗罗茨瓦夫科技大学);Tooploox Ltd.(图普洛克斯有限公司)
在传统的生成式建模中,良好的数据表示通常是良好的机器学习模型的基础。它可以链接到编码更多隐藏在原始数据中的解释性因素的良好表示。随着生成对抗网络(GANs)的发明,生成模型的一个子类,能够以无监督和半监督的方式学习表示,我们现在能够从简单的先验分布到目标数据分布的良好映射。本文概述了GANs的最新发展,重点是学习潜在空间表示。
2019-03-16 cs.CV cs.LG stat.ML
Towards Principled Methods for Training Generative Adversarial Networks
Courant Institute of Mathematical Sciences(库朗数学科学研究所);Facebook AI Research(Facebook人工智能研究院)
本文的目标不是介绍一种算法或方法,而是为全面理解生成对抗网络的训练动态提供理论基础。为了证实我们的理论分析,我们进行了有针对性的实验,以验证我们的假设,说明我们的主张,并量化的现象。本文共分为三个部分。第一部分介绍了当前的问题。第二部分致力于研究和严格证明生成对抗网络训练时出现的问题,包括不稳定性和饱和度。第三部分探讨了解决这些问题的实际和理论基础的方向,同时引入新的工具来研究它们。
2017-01-17 cs.LG stat.ML
Scalable Unbalanced Optimal Transport using Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院)
生成对抗网络(GANs)是一类表现力很强的神经生成模型,在建模高维连续度量方面取得了巨大成功。在本文中,我们提出了一个可扩展的方法,不平衡的最佳运输(OT)的基础上生成的对抗框架。我们制定不平衡OT作为一个问题,同时学习的运输地图和缩放因子,推动源措施的目标措施,以成本最优的方式。此外,我们提出了一种基于随机交替梯度更新的算法来解决这个问题,在实践中类似于GANs。我们还为这种公式提供了理论依据,表明它与Liero等人(2018)的现有静态公式密切相关,并进行了数值实验,证明了这种方法如何应用于人口建模。
2019-08-04 cs.LG stat.ML
Generative adversarial networks for generation and classification of physical rehabilitation movement episodes
University of Idaho(爱达荷大学)
本文提出了一种方法,通过使用人工神经网络的物理治疗过程中进行的患者运动情节相关的人体运动的数学建模。采用生成对抗网络结构,由此以对抗方式同时训练判别模型和生成模型。不同的网络架构进行了检查,与歧视性和生成模型结构的深层子网络的隐藏层组成的卷积或循环计算单元。该模型进行了验证的数据集上的人体运动记录与光学运动跟踪器。结果表明,新的运动实例的分类的网络的能力,并生成类似于所记录的运动序列的运动示例。
2018-12-15 cs.LG stat.ML
Adversarial Machine Learning And Speech Emotion Recognition: Utilizing Generative Adversarial Networks For Robustness
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);University of Southern Queensland(南昆士兰大学)
深度学习无疑为最先进的语音情感识别(SER)系统的性能提供了巨大的改进。然而,最近对对抗性示例的研究对SER系统的鲁棒性提出了巨大的挑战,因为它们只依赖于小而不可感知的扰动,因此显示了深度神经网络对对抗性示例的敏感性。在这项研究中,我们评估了如何对抗的例子可以用来攻击SER系统,并提出了第一个黑盒对抗攻击SER系统。我们还探索了潜在的防御措施,包括对抗训练和生成对抗网络(GAN),以增强鲁棒性。实验评估表明,有效利用对抗性示例的各个有趣方面有助于实现SER系统的鲁棒性,为研究人员在这一领域进一步创新提供了机会。
2018-12-30 cs.CR cs.LG eess.SP
Evolutionary Generative Adversarial Networks with Crossover Based Knowledge Distillation
Jilin University(吉林大学)
生成对抗网络(GAN)是一种对抗模型,它已被证明是有效的各种生成任务。然而,GAN及其变体也遭受许多训练问题,例如模式坍塌和梯度消失。在本文中,我们首先提出了一个通用的交叉算子,它可以广泛应用于GANs使用进化策略。在此基础上设计了一个进化GAN框架C-GAN,并将交叉算子与进化生成对抗网络(EGAN)相结合,实现了带交叉的进化生成对抗网络(CE-GAN)。在使用多种损失函数作为变异算子生成变异个体的前提下,对生成的样本进行评价,并允许变异个体以知识蒸馏的方式从输出中学习经验,模仿最佳输出结果,产生更好的后代。然后,我们选择了最好的后代作为父母,为后续的训练,使用神经网络作为评估器。在真实数据集上的实验证明了CE-GAN的有效性,并表明我们的方法在生成的图像质量和时间效率方面具有竞争力。
2021-07-19 cs.LG cs.NE
Graphical Generative Adversarial Networks
Tsinghua University(清华大学);University of Amsterdam(阿姆斯特丹大学);Canadian Institute for Advanced Research(加拿大高等研究院)
我们提出了图形生成对抗网络(Graphical-GAN)来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播(EP)算法学习的生成模型和识别模型联合。最后,我们提出了两个重要的图形-GAN的实例,即高斯混合GAN(GM GAN)和状态空间GAN(SS GAN),它们可以成功地学习离散和时间结构的视觉数据集,分别。
2018-12-12 cs.CV cs.LG stat.ML