Analyzing the Components of Distributed Coevolutionary GAN Training
Massachusetts Institute of Technology(麻省理工学院)
分布式协同进化生成对抗网络(GAN)训练在克服GAN训练病态方面已经取得了经验性的成功。这主要是由于在培训过程中的发电机和歧视的人口多样性的维护。这里研究的方法coevolves子种群的每个单元格的空间网格组织成重叠的摩尔邻里。我们调查的两个算法组件,影响协同进化过程中的多样性的性能的影响:基于性能的选择/更换内每个子种群和通信通过迁移的解决方案(网络)之间重叠的邻居。在MNIST数据集上的实验中,我们发现这两个组件的组合提供了最好的生成模型。此外,在子群体中不应用选择的迁移解决方案实现了竞争结果,而在细胞之间没有通信的选择降低了性能。
2020-08-03 cs.DC cs.LG cs.NE
Multi-population GAN Training: Analyzing Co-Evolutionary Algorithms
本文实证比较了多种协同进化GAN训练策略,发现完全代际替换(μ,λ)在样本质量和多样性上优于精英保留方法,为设计更有效的基于种群的生成模型提供了指导。
2025-07-17 cs.NE
Spiking Generative Adversarial Network with Attention Scoring Decoding
本文率先构建了处理复杂图像的脉冲生成对抗网络,通过引入Earth-Mover距离和基于注意力的加权解码方法解决域外与时间不一致性问题,在多个数据集上优于现有方法且更贴近类脑信息处理模式。
2023-05-19 cs.NE
Parallel/distributed implementation of cellular training for generative adversarial neural networks
生成对抗网络(GANs)被广泛用于学习生成模型。GANs由两个网络组成,一个生成器和一个自适应器,它们应用对抗学习来优化它们的参数。本文提出了一种并行/分布式实现的细胞竞争协同进化方法训练两个种群的GANs。提出了一种适用于高性能/超级计算中心的分布式存储并行实现方案。高效的结果报告解决生成的手写数字(MNIST数据集样本)。此外,所提出的实现是能够减少训练时间和规模适当考虑不同的网格大小的训练。
2020-08-03 cs.DC cs.NE
CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution
本文提出CCSRP方法,通过协同协同进化将SNNs鲁棒剪枝建模为三目标优化问题,在保持精度与鲁棒性的同时自动实现紧凑化,并在CIFAR-10和SVHN上达到或超越现有方法性能。
2024-07-18 cs.AI cs.CV cs.NE
Lipizzaner: A System That Scales Robust Generative Adversarial Network Training
MIT(麻省理工学院)
GANs由于诸如模式和伪随机崩溃之类的收敛病态而难以训练。我们介绍Lipizzaner,一个开源软件系统,允许机器学习工程师以分布式和健壮的方式训练GANs。Lipizzaner分发了一种竞争性协同进化算法,该算法凭借双重、自适应、生成器和鉴别器种群,对崩溃具有鲁棒性。该算法非常适合于有效的分布,因为它使用了空间网格抽象。训练是每个单元的本地训练,并且在重叠的邻域之间交换强大的中间训练结果,从而允许高性能解决方案通过更多轮训练来传播和改进。在普通图像数据集上的实验克服了临界崩溃。当计算实例的数量增加时,通信开销线性扩展,我们观察到增加规模会提高模型性能。
2018-11-30 cs.LG cs.NE
Evolutionary Generative Adversarial Networks with Crossover Based Knowledge Distillation
Jilin University(吉林大学)
生成对抗网络(GAN)是一种对抗模型,它已被证明是有效的各种生成任务。然而,GAN及其变体也遭受许多训练问题,例如模式坍塌和梯度消失。在本文中,我们首先提出了一个通用的交叉算子,它可以广泛应用于GANs使用进化策略。在此基础上设计了一个进化GAN框架C-GAN,并将交叉算子与进化生成对抗网络(EGAN)相结合,实现了带交叉的进化生成对抗网络(CE-GAN)。在使用多种损失函数作为变异算子生成变异个体的前提下,对生成的样本进行评价,并允许变异个体以知识蒸馏的方式从输出中学习经验,模仿最佳输出结果,产生更好的后代。然后,我们选择了最好的后代作为父母,为后续的训练,使用神经网络作为评估器。在真实数据集上的实验证明了CE-GAN的有效性,并表明我们的方法在生成的图像质量和时间效率方面具有竞争力。
2021-07-19 cs.LG cs.NE
On the Performance of Generative Adversarial Network (GAN) Variants: A Clinical Data Study
Korea University(高丽大学);Georgia Institute of Technology(佐治亚理工学院);Case Western Reserve University(凯斯西储大学);University of Central Florida(中佛罗里达大学)
生成对抗网络(GAN)是一种有用的神经网络类型,用于各种类型的应用,包括生成模型和特征提取。各种类型的GANs正在以不同的见解进行研究,从而产生了各种各样的GANs家族,每一代都有更好的性能。本文重点介绍了各种GANs的共同特征分类。
2020-09-21 cs.AI cs.LG cs.NE
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater(威斯康星大学白水分校)
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题,我们可以更好地理解生成的作品所需的参数,这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Evolutionary Generative Adversarial Networks
University of Technology Sydney(悉尼科技大学);The University of Sydney(悉尼大学);Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学)
生成对抗网络(GAN)对于学习真实世界数据的生成模型是有效的。然而,现有的GANs(GAN及其变体)往往会遭受训练问题,例如不稳定性和模式坍塌。在本文中,我们提出了一种新的GAN框架,称为进化生成对抗网络(E-GAN),用于稳定的GAN训练和改进的生成性能。与现有的GANs不同,GANs采用预定义的对抗目标函数交替训练生成器和训练器,我们利用不同的对抗训练目标作为变异操作,并进化生成器群体以适应环境(即,的)。我们还利用评估机制来衡量生成的样本的质量和多样性,以便只保留性能良好的生成器并用于进一步的训练。通过这种方式,E-GAN克服了个体对抗训练目标的局限性,并始终保留最佳后代,有助于GANs的进步和成功。在多个数据集上的实验表明,E-GAN实现了令人信服的生成性能,并减少了现有GANs中固有的训练问题。
2018-03-01 cs.LG cs.NE stat.ML
Generative Multi-Adversarial Networks
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
生成对抗网络(GANs)是一种通过两人极大极小博弈生成生成模型的框架。在本文中,我们提出了\emph{Generative Multi-Adversarial Network}(GMAN),这是一个将GANs扩展到多个鉴别器的框架。在以前的工作中,GANs的成功训练需要修改极大极小目标以加速早期训练。相比之下,GMAN可以使用原始的未篡改目标进行可靠的训练。我们探索了一些设计的角度与角色,从强大的对手到宽容的老师。图像生成任务将所提出的框架与标准GANs进行比较,表明GMAN在通过成对GAM类型度量进行测量时,在一小部分迭代中产生更高质量的样本。
2017-03-02 cs.LG cs.MA cs.NE
Generative Adversarial Source Separation
UIUC(伊利诺伊大学厄巴纳-香槟分校);Adobe Systems(Adobe系统公司)
生成式声源分离方法,如非负矩阵分解(NMF)或自动编码器,依赖于输出概率密度的假设。生成对抗网络(GANs)可以学习数据分布,而无需对输出密度进行参数假设。我们在语音声源分离实验中表明,用Wasserstein-GAN公式训练的多层感知器在源失真比方面优于NMF,用最大似然训练的自动编码器和变分自动编码器。
2017-10-30 cs.LG cs.NE cs.SD
AM-DCGAN: Analog Memristive Hardware Accelerator for Deep Convolutional Generative Adversarial Networks
生成对抗网络(GAN)是一种众所周知的计算复杂的算法,在软件实现中需要大量的计算资源,包括大量的待训练数据。这使得它在具有传统微处理器硬件的边缘设备中的实现是一项缓慢而困难的任务。在本文中,我们提出了加速计算密集型GAN使用忆阻神经网络在模拟域。我们提出了一种基于CMOS忆阻卷积和解卷积网络的深度卷积GAN(DCGAN)的完全模拟硬件设计,使用180 nm CMOS工艺模拟。
2020-06-20 cs.ET cs.NE eess.SP
Flow-GAN: Combining Maximum Likelihood and Adversarial Learning in Generative Models
Stanford University(斯坦福大学)
概率模型的对抗学习最近已经成为最大似然的一种有前途的替代方案。与通过最大似然训练的显式模型相比,生成对抗网络(GAN)等隐式模型通常会生成更好的样本。然而,GANs回避了显式密度的表征,这使得定量评估具有挑战性。为了弥合这一差距,我们提出了Flow-GAN,这是一种生成对抗网络,我们可以对其进行精确的似然评估,从而支持对抗和最大似然训练。当进行逆向训练时,Flow-GAN生成高质量的样本,但获得极差的对数似然分数,甚至不如记忆训练数据的混合模型;当通过最大似然训练时,情况正好相反。MNIST和CIFAR-10上的结果表明,混合训练可以获得高的保持概率,同时保持生成的样本的视觉保真度。
2018-01-03 cs.AI cs.LG cs.NE
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego(加州大学圣地亚哥分校)
生成对抗网络(GANs)将潜在向量转换为视觉上合理的图像。通常认为,原始的GAN公式没有给出开箱即用的方法来反转映射,将图像投影回潜在空间。我们介绍一个简单的,基于梯度的技术称为随机裁剪。在实验中,对于由GAN生成的图像,我们100%准确地恢复了它们的潜在向量前图像。实验结果表明,该方法对噪声具有较好的鲁棒性.最后,我们表明,即使是看不见的图像,我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Learning to Repair Software Vulnerabilities with Generative Adversarial Networks
Draper(德雷珀实验室);Boston University(波士顿大学);Lightmatter(光物质公司)
出于自动修复软件漏洞的问题,我们提出了一个对抗性的学习方法,从一个离散的源域映射到另一个目标域,而不需要成对的标记的例子或源和目标域是双射。我们证明了所提出的对抗性学习方法是修复软件漏洞的有效技术,其性能接近需要标记对的seq2seq方法。所提出的生成对抗网络方法是应用不可知的,因为它可以应用于类似于代码修复的其他问题,例如语法校正或情感翻译。
2018-10-28 cs.CL cs.LG cs.NE