Potential Flow Generator with $L_2$ Optimal Transport Regularity for Generative Models
Brown University(布朗大学)
我们提出了一个具有$L_2$最优传输规律的势流生成器,它可以很容易地集成到各种生成模型中,包括不同版本的GANs和基于流的模型。我们显示的正确性和鲁棒性的势流发生器在几个二维问题,并说明了“接近”的概念,由于$L_2$最佳运输规则。随后,我们证明了潜在的流发生器在图像翻译任务中的有效性与未配对的训练数据从MNIST数据集和CelebA数据集。
2019-08-29 cs.CV cs.LG stat.ML
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST(韩国科学技术院);Asan Medical Center(峨山医学中心)
我们提出了非平衡GANs,它使用变分自编码器(VAE)预训练生成对抗网络(GAN)的生成器。我们保证稳定的训练的发生器,防止更快的收敛速度在早期时期。此外,我们在早期阶段在生成器和训练器之间进行平衡,从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集,发现不平衡的GANs减少了模式坍塌。我们还表明,不平衡的GANs在稳定的学习,更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Sample-Efficient Generation of Novel Photo-acid Generator Molecules using a Deep Generative Model
IBM Research(IBM研究院)
光酸产生剂(PAG)是当暴露于光时释放酸($H^+$离子)的化合物。这些化合物是用于制造半导体逻辑和内存芯片的光刻工艺的关键组分。对半导体需求的指数增长突出了发现新型光酸产生剂的必要性。虽然使用深度生成模型的从头分子设计已被广泛用于药物发现和材料设计,但将其应用于创建新型光酸产生剂带来了一些独特的挑战,例如缺乏属性标签。在本文中,我们强调了这些挑战,并提出了一种生成式建模方法,该方法利用预训练的深度自动编码器和专家在环技术的条件生成。在主题专家的帮助下评估了所提出的方法的有效性,表明这种方法在创建新型光酸发生器之外的应用前景。
2021-12-02 cs.LG physics.chem-ph
Investigating Under and Overfitting in Wasserstein Generative Adversarial Networks
Google Research(谷歌研究院)
我们研究生成对抗网络(GANs)中的欠拟合和过拟合,使用生成器看不到的鉴别器来测量泛化。我们发现,模型的容量的控制器有一个显着的影响,对发电机的模型质量,和发电机的性能差相吻合的控制器欠拟合。与我们的预期相反,我们发现,相对于CIFAR10,CIFAR100和CelebA,具有大模型容量的发电机没有表现出过拟合的证据。
2019-10-30 cs.LG stat.ML
Metropolis-Hastings Generative Adversarial Networks
Uber AI Labs(优步人工智能实验室)
我们介绍了Metropolis-Hastings生成对抗网络(MH-GAN),它结合了马尔可夫链蒙特卡罗和GANs的各个方面。MH-GAN从由GAN的鉴别器-生成器对隐式定义的分布中提取样本,而标准GANs从仅由生成器定义的分布中提取样本。它使用来自GAN训练的鉴别器来构建围绕生成器的包装器,以改进采样。使用完美的分布函数,即使生成器不完美,这个包装的生成器也会从数据的真实分布中进行采样。我们使用DCGAN,WGAN和渐进式GAN在多个基准数据集(包括CIFAR-10和CelebA)上展示了改进的生成器的好处。
2019-05-17 cs.LG stat.ML
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.(Preferred Networks 公司)
在本文中,我们提出了一个生成模型,时间生成对抗网络(TGAN),它可以学习未标记视频的语义表示,并能够生成视频。与现有的基于生成对抗网络(GAN)的方法不同,这些方法使用由3D去卷积层组成的单个生成器生成视频,我们的模型利用了两种不同类型的生成器:时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量,每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题,我们采用了最近提出的Wasserstein GAN模型,并提出了一种新的方法,以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Shared Loss between Generators of GANs
生成对抗网络是能够以高精度复制输入数据的隐式概率分布的生成模型。传统上,GANs由一个Generator和一个Discriminator组成,它们相互作用以产生高度真实的人工数据。传统的GANs会受到模式坍塌问题的困扰,这意味着它们无法生成输入数据集中存在的不同数据变化。最近,多个发生器已被用于通过减轻模式坍塌问题来产生更真实的输出。我们使用这个多生成器框架。本文的新颖之处在于使发电机相互竞争,同时与发电机相互作用。我们表明,这会导致GANs的训练时间大幅减少,而不会影响其性能。
2022-11-14 cs.AI cs.LG
Multi-Generator Generative Adversarial Nets
University of Massachusetts-Amherst(马萨诸塞大学阿默斯特分校);PRaDA Centre, Deakin University(迪肯大学PRaDA中心)
我们提出了一种新的方法来训练生成对抗网络(GANs)的混合发电机,以克服模式崩溃的问题。主要的直觉是采用多个生成器,而不是像原始GAN中那样使用单个生成器。这个想法很简单,但在覆盖不同的数据模式方面被证明是非常有效的,可以轻松克服模式坍塌并提供最先进的结果。极小极大公式能够以与GAN类似的精神在分类器、分类器和一组生成器之间建立。生成器创建旨在来自与训练数据相同的分布的样本,而分类器确定样本是真实数据还是由生成器生成的,并且分类器指定样本来自哪个生成器。其区别在于,内部样本是从多个生成器中创建的,然后其中一个将被随机选择作为最终输出,类似于概率混合模型的机制。我们称我们的方法混合GAN(MGAN)。通过理论分析证明,在平衡态下,各源分布的混合分布与经验分布之间的Jensen-Shannon散度(JSD)最小,而各源分布之间的JSD最大,从而有效地避免了模式坍塌.通过利用参数共享,我们提出的模型增加了最小的计算成本的标准GAN,因此也可以有效地扩展到大规模的数据集。我们对合成2D数据和自然图像数据库(CIFAR-10,STL-10和ImageNet)进行了广泛的实验,以证明我们的MGAN在最新基线上实现最先进的Inception分数方面的卓越性能,以不同的分辨率生成多样化和吸引人的可识别对象,并专门通过生成器捕获不同类型的对象。
2017-10-27 cs.AI cs.LG stat.ML
A Style-Based Generator Architecture for Generative Adversarial Networks
NVIDIA(英伟达)
我们提出了一种替代生成器架构的生成对抗网络,借用风格转移文献。新的体系结构导致自动学习的、无监督的高级属性分离(例如,在人脸上训练时的姿态和身份)和所生成的图像中的随机变化(例如,雀斑、头发),并且它能够实现对合成的直观的、尺度特定的控制。新的生成器改进了传统分布质量度量方面的最新技术,导致明显更好的插值特性,并且还更好地解开了潜在的变化因素。为了量化插值质量和解纠缠,我们提出了两种新的,自动化的方法,适用于任何发电机架构。最后,我们介绍了一个新的,高度多样化和高质量的人脸数据集。
2019-03-29 cs.LG cs.NE stat.ML
Selective Sampling and Mixture Models in Generative Adversarial Networks
University of Stuttgart(斯图加特大学)
在本文中,我们提出了对抗训练框架的多生成器扩展,其中每个生成器的目标是表示目标混合分布的唯一分量。在训练阶段,生成器合作以将目标分布表示为混合物,同时保持不同的流形。与传统的生成模型相反,在训练后从特定生成器进行的推断类似于从目标分布中的唯一分量进行的选择性采样。我们证明了所提出的架构的可行性分析和基本的多层感知器(MLP)模型上训练的MNIST数据集。
2018-02-02 cs.LG
MGMD-GAN: Generalization Improvement of Generative Adversarial Networks with Multiple Generator Multiple Discriminator Framework Against Membership Inference Attacks
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出MGMD-GAN框架,通过多生成器与多判别器结合不相交训练数据分区学习混合分布,缩小泛化差距,从而有效提升模型对抗成员推理攻击的安全性。
2024-10-10 cs.LG
Toward Spatially Unbiased Generative Models
Seoul National University(首尔国立大学);Samsung SDS(三星SDS)
最近的图像生成模型显示出显着的生成性能。然而,它们反映了数据集中强烈的位置偏好,我们称之为空间偏差。因此,生成器在不可见的位置和比例处渲染较差的采样。我们认为,生成器依赖于他们的隐式位置编码渲染空间内容。根据我们的观察,生成器的隐式位置编码是可变的,使得生成器在空间上有偏差。为了解决这个问题,我们建议在生成器的每个尺度上注入显式位置编码。通过学习空间无偏生成器,我们促进了在多个任务中的生成器的鲁棒使用,例如GAN反演、多尺度生成、任意尺寸和纵横比的生成。此外,我们表明,我们的方法也可以适用于去噪扩散概率模型。
2021-08-03 cs.CV cs.LG
Unrolled Generative Adversarial Networks
Google Brain(谷歌大脑);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
我们引入了一种方法来稳定生成对抗网络(GANs),通过定义生成器目标相对于展开的优化。这允许在使用生成器的目标中的最优的最小值(这是理想的,但在实践中是不可行的)和使用最小值的当前值(这通常是不稳定的,并且导致差的解决方案)之间调整训练。我们展示了这种技术如何解决模式坍塌的常见问题,使用复杂的递归生成器稳定GANs的训练,并通过生成器增加数据分布的多样性和覆盖范围。
2017-05-12 cs.LG stat.ML
Generative networks as inverse problems with Scattering transforms
École normale supérieure(巴黎高等师范学院);Collège de France(法兰西公学院);PSL Research University(PSL研究大学);Paris, France(75005巴黎,法国)
生成对抗网络(GANs)和变分自动编码器(VAE)从高斯白噪声中生成令人印象深刻的图像,但底层数学还没有得到很好的理解。我们通过反转固定嵌入算子来计算深度卷积网络生成器。因此,它们不需要使用解码器或编码器进行优化。嵌入是Lipschitz连续的变形,使发电机转换输入白噪声向量之间的线性插值到输出图像之间的变形。这种嵌入是用小波散射变换计算的。数值实验表明,所得的散射发生器具有与GANs或VAE相似的特性,而无需学习判别网络或编码器。
2018-05-17 cs.AI cs.LG stat.ML
On the Generalization Limits of Quantum Generative Adversarial Networks with Pure State Generators
Department of Computer Science and Research Initiative QC-AI(计算机科学系和QC-AI研究计划);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道大学);Embedded Intelligence(嵌入式智能);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Department of Artificial Intelligence(人工智能系);Korea University(韩国大学);Department of Physics(物理系)
本研究探讨了量子生成对抗网络在纯态生成器中的泛化极限,推导出判别器质量的理论下限,揭示了现有量子生成模型在泛化能力上的根本挑战。
2026-03-04 cs.LG quant-ph
Generative AI to Generate Test Data Generators
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文评估生成式AI在不同领域生成测试数据的能力,设计了三种集成级别的提示,实验表明LLMs能在11个领域成功生成逼真的测试数据生成器。
2024-06-14 cs.AI cs.LG cs.SE
Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets
Sichuan University(四川大学)
GANs的逆映射生成对抗网络(Generative Adversarial Nets)生成器具有很大的潜在价值。因此,人们已经开展了一些工作,通过直接学习或对抗学习来构造生成器的逆函数。虽然结果令人鼓舞,但该问题具有很高的挑战性,并且现有的GANs逆模型训练方法存在许多缺点,例如训练困难或性能差。由于这些原因,我们提出了一种新的方法,基于使用逆生成器($IG$)模型作为编码器和预训练生成器($G$)作为AutoEncoder网络的解码器来训练$IG$模型。在该模型中,AutoEncoder的输入和输出之间的差异被直接最小化,输入和输出都是预训练的GAN的生成器生成的图像。该优化方法克服了非一一对应函数的训练和逆模型的困难,并将GANs生成器的逆模型应用于图像搜索和翻译,实验结果表明,该方法在图像搜索中的效果优于传统方法。
2017-09-12 cs.LG
GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);University of Waterloo(滑铁卢大学)
神经架构可以自然地被视为计算图。出于这种观点,在本文中,我们通过学习随机图模型的镜头来研究神经架构搜索(NAS)。与现有的NAS方法相比,这些方法主要集中在搜索单个最佳架构,即点估计,我们提出了GraphPNAS一种深度图生成模型,可以学习性能良好的架构的分布。依靠图神经网络(GNNs),我们的GraphPNAS可以更好地捕捉良好神经架构的拓扑结构和其中运算符之间的关系。此外,我们的图生成器导致了一种可学习的概率搜索方法,比常用的RNN生成器和随机搜索方法更灵活,更有效。最后,我们通过一个有效的强化学习公式NAS学习我们的生成器。为了评估我们的GraphPNAS的有效性,我们在三个搜索空间上进行了广泛的实验,包括TinyImageNet上具有挑战性的RandWire,CIFAR 10上的ENAS和NAS-Bench-101/201。RandWire的复杂性明显大于文献中的其他搜索空间。我们表明,我们提出的图形生成器始终优于基于RNN的图形生成器,并且比最先进的NAS方法具有更好或相当的性能。
2022-11-28 cs.AI cs.LG
Aligning Few-Step Generative Models by Amortizing Sample-based Variational Inference
KAIST(韩国科学技术院);MongooseAI;Mila – Quebec AI Institute(魁北克AI研究院);University of Edinburgh(爱丁堡大学);Université de Montréal(蒙特利尔大学);Omelet
提出FAV框架,利用Stein变分梯度下降进行基于样本的变分推断,并通过固定点回归将粒子更新摊销到生成器参数中,实现对少步生成模型的对齐,在机器人操作和图像生成任务中优于现有方法。
2026-05-27 cs.AI cs.LG
Emergence of Object Segmentation in Perturbed Generative Models
University of Bern(伯尔尼大学)
我们引入了一个新的框架来构建一个模型,该模型可以学习如何在没有任何人工注释的情况下从图像集合中分割对象。我们的方法建立在观察对象段的位置可以扰动本地相对于一个给定的背景,而不影响场景的真实感。我们的方法是首先训练一个分层场景的生成模型。分层表示由背景图像、前景图像和前景的掩模组成。然后通过将掩蔽的前景图像叠加到背景上来获得合成图像。生成模型是以对抗的方式训练的,这迫使生成模型产生逼真的合成图像。为了迫使生成器学习前景层对应于对象的表示,我们通过引入前景图像和掩模相对于背景的随机移位来扰动生成模型的输出。由于生成器在计算其输出之前不知道偏移,因此它必须生成对任何此类随机扰动都是现实的分层表示。最后,我们通过定义一个由编码器组成的自动编码器来学习分割图像,我们训练编码器,并将预训练的生成器作为解码器,我们冻结。编码器将图像映射到特征向量,该特征向量作为输入馈送到生成器以给出与原始输入图像匹配的合成图像。因为生成器输出场景的显式分层表示,编码器学习检测和分割对象。我们证明了这个框架上的几个对象类别的真实图像。
2019-11-02 cs.AI cs.CV cs.LG
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN), Multi Class Scenarios
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
条件生成器学习多类场景中每个类的数据分布,并在给定潜在空间的正确输入的情况下为特定类生成样本。在这项工作中,被称为“多功能辅助分类器与生成对抗网络“的多类场景的方法。在这种技术中,生成对抗网络(GAN)的生成器通过将多类分类器与PNN网络并行放置并通过生成器反向传播分类错误而变成条件生成器。这种技术是通用的,足以应用于任何GAN实现。在两个数据库上的结果以及与其他方法的比较。
2018-06-19 cs.LG eess.IV stat.ML
A Kernelised Stein Statistic for Assessing Implicit Generative Models
University of Oxford(牛津大学)
合成数据生成已成为训练机器学习程序的关键要素,可以解决数据增强、分析隐私敏感数据或可视化代表性样本等任务。因此,必须解决评估这种合成数据生成器的质量问题。由于合成数据的(深度)生成模型通常不允许显式概率分布,因此用于评估模型拟合优度的经典统计程序可能不适用。在本文中,我们提出了一个原则性的程序来评估合成数据生成器的质量。该程序是一个核化的Stein差异(KSD)型测试,它是基于一个非参数的Stein算子的合成数据生成器的兴趣。该算子根据从合成数据生成器获得的样本进行估计,因此即使在模型仅为隐式时也可以应用。与经典测试相比,来自合成数据生成器的样本量可以如所期望的那样大,而生成器旨在模拟的观测数据的大小是固定的。在合成分布和真实数据集上训练生成模型的实验结果表明,与现有方法相比,该方法具有更好的功率性能。
2022-05-31 cs.LG stat.ML
Generative Distributionally Robust Optimization
Telfer School of Management, University of Ottawa(渥太华大学泰尔弗管理学院);Department of Electrical and Computer Engineering, Western University(西安大略大学电气与计算机工程系)
研究提出生成式分布鲁棒优化(GDRO)框架,接受可采样条件生成器为名义模型,通过采样器-辛科恩配对限制最坏情况法则,可直接有限样本近似和可微实现,相比名义决策降低了罕见上下文库存遗憾和SocialGAN导航碰撞。
2026-07-29 cs.AI cs.LG math.OC
Inducing Sparse Coding and And-Or Grammar from Generator Network
Harbin Engineering University(哈尔滨工程大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们引入了一个可解释的生成模型,通过对生成器网络的特征图进行稀疏操作。有意义的层次表示使用建议的生成模型与稀疏激活。从生成器网络的底层到顶层的卷积核可以逐层学习诸如边缘和颜色、对象部分和整个对象之类的基元。从生成器网络的角度,我们提出了一种方法,同时诱导稀疏编码和与或语法的图像。实验表明,我们的方法是能够学习有意义的和可解释的层次表示。
2019-01-20 cs.AI cs.CV cs.LG
Ambient Hidden Space of Generative Adversarial Networks
Huawei Technologies Noah’s Ark Lab(华为技术诺亚方舟实验室);National University of Singapore(新加坡国立大学)
生成对抗模型是为各种任务在复杂分布中建模结构的强大工具。用于学习生成模型的当前技术需要访问具有高质量的样本,并且高级生成模型被应用于通过环境模块从噪声训练数据生成样本。然而,这些模仅对生成器的输出空间是实用的,它们在隐空间中的应用还没有得到很好的研究。本文将环境模块扩展到生成器的隐空间,并给出了对抗训练过程中环境隐生成器的唯一性条件和相应的策略。我们报告所提出的方法在基准数据集上的实用性。
2018-07-02 cs.AI cs.CV cs.LG
Multiple Organ Failure Prediction with Classifier-Guided Generative Adversarial Imputation Networks
University of California, Santa Barbara(加州大学圣巴巴拉分校);UC, Davis Health(加州大学戴维斯分校医疗中心)
多器官功能衰竭(MOF)是重症监护病房(ICU)患者中的一种严重综合征,死亡率高。早期和精确的检测对于临床医生及时做出决定至关重要。将机器学习模型应用于电子健康记录(EHR)的一个重要挑战是缺失值的普遍存在。大多数现有的插补方法都涉及数据预处理阶段,无法捕捉数据和下游预测结果之间的关系。在本文中,我们提出了用于MOF预测的分类器引导的生成对抗性填补网络Classifier-GAIN,通过结合观察数据和标签信息来弥合这一差距。具体而言,分类器从生成器(输入器)获取输入值以预测任务结果,并通过联合训练向生成器提供额外的监督信号。分类器引导生成器在训练过程中使用标签意识来填补缺失值,从而提高分类器在推理过程中的性能。我们进行了大量的实验,表明我们的方法在一系列缺失数据场景和评估指标中始终优于经典和最先进的神经基线。
2021-06-22 cs.AI cs.LG
Generator Reversal
ETH Zurich(苏黎世联邦理工学院)
我们考虑用深度神经网络作为生成器来训练生成模型的问题,即将潜在代码映射到数据点。而占主导地位的范例结合了简单的先验代码与复杂的确定性模型,我们建议,而不是使用更灵活的代码分布。这些分布是通过在训练期间反转生成器映射来非参数化地估计的。好处包括:更强大的生成模型,更好的潜在结构建模和显式控制的泛化程度。
2017-07-28 cs.LG stat.ML
Triple Generative Adversarial Nets
Tsinghua University(清华大学)
生成对抗网络(GANs)在图像生成和半监督学习(SSL)中显示出了希望。然而,SSL中现有的GANs存在两个问题:(1)生成器和分类器(即分类器)可能不会同时是最优的;(2)生成器无法控制生成样本的语义。这些问题本质上是由两个玩家的公式产生的,其中一个单一的神经网络共享识别假样本和预测标签的不兼容的角色,它只估计数据而不考虑标签。为了解决这些问题,我们提出了三重生成对抗网络(Triple-GAN),它由三个参与者组成-生成器,分类器和分类器。生成器和分类器描述图像和标签之间的条件分布,而分类器只专注于识别虚假的图像标签对。我们设计兼容的实用程序,以确保分布特征的分类器和发电机都收敛到数据分布。我们在各种数据集上的结果表明,Triple-GAN作为一个统一的模型可以同时(1)在深度生成模型中实现最先进的分类结果,(2)通过在潜在空间类条件下插值,在数据空间中解开输入的类和样式并平滑地传输。
2017-11-05 cs.CV cs.LG
EGANS: Evolutionary Generative Adversarial Network Search for Zero-Shot Learning
Huazhong University of Science and Technology(华中科技大学);Nantong University(南通大学)
针对现有基于GAN的生成式零样本学习方法依赖手工模型、适配性差且不稳定的问题,提出EGANS框架,通过协同双进化机制自动搜索生成器与判别器架构,在多个标准数据集上显著提升了基线方法性能。
2023-08-19 cs.CV cs.LG
Generative UI: LLMs are Effective UI Generators
Google Research(谷歌研究院)
本文提出生成用户界面的概念,展示通过适当提示和工具,现代LLM能生成高质量的定制UI。尽管生成速度不计,人类更偏好其输出,且在50%的情况下与专家相当。同时发布PAGEN数据集以评估生成用户界面的实现。
2026-02-24 cs.AI cs.CL cs.HC
Versatile Auxiliary Classifier with Generative Adversarial Network (VAC+GAN)
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
人工智能中最有趣的挑战之一是训练条件生成器,这些条件生成器能够提供从特定分布中提取的标记对抗样本。在这项工作中,提出了一种新的框架,通过将分类器与鉴别器并行放置来训练深度条件生成器,并通过生成器网络反向传播分类误差。该方法是通用的,适用于生成对抗网络(GAN)实现的任何变化,并且与类似方法相比也给出了优越的结果。
2018-06-18 cs.CV cs.LG eess.IV
Bayesian Conditional Generative Adverserial Networks
The University of Adelaide(阿德莱德大学);Queensland University of Technology(昆士兰科技大学);CMU(卡内基梅隆大学)
传统的GANs使用确定性生成器函数(通常是神经网络)将随机噪声输入$z$转换为采样器试图区分的样本$\mathbf{x}$。我们提出了一种新的GAN,称为贝叶斯条件生成对抗网络(BC-GAN),它使用随机生成器函数将确定性输入$y'$转换为样本$\mathbf{x}$。我们的BC-GANs将传统的GANs扩展到贝叶斯框架,并自然地处理无监督学习,监督学习和半监督学习问题。实验表明,所提出的BC-GANs优于最先进的。
2017-06-17 cs.AI cs.LG stat.ML
Unifying GANs and Score-Based Diffusion as Generative Particle Models
Criteo AI Lab(Criteo人工智能实验室);LIGM(LIGM实验室);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);ETH Zürich(苏黎世联邦理工学院)
本文提出统一粒子与对抗生成模型的框架,将生成器训练视为粒子模型的推广,并验证了在扩散模型中集成生成器及无生成器训练GAN的可行性。
2023-12-21 cs.CV cs.LG cs.NE
Introspective Generative Modeling: Decide Discriminatively
UCSD(加州大学圣地亚哥分校)
我们通过开发内省生成建模(IGM)来研究无监督学习,IGM使用渐进学习的深度卷积神经网络来获得生成器。生成器本身是一个具有内省能力的学习器:能够自我评估其生成的样本与给定的训练数据之间的差异。当随后进行重复的判别学习时,现代判别分类器的期望属性直接由生成器继承。IGM使用分类合成算法学习CNN分类器的级联。在实验中,我们观察到令人鼓舞的结果,包括纹理建模,艺术风格转移,人脸建模,和半监督学习的应用。
2017-04-25 cs.CV cs.LG cs.NE
Distilling portable Generative Adversarial Networks for Image Translation
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Consumer Business Group(华为消费者业务集团);National Engineering Laboratory for Video Technology, Peking University(北京大学视频技术国家工程实验室);Peng Cheng Laboratory(鹏城实验室);The University of Sydney(悉尼大学)
尽管生成对抗网络(GANs)已被广泛用于各种图像到图像的翻译任务,但由于其计算和存储成本高,它们很难应用于移动设备。传统的网络压缩方法主要针对视觉识别任务,而没有处理生成任务。受知识蒸馏的启发,通过继承原重教师生成器的低级和高级信息,训练出一个参数较少的学生生成器。为了提高学生生成器的能力,我们包括一个学生测量器来测量真实图像之间的距离,学生和教师生成器生成的图像。因此,建立了一个对抗学习过程,以优化学生生成器和学生学习器。通过在基准数据集上进行定性和定量分析,表明该方法能够学习具有较强性能的可移植生成模型。
2020-03-07 cs.CV cs.LG eess.IV
A Unifying Generator Loss Function for Generative Adversarial Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出统一的α参数化生成器损失函数L_α-GAN,在最优判别器下最小化Jensen-f_α散度,统一了多种GAN变体,并在三个数据集上验证了性能。
2024-03-18 cs.LG
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research(IBM研究院)
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而,只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果,使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器:IBMWeathergen(Weathergen库的扩展)和RGeneratePrec,以及两个深度生成模型:GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
The Chamber Ensemble Generator: Limitless High-Quality MIR Data via Generative Modeling
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);University of Washington(华盛顿大学);Google Research(谷歌研究院)
数据是现代机器学习系统的生命线,包括音乐信息检索(MIR)系统。然而,MIR长期以来一直被小数据集和不可靠的标签所困扰。在这项工作中,我们建议使用生成建模来打破这一瓶颈。通过将音符的生成模型(在巴赫合唱团上训练的Coconet)与室内合奏的结构化合成模型(在URMP上训练的MIDI-DDSP)流水线化,我们展示了一个能够产生无限数量的具有丰富注释的逼真合唱音乐的系统,所述注释包括混音、词干、连音、音符级性能属性(断奏、颤音等),甚至是细粒度的合成参数(音调、幅度等)。我们称这个系统为腔室合奏生成器(CEG),并使用它来生成一个大的数据集chorales从四个不同的腔室合奏(CocoChorales)。我们证明,使用我们的方法生成的数据改进了最先进的音乐转录和声源分离模型,我们发布的系统和数据集作为开源的基础,为未来的工作在MIR社区。
2022-09-28 cs.IR cs.LG cs.SD
Searching towards Class-Aware Generators for Conditional Generative Adversarial Networks
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
条件生成对抗网络(cGAN)被设计为基于所提供的条件\eg、类级分布来生成图像。然而,现有的方法对所有类使用相同的生成架构。本文提出了一种新的思想,采用NAS为每个类找到一个不同的体系结构。搜索空间包含规则卷积和类调制卷积,其中后者被设计为引入类特定信息,同时避免减少每个类生成器的训练数据。搜索算法遵循混合架构优化的权重共享流水线,使得搜索成本不会随着类的数量而增长。为了学习采样策略,将马尔可夫决策过程嵌入到搜索算法中,并应用移动平均以获得更好的稳定性。我们在CIFAR10和CIFAR100上评估我们的方法。除了在FID分数方面实现更好的图像生成质量外,我们还发现了一些有助于设计cGAN模型的见解。代码可在https://github.com/PeterouZh/NAS_cGAN上获得。
2021-04-06 cs.CV cs.LG
Generative models with kernel distance in data space
处理建模联合数据分布的生成模型通常基于自动编码器或GAN。两者各有利弊,分别会产生模糊的图像或在训练中不稳定或容易出现模式坍塌现象。本文的目标是构建一个介于上述体系结构之间的~模型,该模型不继承它们的主要弱点。所提出的LCW发生器(潜在的Cramer-Wold发生器)类似于一个经典的GAN在转换高斯噪声到数据空间。最重要的是,LCW生成器使用核距离而不是~ Σ。没有使用对抗训练,因此命名为生成器。培训分两个阶段进行。首先,一个自动编码器为基础的架构,使用内核措施,建立了一个流形的数据模型。为了得到最终的模型,我们提出了一个将高斯映射到潜在的潜在技巧。这导致非常有竞争力的FID值。
2020-09-15 cs.CV cs.LG stat.ML
Disconnected Manifold Learning for Generative Adversarial Networks
Rutgers University(罗格斯大学);Verisk Analytics(Verisk分析公司)
自然图像可能位于不相交流形的并集上,而不是一个全局连接的流形上,这可能会给常见的生成对抗网络(GANs)的训练带来一些困难。在这项工作中,我们首先证明了单生成器GANs无法正确地对不连通流形上支持的分布进行建模,并研究了样本质量、模式丢弃和局部收敛如何受到影响。接下来,我们将展示如何使用一组生成器来解决这个问题,为这种多生成器GANs的成功提供新的见解。最后,我们解释了所造成的严重问题,考虑一个固定的先验以上的发电机的集合,并提出了一种新的方法来学习的先验和推断所需的发电机数量没有任何监督。我们提出的修改可以应用于任何其他GAN模型之上,以实现对不连通流形上支持的分布的学习。我们进行了几个实验来说明GANs的上述缺点,其在实践中的后果,以及我们提出的修改在缓解这些问题方面的有效性。
2019-01-10 cs.CV cs.LG stat.ML
Multi-Level Generative Models for Partial Label Learning with Non-random Label Noise
Carleton University(卡尔顿大学);Northwestern Polytechnical University(西北工业大学)
部分标签(PL)学习解决了每个训练实例与一组候选标签相关联的问题,这些候选标签包括真实标签和不相关的噪声标签。在本文中,我们提出了一种新的多层次生成模型部分标签学习(MGPLL),它解决了这个问题,学习标签级对抗生成器和特征级对抗生成器之间的双向映射框架下的标签向量和数据样本。具体而言,MGPLL使用条件噪声标签生成网络来建模非随机噪声标签并执行标签去噪,并使用多类预测器将训练实例映射到去噪标签向量,而条件数据特征生成器用于形成从去噪标签向量到数据样本的逆映射。噪声标签生成器和数据特征生成器都以对抗的方式学习,以分别匹配观察到的候选标签和数据特征。在合成的和真实世界的部分标签数据集上进行了广泛的实验。所提出的方法展示了部分标签学习的最新性能。
2020-05-11 cs.LG stat.ML
Pseudo-Random Number Generation using Generative Adversarial Networks
Queen Mary University of London(伦敦玛丽女王大学)
伪随机数发生器(PRNG)是许多安全算法的基本元素。我们引入了一种新的方法来实现它们,通过提出使用生成对抗网络(GAN)来训练一个神经网络,使其表现为PRNG。此外,我们展示了一些有趣的修改标准GAN架构。最重要的是部分隐藏GAN的生成器的输出,并训练对手发现从公开部分到隐藏部分的映射。因此,生成器学习生成对手无法预测的值,而不是近似显式的参考分布。我们证明了一个GAN可以有效地训练,即使是一个小的前馈全连接神经网络产生伪随机数序列具有良好的统计特性。在NIST测试套件中,经过训练的生成器通过了大约99%的测试实例和98%的总体测试,优于许多标准的非加密PRNG。
2018-09-30 cs.LG stat.ML
Generative Model Adversarial Training for Deep Compressed Sensing
University of Central Florida(中佛罗里达大学)
深度压缩感知假设数据在潜在空间中具有稀疏表示,即,它本质上是低维。原始数据被假设为通过低维到高维的生成器从低维空间映射。在这项工作中,我们提出了如何设计这样一个低到高维的基于深度学习的生成器适合压缩感知,同时满足鲁棒性普遍对抗扰动的潜在域。我们还证明了为什么噪音被认为是在潜在的空间。这项工作也支持与理论分析的鲁棒性训练的发电机对抗扰动。在真实数据集上的实验证实了所提出的\emph{generative model adversarial training for deep compressed sensing.}的有效性
2021-06-20 cs.LG eess.IV
Generative Bridging Network in Neural Sequence Prediction
University of California Santa Barbara(加州大学圣巴巴拉分校);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院);University of Science Technology of China(中国科学技术大学);Beijing University of Aeronautics Astronautics(北京航空航天大学)
为了缓解序列预测任务中最大似然估计(MLE)的数据稀疏性和过拟合问题,提出了生成桥接网络(GBN),其中引入了一个新的桥接模块来辅助序列预测模型(生成器网络)的训练.与MLE直接最大化条件似然不同,桥将逐点地面真值扩展到以其为条件的桥分布,并且生成器被优化以最小化其KL发散。提出了三种不同的GBN,即统一GBN,语言模型GBN和教练GBN,以惩罚信心,提高语言流畅性和减轻学习负担。两个公认的序列预测任务(机器翻译和摘要文本摘要)进行的实验表明,我们提出的GBNs可以产生显着的改善强基线。此外,通过分析从不同的桥梁,对发电机的预期影响进行了验证。
2018-11-29 cs.AI cs.LG stat.ML
Mode Penalty Generative Adversarial Network with adapted Auto-encoder
Kyung hee University(庆熙大学)
生成对抗网络(GAN)被训练来生成感兴趣分布的样本图像。为此,GAN的生成器网络从具有候选生成样本的分类中学习真实数据集的隐式分布。最近,各种GANs提出了稳定优化其网络的新想法。然而,在实际实现中,有时它们仍然只代表真实分布的一小部分或不能收敛。我们假设这个不适定问题来自于目标函数的梯度差,这很容易使生成器陷入不利的境地。为了解决这个问题,我们提出了一种模式惩罚GAN结合预训练的自动编码器,用于在编码空间中显式表示生成的和真实的数据样本。在这个空间中,我们通过寻找目标分布的全部模式,使生成流形跟随一个实流形。此外,对未覆盖的目标分布模式给予惩罚,以鼓励生成器找到总体目标分布。我们证明,将所提出的方法应用于GANs,有助于发电机的优化变得更加稳定,并通过实验评估具有更快的收敛速度。
2020-11-16 cs.CV cs.LG eess.IV
Generator-Guided Inverse Sampling for Lévy-Driven Generative Models
University of Electronic Science and Technology of China(电子科技大学);Hong Kong University of Science and Technology(香港科技大学)
本文针对Lévy驱动生成模型的非局域反向过程挑战,提出生成器引导的结构化逆采样器,将动力学分解为三类分量,结合神经网络与解析分布实现高效采样,在OFDM-SISO信道估计中表现出稳健性能与良好权衡。
2026-08-12 cs.LG
An Empirical Study of Generative Models with Encoders
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);Google AI(谷歌人工智能)
生成对抗网络(GANs)能够生成高质量的图像样本。然而,与变分自编码器(VAE)不同,GANs缺乏为生成器提供逆映射的编码器,即,将图像编码回潜在空间。在这项工作中,我们考虑对抗学习生成模型,也有编码器。我们根据模型产生高质量样本和重建真实图像的能力来评估模型。我们的主要贡献是双重的:首先,我们发现,基线双向GAN(双向GAN)可以通过增加自动编码器损耗来改进,代价是需要调整额外的超参数。其次,我们表明,可以通过简单地训练编码器来反转正常GAN的生成器来获得与Bi GAN相当的性能。
2018-12-19 cs.AI cs.LG stat.ML
Triangle Generative Adversarial Networks
Duke University(杜克大学)
提出了一种用于半监督跨域联合分布匹配的三角形生成对抗网络($Δ$-GAN),其中训练数据由来自每个域的样本组成,并且仅由少量成对样本提供域对应性的监督。$Δ$-GAN由四个神经网络、两个发生器和两个鉴别器组成。生成器被设计为学习两个域之间的双向条件分布,而鉴别器隐式地定义了一个三元鉴别函数,该函数被训练用于区分真实数据对和两种假数据对。生成器和鉴别器使用对抗学习一起训练。在温和的假设下,理论上由两个生成器表征的联合分布集中于数据分布。在实验中,考虑了三种不同的领域对,图像标签,图像图像和图像属性对。在半监督图像分类、图像间翻译和基于属性的图像生成等方面的实验表明了该方法的优越性。
2017-11-18 cs.LG stat.ML
Cellular State Transformations using Generative Adversarial Networks
Clemson University(克莱姆森大学)
我们介绍了一种将深度学习与生物学结合起来的新方法,通过该方法生成对抗网络(GANs)产生转录组扰动并揭示条件定义的基因表达模式。我们发现,一个发电机条件扰动任何输入基因表达档案模拟源和目标RNA表达状态之间的现实过渡。扰动样本遵循与数据集原始样本相似的分布,也表明这些是具有生物学意义的扰动。最后,我们表明,它是可能的,以确定最积极和消极的基因扰动的发生器和丰富的生物功能的扰动基因是现实的。我们将该框架称为转录组状态扰动生成器(TSPG),它是可在https://github.com/ctargon/TSPG上获得的开源软件。
2019-06-28 cs.LG q-bio.QM
Gradient-Free Noise Optimization for Reward Alignment in Generative Models
KAIST AI(韩国科学技术院人工智能实验室);Snap Inc.(Snap公司)
本文提出ZeNO框架,通过路径积分控制问题实现无梯度噪声优化,适用于不可微生成器,展示了在蛋白质结构生成等任务中的有效性。
2026-10-20 cs.AI cs.CV cs.LG
Optimizing the Latent Space of Generative Networks
Facebook AI Research(脸书人工智能研究院)
生成对抗网络(GANs)在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中,GAN模型有两个共同的方面:解决一个具有挑战性的鞍点优化问题,解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是,我们介绍了生成潜在优化(GLO),这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验,我们证明了GLO具有GANs的许多理想特性:合成视觉上吸引人的样本,在样本之间进行有意义的插值,以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Efficient Fréchet Distributional Decoder Alignment for Latent Generative Models
University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学);Vijil(维吉尔公司)
该研究针对潜在生成模型的解码器训练-生成不匹配问题,提出FDDA方法,冻结生成器并直接优化解码器,可显著降低gFDr⁶和训练时间,提升生成模型性能。
2026-10-14 cs.CV cs.LG
How Well Does Your Tabular Generator Learn the Structure of Tabular Data?
University of Cambridge(剑桥大学)
本文提出评估基准 TabStruct,以结构保真度为核心维度衡量表格生成模型对因果结构的学习效果,并通过多类生成器与多数据集实验验证其任务无关性和领域无关性。
2025-03-12 cs.LG