Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC（HRL实验室有限责任公司）；University of Virginia（弗吉尼亚大学）
在本文中，我们研究通过自动编码器生成建模，同时使用优雅的几何性质的最佳运输（OT）问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器（SWAE），这是一种生成模型，使人们能够将潜在空间的分布塑造成任何可采样的概率分布，而无需训练对抗网络或定义分布的封闭形式。简而言之，我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明，所提出的配方有一个有效的数值解，提供了类似的功能，Wasserstein自动编码器（WAE）和变分自编码器（VAE），同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络（GANs）结合了标准的GAN算法，该算法区分真实和模型生成的数据，并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中，我们开发了一种原理，通过利用生成模型的分层结构，可以将自动编码器与生成对抗网络相结合。其基本原理表明，变分推断可以用作学习的基本工具，但不可处理的似然被合成似然代替，未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合，结合这两种方法的优点。我们描述了一个统一的优化目标，讨论了指导学习所需的约束条件，连接到广泛的现有工作，并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
Molecular generative model based on conditional variational autoencoder for de novo molecular design
KAIST（韩国科学技术院）
我们提出了一个基于条件变分自编码器的分子生成模型，用于从头分子设计。它专门通过将多个分子特性施加在潜在空间上来同时控制它们。作为概念证明，我们证明了它可以用于产生具有五个目标特性的药物样分子。我们还能够在不改变其他属性的情况下调整单个属性，并在数据集范围之外对其进行操作。
2018-06-15 cs.LG stat.ML
Inverting Variational Autoencoders for Improved Generative Accuracy
使用深度生成模型的半监督学习的最新进展已经显示出从小标记数据集（$\mathbf{x},\mathbf{y}$）推广到大未标记数据集（$\mathbf{x}$）的希望。在共域具有已知结构的情况下，大的无特征数据集（$\mathbf{y}$）是潜在可用的。我们开发了一个参数高效的深度半监督生成模型，以利用这个未开发的数据源。实证结果表明，在解开潜在变量的语义，以及改进的火星光谱和手写数字域的歧视性预测的性能提高。
2017-08-24 cs.LG stat.ML
Autoencoding Generative Adversarial Networks
Flatland Data Solutions（Flatland数据解决方案公司）
自从Goodfellow等人引入生成对抗网络（GANs）以来，生成模型应用的广度和质量都出现了爆炸式增长。尽管做了这些工作，但GANs在主流采用之前还有很长的路要走，这主要是因为它们臭名昭著的训练不稳定性。在这里，我提出了自动编码生成对抗网络（AEGAN），这是一个四网络模型，它通过对生成的图像和生成的潜在向量应用对抗损失和重建损失来学习指定潜在空间和给定样本空间之间的双射映射。AEGAN技术对典型的GAN训练提供了若干改进，包括训练稳定性、模式崩溃预防以及允许在真实样本之间直接插值。该技术的有效性说明使用动漫人脸数据集。
2020-04-11 cs.LG stat.ML
Causally Disentangled Generative Variational AutoEncoder
University of Seoul（首尔大学）；Yonsei University（延世大学）
该研究提出适用于VAE的因果解耦生成（CDG）方法，探究实现CDG的充要条件，提出通用评估指标，经图像和表格数据集验证有效。
2023-10-09 cs.LG stat.ML
Pythae: Unifying Generative Autoencoders in Python -- A Benchmarking Use Case
Université Paris Cité（巴黎西岱大学）；INRIA（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；Implicity；Centre de Recherche des Cordeliers（科德利埃研究中心）
本文介绍了开源Python库Pythae，它统一实现了生成式自编码器并提供专用框架以保障使用的便捷性、可复现性与可靠性，还基于该库开展基准测试，对比了19种代表性VAE模型在多项下游任务上的表现。
2023-07-20 cs.LG stat.ML
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
Batch norm with entropic regularization turns deterministic autoencoders into generative models
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
变分自编码器是一种定义明确的深度生成模型，它利用编码器-解码器框架，其中编码神经网络输出非确定性代码以重建输入。编码器通过从每个输入的分布中采样来实现这一点，而不是每个输入输出确定性代码。这个过程的最大优点是，它允许使用网络作为生成模型，用于从提供的样本之外的数据分布中进行采样。我们在这项工作中表明，利用批量归一化作为非确定性的来源足以将确定性自编码器转换为与变分自编码器相同的生成模型，只要我们向训练目标添加合适的熵正则化。
2021-09-22 cs.CV cs.LG stat.ML
AGAN: Towards Automated Design of Generative Adversarial Networks
Baidu Research（百度研究院）
生成对抗网络（GANs）的最新进展显示出通过架构变化改善GAN训练的有希望的迹象。尽管取得了一些早期的成功，但目前GAN架构的设计需要人类的专业知识，艰苦的试错测试，并且经常从其图像分类对应物中汲取灵感。在本文中，我们提出了第一个神经架构搜索算法，深度生成模型的自动神经架构搜索，或缩写为AGAN，专门适用于GAN训练。对于CIFAR-10上的无监督图像生成任务，我们的算法在相同的正则化技术下找到了优于最先进模型的架构。对于有监督的任务，自动搜索的架构也实现了极具竞争力的性能，在分辨率$32\times32$上优于人类发明的最佳架构。此外，我们的经验表明，AGAN学习的模块可转移到其他图像生成任务，如STL-10。
2019-06-25 cs.AI cs.LG stat.ML
Training Generative Reversible Networks
Medical Center - University of Freiburg（弗莱堡大学医学中心）；University of Freiburg（弗莱堡大学）
带有编码组件的生成模型（如自动编码器）目前受到了极大的关注。然而，自动编码器的训练通常由于需要训练单独的编码器和解码器模型而变得复杂，所述单独的编码器和解码器模型必须被强制为彼此互逆。为了克服这个问题，通过设计可逆的神经网络（RevNets）以前已经被用作生成模型，或者直接优化模型下数据的可能性，或者对生成的数据使用对抗方法。在这里，我们使用对抗自动编码器框架中的潜在空间上的对手来研究它们的性能。我们研究了RevNets在CelebA数据集上的生成性能，表明生成RevNets可以生成与变分自编码器质量相似的连贯人脸。相对于最近使用CelebA上的自动编码器组件的高级生成模型，在对抗性自动编码器框架内使用RevNets的第一次尝试表现略差，但随着生成RevNets训练设置的进一步优化，这种差距可能会缩小。除了在CelebA上的实验之外，我们还在MNIST数据集上进行了原理验证实验，表明无对手训练的RevNets可以发现有意义的潜在维度，而无需预先指定潜在采样分布的维度数。总之，这项研究表明，RevNets可以在不同的生成训练环境中使用。本研究的源代码位于https://github.com/robintibor/generative-reversible
2018-08-23 cs.LG cs.NE stat.ML
Pioneer Networks: Progressively Growing Generative Autoencoder
Aalto University（阿尔托大学）；GenMind Ltd（GenMind有限公司）
我们引入了一种新的生成式自动编码器网络模型，该模型学习以高质量和高分辨率编码和重建图像，并支持从编码器的潜在空间中进行平滑随机采样。生成对抗网络（GANs）以其模拟随机高质量图像的能力而闻名，但它们无法重建现有图像。以前的工作试图扩展GANs来支持这种推理，但到目前为止，还没有提供令人满意的高质量结果。相反，我们提出了渐进式增长生成自动编码器（PIONEER）网络，它实现了高质量的重建与$128{\times}128$图像，而不需要一个GAN编码器。我们将最近的技术与最近引入的对抗编码器生成器网络相结合，逐步构建网络的各个部分。重建输入图像的能力在许多现实世界的应用中至关重要，并允许对现有图像进行精确的智能操作。我们在图像合成和推理方面取得了可喜的成果，在CelebA推理任务中取得了最先进的成果。
2018-10-09 cs.CV cs.LG stat.ML
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Automated Treatment Planning in Radiation Therapy using Generative Adversarial Networks
University of Toronto（多伦多大学）；Princess Margaret Cancer Centre（玛格丽特公主癌症中心）；York University（约克大学）
基于知识的计划（KBP）是一种放射治疗计划的自动化方法，涉及在将理想的治疗计划校正为可交付计划之前预测理想的治疗计划。我们提出了一种生成对抗网络（GAN）方法，用于预测理想的3D剂量分布，避免了先前的特定于站点的特征工程和预测计划的低维表示的范例。在口咽癌患者数据集上的实验表明，我们的方法在几个临床满意度标准和相似性指标上显着优于以前的方法。
2018-07-17 cs.LG physics.med-ph stat.ML
Molecular Generative Model Based On Adversarially Regularized Autoencoder
KAIST（韩国科学技术院）
深度生成模型作为一种新的有前途的分子设计方法正引起人们的极大关注。到目前为止，所有报告的模型都是基于变分自编码器（VAE）或生成对抗网络（GAN）。在这里，我们提出了一个新的类型模型的基础上的adversarially正则化自动编码器（ARAE）。它基本上使用像VAE这样的潜变量，但潜变量的分布是通过像GAN中的对抗训练获得的。后者旨在避免VAE中后验分布的不适当近似和GAN中处理离散变量的困难。我们的基准研究表明，ARAE在有效性、独特性和每个生成分子的新颖性方面确实优于传统模型。我们还证明了成功的条件下产生的药物样分子与ARAE的单一和多个属性控制的情况下。作为一个潜在的现实世界的应用，我们可以产生EGFR抑制剂共享已知的活性分子的支架，同时满足药物样的条件。
2019-11-13 cs.LG physics.chem-ph stat.ML
Theoretical Insights into the Use of Structural Similarity Index In Generative Models and Inferential Autoencoders
University of Waterloo（滑铁卢大学）
生成式模型和推理式自动编码器在其优化目标中大多使用$\ell_2$范数。为了生成感知更好的图像，本文从理论上讨论了如何在生成模型和推理自动编码器中使用结构相似性指数（SSIM）。我们首先回顾SSIM、SSIM距离度量和SSIM内核。我们表明，SSIM内核是一个通用的内核，因此可以用于无条件和有条件生成的矩匹配网络。然后，我们解释如何在变分和对抗自动编码器以及无条件和条件生成对抗网络（GANs）中使用SSIM距离。最后，我们建议在最小二乘GAN中使用SSIM距离而不是$\ell_2$范数。
2020-04-04 cs.CV cs.LG eess.IV
Generative Adversarial Source Separation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Systems（Adobe系统公司）
生成式声源分离方法，如非负矩阵分解（NMF）或自动编码器，依赖于输出概率密度的假设。生成对抗网络（GANs）可以学习数据分布，而无需对输出密度进行参数假设。我们在语音声源分离实验中表明，用Wasserstein-GAN公式训练的多层感知器在源失真比方面优于NMF，用最大似然训练的自动编码器和变分自动编码器。
2017-10-30 cs.LG cs.NE cs.SD
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
Variational Autoencoders for Generative Modelling of Water Cherenkov Detectors
University of Manitoba（曼尼托巴大学）；TRIUMF；University of British Columbia（不列颠哥伦比亚大学）
物质-反物质不对称性是物理学中尚未解决的主要问题之一，可以通过当前和下一代中微子振荡实验中电荷宇称对称性破坏的精确测量来探索。在这项工作中，我们展示了变分自动编码器和归一化流的能力，以近似这些实验中常用的水切伦科夫探测器的模拟数据的生成分布。我们研究了这些方法的性能及其适用于半监督学习和合成数据生成。
2019-11-01 cs.LG hep-ex physics.ins-det
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Stacked What-Where Auto-encoders
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
我们提出了一种新的架构，即“堆叠的what-where自动编码器”（SWWAE），它集成了判别和生成路径，并提供了一种统一的方法来进行监督，半监督和无监督学习，而无需依赖于训练过程中的采样。SWWAE的实例化使用卷积网络（Convnet）（LeCun等人（1998））对输入进行编码，并采用解卷积网络（Deconvnet）（Zeiler等人（2010））来产生重建。目标函数包括重构项，该重构项使Deconvnet中的隐藏状态与Convnet中的隐藏状态相似。每个池化层产生两组变量：被馈送到下一层的“什么”，以及被馈送到生成解码器中的对应层的其互补变量“哪里”。
2016-02-14 cs.LG cs.NE stat.ML
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong（统计与精算科学系香港大学）
本文提出一种基于贝叶斯非参数框架的生成模型，整合VAE、GAN及CGAN，采用Wasserstein距离和最大均值差异损失，以解决过拟合和噪声样本问题，提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Generative Adversarial Stacked Autoencoders
Coventry University（考文垂大学）；LatinX in AI
生成对抗网络（GANs）已成为图像生成任务的主导。他们的成功归功于训练制度，它采用了两种模式：一个发电机G和CNOD，在一个极小极大零和游戏的竞争。尽管如此，GANs由于其对超参数和参数初始化的敏感性而难以训练，这通常会导致梯度消失、不收敛或模式坍塌，其中生成器无法创建具有不同变化的样本。在这项工作中，我们提出了一种新的生成对抗堆叠卷积自动编码器（GASCA）模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
Image Quality Assessment Techniques Show Improved Training and Evaluation of Autoencoder Generative Adversarial Networks
Carleton University（卡尔顿大学）
我们提出了一种自动编码器生成对抗网络（GANs）的训练和评估方法，特别是边界平衡生成对抗网络（BEGAN），基于图像质量评估文献中的方法。我们的方法探讨了一个多维的评价标准，利用三个距离函数：一个$l_1$分数，梯度幅度相似性平均值（GMSM）分数，和色度分数。我们发现，每个不同的距离函数捕捉图像空间中的一组略有不同的属性，因此，需要自己的评估标准，以正确评估相关属性是否已经充分学习。我们证明了使用新距离函数的模型能够以预测的方式产生比原始BEGAN模型更好的图像。
2017-08-06 cs.CV cs.LG
Extreme Image Coding via Multiscale Autoencoders With Generative Adversarial Optimization
Nanjing University（南京大学）
我们提出了一种基于多尺度自动编码器（MSAE）的极端图像压缩框架，以提供视觉上令人愉快的重建在一个非常低的比特率。我们的方法利用不同分辨率尺度下的“先验”来提高压缩效率，并采用具有多尺度鉴别器的生成对抗网络（GAN）来执行端到端的可训练率失真优化。我们比较了感知质量的重建与传统的压缩算法，使用高效视频编码（HEVC）的帧内配置文件和JPEG 2000的公共城市景观和ADE 20 K数据集，展示了显着的主观质量的改善。
2020-01-03 cs.LG eess.IV
Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One
Mila-Quebec AI Institute（米拉-魁北克人工智能研究所）；U. Montreal（蒙特利尔大学）；Nanyang Technological University（南洋理工大学）；Microsoft Research Asia（微软亚洲研究院）；University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
自回归生成模型是常用的，特别是对于那些涉及序列数据的任务。然而，由于链式条件建模的固有特性，它们一直受到一系列固有缺陷的困扰（例如，暴露偏差或缺乏长期一致性），严重限制了它们正确建模分布的能力。在本文中，我们提出了一种称为E-ARM的独特方法，用于训练自回归生成模型，该模型利用了精心设计的基于能量的学习目标。通过利用softmax运算的额外自由度，我们可以使自回归模型本身成为一个基于能量的模型，用于测量输入的可能性，而无需引入任何额外的参数。此外，我们证明了E-ARM可以有效地训练，并且能够减轻曝光偏差问题，并增加自回归生成模型的时间相干性。广泛的实证结果，包括基准，如语言建模，神经机器翻译，图像生成，证明了所提出的方法的有效性。
2022-06-26 cs.CL cs.LG
Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches
Stanford University（斯坦福大学）
比较自回归LSTM、潜变量模型和生成对抗网络在巴赫风格钢琴音乐生成中的表现，发现带注意力的自回归LSTM生成音乐最连贯，向量量化缓解后验塌陷，对抗方法捕捉局部音高但训练困难。
2026-06-15 cs.LG cs.SD
Parameterization of Forced Isotropic Turbulent Flow using Autoencoders and Generative Adversarial Networks
Delhi Technological University（德里理工大学）
自动编码器和生成神经网络模型最近在流体力学中得到了普及，因为它们的自发性和低处理时间，而不是高保真CFD模拟。在流体力学的应用中，通过使用编码器压缩输入的高维数据以将输入空间映射到较低维的潜在空间，自动编码器被用作模型阶次降低工具。然而，生成模型，如变分自动编码器（VAE）和生成对抗网络（GANs）被证明是有效的，在生成具有高“随机性”的混沌模型，如湍流的解决方案。在这项研究中，强制各向同性湍流流产生的参数化成一些基本的统计特性。模型根据对这些特征的依赖性对预模拟数据进行训练，然后通过改变这些参数来影响流量生成。沿着生成器模型（如解码器和生成器）推送的隐向量包含独立的条目，这些条目可用于创建具有相似属性的不同输出。使用基于神经网络的体系结构消除了对经典的基于网格的Navier-Stoke方程估计的依赖，这在许多CFD软件中是突出的。
2021-07-08 cs.LG physics.flu-dyn
Competency Assessment for Autonomous Agents using Deep Generative Models
University of Colorado Boulder（科罗拉多大学博尔德分校）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
对于自主智能体来说，作为人类用户值得信赖的合作伙伴，它们必须能够可靠地传达它们被要求执行的任务的能力。为了实现这一目标，我们开发了基于深度生成建模的概率世界模型，该模型允许模拟代理轨迹和精确计算任务结果概率。通过将条件变分自编码器的优势与递归神经网络相结合，深度生成世界模型可以概率地预测长期任务完成的轨迹。我们展示了这些预测的轨迹如何用于计算结果概率分布，从而能够精确评估特定任务和初始设置的代理能力。
2022-03-23 cs.AI cs.HC cs.LG
Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Stanford University（斯坦福大学）；Stanford Stroke Center（斯坦福中风中心）；Institute for Biomedical Engineering（生物医学工程研究所）
我们表明，高质量，多样化和逼真的扩散加权磁共振图像可以使用深生成模型合成。基于专业神经放射学家的评价和不同的指标，就所生成的合成脑图像的质量和多样性，我们提出了两个网络，内省变分自编码器和基于样式的GAN，有资格在医疗领域的数据增强，其中信息被保存在一个调度和不均匀的方式和访问它是在许多方面受到限制。
2020-06-24 cs.CV cs.LG eess.IV
