Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
变分自编码器是最常用的生成模型之一，特别是对于图像数据。训练VAE的一个突出困难是支持低维流形的数据。Dai和Wipf（2020）最近的工作提出了一种VAE的两阶段训练算法，基于一种猜想，即在标准VAE训练中，生成器将收敛到一个方差为0的解，该解在地面真值流形上得到正确支持。他们通过证明VAE损失的一些最优值确实满足这一特性，部分支持了这一猜想，但没有分析训练动态。在本文中，我们表明，对于线性编码器/解码器，该猜想是正确的，即VAE训练确实恢复了支持等于地面真值流形的生成器，并且由于梯度下降的隐式偏差而不仅仅是VAE损失本身。在非线性的情况下，我们表明VAE训练经常学习高维流形，这是地面真值流形的超集。
2022-05-17 cs.LG stat.ML
Generating Data using Monte Carlo Dropout
West University of Timisoara（蒂米什瓦拉西部大学）；University of Ljubljana（卢布尔雅那大学）
对于许多分析问题来说，挑战在于处理大量可用数据。然而，存在收集信息困难且成本高的数据科学应用领域，例如，在许多此类情况下，具有与实际数据相同的统计和预测属性的合成数据生成器允许有效的模拟和工具及应用程序的开发。在这项工作中，我们提出了将蒙特卡罗辍学方法内的自动编码器（MCD-AE）和变分自动编码器（MCD-VAE）作为合成数据集的有效生成器。由于变分自动编码器（VAE）是最流行的生成器技术之一，我们探讨了它的相似性和差异所提出的方法。我们比较生成的数据集与原始数据的基础上的统计特性，结构相似性和预测相似性。结果表明，VAE，MCD-VAE和MCD-AE的结果之间有很强的相似性，但是，所提出的方法更快，可以生成类似于特定的初始实例的值。
2019-09-16 cs.LG stat.ML
Towards democratizing music production with AI-Design of Variational Autoencoder-based Rhythm Generator as a DAW plugin
Keio University（庆应义塾大学）
利用深度学习的音乐生成技术已经取得了重大进展。然而，音乐家和艺术家在日常音乐创作实践中仍然很难使用这些技术。本文提出了一种基于变分自动编码器\cite{Kingma2014}（VAE）的节奏生成系统，音乐家只需选择目标文件即可训练深度学习模型，然后使用该模型生成各种节奏。作者已经实现了该系统作为一个插件软件的数字音频工作站，即一个最大的现场设备Ableton现场。一些专业/半专业音乐家和音乐制作人使用了这个插件，他们证明了这个插件是一个创造性地制作音乐的有用工具。插件、源代码和演示视频可在线获取。
2020-04-01 cs.LG cs.SD eess.AS
Understanding Entropic Regularization in GANs
Stanford University（斯坦福大学）；University of Delaware（特拉华大学）
生成对抗网络是一种通过将目标分布建模为已知分布的函数来从数据中学习分布的流行方法。该函数通常被称为生成器，它被优化以最小化生成的分布和目标分布之间的选定距离度量。一个常用的测量方法是Wasserstein距离。然而，Wasserstein距离很难计算和优化，在实践中，熵正则化技术被用来提高数值收敛性。然而，正则化对学习解决方案的影响仍然没有得到很好的理解。在本文中，我们研究了几种流行的熵正则化的Wasserstein距离如何影响解决方案在一个简单的基准设置，其中生成器是线性的，目标分布是高维高斯。我们表明，熵正则化促进解决方案稀疏化，而取代Wasserstein距离与Sinkhorn发散恢复非正则化的解决方案。这两种正则化技术都消除了Wasserstein距离所带来的维数灾难。我们表明，最佳的发电机可以学习到准确的$ε$与$O(1/ε^2)$样本的目标分布。因此，我们的结论是，这些正则化技术可以提高质量的发电机从经验数据的一大类分布。
2021-11-02 cs.LG stat.ML
Inference Suboptimality in Variational Autoencoders
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
分期推理允许通过变分学习训练的潜变量模型扩展到大型数据集。近似推理的质量由两个因素决定：a）变分分布匹配真实后验的能力和b）识别网络为每个数据点产生良好变分参数的能力。我们研究近似推理变分自编码器在这些因素。我们发现，从真正的后验发散往往是由于不完善的识别网络，而不是有限的复杂性的近似分布。我们表明，这部分是由于发电机学习，以适应近似的选择。此外，我们表明，用于增加近似的表达能力的参数在推广推理中发挥作用，而不是简单地提高近似的复杂性。
2018-05-27 cs.LG stat.ML
CASS: Cross Adversarial Source Separation via Autoencoder
National University of Singapore（新加坡国立大学）；Hong Kong Baptist University（香港浸会大学）
本文介绍了一种通过自动编码器的交叉对抗声源分离（CASS）框架，该框架是一种新的模型，旨在将由多个分量混合组成的输入信号分离为通过对抗学习和自动编码器拟合定义的单个分量。CASS在一个框架中统一了流行的生成网络，如自动编码器（AE）和生成对抗网络（GANs）。对输入信号进行滤波并重构第$i$个目标分量的基本构建块是一对深度神经网络$\mathcal{EN}_i$和$\mathcal{DE}_i$，分别作为用于降维的编码器和用于分量重构的解码器。作为生成器的解码器$\mathcal{DE}_i$通过鉴别器网络$\mathcal{D}_i$进行增强，该鉴别器网络支持第$i$个给定数据集中第$i$个分量的信号结构，作为对抗学习的指导。与AE中独立训练每个自动编码器或共享同一生成器的GANs中的现有实践相比，我们引入了交叉对抗训练，强调任何任意网络对$(\mathcal{DE}_i,\mathcal{D}_j)$之间的对抗关系，实现了最先进的性能，特别是当目标组件共享相似的数据结构时。
2019-05-23 cs.LG eess.SP stat.ML
Perceptual Generative Autoencoders
University of Calgary（卡尔加里大学）；MILA, Université de Montréal（蒙特利尔大学MILA）；Wuhan University（武汉大学）
现代生成模型通常被设计为直接在数据空间中匹配目标分布，其中数据的内在维度可能远低于环境维度。我们认为，这种差异可能有助于在训练生成模型的困难。因此，我们建议使用标准自动编码器的编码器将生成的分布和目标分布映射到潜在空间，并训练生成器（或解码器）以匹配潜在空间中的目标分布。具体来说，我们在理论上合理的数据和潜在的重建损失的数据空间和潜在的空间的一致性。生成的模型，我们称之为感知生成自动编码器（PGA），然后用最大似然或变分自编码器（VAE）目标进行训练。利用最大似然法，PGA将可逆生成模型的思想推广到无限制的神经网络架构和任意数量的潜在维度。当与VAE联合使用时，PGA在样本质量方面明显优于基线VAE。与其他使用简单先验的基于自动编码器的生成模型相比，PGA在CIFAR-10和CelebA上实现了最先进的FID分数。
2020-07-01 cs.LG stat.ML
Preventing Posterior Collapse with Levenshtein Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一个标准的框架，用于诱导潜在变量模型，已被证明有效的学习文本表示以及文本生成。使用VAE的关键挑战是{ \it后验崩溃}问题：学习倾向于收敛到生成器忽略潜在变量的平凡解。在我们的Levenstein VAE中，我们建议用一个新的目标来取代证据下限（ELBO），该目标易于优化并可防止后塌陷。直观地说，它对应于从自动编码器生成一个序列，并鼓励模型根据Levenshtein距离（LD）与生成序列中每个时间步的参考句子预测最佳延续。我们激励的方法从概率的角度来看，它是密切相关的优化边界上的棘手的Kullback-Leibler发散的LD为基础的核密度估计模型分布。有了这个目标，任何忽视潜变量的生成器都将招致巨大的惩罚，因此不会发生后验崩溃。我们将我们的方法与政策蒸馏\cite{RossGB11}和动态预言机\cite{GoldbergN12}联系起来。通过考虑Yelp和SNLI基准，我们表明，Levenstein VAE产生更多的信息比其他方法，以防止后崩溃的潜在表示。
2020-04-30 cs.CL cs.LG stat.ML
Negative Sampling in Variational Autoencoders
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）；Eötvös Loránd University（厄特沃什·罗兰大学）
现代深度人工神经网络在计算机视觉及其他领域取得了巨大成功。然而，他们的应用到许多现实世界的任务是破坏了某些限制，如过度自信的不确定性估计的分布外的数据或性能恶化下的数据分布偏移。通过概率生成建模进行密度估计的几种类型的深度学习模型已被证明无法通过将更高的可能性分配给异常数据来检测分布外样本。我们研究了这种故障模式的变分自编码器模型，这也是容易出现这种情况，并提高了分布外泛化性能的模型，采用一种替代的训练方案，利用负样本。我们提出了一个完全无监督的版本：当模型以对抗的方式训练时，生成器自己的输出可以用作负样本。我们实证证明了该方法在降低图像数据上分布输入的过度自信似然估计方面的有效性。
2022-05-04 cs.LG stat.ML
IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
我们提出了一种新的内省变分自编码器（IntroVAE）模型合成高分辨率的摄影图像。IntroVAE能够自我评估其生成的样本的质量，并相应地改进自身。它的推理和生成器模型以内省的方式联合训练。一方面，要求生成器从推理模型的噪声输出重建输入图像作为正常VAE。另一方面，鼓励推理模型在生成的样本和真实样本之间进行分类，而生成器试图将其作为GANs进行欺骗。这两个著名的生成框架集成在一个简单而高效的单流架构中，可以在单个阶段进行训练。IntroVAE保留了VAE的优点，如稳定的训练和漂亮的潜在流形。与大多数其他VAE和GANs的混合模型不同，IntroVAE不需要额外的判别器，因为推理模型本身可以作为判别器来区分生成的样本和真实样本。实验表明，我们的方法产生高分辨率的照片逼真的图像（例如，\(1024^{2}\)上的CELEBA图像），与最先进的GANs相当或更好。
2018-10-27 cs.CV cs.GR cs.LG
Generative Adversarial Stacked Autoencoders
Coventry University（考文垂大学）；LatinX in AI
生成对抗网络（GANs）已成为图像生成任务的主导。他们的成功归功于训练制度，它采用了两种模式：一个发电机G和CNOD，在一个极小极大零和游戏的竞争。尽管如此，GANs由于其对超参数和参数初始化的敏感性而难以训练，这通常会导致梯度消失、不收敛或模式坍塌，其中生成器无法创建具有不同变化的样本。在这项工作中，我们提出了一种新的生成对抗堆叠卷积自动编码器（GASCA）模型和生成对抗逐步贪婪逐层学习算法设计训练对抗自动编码器在一个有效的和增量的方式。我们的训练方法产生的图像的重建误差比vanilla联合训练要低得多。
2020-11-22 cs.CV cs.LG
SeriesGAN: Time Series Generation via Adversarial and Autoregressive Learning
Utah State University（犹他州立大学）
针对 GAN 时间序列生成的收敛与嵌入信息损失问题，提出结合自动编码器、双判别器和 teacher-forcing 监督的 SeriesGAN，显著提升生成保真度并超越现有基准。
2024-10-28 cs.AI cs.LG
Coarse Grained Exponential Variational Autoencoders
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
变分自编码器（VAE）通常使用高斯分布或类别分布来对推理过程进行建模。这限制了变分学习，因为这种简化的假设与真实的后验分布不匹配，后者通常要复杂得多。为了打破这一限制，并在推理过程中应用任意的参数分布，本文推导了一个\emph{semi-continuous}潜在的表示，它近似的连续密度达到规定的精度，并且更容易分析比连续的副本，因为它是从根本上离散的。我们展示的命题应用多项式指数族分布作为后验，这是普遍的概率密度函数发生器。我们的实验结果表明，常用的VAE模型一致的改进。
2017-02-25 cs.LG
Pioneer Networks: Progressively Growing Generative Autoencoder
Aalto University（阿尔托大学）；GenMind Ltd（GenMind有限公司）
我们引入了一种新的生成式自动编码器网络模型，该模型学习以高质量和高分辨率编码和重建图像，并支持从编码器的潜在空间中进行平滑随机采样。生成对抗网络（GANs）以其模拟随机高质量图像的能力而闻名，但它们无法重建现有图像。以前的工作试图扩展GANs来支持这种推理，但到目前为止，还没有提供令人满意的高质量结果。相反，我们提出了渐进式增长生成自动编码器（PIONEER）网络，它实现了高质量的重建与$128{\times}128$图像，而不需要一个GAN编码器。我们将最近的技术与最近引入的对抗编码器生成器网络相结合，逐步构建网络的各个部分。重建输入图像的能力在许多现实世界的应用中至关重要，并允许对现有图像进行精确的智能操作。我们在图像合成和推理方面取得了可喜的成果，在CelebA推理任务中取得了最先进的成果。
2018-10-09 cs.CV cs.LG stat.ML
Simpler is better: spectral regularization and up-sampling techniques for variational autoencoders
UiT The Arctic University of Norway（挪威北极大学UiT）；NORCE Norwegian Research Centre（NORCE挪威研究中心）
基于神经网络的生成模型的频谱行为的充分表征仍然是一个悬而未决的问题。最近的研究主要集中在生成对抗网络以及真实图像和生成图像之间的高频差异上。目前避免这种情况的解决方案是用双线性上采样代替转置卷积，或者在生成器中添加谱正则化项。众所周知，变分自编码器（VAE）也遭受这些问题。在这项工作中，我们提出了一个简单的基于二维傅立叶变换的频谱正则化损失的VAE，并表明它可以实现等于或优于，目前的最先进的频率感知损失的生成模型的结果。此外，我们实验改变生成器网络中的上采样过程，并研究它如何影响模型的频谱性能。我们包括合成和真实数据集上的实验来证明我们的结果。
2022-01-19 cs.CV cs.LG
Implicit Discriminator in Variational Autoencoder
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
最近，生成模型的重点是结合变分自编码器（VAE）和生成对抗网络（GAN）的优点，以获得良好的重建和生成能力。在这项工作中，我们介绍了一种新的混合架构，隐式鉴别变分自编码器（IDVAE），它结合了VAE和GAN，它不需要一个显式的递归网络。IDVAE架构的基本前提是VAE的编码器和GAN的编码器利用共同的特征，因此可以作为共享网络进行训练，而VAE的解码器和GAN的生成器可以组合起来学习单个网络。这导致了具有VAE和GAN两者的属性的简单的两层架构。在真实世界基准数据集上的定性和定量实验表明，IDVAE的性能优于最先进的混合方法。我们通过实验验证了IDVAE可以很容易地扩展到条件设置中，并在复杂数据集上展示了其性能。
2019-09-28 cs.CV cs.LG stat.ML
An Empirical Study of Generative Models with Encoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Google AI（谷歌人工智能）
生成对抗网络（GANs）能够生成高质量的图像样本。然而，与变分自编码器（VAE）不同，GANs缺乏为生成器提供逆映射的编码器，即，将图像编码回潜在空间。在这项工作中，我们考虑对抗学习生成模型，也有编码器。我们根据模型产生高质量样本和重建真实图像的能力来评估模型。我们的主要贡献是双重的：首先，我们发现，基线双向GAN（双向GAN）可以通过增加自动编码器损耗来改进，代价是需要调整额外的超参数。其次，我们表明，可以通过简单地训练编码器来反转正常GAN的生成器来获得与Bi GAN相当的性能。
2018-12-19 cs.AI cs.LG stat.ML
Parameterization of Forced Isotropic Turbulent Flow using Autoencoders and Generative Adversarial Networks
Delhi Technological University（德里理工大学）
自动编码器和生成神经网络模型最近在流体力学中得到了普及，因为它们的自发性和低处理时间，而不是高保真CFD模拟。在流体力学的应用中，通过使用编码器压缩输入的高维数据以将输入空间映射到较低维的潜在空间，自动编码器被用作模型阶次降低工具。然而，生成模型，如变分自动编码器（VAE）和生成对抗网络（GANs）被证明是有效的，在生成具有高“随机性”的混沌模型，如湍流的解决方案。在这项研究中，强制各向同性湍流流产生的参数化成一些基本的统计特性。模型根据对这些特征的依赖性对预模拟数据进行训练，然后通过改变这些参数来影响流量生成。沿着生成器模型（如解码器和生成器）推送的隐向量包含独立的条目，这些条目可用于创建具有相似属性的不同输出。使用基于神经网络的体系结构消除了对经典的基于网格的Navier-Stoke方程估计的依赖，这在许多CFD软件中是突出的。
2021-07-08 cs.LG physics.flu-dyn
Towards Stable Imbalanced Data Classification via Virtual Big Data Projection
University Of Houston（休斯顿大学）
虚拟大数据（Virtual Big Data，VBD）被证明可以有效地解决生成对抗神经网络（Generative Adversarial Neural Networks，GANs）的模式坍塌和生成元梯度消失问题。在本文中，我们研究了VBD解决机器学习中其他两个主要挑战的能力，包括深度自动编码器训练和不平衡数据分类。首先，我们证明了，VBD可以显着减少验证损失的自动编码器通过提供他们一个巨大的多样化的训练数据，这是达到更好的推广，以尽量减少过拟合问题的关键。其次，我们使用VBD提出了第一个基于投影的方法，称为交叉级联，以平衡倾斜的类分布，而不会过采样。我们证明，交叉连接可以解决不平衡分类的数据驱动方法的不确定性问题。
2020-08-23 cs.LG stat.ML
PaGoDA: Progressive Growing of a One-Step Generator from a Low-Resolution Diffusion Teacher
Stanford University（斯坦福大学）；Sony AI（索尼人工智能研究院）；Sony Group Corporation（索尼集团公司）
针对扩散模型训练计算成本高的问题，提出PaGoDA三阶段训练流水线，通过低分辨率训练、蒸馏和渐进超分辨率大幅降低训练成本，单步推理在多分辨率图像生成及文生图任务上达SOTA，还可适配隐扩散模型。
2024-10-29 cs.AI cs.CV cs.LG
Measuring Privacy Risks and Tradeoffs in Financial Synthetic Data Generation
Rensselaer Polytechnic Institute（拉特格斯理工学院）
本文研究了金融领域合成数据生成中隐私与效用的权衡，通过改进GAN和自编码器的隐私保护实现，评估了不同数据集平衡性对生成质量的影响。
2026-02-10 cs.LG
adVAE: A self-adversarial variational autoencoder with Gaussian anomaly prior knowledge for anomaly detection
Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）；University of California, Davis（加州大学戴维斯分校）
最近，深度生成模型在无监督异常检测中越来越受欢迎。然而，深度生成模型旨在恢复数据分布，而不是检测异常。此外，深度生成模型存在过度拟合训练样本的风险，这对异常检测性能产生了灾难性的影响。为了解决上述两个问题，我们提出了一个自对抗的变分自编码器与高斯异常的先验假设。我们假设异常和正常的先验分布都是高斯分布，并且在潜在空间中有重叠。因此，训练高斯Transformer网络T以合成异常但接近正常的潜变量。在保持变分自编码器原有训练目标的基础上，生成器G尝试区分正常潜变量和T合成的异常潜变量，而编码器E则被训练来区分G的输出是否为实数。我们添加的这些新目标不仅使G和E具有区分能力，而且还引入了额外的正则化以防止过拟合。与SOTA基线相比，该模型在大量的实验中取得了显着的改善。数据集和我们的模型可以在Github存储库中找到。
2019-11-14 cs.AI cs.LG stat.ML
Uncertainty-Autoencoder-Based Privacy and Utility Preserving Data Type Conscious Transformation
Kansas State University（堪萨斯州立大学）；Louisiana State University（路易斯安那州立大学）
我们提出了一个对抗性学习框架，在两种类型的条件下处理隐私-效用权衡问题：数据类型无知和数据类型感知。在数据类型感知的条件下，隐私机制提供了一个独热编码的分类特征，代表一个类，而在数据类型无知的条件下，分类变量表示的分数的集合，一个为每个类。我们使用一个神经网络架构组成的一个发电机和一个编码器，其中发电机由一个编码器-解码器对，和编码器由一个对手和一个公用事业提供商。与以前的研究考虑这种架构，利用自动编码器（AE），而不引入任何随机性，或变分自编码器（VAE）的基础上学习的潜在表示，然后被迫进入高斯假设，我们提出的技术引入随机性，并删除高斯假设的限制，对潜在变量，只专注于端到端的随机映射的输入到私有化数据。我们在不同的数据集上测试我们的框架：MNIST，FashionMNIST，UCI Adult和美国人口普查人口统计数据，提供了广泛的可能的私人和公用事业属性。我们同时使用多个对手来测试我们的隐私机制--有些是从地面真实数据中训练出来的，有些是从我们的隐私机制生成的扰动数据中训练出来的。通过比较分析，我们的研究结果表明，更好的隐私和效用保证比现有的作品在类似的，数据类型的无知的条件下，即使后者被认为是在其原来的限制性单对手模型。
2022-05-04 cs.CR cs.LG
An Unpooling Layer for Graph Generation
University of Minnesota（明尼苏达大学）；Duke Kunshan University（昆山杜克大学）
我们提出了一种新的和可训练的图形unpooling层有效的图形生成。给定一个具有特征的图，unpooling层扩大这个图并学习它所需的新结构和特征。由于该解池层是可训练的，因此它可以应用于变分自编码器的解码器或生成对抗网络（GAN）的生成器中的图形生成。我们证明了非池化图保持连通，并且任何连通图都可以从一个3-节点图中顺序地非池化。我们在GAN生成器中应用unpooling层。由于图形生成的研究最多的实例是分子生成，我们在这种情况下测试我们的想法。使用QM9和ZINC数据集，我们展示了通过使用unpooling层而不是基于邻接矩阵的方法所获得的改进。
2023-03-06 cs.LG stat.ML
Adversarially Approximated Autoencoder for Image Generation and Manipulation
正则化自动编码器学习潜在代码，这是一种在分布下具有正则化的结构，这使它们能够在给定观察值的情况下推断潜在代码并在给定代码的情况下生成新样本。然而，它们有时是模糊的，因为它们往往产生不一定是输入的忠实再现的重建。主要原因是在真实分布仍然未知的情况下，强制学习的潜在代码分布与先验分布相匹配。为了提高重构质量和学习潜在空间的流形结构，这项工作提出了一种新的方法，使用对抗近似的自编码器（AAAE）调查潜在代码与对抗近似。AAAE没有通过惩罚模型和目标分布之间的距离来正则化潜在代码，而是灵活地学习自动编码器，并使用更简单的生成器来近似潜在空间。使用生成对抗网络（GAN）来估计该比率，以加强分布的相似性。此外，图像空间用额外的对抗正则化器正则化。所提出的方法统一了潜在空间推理和多样生成的两个深度生成模型。学习方案的实现没有正则化的潜在代码，这也鼓励忠实的重建。在四个真实世界数据集上的广泛验证实验证明了AAAE的优越性能。与最先进的方法相比，AAAE生成的样本质量更好，并具有良好的潜在流形结构，具有正则化自动编码器的特性。
2019-02-14 cs.CV cs.LG eess.IV
Variational Rank Reduction Autoencoders
本文提出变分秩缩减自编码器（VRRAEs），结合RRAEs的SVD正则化与VAEs的概率潜在空间，通过KL散度正则化，在生成和插值任务上优于两者，并降低后验坍塌风险。
2025-10-14 cs.LG
Energy based diffusion generator for efficient sampling of Boltzmann distributions
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）；Department of Mathematics, Shanghai Normal University（上海师范大学数学系）；Institute of Computational Mathematics and Scientific/Engineering Computing, AMSS, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
提出基于能量的扩散生成器（EDG），融合变分自编码器与扩散模型，实现无模拟的高效玻尔兹曼分布采样，在复杂目标分布任务上优于现有方法。
2025-09-25 cs.LG stat.CO stat.ML
3D Shape Synthesis for Conceptual Design and Optimization Using Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种数据驱动的3D形状设计方法，该方法可以从现有设计的语料库中学习生成模型，并使用该模型来生成各种新设计。该方法使用无监督的变分自编码器-解码器架构学习训练语料库中的样本的编码，而不需要原始设计的显式参数表示。为了便于生成光滑的最终表面，我们开发了一个三维形状表示的基础上的原始三维数据的距离变换，而不是使用常用的二进制体素表示。一旦建立，生成器就将潜在空间表示映射到高维距离变换场，然后自动地使高维距离变换场表面化以产生服从物理模拟或其他目标函数评估模块的3D表示。我们展示了我们的方法，优化，以达到规定的性能分数的滑翔机的计算设计。我们的研究结果表明，当与遗传优化相结合时，所提出的方法可以生成一组丰富的候选概念设计，实现规定的功能目标，即使原始数据集只有几个或没有解决方案，实现这些目标。
2019-04-16 cs.CG cs.LG cs.NE
Generate High Resolution Images With Generative Variational Autoencoder
在这项工作中，我们提出了一种新的神经网络来生成高分辨率图像。我们在使用编码器的同时，将VAE的解码器替换为解码器。编码器被馈送来自正态分布的数据，而生成器被馈送来自高斯分布的数据。两者的组合被赋予一个判断生成的图像是否正确的判断器。我们在3个不同的数据集上评估我们的网络：MNIST，LSUN和CelebA数据集。我们的网络使用MMD，SSIM，对数似然，重建误差，ELBO和KL发散作为评估指标，同时生成更清晰的图像。这项工作可能非常令人兴奋，因为我们能够以原则性的方式结合生成模型和推理模型的优势。
2021-06-21 cs.CV cs.LG eess.IV
Generative Distributionally Robust Optimization
Telfer School of Management, University of Ottawa（渥太华大学泰尔弗管理学院）；Department of Electrical and Computer Engineering, Western University（西安大略大学电气与计算机工程系）
研究提出生成式分布鲁棒优化（GDRO）框架，接受可采样条件生成器为名义模型，通过采样器-辛科恩配对限制最坏情况法则，可直接有限样本近似和可微实现，相比名义决策降低了罕见上下文库存遗憾和SocialGAN导航碰撞。
2026-07-29 cs.AI cs.LG math.OC
GM Score: Incorporating inter-class and intra-class generator diversity, discriminability of disentangled representation, and sample fidelity for evaluating GANs
School of Computer Engineering, KIIT Deemed to be University（KIIT 大学计算机工程学院）
虽然生成对抗网络（GAN）因其更高的样本质量而受到欢迎，但与其他生成模型（如变分自编码器（VAE）和玻尔兹曼机）相反，它们也面临着对生成样本进行评估的困难。必须考虑到各个方面，例如生成的样本的质量、类的多样性（类内和类间）、使用解纠缠的潜在空间、所述评价度量与人类感知的一致性等。在本文中，我们提出了一种新的评分，即GM评分，它考虑了各种因素，如样本质量、解纠缠表示、类内和类间多样性，采用查准率、查全率和F1得分等指标对深度信念网络（DBN）和受限玻尔兹曼机（RBM）的潜在空间进行区分。评估是针对在基准MNIST数据集上训练的不同GANs（GAN、DCGAN、BiGAN、CGAN、耦合GAN、LSGAN、SGAN、WGAN和WGAN Improved）进行的。
2021-12-16 cs.AI cs.LG stat.ML
Generating Multivariate Load States Using a Conditional Variational Autoencoder
Delft University of Technology（代尔夫特理工大学）
对于电力系统的规划和操作工具的校准，在大范围的代表性场景中分析系统性能是必不可少的。当可用的历史数据有限时，生成模型是一个很有前途的解决方案，但建模高维依赖性是具有挑战性的。提出了一种基于条件变分自编码（CVAE）神经网络的多变量负荷状态生成模型。超越常见的CVAE实现，该模型包括在给定的潜在向量下输出样本的随机变化，并共同优化该输出可变性的参数。结果表明，这提高了所生成的数据的统计特性。使用单变量和多变量性能度量来评估生成的多变量负载的质量。欧洲网络的发电充裕度的案例研究被用来说明模型的能力，以产生现实的尾部分布。实验结果表明，该生成器优于其他数据生成机制。
2022-12-14 cs.LG cs.SY eess.SY
Latent Behavior Diffusion for Sequential Reaction Generation in Dyadic Setting
Chonnam National University（全南国立大学）
本文提出Latent Behavior Diffusion Model，通过上下文感知自编码器与潜在空间扩散条件生成器，非自回归地合成贴合说话者行为、多样且逼真的双人面部反应。
2025-05-12 cs.AI cs.LG
Text-Free Learning of a Natural Language Interface for Pretrained Face Generators
TTI-Chicago（芝加哥丰田技术研究所）；Purdue University（普渡大学）；Adobe Research（奥多比研究院）
我们提出了Fast text2StyleGAN，这是一种自然语言接口，可以将预先训练的GANs用于文本引导的人脸合成。利用对比图像预训练（CLIP）的最新进展，在训练过程中不需要文本数据。Fast text2StyleGAN是一个有条件的变分自编码器（CVAE），它在测试时为生成的图像提供额外的控制和多样性。当遇到新的文本提示时，我们的模型不需要重新训练或微调GANs或CLIP。与之前的工作相比，我们在测试时不依赖于优化，这使得我们的方法比之前的工作快了几个数量级。从经验上讲，在FFHQ数据集上，我们的方法提供了更快，更准确的生成图像的自然语言描述与不同层次的细节相比，以前的工作。
2022-09-08 cs.CV cs.LG
Simulating Tariff Impact in Electrical Energy Consumption Profiles with Conditional Variational Autoencoders
EDF R&D（法国电力集团研发部）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Sud（巴黎南大学）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）；INESC Technology and Science (INESC TEC)（INESC科技与科学研究所（INESC TEC））
家庭用电的有效需求响应（DR）计划的实施将受益于能够模拟不同电价计划影响的数据驱动方法。本文提出了一种新的方法，基于条件变分自编码器（CVAE）生成，从电价配置文件结合外源天气和日历变量，每日消费配置文件的消费者划分在不同的集群。首先，根据消费者的消费行为和价格反应性，将大量的消费者聚集到集群中。聚类方法基于因果关系模型，该模型衡量特定关税对消费水平的影响。然后，使用CVAE为每个集群生成每日电能消耗曲线。这种非参数的方法相比，半参数数据生成器的基础上广义可加模型，并使用先验知识的能源消耗。在公开数据集上的实验表明，该方法在生成原始数据的平均值时表现出与半参数方法相当的性能。这种新方法的主要贡献是能够在生成的消费概况中再现反弹和副作用。事实上，在一个时间窗口内实施特别电费也可能影响这一时间窗口之外的消费。另一个贡献是聚类方法根据消费者的日常消费情况和对关税变化的弹性对消费者进行细分。这两个结果相结合是非常相关的系统运营商，零售商和能源监管机构的未来DR政策的事前测试。
2020-06-10 cs.LG eess.SP stat.ML
Beyond Binary Classification: A Semi-supervised Approach to Generalized AI-generated Image Detection
本文提出TriDetect，一种半监督方法，通过发现潜在架构模式提升AI生成图像检测的泛化能力。
2025-11-23 cs.AI cs.CR cs.CV
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；NTNU（挪威科技大学）
我们提出使用对抗自动编码器（AAE），以取代生成对抗网络（GAN）的教师合奏（PATE）的私人聚合，解决方案，以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时，这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案，该方案使用噪声输出的集合来标记合成样本，并在其导出的分类器上保证$\varepsilon$ -差分隐私（DP）。因此，我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器（PATE-AAE）。在Google语音命令数据集版本II上进行评估，与其他隐私保护解决方案（即PATE-GAN和DP-GAN）相比，所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$，同时保持了$\varepsilon$ =0.01的强大隐私目标水平，固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
Conjugate Energy-Based Models
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机学院）；Oracle Labs（甲骨文实验室）；Boston College（波士顿学院）
在本文中，我们提出了共轭能量模型（CEBM），一类新的基于能量的模型，定义了一个联合密度的数据和潜在的变量。CEBM的联合密度分解为数据上的一个难以处理的分布和潜在变量上的一个易于处理的后验分布。CEBM具有与变分自编码器类似的用例，因为它们学习从数据到潜在变量的无监督映射。然而，这些模型忽略了生成器网络，这使它们能够学习更灵活的数据点之间相似性的概念。我们的实验表明，共轭EBM在图像建模，潜在空间的预测能力和各种数据集上的域外检测方面取得了有竞争力的结果。
2021-06-25 cs.LG stat.ML
GenIAS: Generator for Instantiating Anomalies in time Series
Monash University, Melbourne, Victoria, Australia（墨尔本大学）；IBM T. J. Watson Research Center, Yorktown Heights, NY, USA（IBM 沃森研究中心）；Griffith University, Gold Coast, Queensland, Australia（格里菲斯大学）；The University of Melbourne, Parkville, Victoria, Australia（墨尔本大学）
GenIAS通过变分自动编码器的潜在空间中的可学习扰动生成多样且真实的异常模式，提升了时间序列异常检测的性能。
2026-02-05 cs.LG
ViTok-v2: Scaling Native Resolution Auto-Encoders to 5 Billion Parameters
University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Spellbrush；Meta Superintelligence Labs（Meta超智能实验室）；Georgia Institute of Technology（佐治亚理工学院）
ViTok-v2通过NaFlex实现跨分辨率和宽高比泛化，引入新的DINOv3感知损失，提升重建性能并稳定训练，达到当前最佳水平。
2026-05-06 cs.AI cs.CV cs.LG
Variational Sparse Coding with Learned Thresholding
Georgia Institute of Technology（佐治亚理工学院）
稀疏编码策略因其利用低维结构的数据的简约表示而受到称赞。然而，这些代码的推理通常依赖于一个优化过程，在高维问题的计算缩放差。例如，在深度神经网络（DNN）的高维中间层中学习的表示中的稀疏推理需要在每个训练步骤中执行迭代最小化。因此，最近已经提出了变分推理中的快速方法，以通过使用DNN学习代码上的分布来推断稀疏代码。在这项工作中，我们提出了一种新的变分稀疏编码方法，使我们能够通过阈值样本来学习稀疏分布，避免使用有问题的松弛。我们首先通过训练线性生成器来评估和分析我们的方法，表明与其他稀疏分布相比，它具有更好的性能，统计效率和梯度估计。然后，我们将Fashion MNIST和CelebA数据集上使用DNN生成器的标准变分自编码器进行比较
2022-09-01 cs.LG eess.SP stat.ML
InfoVAEGAN : learning joint interpretable representations by information maximization and maximum likelihood
University of York（约克大学）
学习解纠缠和可解释的表示是在流形上实现全面数据表示的重要一步。在本文中，我们提出了一种新的表示学习算法，它结合了变分自编码器（VAE）的推理能力和生成对抗网络（GAN）的泛化能力。所提出的模型称为InfoVAEGAN，由三个网络组成：编码器，生成器和鉴别器。InfoVAEGAN旨在通过使用两个不同的无数据对数似然函数对从生成器分布中采样的变量进行无监督地联合学习离散和连续可解释表示。我们提出了一个两阶段的算法，分别从发电机训练优化推理网络。此外，我们通过最大化现有潜变量与通过生成和推理过程创建的潜变量之间的互信息来加强可解释表示的学习。
2021-07-09 cs.AI cs.CV cs.LG
Assessment of cloud and associated radiation fields from a GAN stochastic cloud subcolumn generator
GESTAR-II, Morgan State University（GESTAR-II，摩根州立大学）；Earth Sciences Division, NASA’s Goddard Space Flight Center（国家航空航天局戈达德空间飞行中心地球科学部）；GESTAR-II, University of Maryland – Baltimore County（GESTAR-II，马里兰大学巴尔的摩分校）
本文提出一种基于CVAE-GAN和U-Net的机器学习子柱生成器，用于GEOS大气模型，通过训练云数据集生成随机云子柱，提升云辐射效应的准确性。
2026-05-13 cs.LG physics.ao-ph
Neural Graph Generator: Feature-Conditioned Graph Generation using Latent Diffusion Models
École Polytechnique, IP Paris（巴黎综合理工学院、巴黎IP大学）；National Technical University of Athens, Greece（希腊雅典国立技术大学）；University of Peloponnese, Greece（希腊伯罗奔尼撒大学）；Mohamed bin Zayed University of Artificial Intelligence, United Arab Emirates（阿联酋穆罕默德·本·扎耶德人工智能大学）
针对现有图生成方法难以应对高维复杂图属性的问题，提出基于条件潜在扩散模型的神经图生成器NGG，结合变分图自编码器与潜在空间扩散，可生成符合指定属性的图且性能优于多种LLM，为图生成提供了更高效的方案。
2024-09-18 cs.LG cs.SI
Language Models are Realistic Tabular Data Generators
University of Tübingen（蒂宾根大学）；Technical University of Munich（慕尼黑工业大学）
本文提出 GReaT，利用自回归 LLM 生成逼真表格数据，并支持以任意特征子集为条件、无额外开销采样其余特征，实验表明其在多类数据集上达到最先进性能。
2023-04-22 cs.LG
Autoencoding Hyperbolic Representation for Adversarial Generation
Duke Kunshan University（昆山杜克大学）
随着几何深度学习的最新进展，神经网络已被广泛用于非欧几里德域中的数据。特别地，双曲神经网络已经证明在处理数据的分层信息方面是成功的。然而，许多双曲神经网络在训练期间数值上不稳定，这妨碍了使用复杂的架构。这个关键问题使得很难为真实和复杂的数据建立双曲生成模型。在这项工作中，我们提出了一个双曲生成网络，在其中我们设计了新的架构和层，以提高训练的稳定性。我们提出的网络包含三个部分：第一，双曲自编码器（AE），为输入数据生成双曲嵌入;第二，双曲生成对抗网络（GAN），用于从简单噪声中生成AE的双曲潜在嵌入;第三，继承AE解码器和GAN生成器的生成器。我们称这个网络为双曲AE-GAN，简称HAEGAN。HAEGAN的架构促进了双曲空间中的表达，层的特定设计确保了数值稳定性。实验表明，HAEGAN能够生成具有最先进的结构相关性能的复杂数据。
2023-01-23 cs.LG q-bio.BM stat.ML
Time-Causal VAE: Robust Financial Time Series Generator
ETH Zürich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）
本文提出时间因果变分自编码器（TC-VAE），通过因果约束和RealNVP先验生成稳健的金融时间序列，控制因果Wasserstein距离，实验验证其在合成与真实数据上的有效性。
2024-11-05 cs.LG q-fin.CP
Efficient Generator of Mathematical Expressions for Symbolic Regression
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；University of Ljubljana（卢布尔雅那大学）
提出基于层次结构变分自编码器HVAE的符号回归方法，通过递归编码解码数学表达式生成平滑低维潜在空间，结合进化算法的EDHiE系统在标准基准上优于现有最先进方法。
2023-09-10 cs.AI cs.LG
Stochastic weather generators for high-frequency wind vector time series
Department of Statistics, Rutgers University（统计学系，罗格斯大学）
针对分钟级风矢量时间序列，开发基于时间矢量量化变分自编码器的机器学习模型，生成逼真序列，捕捉昼夜变化但极端风速分布匹配不足。
2026-06-08 cs.LG stat.AP stat.OT
A Causal Bootstrap for Diverse Image Generation under Unobserved Confounding
AWS AI Lab（亚马逊云科技AI实验室）
提出CauVaDE，基于规范增广SCM将未观测混杂因子分解为离散潜变量，通过熵正则化追踪可行干预分布族，在图像数据上生成多样化干预样本并提升FID。
2026-10-27 cs.LG
on the effectiveness of generative adversarial network on anomaly detection
Gina Cody School of Engineering and Computer Science（吉娜·科迪工程与计算机科学学院）；Concordia University（康考迪亚大学）
识别异常是指检测不类似于训练数据分布的样本。许多生成模型已被用于发现异常，其中，基于生成对抗网络（GAN）的方法目前非常流行。GANs主要依靠这些模型的丰富上下文信息来识别实际的训练分布。根据这种类比，我们提出了一种基于GANs的新的无监督模型-自动编码器和GAN的组合。此外，引入了一种新的评分函数来定位异常，其中，异常的内部表示和生成器的视觉表示的线性组合加上自动编码器的编码表示一起来定义所提出的异常分数。该模型在SVHN、CIFAR 10和MNIST等基准数据集以及白血病图像的公共医学数据集上进行了进一步评估。在所有的实验中，我们的模型都优于现有的模型，同时稍微提高了推理时间。
2021-12-31 cs.CV cs.LG
Generalization in VAE and Diffusion Models: A Unified Information-Theoretic Analysis
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）；Department of Statistical Sciences, University of Toronto（统计科学系，多伦多大学）；Data Science Institute（数据科学研究所）；Vector Institute（向量研究所）；Robotics Institute（机器人研究所）
针对VAE和扩散模型泛化理论不足，提出统一信息论框架，分析编码器与生成器泛化，给出可计算界限并优化扩散时间T，实验验证有效性。
2026-09-11 cs.AI cs.LG
Synthetic Lung Nodule 3D Image Generation Using Autoencoders
Colorado State University（科罗拉多州立大学）
将机器学习技术与医疗数据一起使用的挑战之一是经常缺乏用于训练的源图像数据。一个代表性的例子是自动肺癌诊断，其中结节图像需要被分类为可疑或良性。在这项工作中，我们提出了一个自动合成肺结节图像生成器。我们的3D形状生成器旨在增加3D图像的多样性。我们提出的系统扎根于自动编码器技术，我们提供了广泛的实验表征，证明了它的能力，以产生高质量的合成图像。
2019-09-09 cs.CV cs.LG stat.ML
An improved tabular data generator with VAE-GMM integration
Universidad Politécnica de Madrid（马德里理工大学）
提出一种在 VAE 架构中集成贝叶斯高斯混合模型的表格数据生成方法，通过支持可微分布处理混合特征，在真实数据集上显著优于 CTGAN 和 TVAE。
2024-11-14 cs.AI cs.LG
