M$^2$VAE - Derivation of a Multi-Modal Variational Autoencoder Objective from the Marginal Joint Log-Likelihood
Bielefeld University（比勒费尔德大学）
这项工作给出了一个深入的推导的可训练的证据下界从边缘联合对数Likestive与训练的多模态变分自编码器（M $^2$ VAE）的目标。
2019-03-18 cs.LG stat.ML
CR-VAE: Contrastive Regularization on Variational Autoencoders for Preventing Posterior Collapse
University of Leoben（莱奥本大学）
针对VAE因目标函数局限导致的后验坍塌问题，提出CR-VAE方法，通过引入对比目标最大化相似输入间互信息，有效防止后验坍塌并在视觉数据集上优于现有方法。
2023-09-09 cs.LG
Remedying uncertainty representations in visual inference through Explaining-Away Variational Autoencoders
本文提出EA-VAE通过引入全局缩放潜在变量改进不确定性表示，验证其在多种视觉任务中的有效性，并揭示其对对比度和异常检测的提升作用。
2026-03-30 cs.AI cs.LG
Diffusion Priors In Variational Autoencoders
University of Liège（列日大学）
在基于可能性的深度生成建模方法中，变分自编码器（VAE）提供可扩展的摊销后验推理和快速采样。然而，VAE也越来越多地被竞争模型所超越，例如归一化流（NF），深能模型或新的去噪扩散概率模型（DDPM）。在这个初步的工作中，我们通过演示如何DDPM可以用于建模的潜变量的先验分布来改善VAE。扩散先验模型改进了经典VAE的高斯先验，并与基于NF的先验具有竞争力。最后，我们假设分层VAE可以类似地受益于扩散先验能力的增强。
2021-06-29 cs.LG
Variational Autoencoder-Based Approach to Latent Feature Analysis on Efficient Representation of Power Load Monitoring Data
Southwest University（西南大学）
针对高维不完整电力负荷监测数据影响负荷预测的问题，提出基于 VAE 的 VAE-LF 模型，通过编码器-解码器学习低维潜在表示并补全缺失数据，在 UK-DALE 的 5% 和 10% 稀疏度实验中显著优于基准。
2025-06-10 cs.AI cs.LG
Imputing Knowledge Tracing Data with Subject-Based Training via LSTM Variational Autoencoders Frameworks
The Pennsylvania State University（宾夕法尼亚州立大学）
缺失数据问题对提高深度学习模型在{ \em Knowledge Tracing}（KT）问题中的性能和应用提出了巨大挑战。然而，在文献中一直缺乏对这个问题的理解。针对这一问题的研究不足。在这项工作中，为了应对这一挑战，我们采用了基于主题的训练方法，通过学生ID来分割和估算数据，而不是我们称之为非基于主题的训练的行号分割。基于主题的培训的好处是可以保留每个学生的完整序列，从而实现有效的培训。此外，我们利用两个现有的深度生成框架，即变分自编码器（VAE）和纵向变分自编码器（LVAE）框架，并将LSTM内核构建到其中，以形成LSTM-VAE和LSTM LVAE（为简单起见，记为VAE和LVAE）模型来生成高质量的数据。在LVAE中，高斯过程（GP）模型被训练以解开对象（即，学生）描述符信息（例如，年龄、性别）和潜在空间。论文最后比较了训练原始数据和训练用来自非基于受试者的模型VAE-NS和基于受试者的训练模型（即，VAE和LVAE）。我们证明了LSTM-VAE和LSTM-LVAE生成的数据可以将原始模型的性能提高约50%。此外，如果预测模型较小，则原始模型仅需要10%的学生数据就可以超过原始性能，如果预测模型较大，则需要50%的数据。
2023-02-24 cs.AI cs.LG
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Comparative Analysis of MDL-VAE vs. Standard VAE on 202 Years of Gynecological Data
Department of Research and Development, Beevi（Beevi研发部门）
本研究比较了MDL正则化VAE与标准VAE在202年妇科数据上的重建性能，发现MDL-VAE显著降低重建误差并提升潜在表示结构化，验证了MDL原理在VAE中的有效性。
2025-02-25 cs.AI cs.LG
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
变分自编码器（VAE）是一类强大的深度生成潜变量模型，用于高维数据的无监督表示学习。为了确保计算的易处理性，VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关，原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架，张量变量高斯过程先验变分自编码器（tvGP-VAE），它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子，我们表明，选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Poisson Variational Autoencoder
UC Berkeley（加州大学伯克利分校）
针对传统VAE依赖连续潜变量、与生物神经元离散特性不符的问题，提出结合预测编码与泊松分布离散潜变量的P-VAE，验证了其与稀疏编码的关联，且表征维度更高、分类样本效率提升5倍，为类脑感官研究提供可解释框架。
2024-12-09 cs.AI cs.LG q-bio.NC
VAE-Var: Variational-Autoencoder-Enhanced Variational Assimilation
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出VAE-Var，一种利用变分自编码器建模非高斯背景误差的变分同化算法，在低维混沌系统上实验证明其精度优于传统变分方法。
2024-05-22 cs.AI cs.LG math.DS
ARD-VAE: A Statistical Formulation to Find the Relevant Latent Dimensions of Variational Autoencoders
The University of Utah（犹他大学）
针对VAE潜在维度需试错估计的问题，提出ARD-VAE方法，通过在目标函数中引入分层先验估计潜在轴方差，自动发现相关潜在维度，并在多个基准数据集上验证了其有效性。
2025-01-26 cs.LG
FONDUE: an algorithm to find the optimal dimensionality of the latent representations of variational autoencoders
University of Kent（肯特大学）
在给定数据集上训练变分自编码器（VAE）时，确定潜在变量的最佳数量主要通过网格搜索来完成：就计算时间和碳足迹而言，这是一个昂贵的过程。在本文中，我们探讨的内在尺寸估计（IDE）的数据和潜在的表征学习VAE。我们发现，IDE的平均值和采样表示的VAE后，只有几个步骤的训练之间的差异揭示了被动变量的存在下，在潜在的空间，这在良好的VAE，表明多余的维数。利用这一特性，我们提出了FONDUE：一种快速找到潜在维度数量的算法，在此之后，平均值和采样表示开始发散（即，当引入被动变量时），为VAE和自动编码器选择潜在维度的数量提供了一种原则性方法。
2022-09-26 cs.LG
Tutorial: Deriving the Standard Variational Autoencoder (VAE) Loss Function
RETINA-AI Health, Inc.（RETINA-AI健康公司）；MD Anderson Cancer Center（MD安德森癌症中心）
在贝叶斯机器学习中，后验分布通常在计算上是难以处理的，因此经常需要变分推理。在这种方法中，数据的对数似然性的证据下限在训练期间被最大化。变分自编码器（VAE）是利用变分推断的一个重要示例。在本教程中，我们推导出标准变分自编码器的变分下界损失函数。我们这样做的高斯潜在先验和高斯近似后验的情况下，假设Kullback-Leibler项的变分下界有一个封闭的形式的解决方案。我们基本上推导出了我们在此过程中使用的所有内容;从贝叶斯定理到Kullback-Leibler分歧。
2019-07-21 cs.LG stat.ML
VAEL: Bridging Variational Autoencoders and Probabilistic Logic Programming
University of Bologna（博洛尼亚大学）；KU Leuven（鲁汶大学）
我们提出了VAEL，神经符号生成模型集成变分自编码器（VAE）与概率逻辑（L）编程的推理能力。除了标准的潜在子符号变量，我们的模型利用概率逻辑程序来定义一个进一步的结构化表示，这是用于逻辑推理。整个过程是端到端的差异化。一旦经过训练，VAEL可以通过（i）利用神经组件中编码的先前获得的知识以及（ii）在结构化潜在空间上利用新的逻辑程序来解决新的看不见的生成任务。我们的实验提供了支持的好处，这种神经符号积分的任务泛化和数据效率。据我们所知，这项工作是第一个提出一个通用的端到端框架集成概率逻辑编程到一个深生成模型。
2022-05-25 cs.LG cs.PL
A Stable Variational Autoencoder for Text Modelling
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）
变分自编码器（VAE）是一种学习高维数据表示的有效方法。然而，VAE可能会遇到一个被称为潜在变量崩溃（或KL损失消失）的问题，其中后验崩溃到先验，模型将忽略生成任务中的潜在代码。当采用VAE-RNN架构进行文本建模时，这样的问题特别普遍（Bowman等人，2016）。在本文中，我们提出了一个简单的架构称为整体正则化VAE（HR-VAE），它可以有效地避免潜在变量崩溃。与现有的VAE-RNN架构相比，我们表明我们的模型可以实现更稳定的训练过程，并且可以生成质量更好的文本。
2019-11-13 cs.CL cs.LG
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
变分自编码器（VAE）开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅，但它们通常对表示学习没有用处。在这项工作中，我们提出了一个简单而强大的VAE类，同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合，目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE，这种方法可以显着提高学习的高级表示的质量。我们实现这一点，通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验，我们表明InfoMax-VAE优于当代流行的方法，包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
Gaussian Copula Variational Autoencoders for Mixed Data
Pohang University of Science and Technology（浦项科技大学）
变分自编码器（VAE）是一种具有连续潜变量的生成模型，其中一对概率编码器（自下而上）和解码器（自上而下）通过随机梯度变分贝叶斯联合学习。我们首先阐述高斯VAE，近似的本地协方差阵的解码器作为一个外积的主方向在一个位置确定的样本从高斯分布。我们表明，该模型，称为VAE-ROC，更好地捕捉数据流形，相比标准的高斯VAE独立的多变量高斯被用来模拟解码器。然后，我们扩展VAE-ROC处理混合分类和连续数据。为此，我们采用高斯copula模型的局部依赖混合分类和连续数据，导致{ \em高斯copula变分自动编码器}（GCVAE）。在VAE-ROC中，我们使用高斯copula中协方差的秩一近似来捕获混合数据中的局部依赖结构。在各种数据集上的实验证明了VAE-ROC和GCVAE与标准VAE相比的有用行为。
2016-04-18 cs.LG stat.ML
MAD-VAE: Manifold Awareness Defense Variational Autoencoder
New York University Shanghai（上海纽约大学）
尽管Defense-GAN和Defense-VAE等深度生成模型在图像分类神经网络的对抗性防御方面取得了重大进展，但已经发现了几种方法来规避这些防御。本文在Defense-VAE的基础上，介绍了几种提高防御模型鲁棒性的方法。本文介绍的方法是直接向前的，但显示出比香草防御VAE的承诺。通过在MNIST数据集上的大量实验，我们证明了我们的算法对不同攻击的有效性。我们的实验还包括对防御模型的潜在空间的攻击。我们还讨论了现有的对抗性潜在空间攻击的适用性，因为它们可能存在重大缺陷。
2020-10-31 cs.CR cs.LG
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California（南加州大学）
在本文中，我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入，而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合，用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计，并且它用作并行级联变分自编码器（PC-VAE）的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵，不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
DP$^2$-VAE: Differentially Private Pre-trained Variational Autoencoders
现代机器学习系统在大型数据集上训练时取得了巨大的成功。然而，这些数据集通常包含敏感信息（例如医疗记录、人脸图像），导致严重的隐私问题。差分私有生成模型（DPGM）通过生成私有化的敏感数据来规避这种隐私问题。与其他差分隐私（DP）学习器类似，DPGM的主要挑战也是如何在效用和隐私之间实现微妙的平衡。我们提出了DP $^2$ -VAE，一种新的训练机制变分自编码器（VAE）与可证明的DP保证和改进的效用通过\emph{pre-training on private data}。在相同的DP约束条件下，DP $^2$ -VAE最小化了训练过程中的扰动噪声，从而提高了实用性。DP $^2$ -VAE非常灵活，易于适用于许多其他VAE变体。理论上，我们研究了预训练对私有数据的影响。从经验上讲，我们对图像数据集进行了广泛的实验，以说明我们在各种隐私预算和评估指标下优于基线。
2022-11-02 cs.CR cs.LG
Conditioned Variational Autoencoder for top-N item recommendation
University of Padova（帕多瓦大学）
在本文中，我们提出了一个有条件的变分自编码器（C-VAE）的约束top-N项目推荐，其中推荐的项目必须满足一个给定的条件。所提出的模型架构类似于标准VAE，其中条件向量被馈送到编码器中。由于考虑了输入条件的新的重建损失，在训练期间学习受约束的排名。我们表明，我们的模型概括了国家的最先进的多VAE协同过滤模型。此外，我们还提供了关于C-VAE在潜在空间中学习的内容的见解，提供了人性化的解释。实验结果强调了C-VAE在约束条件下提供准确建议的潜力。最后，所进行的分析表明，C-VAE可以用于其他推荐场景，如上下文感知推荐。
2020-05-04 cs.IR cs.LG
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
Neighbor Embedding Variational Autoencoder
Harbin Institute of Technology（哈尔滨工业大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
作为最流行的生成框架之一，变分自编码器（VAE）已知遭受称为后验崩溃（posterior collapse）的现象，即潜在的变分分布崩溃到先验，特别是当使用强解码器网络时。在这项工作中，我们分析了塌陷VAE的潜在表示，并提出了一种新的模型，邻居嵌入VAE（NE-VAE），它显式地限制编码器将输入空间中接近的输入编码为潜在空间中接近的输入。我们观察到，对于报告类似ELBO的VAE变体，KL分歧甚至互信息分数在潜在组织中的表现可能仍然非常不同。在我们的实验中，NE-VAE可以产生定性不同的潜在表示，其中大部分潜在维度保持活跃，这可能有利于下游潜在空间优化任务。NE-VAE可以比它的前辈更大程度地防止后崩溃，并且可以很容易地插入到任何自动编码器框架中，而无需引入额外的模型组件和复杂的训练例程。
2021-03-21 cs.LG stat.ML
Tutorial on Variational Autoencoders
Carnegie Mellon（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
在短短三年的时间里，变分自编码器（VAE）已经成为复杂分布无监督学习的最流行方法之一。VAE之所以吸引人，是因为它们建立在标准函数逼近器（神经网络）之上，并且可以用随机梯度下降进行训练。VAE已经在生成许多类型的复杂数据方面显示出了希望，包括手写数字、人脸、门牌号、CIFAR图像、场景的物理模型、分割以及从静态图像预测未来。本教程介绍VAE背后的直觉，解释它们背后的数学，并描述一些经验行为。假设变分贝叶斯方法没有先验知识。
2021-01-03 cs.LG stat.ML
Beta-Sigma VAE: Separating beta and decoder variance in Gaussian variational autoencoder
Kyung Hee University（庆熙大学）
针对VAE输出模糊的问题，提出明确分离β参数与解码器方差的Beta-Sigma VAE模型，解决二者不可区分带来的分析与性能限制，在自然图像合成上表现更优，且参数可控、分析可预测。
2024-09-14 cs.CV cs.LG stat.ML
Certifiably Robust Variational Autoencoders
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
我们介绍了一种训练变分自编码器（VAE）的方法，这种方法对对抗性攻击具有可证明的鲁棒性。具体来说，我们首先推导出可操作的边界上的最小尺寸的输入扰动需要改变一个VAE的重建超过一个允许的量，这些边界取决于某些关键参数，如编码器和解码器的Lipschitz常数。然后，我们将展示如何控制这些参数，从而提供一种机制，以确保\textit{a priori}的VAE将达到所需的鲁棒性水平。此外，我们将其扩展到一个完整的实用方法来训练这样的VAE，以确保我们的标准得到满足。至关重要的是，我们的方法允许一个指定所需的鲁棒性\emph{upfront}水平，然后训练一个VAE，保证实现这种鲁棒性。我们进一步证明，这些Lipschitz约束VAE是更强大的攻击比标准VAE在实践中。
2022-04-23 cs.LG stat.ML
VAEBM: A Symbiosis between Variational Autoencoders and Energy-based Models
The University of Chicago（芝加哥大学）；NVIDIA（英伟达）
基于能量的模型（EBM）最近已经成功地表示复杂的分布的小图像。然而，从它们中采样需要昂贵的马尔可夫链蒙特卡罗（MCMC）迭代，在高维像素空间中混合缓慢。与EBM不同，变分自编码器（VAE）快速生成样本，并配备了一个潜在的空间，使数据流形的快速遍历。然而，VAE倾向于将高概率密度分配给实际数据分布之外的数据空间中的区域，并且通常无法生成清晰的图像。在本文中，我们提出了VAEBM，一个共生组合物的VAE和EBM，提供了最好的两个世界。VAEBM使用最先进的VAE捕获数据分布的整体模式结构，并且它依赖于其EBM组件来明确地从模型中排除非数据区域并细化图像样本。此外，VAEBM中的VAE组件允许我们通过在VAE的潜在空间中重新参数化MCMC更新来加快MCMC更新。我们的实验结果表明，VAEBM优于国家的最先进的VAE和EBM的生成质量在几个基准图像数据集的大幅度。它可以生成高质量的图像，大至256 $\times$ 256像素与短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖，并在分布外检测表现良好。源代码可在https://github.com/NVlabs/VAEBM上获得
2021-11-04 cs.CV cs.LG stat.ML
Improving Variational Autoencoder for Text Modelling with Timestep-Wise Regularisation
University of Sheffield（谢菲尔德大学）；Utrecht University（乌得勒支大学）
变分自编码器（VAE）是一种流行的、功能强大的模型，用于文本建模以生成多样化的句子。然而，当VAE用于文本建模时，会发生称为后验崩溃（或KL损失消失）的问题，其中近似后验崩溃为先验，并且模型将完全忽略潜在变量，并且在文本生成期间退化为普通语言模型。当基于RNN的VAE模型用于文本建模时，这样的问题特别普遍。在本文中，我们提出了一种简单的通用架构，称为Timestep-Wise Regularisation VAE（TWR-VAE），它可以有效地避免后验崩溃，并可以应用于任何基于RNN的VAE模型。我们的模型的有效性和多功能性在不同的任务中得到了证明，包括语言建模和对话响应生成。
2020-11-03 cs.CL cs.LG
Variational Rank Reduction Autoencoders
本文提出变分秩缩减自编码器（VRRAEs），结合RRAEs的SVD正则化与VAEs的概率潜在空间，通过KL散度正则化，在生成和插值任务上优于两者，并降低后验坍塌风险。
2025-10-14 cs.LG
Learning Conditional Variational Autoencoders with Missing Covariates
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Bayer Pharmaceuticals（拜耳制药）
条件变分自编码器（CVAE）是通用的深度生成模型，通过用辅助协变量调节生成模型来扩展标准VAE框架。原始CVAE模型假设数据样本是独立的，而最近的条件VAE模型，如高斯过程（GP）先验VAE，可以解释所有数据样本的复杂相关结构。虽然已经提出了几种方法来从部分观察的数据集学习标准VAE，但这些方法不适合条件VAE。在这项工作中，我们提出了一种方法来学习条件VAE的数据集，其中辅助协变量可以包含缺失值以及。所提出的方法增加了条件VAE与先验分布的缺失协变量和估计其后使用摊销变分推断。在训练时，我们的方法将与缺失协变量相关的不确定性边缘化，同时最大化证据下限。我们开发了计算效率高的方法来学习CVAE和GP之前的VAE，是兼容的迷你。我们在模拟数据集以及临床试验研究上的实验表明，该方法在从非时间，时间和纵向数据集学习条件VAE方面优于以前的方法。
2022-03-02 cs.LG stat.ML
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
End-To-End Dilated Variational Autoencoder with Bottleneck Discriminative Loss for Sound Morphing -- A Preliminary Study
University College London（伦敦大学学院）；Accenture（埃森哲）
我们提出了一个端到端的变分自编码器（VAE）的声音变形的初步研究。比较了两种VAE变体：具有膨胀层的VAE（DC-VAE）和仅具有常规卷积层的VAE（CC-VAE）。我们结合了以下损失函数：1）用于重建输入信号的时域均方误差，2）瓶颈层中标准正态分布的Kullback-Leibler散度，以及3）从瓶颈表示计算的分类损失。在语音数据库上，我们使用1-最近邻分类来表明语音类在瓶颈层分离。我们引入梅尔频率倒谱系数动态时间规整（MFCC-DTW）偏差作为VAE解码器如何将潜在（瓶颈）层中的类中心投影到音频域中该类声音的中心的度量。在MFCC-DTW偏差和1-NN分类方面，DC-VAE优于CC-VAE。我们的参数化和数据集的这些结果表明，DC-VAE比CC-VAE更适合于声音变形，因为DC-VAE解码器在从音频域映射到潜在空间时更好地保留了拓扑结构。例子都给出了变形口语数字和鼓的声音。
2020-11-19 cs.LG cs.SD eess.AS
Theoretical Convergence Guarantees for Variational Autoencoders
CNRS（法国国家科学研究中心）；LOPF, Califrais’ Machine Learning Lab（LOPF，Califrais机器学习实验室）
本文提出变分自编码器的非渐近收敛保证，分析了不同优化算法和超参数对收敛的影响，为VAE的理论理解提供了新见解。
2025-12-22 cs.LG stat.ML
DE-VAE: Revealing Uncertainty in Parametric and Inverse Projections with Variational Autoencoders using Differential Entropy
University of Konstanz（康斯坦茨大学）
DE-VAE通过引入微分熵提升变分自编码器在参数化和反向投影中的不确定性分析能力，实现对分布外样本的更有效处理。
2026-10-01 cs.LG
Variational Autoencoders: A Harmonic Perspective
University of Oxford（牛津大学）；UCL（伦敦大学学院）；The Alan Turing Institute（艾伦·图灵研究所）
在这项工作中，我们研究变分自动编码器（VAE）的谐波分析的角度。通过查看一个VAE的潜在空间作为高斯空间，各种测量空间，我们得出了一系列的结果表明，VAE的编码器方差控制的VAE编码器和解码器神经网络参数化的功能的频率内容。特别是，我们证明了较大的编码器方差降低这些功能的高频内容。我们的分析使我们能够表明，增加这个方差有效地诱导了VAE解码器网络上的软Lipschitz约束，这是VAE对抗鲁棒性的核心贡献者。我们进一步证明，将高斯噪声添加到VAE的输入中可以更精细地控制VAE编码器网络的频率内容和Lipschitz常数。为了支持我们的理论分析，我们使用小型全连接神经网络和较大的卷积网络进行VAE实验，以经验证明我们的理论适用于各种神经网络架构。
2022-04-23 cs.LG eess.SP stat.ML
FastGAE: Scalable Graph Autoencoders with Stochastic Subgraph Decoding
Deezer Research（Deezer研究院）；LIX, École Polytechnique（巴黎综合理工学院LIX实验室）
图自编码器（AE）和变分自编码器（VAE）是功能强大的节点嵌入方法，但存在可扩展性问题。在本文中，我们介绍了FastGAE，一个通用的框架，以规模图AE和VAE的大型图与数百万的节点和边缘。我们的策略，基于一个有效的随机子图解码方案，显着加快了图AE和VAE的训练，同时保持甚至提高性能。我们证明了FastGAE在各种现实世界的图形上的有效性，远远优于现有的几种方法来缩放图形AE和VAE。
2021-04-13 cs.LG cs.SI stat.ML
Guided Variational Autoencoder for Disentanglement Learning
Tsinghua University（清华大学）；UC San Diego（加州大学圣地亚哥分校）；Qualcomm, Inc.（高通公司）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一种算法，引导变分自编码器（Guided-VAE），这是能够学习一个可控的生成模型，通过执行潜在表示解纠缠学习。学习的目标是通过提供信号的潜在的编码/嵌入VAE不改变其主要骨干架构，从而保持所需的属性的VAE。我们在Guided-VAE中设计了一个无监督策略和一个有监督策略，并观察到增强的建模和控制能力。在无监督策略中，我们通过引入学习潜在几何变换和主成分的轻量级解码器来指导VAE学习;在有监督策略中，我们使用对抗性激励和抑制机制来鼓励潜在变量的解开。Guided-VAE对于一般的表示学习任务以及解纠缠学习具有透明性和简单性。在表示学习的许多实验中，已经观察到元学习中改进的合成/采样、更好的分类解缠以及减少的分类错误。
2020-04-02 cs.CV cs.LG
Enhancing Variational Autoencoders with Smooth Robust Latent Encoding
Korea University（韩国大学）；Microsoft（微软）；KAIST（韩国科学技术院）
提出SRL-VAE对抗训练框架，通过平滑潜在空间并正则化原始表示，在最小计算开销下同时提升预训练VAE的生成质量与鲁棒性，实验证明其在图像重建、编辑及对抗攻击下均有效。
2025-04-24 cs.AI cs.CR cs.LG
Clockwork Variational Autoencoders
University of Toronto（多伦多大学）；Google Research, Brain Team（谷歌研究院大脑团队）
深度学习使算法能够生成逼真的图像。然而，准确预测长视频序列需要了解长期依赖关系，仍然是一个开放的挑战。虽然现有的视频预测模型成功地生成了清晰的图像，但它们往往无法准确地预测未来。我们引入了Clockwork VAE（CW-VAE），这是一种视频预测模型，它利用了潜在序列的层次结构，其中较高的级别以较慢的时间间隔进行。我们证明了分层潜伏期和时间抽象的好处4不同的视频预测数据集的序列高达1000帧，其中CW-VAE优于顶级视频预测模型。此外，我们还提出了一个Minecraft长期视频预测基准。我们进行了几个实验来深入了解CW-VAE，并确认较慢的水平学习表示视频中变化较慢的对象，而较快的水平学习表示较快的对象。
2021-02-20 cs.AI cs.CV cs.LG
EQ-VAE: Equivariance Regularized Latent Space for Improved Generative Image Modeling
Archimedes,Athena Reaserch Center, Greece（阿基米德、阿泰纳研究中心）；National Technical University of Athens, Greece（雅典技术大学）；University of Crete, Greece（克里特大学）
针对现有自编码器缺乏等变性导致潜空间复杂、阻碍生成性能的问题，提出EQ-VAE正则化方法，强制潜空间等变性，微调预训练自编码器，显著提升多种生成模型性能并实现7倍加速。
2025-08-04 cs.LG
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架，用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验，替代标准正态先验，并引入潜在缩放因子控制采样方差，平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Importance Weighted Autoencoders
University of Toronto（多伦多大学）
变分自编码器（VAE; Kingma，Welling（2014））是最近提出的生成模型，其将自顶向下的生成网络与近似后验推理的自底向上的识别网络配对。它通常对后验推断做出强假设，例如后验分布近似为阶乘，并且其参数可以通过观察值的非线性回归近似。正如我们经验所示，VAE目标可能导致过度简化的表示，无法使用网络的整个建模能力。我们提出的重要性加权自动编码器（IWAE），生成模型与相同的架构的VAE，但它使用严格的更严格的对数似然下界来自重要性加权。在IWAE中，识别网络使用多个样本来近似后验，从而增加了对不符合VAE建模假设的复杂后验建模的灵活性。我们的经验表明，IWAE学习更丰富的潜在空间表示比VAE，导致密度估计基准测试对数似然改进。
2016-11-07 cs.LG stat.ML
Conditional Deep Hierarchical Variational Autoencoder for Voice Conversion
DeNA Co., Ltd.（DeNA有限公司）；University of Tokyo（东京大学）；The University of Electro-Communications（电气通信大学）
基于变分自编码器的语音转换（VAE-VC）具有仅需要成对的语音和说话者标签用于训练的优点。与大多数VAE-VC的研究，重点是利用辅助损失或离散化的潜变量，本文研究了如何增加模型的表现力有好处和影响的VAE-VC。具体来说，我们首先分析VAE-VC从率失真的角度来看，并指出，模型的表现力是重要的VAE-VC，因为率和失真反映的相似性和自然的转换语音。基于分析，我们提出了一种新的VC方法，使用一个深层次的VAE，它具有高的模型表现力，以及由于其非自回归解码器具有快速的转换速度。此外，我们的分析还揭示了另一个问题，即当VAE的潜变量具有冗余信息时，相似性会降低。我们解决这个问题，通过使用$β$ -VAE目标控制包含在潜变量中的信息。在使用VCTK语料库的实验中，所提出的方法在跨性别设置中的自然度和相似度上的平均意见得分均高于3.5，高于现有的基于自动编码器的VC方法的得分。
2021-12-06 cs.LG cs.SD eess.AS
High Fidelity Image Synthesis With Deep VAEs In Latent Space
我们提出了快速，逼真的图像生成的高分辨率，多模态数据集使用分层变分自编码器（VAE）上训练的确定性自编码器的潜在空间。在这个两阶段的设置中，自动编码器将图像压缩为其语义特征，然后使用深度VAE对其进行建模。通过这种方法，VAE避免了对构成图像代码长度大部分的细粒度细节进行建模，从而使其能够专注于学习其结构组件。我们证明了我们的两阶段方法的有效性，在ImageNet-256数据集上实现了9.34的FID，与BigGAN相当。我们在线提供我们的实施。
2023-03-23 cs.CV cs.LG eess.IV
LDC-VAE: A Latent Distribution Consistency Approach to Variational AutoEncoders
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
变分自编码器（VAE）作为生成模型的一个重要方面，受到了广泛的研究兴趣，并取得了许多成功的应用。然而，在优化证据下界（ELBO）时，如何保证学习到的潜在分布与先验潜在分布的一致性一直是一个难题，并最终导致数据生成性能不理想。在本文中，我们提出了一种潜在分布一致性方法，以避免ELBO优化中后验潜在分布和先验潜在分布之间的实质性不一致。我们将这种方法称为潜在分布一致性VAE（LDC-VAE）。我们通过假设潜在空间中的真实后验分布为Gibbs形式，并使用我们的编码器对其进行近似来实现这一目的。然而，这种Gibbs后验在近似中没有解析解，传统的近似方法非常耗时，例如使用基于迭代采样的MCMC。为了解决这个问题，我们使用Stein变分梯度下降（SVGD）来近似Gibbs后验。同时，我们使用SVGD来训练一个采样网络，它可以从Gibbs后验中获得有效的样本。对流行的图像生成数据集的比较研究表明，我们的方法已经取得了相当的性能，甚至比几个强大的改进VAE更好。
2022-05-08 cs.AI cs.CV cs.IT
Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
变分自编码器是最常用的生成模型之一，特别是对于图像数据。训练VAE的一个突出困难是支持低维流形的数据。Dai和Wipf（2020）最近的工作提出了一种VAE的两阶段训练算法，基于一种猜想，即在标准VAE训练中，生成器将收敛到一个方差为0的解，该解在地面真值流形上得到正确支持。他们通过证明VAE损失的一些最优值确实满足这一特性，部分支持了这一猜想，但没有分析训练动态。在本文中，我们表明，对于线性编码器/解码器，该猜想是正确的，即VAE训练确实恢复了支持等于地面真值流形的生成器，并且由于梯度下降的隐式偏差而不仅仅是VAE损失本身。在非线性的情况下，我们表明VAE训练经常学习高维流形，这是地面真值流形的超集。
2022-05-17 cs.LG stat.ML
Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders
Kyushu University（九州大学）
本研究试图建构一个网路，将线上与线下手写文字互相转换。该网络由两个可变自动编码器（VAE）组成，具有共享的潜在空间。VAE被训练成同时生成在线和离线手写拉丁字符。通过这种方式，我们创建了一个跨模态VAE（Cross-VAE）。在训练期间，所提出的交叉VAE被训练以最小化两种模态的重建损失、两个VAE的分布损失以及称为空间共享损失的新颖的第三损失。第三，空间共享损失用于通过计算潜变量之间的距离来鼓励模态共享相同的潜空间。通过该方法，在线和离线手写字符的相互转换是可能的。在本文中，我们证明了交叉VAE的性能，通过定性和定量分析。
2019-06-14 cs.CV cs.LG
Jigsaw-VAE: Towards Balancing Features in Variational Autoencoders
Autodesk AI Research（欧特克人工智能研究院）；Imagia（Imagia公司）；MILA（蒙特利尔学习算法研究所）
VAE学习的潜变量作为一种无监督的特征提取方式已经引起了相当大的兴趣，这些特征可以用于下游任务。人们越来越感兴趣的问题是，在一个环境中学习的特征是否会在不同的环境中推广。我们在这里证明，VAE潜变量往往集中在一些因素的变化，在其他的牺牲-在这种情况下，我们称为“不平衡”的功能。当潜变量用于特征存在变化的环境中时，特征不平衡导致泛化能力差。类似地，用不平衡特征训练的潜在变量会导致VAE生成不太多样化（即偏向主导特征）的样本。为了解决这个问题，我们提出了一个正则化方案的VAE，我们表明，基本上解决了特征不平衡的问题。我们还引入了一个简单的度量来衡量生成的图像中的功能的平衡。
2020-05-12 cs.CV cs.LG stat.ML
Alleviating Adversarial Attacks on Variational Autoencoders with MCMC
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
变分自编码器（VAE）是一种隐变量模型，可以生成复杂对象并提供有意义的隐表示。此外，它们还可以进一步用于下游任务，如分类。正如以前的工作所示，人们可以很容易地欺骗VAE，为视觉上稍微修改的输入产生意想不到的潜在表示和重建。在这里，我们研究了几个目标函数的对抗攻击建设提出了一个解决方案，以减轻这些攻击的影响。我们的方法利用马尔可夫链蒙特卡罗（MCMC）技术的推理步骤，我们激励与理论分析。因此，我们在训练过程中不包含任何额外的成本，并且在非攻击输入上的性能不会降低。我们在各种数据集（MNIST，Fashion MNIST，Color MNIST，CelebA）和VAE配置（$β$ -VAE，NVAE，$β$ -TCVAE）上验证了我们的方法，并表明我们的方法始终提高了模型对对抗攻击的鲁棒性。
2022-10-12 cs.LG
RecVAE: a New Variational Autoencoder for Top-N Recommendations with Implicit Feedback
Samsung-PDMI Joint AI Center（三星-PDMI联合人工智能中心）；Steklov Institute of Mathematics at St. Petersburg（圣彼得堡斯捷克洛夫数学研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
最近的研究表明，使用基于深度神经网络的自动编码器进行协同过滤具有优势。特别是，最近提出的Mult-VAE模型，它使用了多项式似然变分自编码器，已经显示出优秀的结果，前N个建议。在这项工作中，我们提出了推荐VAE（RecVAE）模型，该模型源于我们对变分自编码器正则化技术的研究。RecVAE引入了几个新的想法来改进Mult-VAE，包括潜在代码的新复合先验分布，为$β$ -VAE框架设置$β$超参数的新方法，以及基于交替更新的新训练方法。在实验评估中，我们表明RecVAE在经典的协同过滤数据集上显著优于先前提出的基于自动编码器的模型，包括Mult-VAE和RaCT，并提出了详细的消融研究来评估我们的新发展。代码和模型可在https://github.com/ilya-shenbin/RecVAE上获得。
2019-12-24 cs.IR cs.LG
Symmetric Variational Autoencoder and Connections to Adversarial Learning
Duke University（杜克大学）
提出了一种基于对称库尔贝克-莱布勒散度的变分自编码器（VAE）。结果表明，学习所产生的对称VAE（SVAE）有密切的联系，以前开发的对抗学习方法。这种关系有助于统一VAE和对抗学习的先前不同的技术，并提供见解，使我们能够改善一些先前开发的对抗方法的缺点。除了激励和解释sVAE的分析外，一组广泛的实验验证了该方法的实用性。
2017-10-19 cs.LG stat.ML
Modeling Barrett's Esophagus Progression using Geometric Variational Autoencoders
University of Amsterdam（阿姆斯特丹大学）；Amsterdam University Medical Centres（阿姆斯特丹大学医学中心）
针对巴雷特食管早期检测需求，研究几何变分自编码器捕捉其进展潜在表示的效果，验证两类几何VAE的性能提升，并提出兼具生成能力与自编码器优势的新型架构。
2025-06-16 cs.CV cs.LG eess.IV
Three Variations on Variational Autoencoders
Michigan State University（密歇根州立大学）
本文通过引入第二个参数化编码器/解码器对及额外固定编码器，提出变分自编码器的三种变体，并发现其中一种变体导出的证据上界（EUBO）可与ELBO结合检验模型收敛性。
2023-04-05 cs.LG
