Handling Incomplete Heterogeneous Data using VAEs
Alan Turing Institute（艾伦·图灵研究所）；University Carlos III in Madrid（马德里卡洛斯三世大学）；University of Cambridge（剑桥大学）；Uber AI Labs（优步人工智能实验室）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
变分自编码器（VAE）以及其他生成模型已经被证明对于捕获大量复杂高维数据的潜在结构是有效和准确的。然而，现有的VAE仍然不能直接处理异质（混合连续和离散）或不完整（随机缺失数据）的数据，这在现实世界的应用中确实很常见。在本文中，我们提出了一个通用的框架来设计VAE适合于拟合不完整的异质数据。拟议的HI-VAE包括实值、正实值、区间、分类、有序和计数数据的似然模型，并允许准确估计（和潜在插补）缺失数据。此外，HI-VAE在监督任务中表现出有竞争力的预测性能，在不完整数据上训练时优于监督模型。
2020-05-22 cs.AI cs.LG stat.ML
dpVAEs: Fixing Sample Generation for Regularized VAEs
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah（犹他大学）
在没有标记数据的情况下，通过生成建模的无监督表示学习是许多计算机视觉应用的主食。变分自编码器（VAE）是一种强大的生成模型，它可以学习对数据生成有用的表示。然而，由于训练目标中的固有挑战，VAE无法学习适合下游任务的有用表示。试图改善VAE的表示学习方面的基于正则化的方法是有代价的：糟糕的样本生成。在本文中，我们探讨了这种代表性的代权衡正则化VAE，并引入了一个新的家庭的先验，即解耦先验，或dpVAE，解耦的代表空间从生成空间。这种解耦使得能够在表示空间上使用VAE正则化器，而不影响用于样本生成的分布，从而在不牺牲样本生成的情况下获得正则化的表示学习益处。dpVAE利用可逆网络来学习从任意复杂的表示分布到简单、易处理的生成分布的双射映射。解耦的先验可以适应最先进的VAE正则化器，而无需额外的超参数调整。我们展示了使用不同的正则化dpVAE。MNIST，SVHN和CelebA的实验表明，定量和定性，dpVAE固定的样本生成正则化VAE。
2020-03-22 cs.CV cs.LG stat.ML
Pixel VQ-VAEs for Improved Pixel Art Representation
University of Alberta（阿尔伯塔大学）
机器学习在图像处理方面取得了巨大的成功。然而，这项工作的重点主要集中在逼真的图像上，忽略了更小众的艺术风格，如像素艺术。此外，许多传统的机器学习模型，专注于像素组不工作，像素艺术，其中个别像素是重要的。我们提出了像素VQ-VAE，一个专门的VQ-VAE模型，学习像素艺术的表示。我们表明，它优于其他模型的嵌入质量以及下游任务的性能。
2022-09-21 cs.CV cs.LG
Embrace the Gap: VAEs Perform Independent Mechanism Analysis
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Amazon Web Services（亚马逊云服务）
变分自动编码器（VAE）是一个流行的框架，用于建模复杂的数据分布;他们可以有效地训练通过变分推断最大化的证据下限（ELBO），在一个间隙的代价，以确切的（对数）边际似然。虽然VAE通常用于表示学习，但不清楚为什么ELBO最大化会产生有用的表示，因为未正则化的极大似然估计不能反转数据生成过程。然而，VAE往往成功地完成了这项任务。我们试图通过研究非线性VAE在近确定性解码器的限制来阐明这一明显的悖论。我们首先证明，在这种制度下，最佳的编码器近似反转的解码器-一个常用的，但未经证实的猜想-我们称为{ \em自我一致性}。利用自我一致性，我们表明，ELBO收敛到一个正规化的对数似然。这使得VAE能够执行最近被称为独立机制分析（IMA）的操作：它增加了对具有列正交雅可比矩阵的解码器的归纳偏差，这有助于恢复真正的潜在因素。因此，ELBO和对数似然之间的差距是受欢迎的，因为它为非线性表示学习带来了意想不到的好处。在合成和图像数据的实验中，我们表明，VAE发现真正的潜在因素时，数据生成过程满足IMA假设。
2023-01-27 cs.AI cs.LG stat.ML
High Fidelity Image Synthesis With Deep VAEs In Latent Space
我们提出了快速，逼真的图像生成的高分辨率，多模态数据集使用分层变分自编码器（VAE）上训练的确定性自编码器的潜在空间。在这个两阶段的设置中，自动编码器将图像压缩为其语义特征，然后使用深度VAE对其进行建模。通过这种方法，VAE避免了对构成图像代码长度大部分的细粒度细节进行建模，从而使其能够专注于学习其结构组件。我们证明了我们的两阶段方法的有效性，在ImageNet-256数据集上实现了9.34的FID，与BigGAN相当。我们在线提供我们的实施。
2023-03-23 cs.CV cs.LG eess.IV
Lossy Image Compression with Quantized Hierarchical VAEs
Nanjing University（南京大学）；Purdue University（普渡大学）
最近的研究表明，变分自编码器（VAE）和率失真理论之间有很强的理论联系。受此启发，我们从生成式建模的角度考虑有损图像压缩问题。从最初为数据（图像）分布建模而设计的ResNet VAE开始，我们使用量化感知的后验和先验来重新设计其潜变量模型，从而在测试时实现轻松的量化和熵编码。随着改进的神经网络架构，我们提出了一个强大而有效的模型，优于以前的方法对自然图像的有损压缩。我们的模型以从粗到细的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。代码可在https://github.com/duanzhiihao/lossy-vae上获得。
2023-03-25 cs.CV cs.LG eess.IV
Multiple Invertible and Partial-Equivariant Function for Latent Vector Transformation to Enhance Disentanglement in VAEs
Gwangju Institute of Science and Technology (GIST)（全州科学与技术研究院）
本文提出MIPE-Transformation方法，通过可逆变换与指数族转换提升VAEs中的解耦性能。
2026-02-05 cs.AI cs.LG
Spatial Broadcast Decoder: A Simple Architecture for Learning Disentangled Representations in VAEs
DeepMind（深度思维）
我们提出了一个简单的神经渲染架构，帮助变分自编码器（VAE）学习解纠缠表示。代替VAE解码器中通常使用的去卷积网络，我们在空间中平铺（广播）潜在向量，连接固定的X和Y“坐标”通道，并应用具有1x1步幅的完全卷积网络。这提供了一个架构之前，从VAE的潜在分布中的非位置特征分离的位置，但没有提供任何明确的监督，这种效果。我们表明，这种架构，我们称之为空间广播解码器，提高了解开，重建精度，并推广到数据空间中的区域。当应用于具有小对象的数据集时，它提供了特别显着的好处。我们还强调了一种可视化学习的潜在空间的方法，帮助我们诊断我们的模型，并可能证明对其他旨在评估数据表示的人有用。最后，我们展示了空间广播解码器是最先进的（SOTA）解纠缠技术的补充，并在合并时提高了它们的性能。
2019-08-14 cs.CV cs.LG stat.ML
Training VAEs Under Structured Residuals
University of Bath（巴斯大学）；Anthropics Technology Ltd.（Anthropics技术有限公司）；University College London（伦敦大学学院）
本文提出在VAE中引入结构高斯似然预测网络，以建模残差相关性，同时提供有效训练方案和性能优化建议。
2018-07-31 cs.CV cs.LG stat.ML
A Tutorial on VAEs: From Bayes' Rule to Lossless Compression
变分自动编码器（VAE）是一种简单，高效，流行的深度最大似然模型。虽然VAE的使用是广泛的，但VAE的推导并没有被广泛理解。在本教程中，我们将提供VAE的概述，并通过VAE目标的各种推导和解释进行游览。从概率的角度来看，我们将通过贝叶斯规则，重要性采样和变量变化公式来检查VAE。从信息论的观点来看，我们将通过无损压缩和通过噪声信道传输的镜头来检查VAE。然后，我们将确定两个常见的误解VAE制定和他们的实际后果。最后，我们将使用玩具2D数据上的代码示例（附带一个笔记本）可视化VAE的功能和限制。
2020-06-30 cs.LG stat.ML
Relaxed-Responsibility Hierarchical Discrete VAEs
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；Oxford-Man Institute（牛津-曼彻斯特研究所）
成功地训练具有离散潜变量层次结构的变分自动编码器（VAE）仍然是一个活跃的研究领域。矢量量化VAE是离散VAE的一种强大方法，但在训练时，朴素的分层扩展可能不稳定。利用经典推理方法的见解，我们引入了\textit{Relaxed-Responsibility Vector-Quantisation}，这是一种参数化离散潜变量的新方法，是放松矢量量化的一种改进，可以提供更好的性能和更稳定的训练。这使得一种新的方法，分层离散变分自动编码器与许多层的潜在变量（这里高达32），我们训练端到端。在具有端到端训练的离散潜变量的分层概率深度生成模型中，我们为各种标准数据集实现了最先进的bits-per-dim结果。与具有单层潜在变量的离散VAE不同，我们可以通过祖先采样来产生样本：在学习的潜在表示上训练第二自回归生成模型，然后从中采样，然后解码，这不是必需的。此外，在这些深层次模型中的后一种方法将需要数千次向前传递来生成单个样本。此外，我们观察到模型的不同层与数据的不同方面相关联。
2021-02-04 cs.CV cs.LG stat.ML
On the Limitations of Multimodal VAEs
ETH Zurich（苏黎世联邦理工学院）
多模态变分自编码器（VAE）已显示出作为弱监督数据的有效生成模型的前景。然而，尽管它们的优势是弱监督，但与完全无监督的单峰VAE相比，它们在生成质量上存在差距。在试图解释这一差距，我们发现了一个基本的限制，适用于一个大家庭的混合为基础的多模态VAE。我们证明了模态的子采样强制执行了多模态ELBO上的不期望的上限，从而限制了相应模型的生成质量。从经验上讲，我们展示了合成和真实数据的生成质量差距，并提出了多模态VAE的不同变体之间的权衡。我们发现，现有的方法都没有满足有效的多模态生成模型的所有期望的标准时，应用于更复杂的数据集比以前的基准。总之，我们确定，形式化，并验证基于VAE的方法建模弱监督数据的基本限制，并讨论现实世界的应用程序的影响。
2022-04-07 cs.LG
On Incorporating Inductive Biases into VAEs
University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
我们解释了为什么直接改变先验可以是一个令人惊讶的无效机制，将诱导偏差到VAE，并介绍了一个简单而有效的替代方法：中介潜在空间VAE（Intel-VAE）。Intel-VAE使用一组中间的潜在变量来控制编码过程的随机性，然后使用封装我们所需的归纳偏差的参数函数将这些变量映射到潜在表示。这使我们能够在学习的表示上施加稀疏性或聚类等属性，并将人类知识纳入生成模型。虽然改变先验只能通过正则化编码器间接地鼓励行为，但Intel-VAE能够直接强制执行所需的特性。此外，它们绕过了由非高斯先验引起的计算和编码器设计问题，同时通过参数映射函数的训练允许额外的灵活性。我们表明，这些优势，反过来，导致更好的生成模型和更好的表示正在学习。
2022-02-14 cs.LG stat.ML
Learning Multimodal VAEs through Mutual Supervision
University of Oxford（牛津大学）；University of Durham（杜伦大学）；Improbable（Improbable公司）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
多模态VAE试图对异质数据（例如，视觉、语言），同时还捕获跨这些模态的共享表示。先前的工作通常通过直接在识别模型中通过显式产品，混合物或其他此类因子分解来协调特质表示来组合来自模态的信息。在这里，我们介绍了一种新的替代方案，MEME，避免这种明确的组合，通过重新利用半监督VAE，通过相互监督隐式地结合模态之间的信息。这种表述自然允许从部分观察到的数据中学习，其中一些模态可能完全缺失-大多数现有方法要么无法处理，要么在有限的程度上这样做。我们证明了MEME在MNIST-SVHN（图像-图像）和CUB（图像-文本）数据集上的部分和完整观察方案中的标准指标上优于基线。我们还对比了通过相互监督与标准方法学习的表示的质量，并观察到其捕获数据之间相关性的能力的有趣趋势。
2022-12-16 cs.CV cs.LG
Multi-Rate VAE: Train Once, Get the Full Rate-Distortion Curve
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Fujitsu Limited（富士通有限公司）；Anthropic（Anthropic公司）
本文提出MR-VAE框架，通过基于$β$条件门控的响应超网络，在单次训练中学习多个$β$对应的最优VAE参数，从而高效获得完整率-失真曲线。
2023-08-16 cs.AI cs.LG stat.ML
Beyond Diagonal Covariance: Flexible Posterior VAEs via Free-Form Injective Flows
Heidelberg University（海德堡大学）
本文针对对角协方差VAEs表示能力受限的问题，提出将正则化的自由形式单射流解释为具有完整高斯协方差后验的VAE，在保持计算成本与对角协方差VAEs相当的同时，显著提升了模型似然。
2025-06-02 cs.LG stat.ML
Using VAEs to Learn Latent Variables: Observations on Applications in cryo-EM
Yale University（耶鲁大学）
本研究通过案例研究，考察了变分自编码器在冷冻电镜生物应用中的摊销特性，发现其编码器与传统显式潜在变量表示定性相似。
2023-05-10 cs.LG q-bio.QM stat.ML
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara（加州大学圣巴巴拉分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
我们总结了PirouNet，一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列，PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Game Level Clustering and Generation using Gaussian Mixture VAEs
Carleton College（卡尔顿学院）；Northeastern University（东北大学）
变分自编码器（VAE）已被证明能够生成游戏关卡，但需要手动探索学习的潜在空间以生成具有期望属性的输出。虽然有条件的VAE通过允许生成以标签为条件来解决这个问题，但必须在培训期间提供此类标签，因此需要可能并不总是可用的先验知识。在本文中，我们应用高斯混合VAE（GMVAE），VAE的一个变体，它对潜在空间施加高斯（GM）的混合物，不像常规VAE施加单峰高斯。这允许GMVAE使用GM的组件以无监督的方式对级别进行聚类，然后使用学习的组件生成新的级别。我们展示了我们的方法与水平，从超级马里奥兄弟，Kid Icarus和Mega Man。我们的研究结果表明，学习的组件发现和聚类级别的结构和模式，并可用于生成具有所需特征的级别。
2020-08-22 cs.LG stat.ML
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
变分自编码器（VAE）开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅，但它们通常对表示学习没有用处。在这项工作中，我们提出了一个简单而强大的VAE类，同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合，目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE，这种方法可以显着提高学习的高级表示的质量。我们实现这一点，通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验，我们表明InfoMax-VAE优于当代流行的方法，包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
Learning Energy-based Variational Latent Prior for VAEs
针对VAE的先验空洞导致生成样本质量差的问题，提出用变分方法处理EBM先验的归一化常数以替代MCMC，构建EVaLP方法，提升了图像生成质量、减少先验空洞且采样更高效。
2025-09-30 cs.AI cs.CV cs.LG
Dungeon and Platformer Level Blending and Generation using Conditional VAEs
Northeastern University（东北大学）
变分自编码器（VAE）已经在先前的工作中用于生成和混合来自不同游戏的等级。为了增加这些模型的可控性，条件VAE（CVAE）最近被证明能够生成可以使用指定所需内容的标签进行修改的输出，尽管只使用关卡和平台的片段。我们通过使用CVAE来生成整个平台游戏和地下城级别，并在这些类型中混合级别来扩展这些作品。我们表明，CVAE可以可靠地控制地下城中的门位置和平台游戏中的进展方向。因此，通过使用适当的标签，我们的方法可以分别生成相互连接的房间和部分的整个地下城和平台游戏级别，以及混合地下城和平台游戏的级别。我们展示了我们的方法使用塞尔达传说，银河战士，洛克人和矿脉亚军。
2021-06-17 cs.LG
Learning disentangled representations for explainable chest X-ray classification using Dirichlet VAEs
University of Leeds（利兹大学）
本研究探讨了使用狄利克雷变分自编码器（DirVAE）学习解开的胸部X射线（CXR）图像的潜在表示。我们的工作假设是，分布稀疏性，由狄利克雷先验促进，将鼓励解开CXR图像的多标签分类的复杂任务的特征学习。使用CheXpert数据库中的CXR图像对DirVAE进行训练，并通过实施辅助多标签分类任务来研究DirVAE模型学习的多模态潜在表示的预测能力，以期根据类特定特征强制分离潜在因素。使用DirVAE学习的潜在空间的预测性能和可解释性分别进行了定量和定性评估，并与标准高斯先验VAE（GVAE）进行比较。我们介绍了一种新的方法，可解释的多标签分类，我们进行梯度引导的潜在遍历为每个类的兴趣。研究结果表明，DirVAE是能够解开潜在的因素到类特定的视觉功能，一个属性不提供的GVAE，并实现了边际增长的预测性能相对于GVAE。我们生成的视觉示例表明，我们的可解释性方法在应用于训练的DirVAE时，能够突出显示CXR图像中与感兴趣的类别临床相关的区域，此外，还可以识别分类依赖于虚假特征相关性的情况。
2023-02-06 cs.AI cs.CV cs.LG
On Posterior Collapse and Encoder Feature Dispersion in Sequence VAEs
Borealis AI；McGill University（麦吉尔大学）；Mila
变分自编码器（VAE）在文本建模方面具有很大的潜力，因为它在理论上可以将自然语言的高级语义和句法属性从局部语义中分离出来。然而，实际上，具有自回归解码器的VAE经常遭受后验崩溃，这是一种模型学习忽略潜在变量的现象，导致序列VAE退化为语言模型。在本文中，我们认为，后崩溃部分是由于编码器的功能缺乏分散。我们提供了经验证据来验证这一假设，并提出了一个简单的解决方案，使用池。这种简单的技术有效地防止了后塌陷，使模型能够实现比标准序列VAE更好的数据对数似然。与现有的工作相比，我们提出的方法是能够实现可比或优越的性能，同时更计算效率。
2020-11-10 cs.CL cs.LG stat.ML
High-dimensional Asymptotics of VAEs: Threshold of Posterior Collapse and Dataset-Size Dependence of Rate-Distortion Curve
Fujitsu Limited（富士通有限公司）
本文在高维极限下分析最小 VAE，精确刻画了后验坍缩相对超参数 beta 和数据规模的阈值条件，并揭示高速率失真曲线需要较大数据集支撑。
2025-03-28 cs.LG stat.ML
$β$-VAEs can retain label information even at high compression
Google Research（谷歌研究院）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
在本文中，我们调查的程度编码的$β$ -VAE捕获标签信息在多个架构上的二进制静态MNIST和Omniglot。即使他们是在一个完全无监督的方式训练，我们证明了一个$β$ -VAE可以保留大量的标签信息，即使被要求学习一个高度压缩的表示。
2018-12-06 cs.LG stat.ML
Diffusion Priors In Variational Autoencoders
University of Liège（列日大学）
在基于可能性的深度生成建模方法中，变分自编码器（VAE）提供可扩展的摊销后验推理和快速采样。然而，VAE也越来越多地被竞争模型所超越，例如归一化流（NF），深能模型或新的去噪扩散概率模型（DDPM）。在这个初步的工作中，我们通过演示如何DDPM可以用于建模的潜变量的先验分布来改善VAE。扩散先验模型改进了经典VAE的高斯先验，并与基于NF的先验具有竞争力。最后，我们假设分层VAE可以类似地受益于扩散先验能力的增强。
2021-06-29 cs.LG
Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization
Saarland University（萨尔大学）；MPI for Software Systems（马克斯·普朗克软件系统研究所）
近来出现了许多变分自编码器（VAE），其目的是对多模态数据进行建模，例如，以联合地对图像及其对应的字幕进行建模。尽管如此，多模态VAE倾向于仅关注模态的子集，例如，通过拟合图像而忽略标题。我们把这种限制称为模态崩溃。在这项工作中，我们认为，这种效果是多模态VAE训练过程中的梯度冲突的后果。我们展示了如何检测计算图中梯度冲突（公正块）的子图，以及如何利用多任务学习中现有的梯度冲突解决方案来减轻模态崩溃。也就是说，要确保公平地优化各种模式。我们将我们的训练框架应用于多模态VAE模型，损失和文献数据集，并根据经验表明，我们的框架显着提高了重建性能，条件生成和跨模态潜在空间的一致性。
2022-06-09 cs.LG
On the Latent Holes of VAEs for Text Generation
University College London（伦敦大学学院）；The University of Sheffield（谢菲尔德大学）
在本文中，我们提供了第一个重点研究的不连续性（又名。在变分自动编码器（VAE）的潜在空间中的一个或多个洞），这是一种已被证明对模型容量具有不利影响的现象。当调查潜在的孔，现有的作品是专门围绕编码器网络，他们只是探索存在的孔。我们解决这些限制，提出了一个高效的基于树的解码器为中心（TDC）的算法，潜在的漏洞识别，重点放在文本域。与过去的研究相比，我们的方法关注解码器网络，因为解码器对模型的输出质量有直接影响。此外，我们提供了，第一次，深入的实证分析的潜在空洞现象，调查几个重要方面，如空洞如何影响VAE算法的性能的文本生成，以及如何孔分布在潜在空间。
2021-10-07 cs.AI cs.CL cs.LG
Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs
ETH Zürich（苏黎世联邦理工学院）；University of California, San Diego（加州大学圣地亚哥分校）
原则上，将变分自编码器（VAE）应用于序列数据提供了一种用于受控序列生成、操作和结构化表示学习的方法。然而，训练序列VAE具有挑战性：自回归解码器通常可以在不利用潜在空间（称为后验崩溃）的情况下解释数据。为了减轻这种情况，最先进的模型通过对解码器输入应用均匀随机丢弃来削弱强大的解码器。我们从理论上表明，这消除了逐点互信息提供的解码器输入，这是通过利用潜在的空间进行补偿。然后，我们提出了一个对抗性的训练策略，以实现基于信息的随机辍学。与标准文本基准数据集上的均匀dropout相比，我们的目标方法提高了序列建模性能和潜在空间中捕获的信息。
2022-12-16 cs.LG
Understanding VAEs in Fisher-Shannon Plane
Shanghai Jiao Tong University（上海交通大学）；University of Technology Sydney（悉尼科技大学）
在信息论中，费舍尔信息和香农信息（熵）分别用于量化与分布建模相关的不确定性和指定给定变量结果的不确定性。这两个量是互补的，在大多数情况下共同应用于信息行为分析。信息的不确定性使得费舍尔信息和香农信息之间存在一种基本的平衡关系，这启发了变分自动编码器（VAE）中编码器和解码器之间的关系。在本文中，我们调查VAE在Fisher-Shannon平面，并证明表示学习和对数似然估计是内在相关的这两个信息量。通过大量的定性和定量实验，我们提供了一个更好的理解VAE的任务，如高分辨率重建，和代表性学习的角度来看，费舍尔信息和香农信息。我们进一步提出了一种VAE的变体，称为Fisher自动编码器（FAE），用于平衡费舍尔信息和Shannon信息的实际需要。我们的实验结果表明，它的承诺，在提高重建精度和避免无信息的潜在代码发生在以前的作品。
2018-09-25 cs.LG stat.ML
Enhancing Unimodal Latent Representations in Multimodal VAEs through Iterative Amortized Inference
The University of Tokyo（东京大学）；Graduate School of Engineering（工学院）
针对多模态VAEs在模态缺失时推断不准确的问题，提出多模态迭代摊还推断机制，通过迭代细化多模态后验并对齐单模态推断，有效提升单模态输入的表示推断与跨模态生成性能。
2024-10-15 cs.AI cs.LG
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University（得克萨斯农工大学）；Washington State University（华盛顿州立大学）
变分自动编码器（VAE）的核心思想类似于传统的自动编码器模型，其中空间信息应该被显式编码在潜在空间中。然而，VAE中的潜变量是向量，可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中，我们提出了空间VAE，使用较大尺寸的特征图作为潜在变量，以明确地捕捉空间信息。这是通过允许从矩阵变量正态（MVN）分布（其参数从编码器网络计算）中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量，我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明，所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE
On PAC-Bayesian reconstruction guarantees for VAEs
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
尽管它的广泛使用和经验的成功，理论上的理解和研究的行为和性能的变分自编码器（VAE）只是在过去的几年中才出现。我们通过分析VAE对看不见的测试数据的重建能力，利用PAC贝叶斯理论的参数，为最近的工作做出贡献。我们提供的理论重建误差的泛化范围，并提供VAE目标的正则化效果的见解。我们说明了我们的理论结果与支持经典基准数据集上的实验。
2022-02-23 cs.CV cs.LG math.ST
SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows
Technical University of Denmark（丹麦技术大学）；UvA-Bosch Delta Lab（阿姆斯特丹大学-博世三角洲实验室）；University of Amsterdam（阿姆斯特丹大学）
规范化流和变分自编码器是可以表示复杂密度函数的强大生成模型。然而，它们都对模型施加了约束：归一化流使用双射变换来建模密度，而VAE学习不可逆的随机变换，因此通常不能提供对边际可能性的易处理估计。在本文中，我们将介绍SurVAE流：一个模块化的框架，可组合的转换，包括VAE和规范化流程。SurVAE流通过满射变换弥合了规范化流和VAE之间的差距，其中变换在一个方向上是确定性的-从而允许精确的似然计算，并且在相反方向上是随机的-因此提供了相应似然的下限。我们表明，最近提出的几种方法，包括去量化和增强的归一化流，可以表示为SurVAE流。最后，我们介绍了常见的操作，如最大值，绝对值，排序和随机置换的可组合层SurVAE流。
2020-10-30 cs.LG stat.ML
C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled Representations with Contrastive Posterior
University of Technology Sydney（悉尼科技大学）；Macquarie University（麦考瑞大学）
提出自监督 C²VAE，通过 TC 分解、神经 Gaussian Copula 与对比后验分类器联合区分并强化解耦表示，同时改善训练稳定性和重建—表示权衡。
2023-09-23 cs.CV cs.LG stat.ML
Learning Conditional Variational Autoencoders with Missing Covariates
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Bayer Pharmaceuticals（拜耳制药）
条件变分自编码器（CVAE）是通用的深度生成模型，通过用辅助协变量调节生成模型来扩展标准VAE框架。原始CVAE模型假设数据样本是独立的，而最近的条件VAE模型，如高斯过程（GP）先验VAE，可以解释所有数据样本的复杂相关结构。虽然已经提出了几种方法来从部分观察的数据集学习标准VAE，但这些方法不适合条件VAE。在这项工作中，我们提出了一种方法来学习条件VAE的数据集，其中辅助协变量可以包含缺失值以及。所提出的方法增加了条件VAE与先验分布的缺失协变量和估计其后使用摊销变分推断。在训练时，我们的方法将与缺失协变量相关的不确定性边缘化，同时最大化证据下限。我们开发了计算效率高的方法来学习CVAE和GP之前的VAE，是兼容的迷你。我们在模拟数据集以及临床试验研究上的实验表明，该方法在从非时间，时间和纵向数据集学习条件VAE方面优于以前的方法。
2022-03-02 cs.LG stat.ML
$β$-VAEs as Effective Theories: Tolerance-Dependent Dimension
Universitat de València（瓦伦西亚大学）
该研究针对WorldClim上训练的全连接非线性VAEs，探究β-VAE的频谱截断特性，发现非线性相互作用会改变折叠起始点但保留效用排序，且深度存在头尾权衡。
2026-08-12 cs.LG
Feature Unlearning for Pre-trained GANs and VAEs
POSTECH（浦项工科大学）
本文提出一种针对预训练GAN和VAE的局部特征遗忘方法，通过识别目标特征对应的潜在表示并微调模型，在保持图像其他细节和模型保真度的同时有效移除特定特征，并提升模型对对抗攻击的鲁棒性。
2024-03-28 cs.CV cs.LG
On Implicit Regularization in $β$-VAEs
Google Research（谷歌研究院）
虽然变分推理（VI）对固定生成模型中的后验推理的影响已经得到了很好的表征，但当用于变分自编码器（VAE）时，其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先，我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次，我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器，并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似，将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现，观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Character Controllers Using Motion VAEs
University of British Columbia（不列颠哥伦比亚大学）；Electronic Arts Vancouver（艺电温哥华分部）
在计算机动画中的一个基本问题是，实现有目的的和现实的人的运动给定的一组丰富的运动捕捉剪辑。我们使用自回归条件变分自编码器或运动VAE来学习数据驱动的人体运动生成模型。学习的自动编码器的潜变量定义运动的动作空间，从而控制其随时间的演变。然后，规划或控制算法可以使用该动作空间来生成期望的运动。特别是，我们使用深度强化学习来学习实现目标导向运动的控制器。我们证明了该方法在多个任务上的有效性。我们进一步评估了系统设计选择，并描述了运动VAE的当前局限性。
2021-03-26 cs.GR cs.LG
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
深度生成模型是一类训练深度神经网络以对训练样本的分布进行建模的技术。研究已经分裂成各种相互关联的方法，其中每一种方法都需要权衡包括运行时、多样性和架构限制。特别是，本概要涵盖了基于能量的模型，变分自编码器，生成对抗网络，自回归模型，规范化流，以及许多混合方法。这些技术进行了比较和对比，解释了每个背后的前提以及它们是如何相互关联的，同时回顾了当前最先进的进展和实现。
2022-03-28 cs.CV cs.LG stat.ML
Symmetric Equilibrium Learning of VAEs
Czech Techn. University in Prague（布拉格捷克技术大学）；Dresden University of Technology（德累斯顿工业大学）
针对VAE标准ELBO学习方法不对称、依赖闭式先验分布的局限，提出对称的纳什均衡学习方法，支持仅通过采样访问数据和潜在分布的场景，适用范围更广。
2024-03-12 cs.LG
Entropic GANs meet VAEs: A Statistical Approach to Compute Sample Likelihoods in GANs
University of Maryland, College Park（马里兰大学帕克分校）；University of Pennsylvania（宾夕法尼亚大学）
基于深度学习的成功，从数据中学习概率模型的两种现代方法是生成对抗网络（GANs）和变分自编码器（VAE）。VAE考虑数据的显式概率模型，并通过最大化对数似然函数的变分下限来计算生成分布。然而，GANs通过最小化观察到的概率分布和生成的概率分布之间的距离来计算生成模型，而不考虑观察到的数据的显式模型。在GANs中缺乏明确的概率模型，禁止在其框架中计算样本可能性，并限制了它们在统计推断问题中的使用。在这项工作中，我们通过构建一个显式概率模型来解决这个问题，该模型可用于计算GANs中的样本似然统计。特别地，我们证明了在这个概率模型下，具有熵正则化的Wasserstein GANs家族可以被视为一个生成模型，该生成模型最大化了平均样本对数似然的变分下限，这是VAE所基于的方法。这一结果在两个现代生成模型，即GANs和VAE之间建立了原则性联系。除了上述理论结果外，我们还计算了在Gaussian，MNIST，SVHN，CIFAR-10和LSUN数据集上训练的GANs的似然统计。我们的数值结果验证了所提出的理论。
2019-06-05 cs.LG stat.ML
Deep Generative Clustering with VAEs and Expectation-Maximization
TU Berlin（柏林工业大学）
本研究提出将VAEs融入EM框架的新型深度生成聚类方法，用VAE建模簇分布、交替更新参数与簇分配，无需GMM先验或额外正则，在MNIST、FashionMNIST上实现了优于现有最优方法的聚类性能且支持各簇样本生成。
2025-01-13 cs.LG stat.ML
Taming Audio VAEs via Target-KL Regularization
Adobe Research（Adobe研究院）
本文提出通过压缩率调节和目标KL正则化训练音频VAE，以解决在音频生成任务中VAE正则化带来的过正则化与欠正则化之间的平衡问题，并构建了音频VAE的率失真曲线。
2026-05-16 cs.LG cs.SD eess.AS
Learning Hierarchical Priors in VAEs
Volkswagen Group（大众汽车集团）；Technical University of Munich（慕尼黑工业大学）
我们建议在变分自编码器的背景下学习分层先验，以避免标准正态先验分布导致的过度正则化。为了激励数据的信息潜在表示，我们通过将驯服VAE框架扩展到两级分层模型来将学习问题制定为约束优化问题。我们介绍了一种基于图形的插值方法，它表明，学习的潜在表示的拓扑结构对应于数据流形的拓扑结构-并提出了几个例子，其中所需的属性的潜在表示，如平滑度和简单的解释因素是由事先学习。
2019-10-05 cs.LG stat.ML
Information-theoretic Generalization Analysis for VQ-VAEs: A Role of Latent Variables
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；The University of Tokyo（东京大学）
本文将信息论泛化分析扩展到具有离散潜在空间的VQ-VAE，引入数据依赖先验，推导出仅依赖潜在变量和编码器复杂度的重构损失泛化误差界，并给出生成数据与真实数据之间2-Wasserstein距离的上界，揭示潜在变量正则化对生成性能的作用。
2025-11-06 cs.LG stat.ML
Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders
Kyushu University（九州大学）
本研究试图建构一个网路，将线上与线下手写文字互相转换。该网络由两个可变自动编码器（VAE）组成，具有共享的潜在空间。VAE被训练成同时生成在线和离线手写拉丁字符。通过这种方式，我们创建了一个跨模态VAE（Cross-VAE）。在训练期间，所提出的交叉VAE被训练以最小化两种模态的重建损失、两个VAE的分布损失以及称为空间共享损失的新颖的第三损失。第三，空间共享损失用于通过计算潜变量之间的距离来鼓励模态共享相同的潜空间。通过该方法，在线和离线手写字符的相互转换是可能的。在本文中，我们证明了交叉VAE的性能，通过定性和定量分析。
2019-06-14 cs.CV cs.LG
Disentangled Representation Learning Using ($β$-)VAE and GAN
Indiana University（印第安纳大学）
给定包含具有不同特征（例如形状、大小、旋转和x-y位置）的不同对象的图像数据集;和变分自编码器（VAE）;在VAE的隐藏空间向量中创建这些特征的解纠缠编码是本文感兴趣的任务。dSprite数据集为本研究中所需的实验提供了所需的功能。在结合生成对抗网络（GAN）训练VAE后，隐藏向量的每个维度都被打乱，以探索每个维度上的解纠缠。注意，GAN用于提高输出图像重建的质量。
2022-08-09 cs.CV cs.LG eess.IV
Analyzing High-Resolution Clouds and Convection using Multi-Channel VAEs
University of California Irvine（加州大学欧文分校）；University of Lausanne（洛桑大学）
了解小尺度对流和风暴形成的细节对于准确地表示大尺度行星动力学至关重要。目前，大气科学家运行高分辨率，风暴解析模拟来捕捉这些更大规模的天气细节。然而，由于它们包含丰富的信息，这些模拟可能无法使用传统方法进行分析。本文采用数据驱动的方法，联合嵌入垂直风速，温度和水蒸气信息的空间阵列作为VAE架构的三个“通道”。我们的“多通道VAE”结果比早期孤立地分析垂直速度的工作更可解释和强大的潜在结构。分析和聚类VAE的潜在空间识别天气类型和他们的地理表现在一个完全无监督的方式。我们的方法表明，VAE可以在分析高维模拟数据和提取关键的天气和气候特征中发挥重要作用。
2021-12-01 cs.LG physics.ao-ph
Score-Based Multimodal Autoencoder
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对多模态 VAE 随模态增多而生成质量下降的问题，本文用 SBM 联合建模独立单模态 VAE 的潜空间，在保持生成质量的同时实现跨模态一致整合。
2024-12-10 cs.CV cs.LG
VAEs in the Presence of Missing Data
University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
真实世界的数据集通常包含缺少元素的条目，例如在医疗数据集中，患者不太可能已经进行了所有可能的诊断测试。变分自编码器（VAE）是一种流行的生成模型，常用于无监督学习。尽管VAE被广泛使用，但目前尚不清楚如何最好地将其应用于缺失数据的数据集。我们开发了一种新的潜在变量模型的腐败过程中产生的缺失数据，并推导出相应的易处理的证据下限（ELBO）。我们的模型很容易实现，可以处理完全随机缺失（MCAR）和非随机缺失（MNAR）数据，扩展到高维输入，并为VAE编码器和解码器提供对指示变量的原则性访问，以确定数据元素是否缺失。在MNIST和SVHN数据集上，我们证明了与现有方法相比，观测数据的边缘对数似然性得到了改善，缺失数据的插补也得到了改善。
2021-03-21 cs.LG stat.ML
