tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
变分自编码器(VAE)是一类强大的深度生成潜变量模型,用于高维数据的无监督表示学习。为了确保计算的易处理性,VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关,原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架,张量变量高斯过程先验变分自编码器(tvGP-VAE),它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子,我们表明,选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
VAE Explainer: Supplement Learning Variational Autoencoders with Interactive Visualization
Georgia Institute of Technology(佐治亚理工学院)
针对变分自编码器现有讲解方式抽象静态的问题,研究提出可在浏览器运行的交互式工具VAE Explainer,通过可交互的模型输入、隐空间、输出及带注释的代码、实时计算图关联理论与实现,工具已上线且代码开源。
2024-09-13 cs.AI cs.HC cs.LG
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST(韩国科学技术院)
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标,可以很容易地优化。然而,它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标,最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在的代码,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
Gaussian Copula Variational Autoencoders for Mixed Data
Pohang University of Science and Technology(浦项科技大学)
变分自编码器(VAE)是一种具有连续潜变量的生成模型,其中一对概率编码器(自下而上)和解码器(自上而下)通过随机梯度变分贝叶斯联合学习。我们首先阐述高斯VAE,近似的本地协方差阵的解码器作为一个外积的主方向在一个位置确定的样本从高斯分布。我们表明,该模型,称为VAE-ROC,更好地捕捉数据流形,相比标准的高斯VAE独立的多变量高斯被用来模拟解码器。然后,我们扩展VAE-ROC处理混合分类和连续数据。为此,我们采用高斯copula模型的局部依赖混合分类和连续数据,导致{ \em高斯copula变分自动编码器}(GCVAE)。在VAE-ROC中,我们使用高斯copula中协方差的秩一近似来捕获混合数据中的局部依赖结构。在各种数据集上的实验证明了VAE-ROC和GCVAE与标准VAE相比的有用行为。
2016-04-18 cs.LG stat.ML
VAE-Var: Variational-Autoencoder-Enhanced Variational Assimilation
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出VAE-Var,一种利用变分自编码器建模非高斯背景误差的变分同化算法,在低维混沌系统上实验证明其精度优于传统变分方法。
2024-05-22 cs.AI cs.LG math.DS
VAE-KRnet and its applications to variational Bayes
Louisiana State University(路易斯安那州立大学)
在这项工作中,我们提出了一个生成模型,称为VAE-KRnet,密度估计或近似,它结合了规范变分自动编码器(VAE)与我们最近开发的基于流的生成模型,称为KRnet。VAE被用作一种降维技术来捕获潜在空间,KRnet被用于对潜在变量的分布进行建模。使用数据和潜变量之间的线性模型,我们表明VAE-KRnet可以比规范VAE更有效和鲁棒。VAE-KRnet可用作密度模型,以近似数据分布或已知为常数的任意概率密度函数(PDF)。VAE-KRnet在维度方面是灵活的。当维数相对较小时,KRnet可以有效地近似原始随机变量的分布。对于高维情况,我们可以使用VAE-KRnet来合并降维。VAE-KRnet的一个重要应用是用于后验分布近似的变分贝叶斯。变分贝叶斯方法通常基于模型和后验之间的Kullback-Leibler(KL)分歧的最小化。对于高维分布,由于维数灾难,构建精确的密度模型非常具有挑战性,其中为了效率通常引入额外的假设。例如,经典的平均场方法假设维度之间相互独立,这往往会由于过度简化而产生低估的方差。为了缓解这个问题,我们将潜在随机变量和原始随机变量之间的互信息最大化纳入损失中,这有助于从低密度区域保留更多信息,从而改善方差的估计。
2021-12-11 cs.LG stat.ML
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文对矢量量化-变分自编码器(VQ-VAE)进行了信息论解释。我们表明,原始VQ-VAE的损失函数可以从变分确定性信息瓶颈(VDIB)原则。另一方面,由期望最大化(EM)算法训练的VQ-VAE可以被视为变分信息瓶颈(VIB)原理的近似。
2018-08-02 cs.LG stat.ML
Learning Conditional Variational Autoencoders with Missing Covariates
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);Bayer Pharmaceuticals(拜耳制药)
条件变分自编码器(CVAE)是通用的深度生成模型,通过用辅助协变量调节生成模型来扩展标准VAE框架。原始CVAE模型假设数据样本是独立的,而最近的条件VAE模型,如高斯过程(GP)先验VAE,可以解释所有数据样本的复杂相关结构。虽然已经提出了几种方法来从部分观察的数据集学习标准VAE,但这些方法不适合条件VAE。在这项工作中,我们提出了一种方法来学习条件VAE的数据集,其中辅助协变量可以包含缺失值以及。所提出的方法增加了条件VAE与先验分布的缺失协变量和估计其后使用摊销变分推断。在训练时,我们的方法将与缺失协变量相关的不确定性边缘化,同时最大化证据下限。我们开发了计算效率高的方法来学习CVAE和GP之前的VAE,是兼容的迷你。我们在模拟数据集以及临床试验研究上的实验表明,该方法在从非时间,时间和纵向数据集学习条件VAE方面优于以前的方法。
2022-03-02 cs.LG stat.ML
PI-VAE: Physics-Informed Variational Auto-Encoder for stochastic differential equations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一类新的物理信息神经网络,称为物理信息变分自动编码器(PI-VAE),解决随机微分方程(SDES)或反问题涉及SDES。在这些问题中的控制方程是已知的,但只有有限数量的测量系统参数是可用的。PI-VAE由一个变分自动编码器(VAE)组成,它生成系统变量和参数的样本。该生成模型与控制方程相结合。在这种集成中,VAE输出的导数很容易使用自动微分计算,并用于基于物理的损失项。在这项工作中,损失函数被选择为最大平均离散(MMD),以提高性能,和神经网络参数迭代更新使用随机梯度下降算法。我们首先测试所提出的方法近似随机过程。然后,我们研究了三种类型的问题相关的SDES:正问题和反问题,以及混合问题,系统参数和解决方案同时计算。与物理信息生成对抗网络(PI-WGAN)相比,该方法具有令人满意的精度和效率。
2022-03-21 cs.LG stat.ML
On Implicit Regularization in $β$-VAEs
Google Research(谷歌研究院)
虽然变分推理(VI)对固定生成模型中的后验推理的影响已经得到了很好的表征,但当用于变分自编码器(VAE)时,其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先,我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次,我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器,并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似,将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现,观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Tutorial on Variational Autoencoders
Carnegie Mellon(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
在短短三年的时间里,变分自编码器(VAE)已经成为复杂分布无监督学习的最流行方法之一。VAE之所以吸引人,是因为它们建立在标准函数逼近器(神经网络)之上,并且可以用随机梯度下降进行训练。VAE已经在生成许多类型的复杂数据方面显示出了希望,包括手写数字、人脸、门牌号、CIFAR图像、场景的物理模型、分割以及从静态图像预测未来。本教程介绍VAE背后的直觉,解释它们背后的数学,并描述一些经验行为。假设变分贝叶斯方法没有先验知识。
2021-01-03 cs.LG stat.ML
Theoretical Convergence Guarantees for Variational Autoencoders
CNRS(法国国家科学研究中心);LOPF, Califrais’ Machine Learning Lab(LOPF,Califrais机器学习实验室)
本文提出变分自编码器的非渐近收敛保证,分析了不同优化算法和超参数对收敛的影响,为VAE的理论理解提供了新见解。
2025-12-22 cs.LG stat.ML
Neighbor Embedding Variational Autoencoder
Harbin Institute of Technology(哈尔滨工业大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
作为最流行的生成框架之一,变分自编码器(VAE)已知遭受称为后验崩溃(posterior collapse)的现象,即潜在的变分分布崩溃到先验,特别是当使用强解码器网络时。在这项工作中,我们分析了塌陷VAE的潜在表示,并提出了一种新的模型,邻居嵌入VAE(NE-VAE),它显式地限制编码器将输入空间中接近的输入编码为潜在空间中接近的输入。我们观察到,对于报告类似ELBO的VAE变体,KL分歧甚至互信息分数在潜在组织中的表现可能仍然非常不同。在我们的实验中,NE-VAE可以产生定性不同的潜在表示,其中大部分潜在维度保持活跃,这可能有利于下游潜在空间优化任务。NE-VAE可以比它的前辈更大程度地防止后崩溃,并且可以很容易地插入到任何自动编码器框架中,而无需引入额外的模型组件和复杂的训练例程。
2021-03-21 cs.LG stat.ML
Learning Representations by Maximizing Mutual Information in Variational Autoencoders
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
变分自编码器(VAE)开创了复杂分布无监督学习方法的新时代。虽然这些技术在方法上很优雅,但它们通常对表示学习没有用处。在这项工作中,我们提出了一个简单而强大的VAE类,同时导致有意义的学习表示。我们的解决方案是将传统的VAE与互信息最大化相结合,目标是利用信息论技术增强VAE中的摊销推理。我们称这种方法为InfoMax-VAE,这种方法可以显着提高学习的高级表示的质量。我们实现这一点,通过显式最大化的信息措施与代表。通过对不同数据集和设置的广泛实验,我们表明InfoMax-VAE优于当代流行的方法,包括Info-VAE和$β$ -VAE。
2020-01-07 cs.CV cs.LG stat.ML
Certifiably Robust Variational Autoencoders
University of Oxford(牛津大学);University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所)
我们介绍了一种训练变分自编码器(VAE)的方法,这种方法对对抗性攻击具有可证明的鲁棒性。具体来说,我们首先推导出可操作的边界上的最小尺寸的输入扰动需要改变一个VAE的重建超过一个允许的量,这些边界取决于某些关键参数,如编码器和解码器的Lipschitz常数。然后,我们将展示如何控制这些参数,从而提供一种机制,以确保\textit{a priori}的VAE将达到所需的鲁棒性水平。此外,我们将其扩展到一个完整的实用方法来训练这样的VAE,以确保我们的标准得到满足。至关重要的是,我们的方法允许一个指定所需的鲁棒性\emph{upfront}水平,然后训练一个VAE,保证实现这种鲁棒性。我们进一步证明,这些Lipschitz约束VAE是更强大的攻击比标准VAE在实践中。
2022-04-23 cs.LG stat.ML
Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
Carleton College(卡尔顿学院)
自动编码变分贝叶斯(AEVB)是一种用于拟合潜变量模型(无监督学习的一个有前途的方向)的强大而通用的算法,并且众所周知用于训练变分自动编码器(VAE)。在本教程中,我们专注于从经典的期望最大化(EM)算法中激励AEVB,而不是从确定性自动编码器中。虽然EM和AEVB之间的联系是自然的,而且有些不言自明,但在最近的深度学习文献中并没有强调EM和AEVB之间的联系,我们相信强调这种联系可以提高社区对AEVB的理解。特别是,我们发现将(1)关于推理参数优化证据下限(ELBO)视为近似E步和(2)关于生成参数优化ELBO视为近似M步特别有帮助;在AEVB中同时做这两件事,然后简单地同时收紧和推高ELBO。我们讨论如何近似E-步骤可以解释为执行变分推理。重要的概念,如摊销和重新参数化技巧进行了详细讨论。最后,我们从头开始推导了一个非深度和几个深度潜变量模型的AEVB训练过程,包括VAE,条件VAE,高斯混合VAE和变分RNN。我们希望读者能够认识到AEVB是一种通用算法,可以用于拟合各种潜变量模型(不仅仅是VAE),并将AEVB应用于他们自己研究领域中出现的模型。所有包含的模型的PyTorch代码都是公开的。
2022-08-16 cs.AI cs.LG stat.ML
VAEBM: A Symbiosis between Variational Autoencoders and Energy-based Models
The University of Chicago(芝加哥大学);NVIDIA(英伟达)
基于能量的模型(EBM)最近已经成功地表示复杂的分布的小图像。然而,从它们中采样需要昂贵的马尔可夫链蒙特卡罗(MCMC)迭代,在高维像素空间中混合缓慢。与EBM不同,变分自编码器(VAE)快速生成样本,并配备了一个潜在的空间,使数据流形的快速遍历。然而,VAE倾向于将高概率密度分配给实际数据分布之外的数据空间中的区域,并且通常无法生成清晰的图像。在本文中,我们提出了VAEBM,一个共生组合物的VAE和EBM,提供了最好的两个世界。VAEBM使用最先进的VAE捕获数据分布的整体模式结构,并且它依赖于其EBM组件来明确地从模型中排除非数据区域并细化图像样本。此外,VAEBM中的VAE组件允许我们通过在VAE的潜在空间中重新参数化MCMC更新来加快MCMC更新。我们的实验结果表明,VAEBM优于国家的最先进的VAE和EBM的生成质量在几个基准图像数据集的大幅度。它可以生成高质量的图像,大至256 $\times$ 256像素与短MCMC链。我们还证明了VAEBM提供了完整的模式覆盖,并在分布外检测表现良好。源代码可在https://github.com/NVlabs/VAEBM上获得
2021-11-04 cs.CV cs.LG stat.ML
Beta-Sigma VAE: Separating beta and decoder variance in Gaussian variational autoencoder
Kyung Hee University(庆熙大学)
针对VAE输出模糊的问题,提出明确分离β参数与解码器方差的Beta-Sigma VAE模型,解决二者不可区分带来的分析与性能限制,在自然图像合成上表现更优,且参数可控、分析可预测。
2024-09-14 cs.CV cs.LG stat.ML
Direct Evolutionary Optimization of Variational Autoencoders With Binary Latents
University of Oldenburg(奥尔登堡大学);CERN(欧洲核子研究中心)
离散潜变量被认为对于现实世界的数据很重要,这激发了对具有离散潜变量的变分自动编码器(VAE)的研究。然而,在这种情况下,标准VAE训练是不可能的,这促使不同的策略来操纵离散分布,以便类似于传统的训练离散VAE。在这里,我们问是否也可以通过对编码模型应用直接离散优化来保持潜伏期的离散性质完全不变。因此,该方法通过避开采样近似、重新参数化技巧和摊销,强烈地偏离了标准的VAE训练。离散优化实现在变分设置中使用截断后验结合进化算法。对于具有二进制潜伏期的VAE,我们(A)展示了这种离散变分方法如何与网络权重的梯度上升联系在一起,以及(B)如何使用解码器来选择用于训练的潜伏状态。传统的分期训练更有效,适用于大型神经网络。然而,使用较小的网络,我们在这里发现直接离散优化可以有效地扩展到数百个潜伏期。更重要的是,我们发现直接优化的有效性在“zero-shot”学习中具有很强的竞争力。与大型监督网络相比,这里研究的VAE可以,例如,对单个图像进行降噪,而无需先前对干净数据的训练和/或对大型图像数据集的训练。更一般地说,研究的方法表明,培训VAE确实是可能的,没有采样为基础的近似和重新参数化,这可能是有趣的VAE培训的分析一般。此外,对于“zero-shot”设置,直接优化使得VAE具有竞争力,其中它们先前被非生成方法优于。
2023-03-24 cs.LG stat.ML
Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
变分自编码器是最常用的生成模型之一,特别是对于图像数据。训练VAE的一个突出困难是支持低维流形的数据。Dai和Wipf(2020)最近的工作提出了一种VAE的两阶段训练算法,基于一种猜想,即在标准VAE训练中,生成器将收敛到一个方差为0的解,该解在地面真值流形上得到正确支持。他们通过证明VAE损失的一些最优值确实满足这一特性,部分支持了这一猜想,但没有分析训练动态。在本文中,我们表明,对于线性编码器/解码器,该猜想是正确的,即VAE训练确实恢复了支持等于地面真值流形的生成器,并且由于梯度下降的隐式偏差而不仅仅是VAE损失本身。在非线性的情况下,我们表明VAE训练经常学习高维流形,这是地面真值流形的超集。
2022-05-17 cs.LG stat.ML
Semi-Implicit Graph Variational Auto-Encoders
Texas A&M University(得克萨斯农工大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
提出了半隐式图变分自动编码器(SIG-VAE),以扩展变分图自动编码器(VGAE)对图数据建模的灵活性。SIG-VAE采用分层变分框架来实现相邻节点共享,以更好地生成图依赖结构的建模,以及Bernoulli-Poisson链接解码器。这种分层构造不仅提供了更灵活的生成图模型以更好地捕获真实世界的图属性,而且SIG-VAE自然地导致半隐式分层变分推理,其允许对给定图数据的隐式后验进行忠实建模,其可能表现出重尾、多模式、偏斜和丰富的依赖结构。与VGAE相比,SIG-VAE所导出的图潜在表示更具可解释性,这是由于灵活的半隐式构造所实现的更具表达力的生成模型和更忠实的推理。对各种图形数据的大量实验表明,SIG-VAE在几个不同的图形分析任务上显着优于最先进的方法。
2020-04-22 cs.LG stat.ML
Improve variational autoEncoder with auxiliary softmax multiclassifier
Institute of Big Data Fudan University(复旦大学大数据学院)
VAE作为一种通用的生成模型体系结构,在图像和自然语言处理领域得到了广泛的应用。VAE通过无监督学习将高维样本数据映射为连续潜变量。VAE在特征的隐变量空间中进行采样,可以构造新的图像或文本数据。作为一种通用的生成模型,VAE不能很好地适应不同的数据集和不同结构的神经网络。由于需要在训练过程中平衡重建的准确性和潜变量采样的方便性,VAE经常存在被称为“后验崩溃”的问题。通过VAE重建的图像也经常模糊。本文分析了产生这些问题的主要原因,即在训练过程中样本变量与潜在特征变量之间缺乏互信息。为了在模型训练中保持互信息,我们提出使用辅助softmax多分类网络结构来提高VAE的训练效果,称为VAE-AS。我们使用MNIST和Omniglot数据集来测试VAE-AS模型。实验结果表明,VAE-AS在互信息调整和解决后验崩溃问题方面具有明显的效果。
2019-11-03 cs.LG stat.ML
Distribution Matching in Variational Inference
DeepMind(深度思维)
随着生成模型的部署越来越广泛,越来越需要深入了解其行为和局限性。在本文中,我们暴露了变分自编码器(VAE)的局限性,它始终无法学习潜在和可见空间中的边缘分布。我们证明了这是通过匹配条件分布学习的结果,以及显式模型和后验分布的局限性。人们普遍认为生成对抗网络(GANs)是克服这些限制的一种手段,从而导致VAE和GANs的混合。我们对几种VAE-GAN混合算法进行了大规模的评估,并分析了类概率估计对学习分布的影响。虽然有希望,但我们得出结论,目前VAE-GAN混合动力系统的适用性有限:与VAE相比,它们更难扩展,评估和用于推理;并且它们不会提高GANs的生成质量。
2019-06-10 cs.LG stat.ML
Variational Autoencoders: A Harmonic Perspective
University of Oxford(牛津大学);UCL(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
在这项工作中,我们研究变分自动编码器(VAE)的谐波分析的角度。通过查看一个VAE的潜在空间作为高斯空间,各种测量空间,我们得出了一系列的结果表明,VAE的编码器方差控制的VAE编码器和解码器神经网络参数化的功能的频率内容。特别是,我们证明了较大的编码器方差降低这些功能的高频内容。我们的分析使我们能够表明,增加这个方差有效地诱导了VAE解码器网络上的软Lipschitz约束,这是VAE对抗鲁棒性的核心贡献者。我们进一步证明,将高斯噪声添加到VAE的输入中可以更精细地控制VAE编码器网络的频率内容和Lipschitz常数。为了支持我们的理论分析,我们使用小型全连接神经网络和较大的卷积网络进行VAE实验,以经验证明我们的理论适用于各种神经网络架构。
2022-04-23 cs.LG eess.SP stat.ML
SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization
Sony Group Corporation(索尼集团公司);Sony Corporation of America(美国索尼公司)
矢量量化变分自编码器(VQ-VAE)的一个值得注意的问题是,学习的离散表示仅使用码本的全部容量的一部分,也称为码本塌陷。我们假设VQ-VAE的训练方案,其中涉及一些精心设计的技巧,是这个问题的基础。在本文中,我们提出了一种新的训练方案,扩展了标准的VAE通过新的随机去量化和量化,称为随机量化的变分自编码器(SQ-VAE)。在SQ-VAE中,我们观察到一种趋势,即在训练的初始阶段量化是随机的,但逐渐向确定性量化收敛,我们称之为自退火。我们的实验表明,SQ-VAE提高码本利用率,而不使用常见的算法。此外,我们的经验表明,SQ-VAE是优于VAE和VQ-VAE在视觉和言语相关的任务。
2022-06-09 cs.CV cs.LG
CR-VAE: Contrastive Regularization on Variational Autoencoders for Preventing Posterior Collapse
University of Leoben(莱奥本大学)
针对VAE因目标函数局限导致的后验坍塌问题,提出CR-VAE方法,通过引入对比目标最大化相似输入间互信息,有效防止后验坍塌并在视觉数据集上优于现有方法。
2023-09-09 cs.LG
Don't Blame the ELBO! A Linear VAE Perspective on Posterior Collapse
University of Toronto(多伦多大学);Google Brain(谷歌大脑)
当变分后验分布与潜变量子集的先验分布紧密匹配时,变分自编码器(VAE)中的后验崩溃就会出现。本文通过分析线性VAE及其与概率PCA(pPCA)的直接对应关系,提出了一个简单而直观的解释后塌陷。我们解释后崩溃可能会发生在pPCA由于局部最大值的对数边际似然。出乎意料的是,我们证明了ELBO目标的线性VAE不引入额外的虚假局部最大值相对于对数边际似然。我们进一步表明,训练一个线性VAE与精确变分推理恢复一个可识别的全局最大值对应的主成分方向。从经验上讲,我们发现,我们的线性分析是预测性的,即使是高容量,非线性VAE,并有助于解释观察噪声,局部最大值,和后崩溃深高斯VAE之间的关系。
2019-11-06 cs.LG stat.ML
Hyperspherical Variational Auto-Encoders
University of Amsterdam(阿姆斯特丹大学)
变分自动编码器(VAE)是最常用的无监督机器学习模型之一。但是,虽然高斯分布的先验和后验的默认选择代表了一个数学上方便的分布,往往导致竞争的结果,我们表明,这种参数化未能建模数据与潜在的超球面结构。为了解决这个问题,我们建议使用von Mises-Fisher(vMF)分布来代替,从而导致超球形潜在空间。通过一系列的实验,我们展示了如何这样的超球形VAE,或$\mathcal{S}$ -VAE,更适合捕捉数据的超球形潜在结构,而优于正常的,$\mathcal{N}$ -VAE,在低维的其他数据类型。代码在http://github.com/nicola-decao/s-vae-tf和https://github.com/nicola-decao/s-vae-pytorch
2022-09-27 cs.LG stat.ML
Instance-Adaptive Parametrization for Amortized Variational Inference
Department of Electrical Engineering and Information Technology, University of Naples Federico II(那不勒斯费德里科二世大学电气工程与信息技术系);Department of Information Engineering, Electrical Engineering, and Applied Mathematics, University of Salerno(萨勒诺大学信息工程、电气工程与应用数学系)
本文提出IA-VAE,通过超网络生成输入依赖的编码器调制,实现高效且灵活的变分推断,减少近似间隙并提升模型性能。
2026-04-20 cs.AI cs.LG
Hub-VAE: Unsupervised Hub-based Regularization of Variational Autoencoders
George Mason University(乔治梅森大学)
基于示例的方法依赖于信息数据点或原型来指导学习算法的优化。这些数据有助于可解释的模型设计和预测。特别感兴趣的是样本在学习无监督深度表示中的效用。在本文中,我们利用枢纽,出现在高维空间中的频繁邻居,作为范例来正则化变分自编码器,并学习无监督的下游任务的判别嵌入。我们提出了一个无监督的,数据驱动的正则化的潜在空间与基于枢纽的先验和基于枢纽的对比损失的混合。实验评估表明,我们的算法实现了卓越的聚类分离性的嵌入空间,准确的数据重建和生成,相比基线和国家的最先进的技术。
2022-11-18 cs.AI cs.LG
A Classifying Variational Autoencoder with Application to Polyphonic Music Generation
Center for the Neural Basis of Cognition, Machine Learning Department(认知神经基础中心,机器学习系);Carnegie Mellon University(卡内基梅隆大学)
变分自动编码器(VAE)是一种流行的概率生成模型。然而,VAE的一个缺点是潜在变量不能是离散的,这使得难以从不同的分布模式生成数据。在这里,我们提出了一个扩展的VAE框架,采用分类器来推断离散类的建模数据。为了对序列数据进行建模,我们可以将我们的分类VAE与递归神经网络(如LSTM)相结合。我们将此模型应用于算法音乐生成,其中我们的模型学习以不同的键生成音乐序列。这一领域的大多数先前的工作通过将数据转换为仅一个或两个键来避免建模键,而不是原始音乐中的10多个不同键。我们发现,我们的分类VAE和分类VAE+LSTM模型在生成保持基调的音乐样本方面优于相应的非分类模型。当在原始键中的未转置的音乐数据上训练时,这种好处尤其明显。
2017-11-19 cs.LG stat.ML
A Generalised Linear Model Framework for $β$-Variational Autoencoders based on Exponential Dispersion Families
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);TU Kaiserslautern(凯撒斯劳滕工业大学)
虽然变分自编码器(VAE)被成功地用于获得高维数据的有意义的低维表示,但是对于一般观测模型的损失函数的临界点的表征还没有完全理解。我们介绍了一个理论框架,是基于$β$ -VAE和广义线性模型(GLM)之间的连接。$β$ -VAE的激活函数和GLM的链接函数的逆之间的等式使我们能够基于观测模型分布属于指数色散族(EDF)的假设提供$β$ -VAE的损失分析的系统化概括。因此,我们可以初始化$β$ -VAE网络的最大似然估计(MLE),提高训练性能的合成和真实世界的数据集。作为进一步的结果,我们分析描述的自动修剪属性固有的$β$ -VAE的目标和原因后崩溃。
2021-10-11 cs.LG stat.ML
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架,用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验,替代标准正态先验,并引入潜在缩放因子控制采样方差,平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Controllable Level Blending between Games using Variational Autoencoders
Northeastern University(东北大学);Carleton College(卡尔顿学院)
以前的工作探索了从现有游戏中混合关卡,为混合原始游戏属性的新游戏创建关卡。在本文中,我们使用变分自编码器(VAE),以改善这种技术。VAE是人工神经网络,它学习和使用数据集的潜在表示来生成新的输出。我们在《超级马里奥兄弟》和《伊卡洛斯小子》的关卡数据上训练一个VAE,使它能够捕捉到跨越两个游戏的潜在空间。然后,我们使用这个空间来生成结合两个游戏的级别属性的级别段。此外,通过在潜在空间中应用进化搜索,我们进化出满足特定约束的水平段。我们认为,这些启示使基于VAE的方法特别适合于共同创造的水平设计,并比较其性能与类似的生成模型,如GAN和VAE-GAN。
2020-02-27 cs.AI cs.LG
On the failure of variational score matching for VAE models
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学部);University College London(伦敦大学学院);Amazon Web Services(亚马逊云科技)
分数匹配(SM)是训练灵活概率模型的一种方便方法,通常优于传统的最大似然(ML)方法。然而,这些模型的可解释性不如标准化模型;因此,训练鲁棒性通常难以评估。我们提出了一个批判性的研究现有的变分SM目标,在广泛的数据集和网络架构上显示灾难性的失败。我们的理论见解的目标出现直接从他们的等价自编码损失时,优化变分自编码器(VAE)模型。首先,我们表明,在费舍尔自动编码器,SM产生远不如最大似然模型,和近似推理的费舍尔发散可能会导致低密度局部最优。然而,通过重要的修改,这个目标减少到类似于证据下限(ELBO)的正则化自动编码损失。该分析预测,修改后的SM算法的行为应该非常类似于ELBO高斯VAE。然后,我们从文献中回顾了另外两个基于FD的目标,并表明它们减少了不可解释的自动编码损失,可能导致性能不佳。实验验证了我们的理论预测,并建议只有ELBO和基线目标鲁棒地产生预期的结果,而以前提出的SM方法不。
2022-10-24 cs.LG stat.ML
Coupled Variational Autoencoder
Rutgers University-Newark(罗格斯大学纽瓦克分校);Institute for Advanced Study(普林斯顿高等研究院)
本文提出 C-VAE,将 VAE 建模为先验与数据分布间的熵正则化最优传输问题,以解决先验空洞,并在合成与真实数据上优于 VAE、WAE 和 InfoVAE。
2023-06-05 cs.LG stat.ML
Symmetric Variational Autoencoder and Connections to Adversarial Learning
Duke University(杜克大学)
提出了一种基于对称库尔贝克-莱布勒散度的变分自编码器(VAE)。结果表明,学习所产生的对称VAE(SVAE)有密切的联系,以前开发的对抗学习方法。这种关系有助于统一VAE和对抗学习的先前不同的技术,并提供见解,使我们能够改善一些先前开发的对抗方法的缺点。除了激励和解释sVAE的分析外,一组广泛的实验验证了该方法的实用性。
2017-10-19 cs.LG stat.ML
Jigsaw-VAE: Towards Balancing Features in Variational Autoencoders
Autodesk AI Research(欧特克人工智能研究院);Imagia(Imagia公司);MILA(蒙特利尔学习算法研究所)
VAE学习的潜变量作为一种无监督的特征提取方式已经引起了相当大的兴趣,这些特征可以用于下游任务。人们越来越感兴趣的问题是,在一个环境中学习的特征是否会在不同的环境中推广。我们在这里证明,VAE潜变量往往集中在一些因素的变化,在其他的牺牲-在这种情况下,我们称为“不平衡”的功能。当潜变量用于特征存在变化的环境中时,特征不平衡导致泛化能力差。类似地,用不平衡特征训练的潜在变量会导致VAE生成不太多样化(即偏向主导特征)的样本。为了解决这个问题,我们提出了一个正则化方案的VAE,我们表明,基本上解决了特征不平衡的问题。我们还引入了一个简单的度量来衡量生成的图像中的功能的平衡。
2020-05-12 cs.CV cs.LG stat.ML
Towards a Theoretical Understanding of the Robustness of Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所)
我们在理解变分自编码器(VAE)对对抗性攻击和其他输入扰动的鲁棒性方面取得了进展。虽然以前的工作已经开发了攻击和防御VAE的算法方法,但仍然缺乏形式化的VAE是健壮的。为了解决这个问题,我们开发了一个新的概率模型的鲁棒性标准:$r$ -鲁棒性。然后,我们用它来构建VAE的鲁棒性的第一个理论结果,在输入空间中推导出的利润,我们可以提供保证所得到的重建。非正式地,我们能够定义一个区域,在该区域内,任何扰动都将产生与原始重建类似的重建。为了支持我们的分析,我们表明,使用解纠缠方法训练的VAE不仅在我们的鲁棒性指标下得分很高,而且可以通过我们的理论结果解释其原因。
2021-01-29 cs.LG stat.ML
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology(韩国科学技术院)
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器(Variational Autoencoder,VAE)是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标,可以很容易地优化。然而,这个目标并没有提供一个明确的措施,潜在的变量表示的质量,这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比,它提供了一个明确的目标,最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在变量,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明,所提出的方法加强了潜在代码和观察之间的关系,并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
Diffusion Priors In Variational Autoencoders
University of Liège(列日大学)
在基于可能性的深度生成建模方法中,变分自编码器(VAE)提供可扩展的摊销后验推理和快速采样。然而,VAE也越来越多地被竞争模型所超越,例如归一化流(NF),深能模型或新的去噪扩散概率模型(DDPM)。在这个初步的工作中,我们通过演示如何DDPM可以用于建模的潜变量的先验分布来改善VAE。扩散先验模型改进了经典VAE的高斯先验,并与基于NF的先验具有竞争力。最后,我们假设分层VAE可以类似地受益于扩散先验能力的增强。
2021-06-29 cs.LG
D-VAE: A Variational Autoencoder for Directed Acyclic Graphs
Washington University in St. Louis(圣路易斯华盛顿大学)
图结构化数据在现实世界中非常丰富。有向无环图是机器学习研究者特别感兴趣的一类图,许多机器学习模型都是在有向无环图上实现的,包括神经网络和贝叶斯网络。在本文中,我们研究了DAG的深度生成模型,并提出了一种新的DAG变分自编码器(D-VAE)。为了将DAG编码到潜在空间中,我们利用图神经网络。我们提出了一个异步的消息传递计划,允许编码的DAG上的计算,而不是使用现有的同步消息传递计划来编码本地图结构。我们证明了我们提出的DVAE的有效性,通过两个任务:神经结构搜索和贝叶斯网络结构学习。实验表明,我们的模型不仅产生新颖和有效的DAG,但也产生了一个光滑的潜在空间,有利于搜索DAG具有更好的性能,通过贝叶斯优化。
2019-10-29 cs.LG stat.ML
Understanding Instance-based Interpretability of Variational Auto-Encoders
University of California San Diego(加州大学圣迭戈分校)
基于实例的解释方法已经被广泛研究用于监督学习方法,因为它们有助于解释黑盒神经网络如何预测。然而,在无监督学习的背景下,基于实例的解释仍然不好理解。在本文中,我们研究了影响函数[Koh和Liang,2017],这是一种流行的基于实例的解释方法,用于一类称为变分自动编码器(VAE)的深度生成模型。我们正式框架的反事实的问题,在这种设置中的影响函数回答,并通过理论分析,研究他们揭示了经典的无监督学习方法的训练样本的影响。然后,我们介绍了VAE- TracIn,这是一种基于Pagani等人[2020]的VAE计算效率高且理论上合理的解决方案。最后,我们评估VAE-TracIn在几个现实世界的数据集进行了广泛的定量和定性分析。
2022-01-21 cs.LG stat.ML
AR-Flow VAE: A Structured Autoregressive Flow Prior Variational Autoencoder for Unsupervised Blind Source Separation
Hong Kong Polytechnic University(香港理工大学);Wuhan University of Technology(武汉理工大学);The University of Hong Kong(香港大学)
本文提出AR-Flow VAE,通过自回归流先验提升潜变量建模灵活性,有效捕捉复杂非高斯行为和结构依赖,验证了其在盲源分离中的有效性。
2026-03-18 cs.LG stat.ML
ControlVAE: Controllable Variational Autoencoder
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);AWS Deep Learning(AWS 深度学习部门);Alibaba Group(阿里巴巴集团)
变分自编码器(Variational Autoencoder,VAE)及其变体已经广泛用于各种应用中,诸如对话生成、图像生成和解纠缠表示学习。然而,现有的VAE模型在不同的应用中存在一定的局限性。例如,VAE容易遭受语言建模中的KL消失和用于解开的低重建质量。为了解决这些问题,我们提出了一种新的可控变分自编码器框架,ControlVAE,它结合了控制器,灵感来自自动控制理论,与基本的VAE,以提高性能的生成模型。具体而言,我们设计了一种新的非线性PI控制器,比例积分微分(PID)控制的一种变体,在模型训练期间使用输出KL发散作为反馈来自动调整VAE目标中添加的超参数(权重)。该框架评估使用三个应用程序,即语言建模,解开表示学习,图像生成。实验结果表明,ControlVAE算法能够获得比现有方法更好的解缠和重建质量。对于语言建模,它不仅避免了KL消失,而且提高了生成文本的多样性。最后,我们还表明,ControlVAE提高了重建质量的原始VAE相比,生成的图像。
2020-06-20 cs.LG stat.ML
Coupled VAE: Improved Accuracy and Robustness of a Variational Autoencoder
Worcester Polytechnic Institute(伍斯特理工学院);Boston University(波士顿大学);Photrek(Photrek公司)
本文提出一种耦合变分自编码器,通过改进损失函数提升模型的准确性和鲁棒性。
2021-07-12 cs.LG stat.ML
Variational auto-encoders with Student's t-prior
Lund University(隆德大学);Halmstad University(哈尔姆斯塔德大学)
我们提出了一个新的结构变分自动编码器(VAE)的先验,弱信息的多元学生的t分布。在所提出的模型中,所有分布参数都经过训练,从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明,使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
Negative Binomial Variational Autoencoders for Overdispersed Latent Modeling
Southeast University(东南大学);China Medical University Shenyang(中国医科大学沈阳);University of Chinese Academy of Science(中国科学院大学);Alibaba Cloud(阿里云);Center for Applied Statistics and School of Statistics, Renmin University of China(中国人民大学应用统计中心与统计学院)
本文提出NegBio-VAE,通过引入分散参数的负二项潜在变量模型,改进了传统VAE在神经尖峰过分散建模中的不足,实验表明其在重建和生成性能及下游任务中表现更优。
2026-04-08 cs.LG stat.ML
Deterministic Decoding for Discrete Data in Variational Autoencoders
Insilico Medicine(英矽智能);National Research University Higher School of Economics(国立研究型高等经济大学)
变分自编码器是用于对离散数据建模的突出生成模型。然而,对于灵活的解码器,它们倾向于忽略潜在代码。在本文中,我们研究了一个VAE模型与确定性解码器(DD-VAE)的顺序数据,选择最高得分的令牌,而不是采样。确定性解码仅依赖于潜在代码作为产生不同对象的唯一方式,这改善了学习流形的结构。为了实现DD-VAE,我们提出了一类新的有界支持建议分布,并推导出高斯和均匀先验的Kullback-Leibler发散。研究了确定性译码目标函数的连续松弛,分析了松弛参数与重构精度的关系。我们展示了DD-VAE在多个数据集上的性能,包括分子生成和优化问题。
2020-03-04 cs.LG stat.ML
Autoencoding Variational Autoencoder
DeepMind
变分自编码器(VAE)是否一致地对从其解码器生成的典型样本进行编码?本文表明,这个问题的答案可能是令人惊讶的是“不”;(名义上训练)VAE不一定摊销推理的典型样本,它是能够产生的。我们研究的影响,这种行为的学习表示,并通过引入自我一致性的概念来修复它的后果。我们的方法取决于一个替代的建设变分近似分布的真实后验的扩展VAE模型与马尔可夫链之间交替的编码器和解码器。该方法可以用于从头开始训练VAE模型或给定已经训练的VAE,它可以作为后处理步骤以完全自监督的方式运行,而无需访问原始训练数据。我们的实验分析表明,用我们的自一致性方法训练的编码器会导致对对抗攻击引入的输入扰动具有鲁棒性(不敏感)的表示。我们在ColorMnist和CelebA基准数据集上提供了实验结果,这些数据集量化了学习到的表示的属性,并将该方法与针对所需属性专门训练的基线进行了比较。
2020-12-07 cs.LG stat.ML
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
DeepMind(深度思维)
变分自动编码器(VAE)是一种深度潜变量模型,在类似自动编码器的架构中有两个神经网络;其中一个参数化模型的可能性。通过最大似然(ML)拟合其参数具有挑战性,因为边缘似然的计算涉及潜在空间上的棘手积分;因此VAE通过最大化变分下限来训练。在这里,我们通过引入对数似然梯度的无偏估计来开发VAE的ML训练方案。我们得到的估计通过增加一组重要性样本的潜在空间,类似的重要性加权自动编码器(IWAE),然后构建一个马尔可夫链蒙特卡罗耦合过程在这个增强的空间。我们提供的条件下,估计可以计算在有限的时间和有限的方差。我们的实验表明,采用无偏估计量拟合的VAE具有更好的预测性能。
2021-06-02 cs.LG stat.ML
Gaussian Process Prior Variational Autoencoders
Microsoft Research New England(微软新英格兰研究院);Italian Institute for Genomic Medicine(意大利基因组医学研究所);University of California, Berkeley(加州大学伯克利分校)
变分自编码器(VAE)是一种功能强大且广泛使用的模型,可以以无监督的方式学习复杂的数据分布。VAE的一个重要限制是潜在样本表示是独立且同分布的先验假设。然而,对于许多重要的数据集,如图像的时间序列,这个假设太强了:考虑样本之间的协方差,如时间上的协方差,可以产生更合适的模型规范,并提高下游任务的性能。在这项工作中,我们引入了一个新的模型,高斯过程(GP)前变分自编码器(GPPVAE),专门解决这个问题。GPPVAE旨在将VAE的能力与GP先验提供的相关性建模能力相结合。为了在这类新的模型中实现有效的推断,我们利用协方差矩阵中的结构,并引入了一种新的随机反向传播策略,该策略允许以分布式和低内存的方式计算随机梯度。我们表明,我们的方法优于条件VAE(CVAE)和适应标准VAE在两个图像数据应用。
2018-11-26 cs.LG stat.ML
A Closer Look at Disentangling in $β$-VAE
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
在许多数据分析任务中,学习表示是有益的,其中每个维度在统计上是独立的,因此与其他维度分离。如果数据生成因子在统计上也是独立的,则可以通过潜变量的贝叶斯推断来形成解纠缠表示。我们研究了变分自动编码器(VAE),$β$ -VAE,学习这样的表示使用变分推断的推广。$β$ -VAE强制由其超参数$β$控制的瓶颈神经元的条件独立性。这个条件通常与潜伏期的统计独立性不相容。通过提供分析和数值参数,我们表明,这种不相容性导致非单调推理性能在$β$ -VAE有限的最佳$β$。
2019-12-11 cs.LG stat.ML
A Variational Autoencoder for Heterogeneous Temporal and Longitudinal Data
Aalto University(阿尔托大学)
针对现有变分自编码器无法处理异构数据的局限,本文提出 HL-VAE 模型,通过引入多种似然模型并处理缺失观测,在缺失值插补与预测准确性上展现出有效且具竞争力的性能。
2023-11-20 cs.LG stat.ML