Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Imperial College London(帝国理工学院);University of Technology Nuremberg (UTN)(纽伦堡工业大学);Helmholtz AI(亥姆霍兹人工智能中心);Xyme
本文针对高斯过程潜变量模型中平均场变分近似限制不确定性估计的问题,提出摊销结构化随机变分推断,使潜空间后验条件依赖于诱导点,从而改善流形重建指标。
2026-10-14 cs.LG stat.ML
Joint Training of Variational Auto-Encoder and Latent Energy-Based Model
Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一种联合训练方法来学习变分自动编码器(VAE)和基于潜在能量的模型(EBM)。VAE和潜在EBM的联合训练基于一个目标函数,该目标函数由潜在向量和图像上的三个联合分布之间的三个Kullback-Leibler发散组成,并且目标函数是一个优雅的对称和反对称形式的发散三角形,无缝集成了变分和对抗学习。在该联合训练方案中,潜在EBM作为生成器模型的评判器,而VAE中的生成器模型和推理模型分别作为潜在EBM的近似合成采样器和推理采样器。实验结果表明,联合训练大大提高了VAE的合成质量。它还使得能够学习能量函数,该能量函数能够检测出用于异常检测的样本示例。
2020-06-10 cs.CV cs.LG
Disentangling Latent Factors of Variational Auto-Encoder with Whitening
Handong Global University(韩东国际大学)
在深度生成模型成功应用于图像生成任务后,学习数据的解纠缠潜变量已成为深度生成模型研究的关键部分。已经提出了许多模型来通过修改它们的目标函数或模型架构来学习潜在变量的可解释和因子化表示。为了解开潜在变量,一些模型显示出较低的重建图像质量,而另一些模型增加了难以训练的模型复杂度。在本文中,我们提出了一个简单的去纠缠方法的基础上,传统的白化过程。该方法适用于变分自动编码器(VAE)的潜变量,虽然它可以应用于任何生成模型的潜变量。在实验中,我们将所提出的方法应用到简单的VAE模型和实验结果证实,我们的方法发现更多的解释因素,从潜在的空间,而保持相同的重建误差与传统的VAE的错误。
2019-07-05 cs.LG stat.ML
Use of Student's t-Distribution for the Latent Layer in a Coupled Variational Autoencoder
Photrek, LLC(Photrek有限责任公司)
一个耦合的变分自编码器,它结合了广义损失函数和潜在的层分布,显示出MNIST数字的生成副本的准确性和鲁棒性的改善。潜在层使用学生t分布来合并重尾衰减。损失函数使用耦合对数,这增加了对具有离群值可能性的图像的惩罚。生成的图像的似然的广义平均值被用来衡量算法的决策性,准确性和鲁棒性的性能。
2020-11-21 cs.IT cs.LG math.IT
Variational Autoencoder with Learned Latent Structure
Georgia Institute of Technology(佐治亚理工学院)
流形假设指出,高维数据可以被建模为位于或靠近低维非线性流形。变分自动编码器(VAE)通过学习从低维潜在向量到高维数据的映射来近似该流形,同时通过使用指定的先验分布来鼓励潜在空间中的全局结构。当这种先验与真实数据流形的结构不匹配时,它可能导致数据的模型不太准确。为了解决这种不匹配,我们引入了变分自动编码器与学习的潜在结构(VAELLS),它将一个可学习的流形模型到潜在的VAE空间。这使我们能够从数据中学习非线性流形结构,并使用该结构来定义潜在空间中的先验。潜在流形模型的集成不仅确保我们的先验与数据匹配良好,而且还允许我们在潜在空间中定义生成变换路径,并使用源于每个类的示例的变换来描述类流形。我们在具有已知潜在结构的示例上验证了我们的模型,并在真实世界的数据集上展示了其功能。
2021-03-02 cs.LG stat.ML
Attribute-based Regularization of Latent Spaces for Variational Auto-Encoders
Center for Music Technology, Georgia Institute of Technology(佐治亚理工学院音乐技术中心)
使用深度生成模型对数据属性进行选择性操作是一个活跃的研究领域。在本文中,我们提出了一种新的方法来构造变分自动编码器(VAE)的潜在空间,以显式地编码不同的连续值属性。这是通过使用属性正则化损失来实现的,该属性正则化损失强制属性值与属性将被编码的维度的潜在代码之间的单调关系。因此,在训练后,模型可以通过简单地改变相应正则化维度的潜在代码来操纵属性。从几个定量和定性的实验结果表明,所提出的方法导致解开和可解释的潜在空间,可用于有效地操纵广泛的数据属性跨越图像和符号音乐域。
2020-07-29 cs.LG stat.ML
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck
University at Buffalo(布法罗大学);Criteo(Criteo公司);Duke University(杜克大学)
变分自编码器(VAE)是端到端表示学习中必不可少的工具。然而,VAE的顺序文本生成常见的陷阱是,该模型倾向于忽略具有强大自回归解码器的潜在变量。在本文中,我们提出了一个原则性的方法来缓解这个问题,通过应用一个离散化的瓶颈,在一个更紧凑的潜在空间中执行隐式的潜在特征匹配。我们施加一个共享的离散潜在空间,每个输入都被学习选择一个潜在原子的组合作为正则化的潜在表示。我们的模型赋予一个有前途的能力,离散序列的潜在语义建模,从而提供更多的解释性潜在结构。从经验上讲,我们证明了我们的模型在广泛的任务上的效率和有效性,包括语言建模,未对齐的文本样式传输,对话响应生成和神经机器翻译。
2021-02-25 cs.CL cs.LG stat.ML
Posterior Collapse and Latent Variable Non-identifiability
University of Michigan(密歇根大学);Columbia University(哥伦比亚大学)
变分自动编码器通过设定低维潜在变量来对高维数据进行建模,这些潜在变量通过由神经网络参数化的灵活分布进行映射。不幸的是,变分自编码器经常遭受后验崩溃:潜变量的后验等于其先验,使得变分自编码器作为产生有意义的表示的手段是无用的。现有的后验崩溃的方法往往归因于神经网络的使用或由于变分逼近的优化问题。在本文中,我们认为后验崩溃作为一个问题的潜在变量的不可识别性。我们证明了后验崩溃当且仅当潜变量是不可识别的生成模型。这一事实意味着后验崩溃并不是使用灵活分布或近似推理所特有的现象。相反,它可以发生在经典的概率模型,甚至与精确的推断,我们也证明了。基于这些结果,我们提出了一类潜在的可识别的变分自编码器,深度生成模型,在不牺牲灵活性的情况下加强可识别性。该模型类通过利用双射Brenier映射并使用输入凸神经网络对其进行参数化来解决潜在变量不可识别的问题,而无需特殊的变分推断目标或优化技巧。在合成和真实数据集上,潜在可识别的变分自编码器在减轻后验崩溃和提供有意义的数据表示方面优于现有方法。
2023-01-02 cs.LG stat.ML
Piecewise Latent Variables for Neural Variational Text Processing
Universite de Montreal(蒙特利尔大学);Penn State University(宾夕法尼亚州立大学);McGill University(麦吉尔大学)
神经变分推理的进步促进了具有连续潜变量的强大有向图模型的学习,例如变分自编码器。我们希望这样的模型能够学会表示真实世界数据中丰富的、多模态的潜在因素,比如自然语言文本。然而,目前的模型往往假设简单的潜在变量的先验-如单峰高斯分布-这是无法有效地表示复杂的潜在因素。为了克服这个限制,我们提出了简单,但高度灵活的分段常数分布。该分布具有表示潜在目标分布的指数数量的模式的能力,同时保持数学上易于处理。我们的结果表明,将这种新的潜在分布纳入不同的模型中,可以大大改进自然语言处理任务,例如文档建模和对话的自然语言生成。
2017-09-23 cs.AI cs.CL cs.LG
Variational Composite Autoencoders
Shanghai Jiao Tong University(上海交通大学);University of Technology Sydney(悉尼科技大学)
在复杂的数据结构或难以处理的潜在变量的存在下,潜在变量模型中的学习是具有挑战性的。先前的变分自编码器由于简单的编码器-解码器结构而可能是低效的。在本文中,我们提出了一个变分复合自动编码器,以回避这个问题的分层隐变量模型的顶部摊销。实验结果证实了我们的模型的优点。
2018-04-12 cs.LG stat.ML
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
ARD-VAE: A Statistical Formulation to Find the Relevant Latent Dimensions of Variational Autoencoders
The University of Utah(犹他大学)
针对VAE潜在维度需试错估计的问题,提出ARD-VAE方法,通过在目标函数中引入分层先验估计潜在轴方差,自动发现相关潜在维度,并在多个基准数据集上验证了其有效性。
2025-01-26 cs.LG
Learning Latent Representations of Bank Customers With The Variational Autoencoder
University of Tromsø(特罗姆瑟大学);Santander Consumer Bank AS(桑坦德消费银行股份公司);Norwegian Computing Center(挪威计算中心)
学习反映客户信誉的数据表示可以改进零售银行的营销活动、客户关系管理、数据和流程管理或信用风险评估。在这项研究中,我们采用了变分自动编码器(VAE),它有能力学习包含有用信息的潜在表示。我们表明,它是可能的VAE的潜在空间中使用证据的权重,并形成一个特定的分组的数据,反映了客户的信誉来引导潜在的表示。我们提出的方法学习数据的潜在表示,这表明了一个很好的定义聚类结构捕捉客户的信誉。这些集群非常适合上述银行的活动。此外,我们的方法可以推广到新客户,捕获高维和复杂的财务数据,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
IntroVAC: Introspective Variational Classifiers for Learning Interpretable Latent Subspaces
University of Padova(帕多瓦大学)
学习复杂数据的有用表示多年来一直是广泛研究的主题。随着深度神经网络的普及,变分自编码器获得了大量关注,因为它们基于编码器/解码器架构提供了数据分布的显式模型,该架构能够生成图像并在低维子空间中对其进行编码。然而,潜在的空间是不容易解释和生成能力显示出一些限制,因为图像通常看起来模糊,缺乏细节。在本文中,我们提出了内省变分分类器(IntroVAC),该模型通过利用来自附加标签的信息来学习可解释的潜在子空间,并通过对抗训练策略来提高图像质量。我们表明,IntroVAC能够学习潜在空间中有意义的方向,从而实现对图像属性的细粒度操作。我们在CelebA数据集上验证了我们的方法。
2020-09-14 cs.CV cs.LG stat.ML
GLSR-VAE: Geodesic Latent Space Regularization for Variational AutoEncoder Architectures
Université Pierre et Marie Curie(皮埃尔和玛丽·居里大学);Sony CSL(索尼计算机科学研究所);École Polytechnique(巴黎综合理工学院)
VAE(变分自编码器)已被证明在密度建模的背景下是强大的,并已被用于各种背景下的创造性目的。在许多情况下,我们建模的数据具有连续属性,我们希望在生成时考虑这些属性。我们在本文中提出了GLSR-VAE,一个测地线潜在空间正则化的变分自编码器架构及其推广,它允许一个精细的控制嵌入到潜在空间的数据。当用这种正则化来增加VAE损失时,学习的潜在空间的变化反映了数据属性的变化。这种对VAE潜在空间结构的更深入理解提供了以连续方式调制所生成数据的属性的可能性。我们证明了它的效率上的单声道音乐生成任务,我们设法生成离散序列的变化,在一个有意的和好玩的方式。
2017-07-14 cs.AI cs.LG stat.ML
Causal Effect Estimation using identifiable Variational AutoEncoder with Latent Confounders and Post-Treatment Variables
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院);Data 61, Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织数据61分部);STEM, University of South Australia(南澳大学 STEM 学院)
针对观测数据因果效应估计中潜在混杂因子与治疗后变量引发的偏差问题,提出结合VAE与iVAE的CPTiVAE方法,证明相关可识别性,实验表明其性能优于现有最优方法,具备实际应用潜力。
2024-08-13 cs.LG stat.ME
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London(伦敦大学学院)
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时,这个问题尤其严重。在本文中,我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器(VAE),鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明,国家的最先进的方法,潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成,同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
Neighbor Embedding Variational Autoencoder
Harbin Institute of Technology(哈尔滨工业大学);Beijing University of Civil Engineering and Architecture(北京建筑大学)
作为最流行的生成框架之一,变分自编码器(VAE)已知遭受称为后验崩溃(posterior collapse)的现象,即潜在的变分分布崩溃到先验,特别是当使用强解码器网络时。在这项工作中,我们分析了塌陷VAE的潜在表示,并提出了一种新的模型,邻居嵌入VAE(NE-VAE),它显式地限制编码器将输入空间中接近的输入编码为潜在空间中接近的输入。我们观察到,对于报告类似ELBO的VAE变体,KL分歧甚至互信息分数在潜在组织中的表现可能仍然非常不同。在我们的实验中,NE-VAE可以产生定性不同的潜在表示,其中大部分潜在维度保持活跃,这可能有利于下游潜在空间优化任务。NE-VAE可以比它的前辈更大程度地防止后崩溃,并且可以很容易地插入到任何自动编码器框架中,而无需引入额外的模型组件和复杂的训练例程。
2021-03-21 cs.LG stat.ML
A Hierarchical Latent Structure for Variational Conversation Modeling
Seoul National University(首尔国立大学)
变分自编码器(VAE)结合层次RNN已经成为会话建模的强大框架。然而,它们遭受着臭名昭著的退化问题,解码器学会忽略潜在变量并简化为香草RNN。我们的经验表明,这种简并发生主要是由于两个原因。首先,分层RNN解码器的表达能力通常足够高,可以仅使用其解码分布来建模数据,而不依赖于潜在变量。其次,其生成过程以上下文为条件的条件VAE结构使得训练目标的范围非常稀疏;也就是说,RNN解码器可以很容易地过拟合到训练数据,而忽略潜在变量。为了解决退化问题,我们提出了一种名为变分层次会话RNN(VHCR)的新模型,涉及两个关键思想:(1)使用潜在变量的层次结构,以及(2)利用话语丢弃正则化。通过对Cornell Movie Dialog和Ubuntu Dialog语料库两个数据集的评估,我们表明我们的VHCR成功地利用了潜变量,并优于最先进的会话生成模型。此外,它可以执行几个新的话语控制任务,由于其分层的潜在结构。
2018-04-12 cs.AI cs.CL cs.LG
Learning Latent Subspaces in Variational Autoencoders
University of Toronto(多伦多大学);Vector Institute(向量研究所)
变分自编码器(VAE)是广泛使用的深度生成模型,能够学习数据的无监督潜在表示。这种表示通常难以解释或控制。我们考虑的问题,无监督学习的功能相关的特定标签的数据集。我们提出了一个基于VAE的生成模型,我们表明它能够提取与数据中的二进制标签相关的特征,并将其结构化在一个易于解释的潜在子空间中。我们的模型,条件子空间VAE(CSVAE),使用互信息最小化,学习一个低维的潜在子空间与每个标签,可以很容易地检查和独立操作。我们展示了多伦多脸和CelebA数据集上的属性操作任务的学习表示的实用性。
2018-12-14 cs.CV cs.LG stat.ML
Learning Multi-layer Latent Variable Model via Variational Optimization of Short Run MCMC for Approximate Inference
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Stevens Institute of Technology(斯蒂文斯理工学院)
本文研究了学习深度生成模型的基本问题,该模型由自顶向下架构中组织的多层潜变量组成。这种模型具有高表达性,并允许学习分层表示。学习这种生成模型需要基于这些潜变量的后验分布来推断每个训练示例的潜变量。该推断通常需要马尔可夫链蒙特卡罗(MCMC),这可能是耗时的。在本文中,我们建议使用噪声初始化的非持久性短期MCMC,如有限步Langevin动态初始化的潜变量的先验分布,作为一个近似的推理引擎,其中的Langevin动态的步长变分优化,通过最小化的库尔贝克-莱布勒散度之间的分布产生的短期MCMC和后验分布。实验结果表明,该方法在重建误差和合成质量方面优于变分自动编码器(VAE)。所提出的方法的优点是,它是简单和自动的,而不需要设计一个推理模型。
2020-07-17 cs.LG stat.ML
Disentanglement with Hyperspherical Latent Spaces using Diffusion Variational Autoencoders
Eindhoven University of Technology(埃因霍温理工大学);Prosus AI(Prosus人工智能);Prosus
一个数据集的解纠缠表示应该能够恢复产生它的潜在因素。出现的一个问题是,当潜在的生成因素具有一定的几何结构时,使用欧几里得空间的潜变量模型是否可以产生解纠缠表示。例如,从不同角度看到的汽车图像。该角度具有周期性结构,但一维表示将无法捕获该拓扑。我们如何解决这个问题?提交给NeurIPS 2019解纠缠挑战赛第一阶段的参赛作品包括一个扩散变分自编码器($Δ$ VAE),该编码器具有超球形潜在空间,例如,可以恢复周期性真因子。训练的$Δ$ VAE是通过将修改后的版本的证据下限(ELBO)的裁剪后近似的编码能力。
2020-03-19 cs.LG stat.ML
Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
Australian National University(澳大利亚国立大学)
本文提出基于Gumbel传播的贝叶斯动态规划(BDP),将最优路径问题概率软化,在VAE潜空间中捕获结构化稀疏路径,实现端到端生成训练,并应用于语音合成。
2024-06-25 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
没有任何结构假设的基于能量的隐变量模型(EBLVMs)的学习和评估具有很大的挑战性,因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计,分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散,并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下,VaES和VaGES可以应用于基于核化Stein差异(KSD)和分数匹配(SM)的方法来学习EBLVM。此外,VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Variational Mutual Information Maximization Framework for VAE Latent Codes with Continuous and Discrete Priors
Korea Advanced Institute of Science and Technology(韩国科学技术院)
学习数据的可解释和解纠缠表示是机器学习研究中的一个关键主题。变分自编码器(Variational Autoencoder,VAE)是一种学习复杂数据的有向隐变量模型的可扩展方法。它采用了一个清晰和可解释的目标,可以很容易地优化。然而,这个目标并没有提供一个明确的措施,潜在的变量表示的质量,这可能会导致他们的质量差。我们提出了变分互信息最大化框架VAE来解决这个问题。与其他方法相比,它提供了一个明确的目标,最大限度地降低潜在代码和观察之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在变量,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。我们已经进行了我们的实验VAE模型与高斯和联合高斯和离散的潜变量。我们的结果表明,所提出的方法加强了潜在代码和观察之间的关系,并改进了学习的表示。
2020-06-02 cs.IT cs.LG math.IT
Adaptive Compression of the Latent Space in Variational Autoencoders
Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与控制论研究所);Czech Technical University in Prague(布拉格捷克理工大学)
本文提出一种在VAE训练中通过逐步移除神经元自动确定最优潜在空间大小的方法,在四个图像数据集上比网格搜索更快且性能相当。
2023-12-11 cs.AI cs.LG
Learning Correlated Latent Representations with Adaptive Priors
Columbia University(哥伦比亚大学);Netflix Inc.(奈飞公司);The University of Texas at Dallas(得克萨斯大学达拉斯分校);Spotify Inc.(声田公司)
变分自动编码器(VAE)已被广泛应用于学习高维数据的紧凑,低维的潜在表示。当数据点之间的相关性结构可用时,以前的工作提出了相关变分自动编码器(CVAE),它采用结构化混合模型作为先验,并为每个混合成分采用结构化变分后验,以强制学习的潜在表示遵循相同的相关性结构。然而,正如我们在这项工作中所证明的那样,这样的选择不能保证CVAE捕获所有的相关性。此外,它阻止我们获得一个易于处理的联合和边际变分分布。为了解决这些问题,我们提出了自适应相关变分自动编码器(ACVAE),它应用了一个自适应先验分布,可以在训练过程中进行调整,并可以学习一个易于处理的联合变分分布。其易于处理的形式还可以通过置信传播进行进一步细化。链接预测和层次聚类的实验结果表明,ACVAE显着优于其他基准之间的CVAE。
2019-12-18 cs.LG stat.ML
Disentangling Variational Autoencoders
Princeton University(普林斯顿大学)
变分自编码器(VAE)是用于后验推理的概率机器学习框架,其将输入的高维数据集投影到较低维度的潜在空间。通过VAE学习的潜在空间为在创意学科中开发新的数据驱动设计过程提供了令人兴奋的机会,特别是自动生成多个新颖的设计,这些设计在美学上让人联想到输入数据,但在训练过程中看不到。然而,学习的潜在空间通常是混乱和纠缠的:沿着单个维度遍历潜在空间不会导致数据的单个视觉属性发生变化。潜在结构的缺乏阻碍了设计师有意控制从潜在空间产生的新设计的视觉属性。本文提出了一个实验研究,探讨潜在的空间解纠缠。我们实现了三种不同的VAE模型,从文献和训练他们对公开的数据集的60,000个图像的手写数字。我们进行敏感性分析,以找到一个小的潜在的必要的维度,以最大限度地提高数据的对数边际似然的下限。此外,我们调查的解码图像的重建质量和潜在空间的解纠缠的水平之间的权衡。我们能够自动将三个潜在维度与数字的三个可解释的视觉属性对齐:线宽,倾斜度和宽度。我们的实验表明,i)增加潜在的先验知识和变分分布之间的Kullback-Leibler分歧对证据下限的贡献,以及ii)调节输入图像类增强了对具有VAE的解纠缠潜在空间的学习。
2022-11-14 cs.CV cs.LG
Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference
University of Cambridge(剑桥大学)
高斯过程潜变量模型(GPLVM)是一种灵活的非线性降维方法,将经典高斯过程扩展到无监督学习环境。GPLVM的贝叶斯化身Titsias和Lawrence,2010]使用变分框架,其中潜变量的后验近似于行为良好的变分族,因子化高斯产生易于处理的下限。然而,下界的非工厂能力阻止了真正可扩展的推理。在这项工作中,我们研究了贝叶斯GPLVM模型的双随机制定与小批量训练。我们展示了这个框架是如何与不同的潜变量配方兼容,并进行实验,比较一套模型。此外,我们演示了如何在大量缺失数据的情况下进行训练,并获得高保真重建。我们展示了该模型的性能对规范稀疏GPLVM高维数据的例子进行基准测试。
2022-04-09 cs.LG stat.ME stat.ML
Learning Disentangled Representations with Quantum Variational Autoencoders
Yale University(耶鲁大学)
该研究探讨量子变分自编码器能否学习解纠缠的潜在因素,通过理论分析和在MNIST变体等数据集上的实验,证明单个量子比特可作为有意义的可解释潜在因素,为量子表示学习奠定基础。
2026-10-07 cs.ET cs.LG quant-ph
Learnable Explicit Density for Continuous Latent Space and Variational Inference
MILA, Université de Montréal(蒙特利尔大学MILA);Imagia Inc.(Imagia公司);HEC Montréal(蒙特利尔高等商学院)
本文研究了变分自编码器(VAE)的两个方面:隐变量的先验分布及其相应的后验分布。首先,我们将VAE的学习分解为逐层的密度估计,并认为具有灵活的先验对样本生成和推理都是有益的。其次,我们分析了逆自回归流(逆AF)的家庭,并表明,通过进一步的改进,逆AF可以被用来作为任何复杂的后验的通用近似。我们的分析结果在一个统一的方法来参数化的VAE,而不需要限制自己使用阶乘高斯在潜在的真实空间。
2017-10-06 cs.AI cs.LG stat.ML
Direct Evolutionary Optimization of Variational Autoencoders With Binary Latents
University of Oldenburg(奥尔登堡大学);CERN(欧洲核子研究中心)
离散潜变量被认为对于现实世界的数据很重要,这激发了对具有离散潜变量的变分自动编码器(VAE)的研究。然而,在这种情况下,标准VAE训练是不可能的,这促使不同的策略来操纵离散分布,以便类似于传统的训练离散VAE。在这里,我们问是否也可以通过对编码模型应用直接离散优化来保持潜伏期的离散性质完全不变。因此,该方法通过避开采样近似、重新参数化技巧和摊销,强烈地偏离了标准的VAE训练。离散优化实现在变分设置中使用截断后验结合进化算法。对于具有二进制潜伏期的VAE,我们(A)展示了这种离散变分方法如何与网络权重的梯度上升联系在一起,以及(B)如何使用解码器来选择用于训练的潜伏状态。传统的分期训练更有效,适用于大型神经网络。然而,使用较小的网络,我们在这里发现直接离散优化可以有效地扩展到数百个潜伏期。更重要的是,我们发现直接优化的有效性在“zero-shot”学习中具有很强的竞争力。与大型监督网络相比,这里研究的VAE可以,例如,对单个图像进行降噪,而无需先前对干净数据的训练和/或对大型图像数据集的训练。更一般地说,研究的方法表明,培训VAE确实是可能的,没有采样为基础的近似和重新参数化,这可能是有趣的VAE培训的分析一般。此外,对于“zero-shot”设置,直接优化使得VAE具有竞争力,其中它们先前被非生成方法优于。
2023-03-24 cs.LG stat.ML
eXact-Prior Variational Autoencoder (X-VAE): Learning Data-Adaptive Gaussian Mixture Priors for Latent Distributions
提出X-VAE框架,用预训练自编码器潜在表示的均值和标准差作为数据自适应高斯先验,替代标准正态先验,并引入潜在缩放因子控制采样方差,平衡生成多样性与保真度。
2026-07-03 cs.LG stat.ML
Anomaly detection through latent space restoration using vector-quantized variational autoencoders
Imperial College London(帝国理工学院)
我们提出了一个分布外检测方法,结合密度和基于密度的方法,使用矢量量化变分自动编码器(VQ-VAE)。VQ-VAE模型学习在分类潜在空间中编码图像。潜码的先验分布,然后使用自回归(AR)模型建模。我们发现AR模型估计的先验概率对于无监督的异常检测是有用的,并且能够估计样本和像素异常分数。样本得分定义为潜在变量的负对数似然高于选择高度不可能的代码的阈值。此外,通过用来自先验模型的样本替换不太可能的潜在代码并解码到像素空间,将分布外图像恢复为分布内图像。生成的异常与原始图像之间的平均L1距离被用作逐像素异常分数。我们在MOOD挑战数据集上测试了我们的方法,并报告了与基于VAE的标准重建方法相比更高的准确性。
2020-12-12 cs.CV cs.LG eess.IV
Neighbour-Driven Gaussian Process Variational Autoencoders for Scalable Structured Latent Modelling
Department of Computer Science, University of Manchester, Manchester, UK(计算机科学系,曼彻斯特大学,曼彻斯特,英国)
提出邻居驱动的近似策略,利用潜空间局部邻接关系实现可扩展的GPVAE推理,在保留依赖性的同时减少诱导点需求,并在多项任务中优于其他GPVAE变体。
2025-08-15 cs.LG stat.ML
Factorized Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
变分自动编码器通常假设各向同性高斯先验和平均场后验,因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题,但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型,利用独立的辅助功能,这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核,导致了显着的加速(理论和实践),同时根据经验对现有的不可扩展方法进行了改进。此外,我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Towards Deeper Understanding of Variational Autoencoding Models
Stanford University(斯坦福大学)
我们提出了一个新的家庭变分自动编码模型的优化标准,推广了标准的证据下限。我们提供的条件下,他们恢复的数据分布和学习潜在的功能,并正式显示,常见的问题,如模糊的样本和无信息的潜在功能时,这些条件不满足。基于这些新的见解,我们提出了一个新的顺序VAE模型,可以在LSUN图像数据集上生成基于像素级重建损失的清晰样本,并提出了一个优化标准,鼓励信息潜在特征的无监督学习。
2017-02-28 cs.LG stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI,一种基于扩散模型的黑盒变分推断算法,通过迭代优化潜在空间后验,提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
InverseCrafter: Efficient Video ReCapture as a Latent Domain Inverse Problem
Graduate School of AI, KAIST, South Korea(韩国釜山国立大学人工智能研究生院);EverEx, South Korea(韩国EverEx公司);Korea University, South Korea(韩国国立庆熙大学)
提出InverseCrafter框架,将新视角视频生成转化为潜在空间基于图像修复的逆问题,通过轻量级潜在掩码编码器建立算子等价,无需标注4D训练数据,实现高效合成与编辑。
2026-07-07 cs.AI cs.CV cs.LG
Epitomic Variational Graph Autoencoder
Technical University of Munich(慕尼黑工业大学);Mercateo AG(Mercateo公司)
变分自编码器(VAE)是一种广泛使用的生成模型,用于学习潜在表示。Burda等人在他们的开创性论文中表明,VAE的学习能力受到过度修剪的限制。这是一种现象,其中大量潜变量未能捕获关于输入数据的任何信息,并且对应的隐藏单元变得不活动。这对学习多样化和可解释的潜在表征产生了不利影响。变分图自动编码器(VGAE)扩展了VAE的图结构数据,它继承了过度修剪问题。在本文中,我们采用了基于模型的方法,并提出了epitomic VGAE(EVGAE),一个生成的变分框架的图数据集,成功地减轻了过度修剪问题,也提高了VGAE的生成能力。我们认为EVGAE由多个稀疏的VGAE模型组成,称为epitomes,这是一组共享潜在空间的潜在变量。这种方法有助于增加活动单元,因为摘要竞争学习更好的图形数据表示。我们通过三个基准数据集上的实验验证了我们的说法。实验结果表明,EVGAE比VGAE具有更好的生成能力。在引文网络中,EVGAE的链接预测性能优于VGAE.
2020-08-07 cs.LG stat.ML
LDC-VAE: A Latent Distribution Consistency Approach to Variational AutoEncoders
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
变分自编码器(VAE)作为生成模型的一个重要方面,受到了广泛的研究兴趣,并取得了许多成功的应用。然而,在优化证据下界(ELBO)时,如何保证学习到的潜在分布与先验潜在分布的一致性一直是一个难题,并最终导致数据生成性能不理想。在本文中,我们提出了一种潜在分布一致性方法,以避免ELBO优化中后验潜在分布和先验潜在分布之间的实质性不一致。我们将这种方法称为潜在分布一致性VAE(LDC-VAE)。我们通过假设潜在空间中的真实后验分布为Gibbs形式,并使用我们的编码器对其进行近似来实现这一目的。然而,这种Gibbs后验在近似中没有解析解,传统的近似方法非常耗时,例如使用基于迭代采样的MCMC。为了解决这个问题,我们使用Stein变分梯度下降(SVGD)来近似Gibbs后验。同时,我们使用SVGD来训练一个采样网络,它可以从Gibbs后验中获得有效的样本。对流行的图像生成数据集的比较研究表明,我们的方法已经取得了相当的性能,甚至比几个强大的改进VAE更好。
2022-05-08 cs.AI cs.CV cs.IT
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo(布法罗大学);JD Finance America Corporation(京东金融美国公司)
我们研究了用于神经故事生成的大规模潜变量模型(LVMs)-开放域长文本的一个未充分开发的应用程序-目标有两个线程:生成有效性和可控性。LVMs,特别是变分自编码器(VAE),通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来,Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果,因此在生成过程中缺乏令人满意的可控性。在本文中,我们主张在Transformers时代恢复潜变量建模,本质上是表示学习的力量,以增强可控性,而不损害最先进的发电效率。具体来说,我们将潜在表示向量与基于transformer的预训练架构相结合,以构建条件变分自编码器(CVAE)。模型的组成部分,如编码器,解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力,以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
VMI-VAE: Variational Mutual Information Maximization Framework for VAE With Discrete and Continuous Priors
KAIST(韩国科学技术院)
变分自编码器是一种用于学习复杂数据的潜在变量模型的可扩展方法。它采用了一个明确的目标,可以很容易地优化。然而,它并没有明确衡量学习表征的质量。我们提出了一个变分互信息最大化框架VAE来解决这个问题。它提供了一个目标,最大限度地提高潜在代码和观测之间的互信息。该目标作为一个正则化,迫使VAE不忽略潜在的代码,并允许一个选择它的特定组件是最翔实的观察。最重要的是,所提出的框架提供了一种方法来评估固定VAE模型的潜在代码和观察之间的互信息。
2020-05-28 cs.IT cs.LG math.IT
Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
Carleton College(卡尔顿学院)
自动编码变分贝叶斯(AEVB)是一种用于拟合潜变量模型(无监督学习的一个有前途的方向)的强大而通用的算法,并且众所周知用于训练变分自动编码器(VAE)。在本教程中,我们专注于从经典的期望最大化(EM)算法中激励AEVB,而不是从确定性自动编码器中。虽然EM和AEVB之间的联系是自然的,而且有些不言自明,但在最近的深度学习文献中并没有强调EM和AEVB之间的联系,我们相信强调这种联系可以提高社区对AEVB的理解。特别是,我们发现将(1)关于推理参数优化证据下限(ELBO)视为近似E步和(2)关于生成参数优化ELBO视为近似M步特别有帮助;在AEVB中同时做这两件事,然后简单地同时收紧和推高ELBO。我们讨论如何近似E-步骤可以解释为执行变分推理。重要的概念,如摊销和重新参数化技巧进行了详细讨论。最后,我们从头开始推导了一个非深度和几个深度潜变量模型的AEVB训练过程,包括VAE,条件VAE,高斯混合VAE和变分RNN。我们希望读者能够认识到AEVB是一种通用算法,可以用于拟合各种潜变量模型(不仅仅是VAE),并将AEVB应用于他们自己研究领域中出现的模型。所有包含的模型的PyTorch代码都是公开的。
2022-08-16 cs.AI cs.LG stat.ML
Contrastive Variational Autoencoder Enhances Salient Features
Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系);Department of Biomedical Data Science, Stanford University(斯坦福大学生物医学数据科学系);Stanford University(斯坦福大学)
变分自编码器是用于识别单个数据集中的主导潜在结构的强大算法。然而,在许多应用中,我们感兴趣的是对与某些背景相比在目标数据集中富集的潜在结构和变化进行建模-例如,与一般人群相比在患者中富集。对比学习是捕获目标和背景之间的这种丰富变化的原则框架,但是最先进的对比方法限于线性模型。在本文中,我们介绍了对比变分自编码器(cVAE),它结合了对比学习的优势和深度生成模型的强大功能。cVAE旨在识别和增强显著的潜在特征。cVAE在两个相关但未配对的数据集上进行训练,其中一个数据集对显着潜在特征的贡献最小。cVAE明确地对数据集之间共享的潜在特征以及相对于另一个数据集在一个数据集中富集的那些特征进行建模,这允许算法隔离和增强显著的潜在特征。该算法易于实现,运行时间与标准VAE相似,并且对噪声和数据集纯度具有鲁棒性。我们在不同类型的数据中进行实验,包括基因表达和面部图像,表明cVAE有效地揭示了在特定分析中显着的潜在结构。
2019-02-12 cs.LG stat.ML
Latent Thought Models with Variational Bayes Inference-Time Computation
UCLA(加州大学洛杉矶分校);Lambda, Inc.(Lambda公司);Salesforce Research(Salesforce研究院)
提出 Latent Thought Models(LTM),通过显式潜在思维向量、变分贝叶斯双速率训练和推理时计算,提升语言模型的样本与参数效率及推理能力。
2025-06-06 cs.CL cs.LG stat.ML
Bounded Information Rate Variational Autoencoders
Victoria University of Wellington(惠灵顿维多利亚大学)
本文介绍了一个新的家庭成员的变分自编码器(VAE),约束的信息传输速率的潜在层。潜在层被解释为通信信道,其信息速率通过施加预设的信噪比来约束。新的约束包含输入变量和潜变量之间的互信息,自然地与常规VAE中使用的观测数据的似然目标相结合。所得到的有界信息速率变分自编码器(BIR-VAE)提供了具有信息分辨率的有意义的潜在表示,该信息分辨率可以由系统设计者直接以比特来指定。速率约束可以用于防止过度训练,并且该方法自然地促进以设定速率对潜变量进行量化。我们的实验证实,BIR-VAE有一个有意义的潜在表示,其性能至少是最先进的竞争算法一样好,但具有较低的计算复杂性。
2018-07-25 cs.IT cs.LG math.IT
Soft-Constrained Optimization of Latent Space in Variational Autoencoders
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔电气与计算机工程学院)
研究变分自编码器潜在空间优化问题,提出软约束优化方法,包括基于熵的约束和权重过滤法,在dSprites和MNIST数据集上实验,提升了潜在变量激活分数、降低重建误差、减少潜在维度并加快收敛。
2026-07-28 cs.LG stat.ML
Latent Variable Modelling Using Variational Autoencoders: A survey
概率分布允许从业者发现数据中隐藏的结构,并建立模型来使用有限的数据解决监督学习问题。本报告的重点是变分自编码器,一种学习大型复杂数据集概率分布的方法。该报告提供了一个理论上的理解变分自编码器,并巩固了目前的研究领域。该报告分为多个章节,第一章介绍了问题,描述了变分自编码器,并确定了该领域的关键研究方向。第2、3、4和5章深入讨论了每个关键研究领域的细节。第6章是报告的结论,并提出了今后工作的方向。对机器学习有基本了解但又想了解机器学习研究中一般主题的读者可以从本报告中受益。该报告解释了学习概率分布的中心思想,人们做了什么来使其易于处理,并详细介绍了深度学习目前如何应用。该报告也为那些希望为这个子领域做出贡献的人提供了一个温和的介绍。
2022-06-20 cs.AI cs.LG
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
变分自编码器(VAE)是一类强大的深度生成潜变量模型,用于高维数据的无监督表示学习。为了确保计算的易处理性,VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关,原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架,张量变量高斯过程先验变分自编码器(tvGP-VAE),它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子,我们表明,选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
Bi-level Doubly Variational Learning for Energy-based Latent Variable Models
Beihang University(北京航空航天大学);Nanjing Tech University(南京工业大学);Baidu Research(百度研究院);University of Technology of Troyes(特鲁瓦技术大学)
基于能量的潜变量模型(EBLVMs)比传统的基于能量的模型更有表现力。然而,其在视觉任务上的潜力受到其基于最大似然估计的训练过程的限制,该过程需要从两个棘手的分布中采样。在本文中,我们提出了双层双变分学习(BiDVL),它是基于一个新的双层优化框架和两个易于处理的变分分布,以促进学习EBLVMs。特别地,我们引入了一个解耦的EBLVM,由基于边缘能量的分布和结构后验组成,以处理在图像上学习深度EBLVM时的困难。通过在我们的框架的较低层次中选择对称KL发散,可以获得用于视觉任务的紧凑BiDVL。我们的模型实现了令人印象深刻的图像生成性能超过相关作品。同时也证明了该算法在测试图像重建和分布外检测方面的显著能力。
2022-03-24 cs.CV cs.LG stat.ML
Uniform Transformation: Refining Latent Representation in Variational Autoencoders
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
本文提出三阶段均匀变换模块(G-KDE聚类、非参数高斯混合建模和概率积分变换),将VAE潜在空间的不规则分布重构为均匀分布,以缓解后验坍缩并提升解耦性与可解释性,在dSprites和MNIST上验证了有效性。
2024-07-02 cs.LG eess.IV math.OC
Generating and Blending Game Levels via Quality-Diversity in the Latent Space of a Variational Autoencoder
Northeastern University(东北大学)
几项工作已经展示了使用变分自编码器(VAE)来生成现有游戏风格的关卡以及跨不同游戏混合关卡。此外,质量多样性(QD)算法也已经变得流行,用于通过使用进化来探索搜索空间同时关注多样性和质量来生成各种游戏内容。为了获得这两种方法的好处,我们提出了一个级别生成和游戏混合的方法,结合使用VAE和QD算法。具体来说,我们在游戏级别上训练VAE,并使用VAE的学习潜在空间作为搜索空间来运行MAP-Elites QD算法。潜在空间捕获我们想要生成和混合的游戏的属性,而MAP-Elites搜索这个潜在空间以找到优化给定目标(如可玩性)的不同级别。我们测试我们的方法使用模型为5个不同的平台游戏,以及一个混合域跨越3这些游戏。我们将使用MAP-Elites进行混合称为Blend-Elites。我们的研究结果表明,MAP-Elites与VAE相结合,不仅可以为每个单独的游戏生成一组不同的可玩级别,还可以为混合域生成一组不同的可玩级别,同时照亮混合潜在空间的游戏特定区域。
2021-07-22 cs.AI cs.LG
An attempt to generate new bridge types from latent space of variational autoencoder
Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd(万世先导数智交通科技有限公司)
本研究基于3dsMax和OpenCV构建四类桥梁图像数据集,利用Python、TensorFlow和Keras训练变分自编码器获得低维桥型潜在空间,证明生成式AI能组合现有桥型生成新桥型,辅助设计师创新。
2024-01-01 cs.AI cs.CV cs.LG