Deep Archimedean Copulas
Carnegie Mellon University（卡内基梅隆大学）
机器学习和统计学中的一个中心问题是从数据中建模随机变量的联合密度。Copula是具有均匀边缘分布的联合累积分布函数，用于捕获与边缘隔离的相互依赖性。Copula在统计学中被广泛使用，但在现代深度学习的背景下还没有获得牵引力。在本文中，我们介绍ACNet，一种新的可微神经网络架构，强制执行结构特性，使人们能够学习一类重要的Copula-阿基米德Copula。与直接学习密度或生成过程的生成对抗网络、变分自编码器或归一化流方法不同，ACNet学习copula的生成器，它隐含地定义了联合分布的累积分布函数。我们给出了ACNet的网络参数的概率解释，并使用它来推导出一个简单但有效的采样算法。我们的实验表明，ACNet既能近似常见的阿基米德Copula，又能生成新的Copula，这可能会提供更好的拟合数据。
2020-12-05 cs.AI cs.LG
Variational Information Bottleneck on Vector Quantized Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文对矢量量化-变分自编码器（VQ-VAE）进行了信息论解释。我们表明，原始VQ-VAE的损失函数可以从变分确定性信息瓶颈（VDIB）原则。另一方面，由期望最大化（EM）算法训练的VQ-VAE可以被视为变分信息瓶颈（VIB）原理的近似。
2018-08-02 cs.LG stat.ML
Tutorial: Deriving the Standard Variational Autoencoder (VAE) Loss Function
RETINA-AI Health, Inc.（RETINA-AI健康公司）；MD Anderson Cancer Center（MD安德森癌症中心）
在贝叶斯机器学习中，后验分布通常在计算上是难以处理的，因此经常需要变分推理。在这种方法中，数据的对数似然性的证据下限在训练期间被最大化。变分自编码器（VAE）是利用变分推断的一个重要示例。在本教程中，我们推导出标准变分自编码器的变分下界损失函数。我们这样做的高斯潜在先验和高斯近似后验的情况下，假设Kullback-Leibler项的变分下界有一个封闭的形式的解决方案。我们基本上推导出了我们在此过程中使用的所有内容;从贝叶斯定理到Kullback-Leibler分歧。
2019-07-21 cs.LG stat.ML
M$^2$VAE - Derivation of a Multi-Modal Variational Autoencoder Objective from the Marginal Joint Log-Likelihood
Bielefeld University（比勒费尔德大学）
这项工作给出了一个深入的推导的可训练的证据下界从边缘联合对数Likestive与训练的多模态变分自编码器（M $^2$ VAE）的目标。
2019-03-18 cs.LG stat.ML
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University（斯坦福大学）；VinAI（越南人工智能研究所）
深度潜变量模型（如变分自编码器（VAE））中的识别网络依赖于摊销推理，以实现有效的后验近似，可以扩展到大型数据集。然而，这种技术也被证明是选择次优的变分参数，往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练，最近的工作已经引入了一个附加的细化步骤，该步骤应用随机变分推断（SVI）来改进由摊销推理模型返回的变分参数。在本文中，我们提出了缓冲随机变分推断（BSVI），一个新的细化过程，利用SVI的序列的中间变分建议分布和相应的重要性权重，以构建一个新的广义重要性加权下界。我们的经验表明，训练变分自动编码器与BSVI一贯优于SVI，产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Preventing posterior collapse in variational autoencoders for text generation via decoder regularization
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
训练以最小化重构误差的变分自编码器对后验崩溃问题敏感，即建议后验分布总是等于先验分布。我们提出了一种新的正则化方法的基础上的兄弟辍学，以防止后崩溃。我们使用几个指标来评估我们的方法，并观察所有测试配置的改进。
2021-10-28 cs.CL cs.LG
Infinite Variational Autoencoder for Semi-Supervised Learning
The University of Adelaide（阿德莱德大学）
本文提出了一种无限变分自编码器（VAE），其容量可根据输入数据进行调整。这是使用混合模型来实现的，其中混合系数由Dirichlet过程建模，允许我们在执行推断时对系数进行积分。重要的是，这允许我们根据数据自动改变混合中自动编码器的数量。实验表明，我们的方法的灵活性，特别是半监督学习，只有少量的训练样本。
2016-11-24 cs.LG stat.ML
Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research（谷歌研究院）
变分自编码器学习无监督的数据表示，但这些模型经常收敛到最小值，无法保留有意义的语义信息。例如，具有自回归解码器的变分自编码器通常会崩溃为自解码器，在自解码器中，它们学会忽略编码器输入。在这项工作中，我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃，但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量，并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比，我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
Dirichlet Variational Autoencoder for Text Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）
我们引入了一个改进的变分自编码器（VAE）的文本建模与主题信息显式建模为一个Dirichlet潜变量。通过提供所提出的模型的主题意识，它是更优越的重建输入文本。此外，由于新引入的狄利克雷变量和传统的多元高斯变量之间的内在相互作用，该模型是不太容易KL发散消失。我们推导出新模型的变分下界，并在四个不同的数据集上进行实验。实验结果表明，该模型在跨潜在空间的文本重构方面具有较好的性能，基于学习表征的分类具有较高的测试准确率。
2018-10-31 cs.AI cs.CL cs.LG
Variational Autoencoder with Arbitrary Conditioning
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Samsung-HSE Laboratory（三星-高等经济学院实验室）
我们提出了一个单一的神经概率模型的基础上变分自动编码器，可以条件的观察到的功能的任意子集，然后在“一枪”的其余功能的采样。特征可以是实值的和分类的。模型的训练由随机变分贝叶斯进行。对合成数据、特征填充和图像修复问题的实验评价表明了该方法的有效性和生成样本的多样性。
2019-06-27 cs.LG stat.ML
SGVAE: Sequential Graph Variational Autoencoder
Stanford University（斯坦福大学）
图的生成模型是众所周知的，但是许多现有的模型在可扩展性和表达性方面受到限制。我们提出了一种新的顺序图形变分自编码器直接操作的图形表示的数据。在我们的模型中，图的编码和解码分别被构建为顺序的解构和构建过程，从而能够学习潜在空间。循环数据集上的实验显示出希望，但强调需要放松节点排列的分布。
2019-12-17 cs.LG stat.ML
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
针对不完整数据下VAE估计中后验复杂度增加的问题，提出基于有限变分混合和插补变分混合的两种策略，并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
The Variational InfoMax AutoEncoder
University of Stirling（斯特灵大学）
变分自编码器（VAE）同时学习推理和生成模型，但这些模型中只有一个可以在最佳情况下学习，该行为与ELBO学习目标相关联，该ELBO学习目标由非信息生成器优化。为了解决这个问题，我们提供了一个学习目标，学习一个最大的信息生成器，同时保持有界的网络容量：变分InfoMax（VIM）。VIM推导的贡献是双重的：一个目标学习的最佳推理和生成模型和网络容量的明确定义，网络鲁棒性的估计。
2020-11-08 cs.LG stat.ML
PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida（佛罗里达大学）；NEC Laboratories Europe（NEC欧洲实验室）
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器（VAE）的框架，大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中，我们首先提出了一个新的学习目标，称为相关信息的原则变分自编码器（PRI-VAE），学习解开表示。然后，我们提出了一个信息理论的角度来分析现有的VAE模型，通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Ladder Variational Autoencoders
University of Copenhagen（哥本哈根大学）；Aalto University（阿尔托大学）；Technical University of Denmark（丹麦技术大学）
变分自编码器是无监督学习的强大模型。然而，具有多层相关随机变量的深层模型难以训练，这限制了使用这些高度表达的模型所获得的改进。我们提出了一个新的推理模型，梯形变分自动编码器，递归地纠正生成分布的数据依赖的近似似然在一个过程中，类似于最近提出的梯形网络。我们表明，与分层变分自动编码器和其他生成模型中的纯自下而上的推理相比，该模型提供了最先进的预测对数似然和更严格的对数似然下限。我们提供了一个详细的分析，学习层次的潜在表示，并表明我们的新的推理模型是质的不同，并利用更深的更分布式层次的潜在变量。最后，我们观察到批量归一化和确定性预热（逐渐打开KL项）对于训练具有许多随机层的变分模型至关重要。
2016-05-27 cs.LG stat.ML
Least Square Variational Bayesian Autoencoder with Regularization
Indian Institute of Science, Bangalore（印度科学院）
近年来，变分自编码器（Variational Autoencoder，VAE）已成为复杂分布的最流行的无监督学习方法之一，与传统的自编码器相比，它具有更好的重构性能。变分自动编码器比MCMC有更好的近似性。VAE定义了一个生成过程，通过隐藏的随机层级联的祖先采样。它们是有向的图形模型。训练变分自动编码器以最大化变分下限。在这里，我们试图最大化可能性，同时我们也试图对数据进行良好的近似。它基本上是交易的数据对数似然和库尔贝克-莱布勒散度从真正的后验。本文描述的情况下，我们希望找到一个点估计的参数$θ$的一些参数模型中，我们产生的每个观察，首先采样的本地潜在变量，然后采样相关的观察。在这里，我们使用正则化的最小二乘损失函数在图像的重建，最小二乘损失函数被发现可以提供更好的重建图像，并具有更快的训练时间。
2017-07-11 cs.LG stat.ML
Tutorial on Variational Autoencoders
Carnegie Mellon（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
在短短三年的时间里，变分自编码器（VAE）已经成为复杂分布无监督学习的最流行方法之一。VAE之所以吸引人，是因为它们建立在标准函数逼近器（神经网络）之上，并且可以用随机梯度下降进行训练。VAE已经在生成许多类型的复杂数据方面显示出了希望，包括手写数字、人脸、门牌号、CIFAR图像、场景的物理模型、分割以及从静态图像预测未来。本教程介绍VAE背后的直觉，解释它们背后的数学，并描述一些经验行为。假设变分贝叶斯方法没有先验知识。
2021-01-03 cs.LG stat.ML
Molecular generative model based on conditional variational autoencoder for de novo molecular design
KAIST（韩国科学技术院）
我们提出了一个基于条件变分自编码器的分子生成模型，用于从头分子设计。它专门通过将多个分子特性施加在潜在空间上来同时控制它们。作为概念证明，我们证明了它可以用于产生具有五个目标特性的药物样分子。我们还能够在不改变其他属性的情况下调整单个属性，并在数据集范围之外对其进行操作。
2018-06-15 cs.LG stat.ML
Variational autoencoders for tissue heterogeneity exploration from (almost) no preprocessed mass spectrometry imaging data
本文介绍了变分自编码器（VAE）在质谱成像数据（MSI）降维和探索性分析中的应用。结果证实，VAE能够检测与不同组织亚型相关的模式，其性能优于标准方法。
2017-08-24 cs.LG q-bio.QM stat.ML
Variational Autoencoders with Normalizing Flow Decoders
National Chiao Tung University（国立交通大学）
最近提出的归一化流模型，如辉光已被证明能够生成高质量，高维图像与相对较快的采样速度。然而，由于它们固有的限制性结构，它们必须非常深，以便有效地进行训练。在本文中，我们建议结合辉光与底层的变分自编码器，以抵消这个问题。我们证明了我们提出的模型在图像质量和测试可能性方面与Glow具有竞争力，同时需要更少的训练时间。
2020-04-12 cs.LG stat.ML
Diffusion Variational Autoencoders
Eindhoven University of Technology（埃因霍温理工大学）
具有欧几里得潜在空间的标准变分自编码器在结构上不能捕获某些数据集的拓扑特性。为了消除拓扑障碍，我们引入了扩散变分自编码器与任意流形作为潜在空间。扩散变分自编码器使用流形上布朗运动的过渡核。特别是，它使用布朗运动的性质来实现重新参数化技巧和快速逼近KL散度。我们证明了扩散变分自编码器能够捕获合成数据集的拓扑特性。此外，我们训练MNIST球，环面，射影空间，SO（3），和一个环面嵌入R3。虽然像MNIST这样的自然数据集没有具有明确拓扑结构的潜在变量，但在流形上训练它仍然可以突出拓扑和几何属性。
2019-03-28 cs.LG stat.ML
Adversarial Attacks on Variational Autoencoders
University of Campinas (Unicamp)（坎皮纳斯大学（Unicamp））
对抗攻击是破坏机器学习模型的恶意输入。我们提出了一个方案来攻击自动编码器，以及一个定量的评估框架，以及相关的定性评估的攻击。我们评估-统计验证实验-三个变分自编码器（简单，卷积，和DRAW）在三个数据集（MNIST，SVHN，CelebA）的攻击的抵抗力，表明DRAW的复发和注意力机制导致更好的抵抗力。由于自动编码器被提出用于压缩数据-在这种情况下，它们的安全性是至关重要的-我们预计更多的关注将给予对它们的对抗攻击。
2018-06-12 cs.CV cs.LG cs.NE
Symmetric Variational Autoencoder and Connections to Adversarial Learning
Duke University（杜克大学）
提出了一种基于对称库尔贝克-莱布勒散度的变分自编码器（VAE）。结果表明，学习所产生的对称VAE（SVAE）有密切的联系，以前开发的对抗学习方法。这种关系有助于统一VAE和对抗学习的先前不同的技术，并提供见解，使我们能够改善一些先前开发的对抗方法的缺点。除了激励和解释sVAE的分析外，一组广泛的实验验证了该方法的实用性。
2017-10-19 cs.LG stat.ML
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center（FPT软件AI中心）；National University of Singapore（新加坡国立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对标准VAE之外后验坍缩理论不完善的问题，拓展了条件VAE和分层VAE的后验坍缩理论，分析了两类模型的坍缩成因，并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
A Case for the Score: Identifying Image Anomalies using Variational Autoencoder Gradients
German Cancer Research Center (DKFZ)（德国癌症研究中心）
通过对未标记数据的训练，异常检测有可能通过勾勒可疑区域来影响计算机辅助诊断。以前关于基于深度学习的异常检测的工作主要集中在重建误差上。相反，我们认为，从基于变分自动编码器的分数近似得到的像素异常评级在理论上更有根据，更可靠。在我们的实验中，基于变分自动编码器梯度的评级在BraTS-2017数据集上的无监督像素肿瘤检测方面优于其他方法，ROC-AUC为0.94。
2019-11-28 cs.LG eess.IV stat.ML
Open-Set Recognition with Gaussian Mixture Variational Autoencoders
Northwestern University（西北大学）
在推理中，开集分类是将样本分类到训练中的已知类或将其拒绝为未知类。现有的深度开集分类器训练显式闭集分类器，在某些情况下，分离地利用重建，我们发现稀释了潜在的表示的能力，以区分未知的类。相比之下，我们训练我们的模型来合作学习重建，并在潜在空间中执行基于类的聚类。有了这个，我们的高斯混合变分自编码器（GMVAE）实现了更准确和更强大的开集分类结果，平均F1提高了29.5%，通过大量的实验分析结果的帮助。
2020-06-03 cs.CV cs.LG cs.NE
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布，并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈（NVIB），这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量，并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量，以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化，提出了一种非参数变分自编码器（NVAE）。在自然语言文本上训练NVAE的初步实验表明，诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
Deep Variational Autoencoder with Shallow Parallel Path for Top-N Recommendation (VASP)
Czech Technical University in Prague（布拉格捷克理工大学）
最近推出的EASE算法提出了一种简单而优雅的方法，如何解决top-N推荐任务。在本文中，我们引入神经EASE，以进一步提高该算法的性能，结合现代神经网络的训练技术。此外，在recsys社区中，利用变分自编码器（VAE）来完成这项任务的兴趣越来越大。我们引入了深度自动编码器FLVAE，它受益于多个非线性层，没有信息瓶颈，同时不会对身份过度拟合。我们展示了如何与Neural EASE并行学习FLVAE，并在MovieLens 20 M数据集上实现最先进的性能，并在Netflix Prize数据集上获得有竞争力的结果。
2021-02-10 cs.LG cs.NE
Inference Suboptimality in Variational Autoencoders
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
分期推理允许通过变分学习训练的潜变量模型扩展到大型数据集。近似推理的质量由两个因素决定：a）变分分布匹配真实后验的能力和b）识别网络为每个数据点产生良好变分参数的能力。我们研究近似推理变分自编码器在这些因素。我们发现，从真正的后验发散往往是由于不完善的识别网络，而不是有限的复杂性的近似分布。我们表明，这部分是由于发电机学习，以适应近似的选择。此外，我们表明，用于增加近似的表达能力的参数在推广推理中发挥作用，而不是简单地提高近似的复杂性。
2018-05-27 cs.LG stat.ML
Biadversarial Variational Autoencoder
Department of Computer Science（计算机科学系）；Ecole Polytechnique（巴黎综合理工学院）；Palaiseau, FRANCE（帕莱索，法国（注：此为地址信息，按要求不应提取，此处原HTML可能存在格式错误，正确机构应为前两个））
在变分自编码器的原始版本中，Kingma等人假设在推理期间的近似后验和在生成过程期间的输出为高斯分布。这个假设对于计算来说是很好的，例如，我们可以很容易地使用重新参数化技巧来优化神经网络的参数，并且可以以封闭形式计算两个高斯之间的KL散度。然而，由于其难以表示多峰分布，因此导致模糊图像。我们证明了使用两个对抗网络，我们可以在没有任何高斯假设的情况下优化参数。
2019-02-12 cs.LG stat.ML
Quantifying the Effects of Enforcing Disentanglement on Variational Autoencoders
University of Cambridge（剑桥大学）
通过引入解纠缠参数$β$，控制施加在潜在表征上的学习压力，提出了解纠缠自编码器的概念，作为变分自编码器的扩展.对于$β$的某些值，这种自动编码器能够在代码的单独元素中编码独立的输入生成因子，从而导致更可解释和可预测的模型行为。在本文中，我们量化的参数$β$的模型性能和退纠缠的影响。在训练多个具有相同$β$值的模型后，我们建立了文献中提出的一种解纠缠措施中的一致方差的存在性。解纠缠对自动编码器的辨别能力的负面影响也被断言，同时改变训练期间可用的示例量。
2017-11-24 cs.LG stat.ML
Scalable Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；University of Warwick（华威大学）；University of California, Irvine（加州大学欧文分校）
传统的变分自动编码器由于使用因子分解先验而无法对数据点之间的相关性进行建模。通过GP-VAE的摊销高斯过程推理在这方面已经得到了显著的改善，但仍然受到精确GP推理的内在复杂性的抑制。我们通过原则性稀疏推理方法提高了这些方法的可扩展性。我们提出了一个新的可扩展的GP-VAE模型，在运行时间和内存占用方面优于现有的方法，易于实现，并允许所有组件的联合端到端优化。
2021-02-24 cs.LG stat.ML
A lower bound for the ELBO of the Bernoulli Variational Autoencoder
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Technical University of Kaiserslautern（凯泽斯劳滕工业大学）
我们考虑一个二进制数据的变分自编码器（VAE）。我们的主要创新是其训练目标的可解释的下限，这种VAE的修改的初始化和架构，导致更快的训练，以及通过使用PCA找到潜在空间的适当维度的决策支持。数值例子说明了我们的理论结果和性能的新架构。
2020-03-26 cs.LG math.ST stat.ML
A Variational Autoencoder for Probabilistic Non-Negative Matrix Factorisation
University of Southampton（南安普顿大学）
我们介绍并证明了变分自编码器（VAE）的概率非负矩阵分解（PAE-NMF）。我们设计了一个网络，它可以执行非负矩阵分解（NMF），并添加在VAE的方面，使潜在空间的概率系数。通过将网络最后一层的权重限制为非负，并使用非负威布尔分布，我们产生了一种概率形式的NMF，它允许我们生成新的数据，并找到一个有效地将潜在变量和输入变量联系起来的概率分布。我们证明了PAE-NMF在三个异构数据集上的有效性：图像，金融时间序列和基因组。
2019-06-13 cs.LG stat.ML
Factorized Gaussian Process Variational Autoencoders
ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
变分自动编码器通常假设各向同性高斯先验和平均场后验，因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题，但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型，利用独立的辅助功能，这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核，导致了显着的加速（理论和实践），同时根据经验对现有的不可扩展方法进行了改进。此外，我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
Uncertainty-aware damage identification in short-span bridges via physics-informed variational autoencoder
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；Departamento de Matematica Aplicada, Universidad de Zaragoza/IUMA（萨拉戈萨大学应用数学系/数学及其应用研究所）；TECNALIA, Basque Research and Technology Alliance (BRTA)（特克纳利亚研究与创新中心，巴斯克科学与技术联盟）；Department of Mathematics, University of the Basque Country (UPV/EHU)（巴斯克大学数学系）
针对基于振动的土木基础设施损伤识别难题，提出物理信息高斯copula变分自编码器框架，嵌入数值特征值求解器并采用高斯copula，减少参数空间，验证表明能准确恢复后验分布，为桥梁损伤诊断提供可靠工具。
2026-07-09 cs.LG
DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
D-Wave Systems Inc.（D-Wave系统公司）
玻尔兹曼机是一种强大的分布，已经被证明是变分自动编码器（VAE）中二进制潜变量的有效先验。然而，以前用于训练离散VAE的方法使用了证据下限，而不是更严格的重要性加权界限。我们提出了两种方法放松玻尔兹曼机的连续分布，允许训练与重要性加权的界限。这些松弛是基于广义重叠变换和高斯积分技巧。MNIST和OMNIGLOT数据集上的实验表明，这些弛豫优于以前的离散VAE与玻尔兹曼先验。可在www.example.com上获得再现这些结果的实现。
2018-10-15 cs.LG stat.ML
Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks
MPI Tübingen（图宾根马普研究所）；Microsoft Research Cambridge（微软剑桥研究院）；ETH Zürich（苏黎世联邦理工学院）
变分自编码器（VAE）是一种表达性的潜变量模型，可用于从训练数据中学习复杂的概率分布。然而，最终模型的质量主要依赖于推理模型的表达能力。我们介绍了对抗变分贝叶斯（AVB），一种用于训练具有任意表达推理模型的变分自编码器的技术。我们通过引入一个辅助判别网络来实现这一目标，该网络允许将最大似然问题重新表述为两人游戏，从而在VAE和生成对抗网络（GANs）之间建立原则性联系。我们表明，在非参数限制，我们的方法产生一个确切的最大似然分配的生成模型的参数，以及确切的后验分布的潜变量给定的观察。与将VAE与GANs相结合的竞争方法相反，我们的方法具有明确的理论依据，保留了标准变分自编码器的大多数优点，并且易于实现。
2018-06-11 cs.LG
tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
变分自编码器（VAE）是一类强大的深度生成潜变量模型，用于高维数据的无监督表示学习。为了确保计算的易处理性，VAE通常使用单变量标准高斯先验和平均场高斯变分后验分布来实现。这导致向量值潜在变量与原始数据结构无关，原始数据结构可能在多个维度之间和多个维度内高度相关。我们提出了一个张量变量扩展的VAE框架，张量变量高斯过程先验变分自编码器（tvGP-VAE），它取代了标准的单变量高斯先验和后验分布与张量变量高斯过程。tvGP-VAE能够通过在张量值潜变量的维度上使用核函数来显式地对相关结构进行建模。使用时空相关的图像时间序列作为一个例子，我们表明，选择相关结构显式地表示在潜在的空间有一个显着的影响模型的重建性能。
2020-06-08 cs.LG stat.ML
InfoVAE: Information Maximizing Variational Autoencoders
Computer Science Department, Stanford University（斯坦福大学计算机科学系）
学习生成模型的一个关键进步是使用与模型联合训练的摊销推理分布。我们发现，现有的训练目标变分自编码器可能会导致不准确的摊销推理分布，在某些情况下，提高目标可证明降低推理质量。另外，已经观察到，当与过于灵活的解码分布组合时，变分自编码器倾向于忽略潜在变量。我们再次确定现有的培训标准的原因，并提出了一个新的类的目标（InfoVAE），以减轻这些问题。我们表明，我们的模型可以显着提高质量的变分后验，并可以有效地利用潜在的功能，无论解码分布的灵活性。通过广泛的定性和定量分析，我们证明了我们的模型在多个性能指标上优于竞争方法。
2018-05-30 cs.AI cs.LG stat.ML
VACA: Design of Variational Graph Autoencoders for Interventional and Counterfactual Queries
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Saarland University（萨尔大学）
在本文中，我们介绍了VACA，一类新的变分图自编码器的因果推断在没有隐藏的混杂因素，只有观测数据和因果图。在不做任何参数假设的情况下，VACA模拟了结构因果模型（SCM）的必要属性，为近似干预（do-operator）和外展-动作-预测步骤提供了一个灵活实用的框架。因此，正如我们的实证结果所示，VACA准确地近似了不同SCM上的干预和反事实分布。最后，我们应用VACA来评估公平分类问题中的反事实公平性，以及在不影响性能的情况下学习公平分类器。
2021-10-27 cs.LG stat.ML
Asymmetric Variational Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
潜变量模型的变分推理在各种机器学习问题中普遍存在，通常通过最大化关于变分分布的真实数据似然的证据下限（ELBO）来解决。然而，自由丰富的家庭变分分布是具有挑战性的，因为ELBO需要变分似然评估的潜在变量。在本文中，我们提出了一个新的框架，以丰富的变分家庭将辅助变量的变分家庭。所得到的推理网络不需要对辅助变量进行密度估计，因此可以通过神经网络来构造辅助变量上的复杂隐式密度。结果表明，该方法实际的变分后验本质上是对由辅助变量索引的简单变分后验的丰富概率混合进行建模，从而可以建立灵活的推理模型.对几个密度估计任务的实证评估表明了该方法的有效性。
2018-07-09 cs.LG stat.ML
Inducing Interpretable Representations with Variational Autoencoders
University of Oxford（牛津大学）；Northeastern University（东北大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们开发了一个框架，将结构化的图形模型的变分自编码器（VAE）的\emph{encoders}，使我们能够通过近似变分推断诱导可解释的表示。这使得我们既可以在给定图形模型的结构约束下执行推理（例如分类），又可以使用深度生成模型来处理混乱的高维域，在这些域中通常很难对所有变化进行建模。在这个框架中的学习是端到端进行的，具有变分目标，适用于无监督和半监督方案。
2016-11-22 cs.CV cs.LG stat.ML
GraphVAE: Towards Generation of Small Graphs Using Variational Autoencoders
Université Paris Est（巴黎东部大学）；École des Ponts ParisTech（巴黎高科桥路学校）
图上的深度学习已经成为一个热门的研究课题，具有许多应用。然而，过去的工作集中在学习图嵌入任务上，这与图像和文本生成模型的进步形成了鲜明对比。有没有可能将这一进展转移到图形领域？我们建议回避与线性化的这种离散结构的解码器输出一个概率完全连接图的预定义的最大尺寸直接在一次相关的障碍。我们的方法被公式化为一个变分自编码器。我们评估了分子生成的挑战性任务。
2018-02-09 cs.CV cs.LG cs.NE
A Stable Variational Autoencoder for Text Modelling
University of Aberdeen（阿伯丁大学）；University of Sheffield（谢菲尔德大学）
变分自编码器（VAE）是一种学习高维数据表示的有效方法。然而，VAE可能会遇到一个被称为潜在变量崩溃（或KL损失消失）的问题，其中后验崩溃到先验，模型将忽略生成任务中的潜在代码。当采用VAE-RNN架构进行文本建模时，这样的问题特别普遍（Bowman等人，2016）。在本文中，我们提出了一个简单的架构称为整体正则化VAE（HR-VAE），它可以有效地避免潜在变量崩溃。与现有的VAE-RNN架构相比，我们表明我们的模型可以实现更稳定的训练过程，并且可以生成质量更好的文本。
2019-11-13 cs.CL cs.LG
DVAE++: Discrete Variational Autoencoders with Overlapping Transformations
D-Wave Systems Inc.
离散潜变量模型的训练仍然具有挑战性，因为通过离散单元传递梯度信息是困难的。我们提出了一类新的平滑变换的基础上的混合物的两个重叠的分布，并表明，所提出的变换可用于训练二进制潜在模型，无论是有向或无向先验。我们推导出一个新的变分约束，以有效地训练与玻尔兹曼机的先验。使用这个界限，我们开发了DVAE++，这是一个具有全局离散先验和卷积连续变量层次的生成模型。在几个基准上的实验表明，重叠变换优于离散潜变量的其他最近的连续松弛，包括Gumbel-Softmax（Maddison等人，2016; Jang等人，2016）和离散变分自编码器（Rolfe 2016）。
2018-05-25 cs.LG stat.ML
Variational Autoencoders Without the Variation
University of Exeter（埃克塞特大学）；College of Engineering, Mathematics and Physical Sciences（工程、数学与物理科学学院）
变分自动编码器（VAE）是生成式建模的一种流行方法。然而，在实践中利用VAE的能力可能是困难的。最近关于正则化和熵自动编码器的工作已经开始探索生成建模的潜力，即去除变分方法并返回到经典的确定性自动编码器（DAE），并使用额外的新正则化方法。在本文中，我们经验性地探讨了DAE的能力，无需额外的新方法和大型网络的隐式正则化和平滑的影响图像生成。我们发现DAE可以成功地用于图像生成，而无需额外的损失项，并且当在CIFAR-10和CelebA上训练时，VAE的许多有用属性可以隐含地从足够大的卷积编码器和解码器中产生。
2022-03-01 cs.CV cs.LG stat.ML
Disentanglement Learning for Variational Autoencoders Applied to Audio-Visual Speech Enhancement
最近，标准变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然后，变分自动编码器以描述高级语音属性（例如语音活动）的标签为条件，该标签允许对语音生成进行更明确的控制。然而，标签不能保证与其他潜在变量分离，这导致与标准变分自动编码器相比性能提高有限。在这项工作中，我们建议使用变分自编码器的对抗性训练方案，以将标签与其他潜在变量分开。在训练时，我们使用一个与变分自动编码器的编码器竞争的编码器。同时，我们还使用了一个额外的编码器来估计变分自编码器的解码器的标签，这被证明是至关重要的学习解纠缠。我们提出的解纠缠学习的好处时，从视觉数据估计的语音活动标签，用于语音增强。
2021-08-03 cs.LG cs.SD eess.AS
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg（汉堡大学）
最近，变分自编码器已成功地用于学习语音信号的概率先验，然后用于执行语音增强。然而，变分自编码器仅在干净的语音上训练，这导致与监督方法相比，从噪声语音中提取语音信号的能力有限。在本文中，我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号（例如语音活动）的高级分类变量，与标准变分自动编码器相比，允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能，所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
Unbalanced GANs: Pre-training the Generator of Generative Adversarial Network using Variational Autoencoder
KAIST（韩国科学技术院）；Asan Medical Center（峨山医学中心）
我们提出了非平衡GANs，它使用变分自编码器（VAE）预训练生成对抗网络（GAN）的生成器。我们保证稳定的训练的发生器，防止更快的收敛速度在早期时期。此外，我们在早期阶段在生成器和训练器之间进行平衡，从而保持GANs的稳定训练。我们将不平衡的GANs应用于众所周知的公共数据集，发现不平衡的GANs减少了模式坍塌。我们还表明，不平衡的GANs在稳定的学习，更快的收敛和更好的图像质量方面优于普通的GANs。
2020-02-06 cs.CV cs.LG stat.ML
Sequential Variational Autoencoders for Collaborative Filtering
ICAR-CNR（意大利国家研究委员会计算应用研究所）
变分自编码器在计算机视觉和语音处理等领域被证明是成功的。它们用于建模用户偏好的采用仍然未被探索，尽管最近它开始在当前的文献中获得关注。在这项工作中，我们提出了一个模型，扩展变分自编码器，利用丰富的信息，在过去的偏好历史。我们引入了一个递归版本的VAE，而不是通过整个历史的一个子集，而不管时间依赖性，我们宁愿通过一个递归神经网络的消费序列子集。在RNN的每个时间步，序列通过一系列完全连接的层进行馈送，其输出模拟了最有可能的未来偏好的概率分布。我们表明，处理时间信息对于提高VAE的准确性至关重要：事实上，我们的模型击败了当前最先进的有价值的利润，因为它能够使用递归编码器捕获用户消费序列之间的时间依赖关系，仍然保持变分自编码器的基本原理不变。
2018-11-25 cs.IR cs.LG stat.ML
Affine Variational Autoencoders: An Efficient Approach for Improving Generalization and Robustness to Distribution Shift
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在这项研究中，我们提出了仿射变分自编码器（AVAE），一个变种的变分自编码器（VAE），旨在提高鲁棒性，克服VAE无法推广到分布移位的仿射扰动的形式。通过优化仿射变换以最大化ELBO，所提出的AVAE将输入变换为训练分布，而不需要增加模型复杂度来对仿射变换的完整分布进行建模。此外，我们还引入了一个训练过程，通过学习训练分布的子集来创建一个有效的模型，并使用AVAE来提高测试时分布偏移的泛化能力和鲁棒性。仿射扰动实验表明，所提出的AVAE显着提高了泛化能力和鲁棒性的仿射扰动形式的分布移位，而不增加模型的复杂性。
2019-05-13 cs.CV cs.LG cs.NE
Isolating Sources of Disentanglement in Variational Autoencoders
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们分解的证据下限，以显示存在一个术语测量的总相关性之间的潜变量。我们使用这一点来激励我们的$β$ -TCVAE（总相关变分自编码器），这是对最先进的$β$ -VAE目标的改进，用于学习解纠缠表示，在训练过程中不需要额外的超参数。我们进一步提出了一个原则性的分类器免费措施的解纠缠称为互信息差距（GIP）。我们进行了广泛的定量和定性实验，在限制和非限制的设置，并显示了强相关性和解纠缠之间的关系，当潜变量模型使用我们的框架进行训练。
2019-04-23 cs.AI cs.LG stat.ML
Robust Variational Autoencoder
University of Southern California（南加州大学）；Stevens Institute of Technology（史蒂文斯理工学院）
机器学习方法通常需要大量的标记训练数据。由于训练数据被假设为地面实况，离群值会严重降低学习的表示和训练模型的性能。在这里，我们应用鲁棒统计的概念，推导出一种新的变分自动编码器，它对训练数据中的离群值具有鲁棒性。变分自动编码器（VAE）提取低维编码特征表示，我们可以从中生成新的数据样本。当使用损坏的训练数据时，自动编码器对离群值的鲁棒性对于在编码空间中生成特定数据类型的可靠表示至关重要。我们的鲁棒VAE是基于β发散，而不是标准的Kullback-Leibler（KL）发散。我们提出的下限导致RVAE模型，具有相同的计算复杂度的VAE，并包含一个单一的调整参数来控制鲁棒性的程度。我们证明了我们的$β$发散为基础的自动编码器的一系列图像数据集的性能，提高了鲁棒性离群定性和定量。我们还说明了使用我们强大的VAE离群值检测。
2019-12-21 cs.LG eess.IV stat.ML
