Tutorial: Deriving the Standard Variational Autoencoder (VAE) Loss Function
RETINA-AI Health, Inc.(RETINA-AI健康公司);MD Anderson Cancer Center(MD安德森癌症中心)
在贝叶斯机器学习中,后验分布通常在计算上是难以处理的,因此经常需要变分推理。在这种方法中,数据的对数似然性的证据下限在训练期间被最大化。变分自编码器(VAE)是利用变分推断的一个重要示例。在本教程中,我们推导出标准变分自编码器的变分下界损失函数。我们这样做的高斯潜在先验和高斯近似后验的情况下,假设Kullback-Leibler项的变分下界有一个封闭的形式的解决方案。我们基本上推导出了我们在此过程中使用的所有内容;从贝叶斯定理到Kullback-Leibler分歧。
2019-07-21 cs.LG stat.ML
M$^2$VAE - Derivation of a Multi-Modal Variational Autoencoder Objective from the Marginal Joint Log-Likelihood
Bielefeld University(比勒费尔德大学)
这项工作给出了一个深入的推导的可训练的证据下界从边缘联合对数Likestive与训练的多模态变分自编码器(M $^2$ VAE)的目标。
2019-03-18 cs.LG stat.ML
Disentanglement Learning for Variational Autoencoders Applied to Audio-Visual Speech Enhancement
最近,标准变分自编码器已成功地用于学习语音信号的概率先验,然后用于执行语音增强。然后,变分自动编码器以描述高级语音属性(例如语音活动)的标签为条件,该标签允许对语音生成进行更明确的控制。然而,标签不能保证与其他潜在变量分离,这导致与标准变分自动编码器相比性能提高有限。在这项工作中,我们建议使用变分自编码器的对抗性训练方案,以将标签与其他潜在变量分开。在训练时,我们使用一个与变分自动编码器的编码器竞争的编码器。同时,我们还使用了一个额外的编码器来估计变分自编码器的解码器的标签,这被证明是至关重要的学习解纠缠。我们提出的解纠缠学习的好处时,从视觉数据估计的语音活动标签,用于语音增强。
2021-08-03 cs.LG cs.SD eess.AS
Guided Variational Autoencoder for Speech Enhancement With a Supervised Classifier
Universität Hamburg(汉堡大学)
最近,变分自编码器已成功地用于学习语音信号的概率先验,然后用于执行语音增强。然而,变分自编码器仅在干净的语音上训练,这导致与监督方法相比,从噪声语音中提取语音信号的能力有限。在本文中,我们建议指导变分自动编码器与监督分类器分别训练嘈杂的语音。估计的标签是描述语音信号(例如语音活动)的高级分类变量,与标准变分自动编码器相比,允许更知情的潜在分布。我们评估我们的方法与不同类型的标签在不同的嘈杂环境的真实录音。只要标签更好地通知潜在的分布和分类器实现良好的性能,所提出的方法优于标准的变分自动编码器和传统的基于神经网络的监督方法。
2021-02-12 cs.LG cs.SD eess.AS
DoS and DDoS Mitigation Using Variational Autoencoders
Oslo Metropolitan University(奥斯陆城市大学);University of Oslo(奥斯陆大学);University of Granada(格拉纳达大学)
在过去十年中,DoS和DDoS攻击的规模和数量一直在增长,现有的解决方案通常效率低下。与其他类型的恶意网络攻击相比,DoS和DDoS攻击更具挑战性。由于它们能够将自己伪装成合法流量,因此开发在数据包或流级别检测这些类型的攻击的方法已被证明是一项艰巨的任务。在本文中,我们探讨了变分自编码器作为区分正常和恶意流量的智能安全解决方案中的一个组件的潜力。提出了两种基于变分自编码器从网络业务流中学习潜在表示的方法。第一种方法采用基于从流量跟踪中学习的变分自编码器获得的潜在编码的分类器。第二种方法是一种异常检测方法,其中使用变分自编码器来学习唯一合法流量的抽象特征表示。然后,通过依赖于变分自编码器的重构损失来滤除异常。这两种方法都在具有相似特征空间的两个独立数据集上进行了彻底的测试。结果表明,这两种方法都是有前途的,与基于异常的方法相比,基于分类器的方法略有优势。%,第一种方法能够在训练和验证数据上以高精度成功地检测各个业务流,在测试数据上稍微不太成功。对于第二种方法,变分自编码器将需要进一步的调整,以便能够从网络业务流中充分滤除异常。
2021-05-14 cs.CR cs.LG cs.NI
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University(斯坦福大学);VinAI(越南人工智能研究所)
深度潜变量模型(如变分自编码器(VAE))中的识别网络依赖于摊销推理,以实现有效的后验近似,可以扩展到大型数据集。然而,这种技术也被证明是选择次优的变分参数,往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练,最近的工作已经引入了一个附加的细化步骤,该步骤应用随机变分推断(SVI)来改进由摊销推理模型返回的变分参数。在本文中,我们提出了缓冲随机变分推断(BSVI),一个新的细化过程,利用SVI的序列的中间变分建议分布和相应的重要性权重,以构建一个新的广义重要性加权下界。我们的经验表明,训练变分自动编码器与BSVI一贯优于SVI,产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Improving the Bootstrap of Blind Equalizers with Variational Autoencoders
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Nokia(诺基亚)
我们评估了盲均衡器在关键工作点的启动,分析了常用算法的优点和障碍,并演示了最近提出的基于变分自编码器(VAE)的均衡器如何提高自举能力。
2023-01-16 cs.IT cs.LG eess.SP
Assessing Differentially Private Variational Autoencoders under Membership Inference
SAP(思爱普);University of Waterloo(滑铁卢大学)
我们提出了一种方法来量化和比较的隐私准确性权衡差分私人变分自编码器。我们的工作在两个方面补充了以前的工作。首先,我们评估了差分隐私下针对变分自编码器的强重构MI攻击。其次,我们解决了数据科学家设置隐私参数的挑战,这将引导差分隐私的强度,从而也是隐私准确性的权衡。在我们的实验研究中,我们考虑图像和时间序列数据,和三个本地和中央差分隐私机制。我们发现,隐私准确性权衡强烈依赖于数据集和模型架构。我们很少观察到变分自编码器的隐私-准确性权衡,并确定LDP优于CDP的情况。
2022-04-16 cs.CR cs.LG
Novel Phase-Noise-Tolerant Variational-Autoencoder-Based Equalization Suitable for Space-Division-Multiplexed Transmission
(1)(机构1);(2)(机构2)
本文提出一种基于变分自编码器且容忍相位噪声的新型均衡方案,并在150公里随机耦合多芯光纤实验中验证其对空分复用传输的有效性。
2025-09-17 cs.LG eess.SP
Variational Autoencoder-Based Vehicle Trajectory Prediction with an Interpretable Latent Space
Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学);AUDI AG(奥迪股份公司)
本文介绍了描述性变分自编码器(DVAE),一个无监督和端到端的可训练神经网络预测车辆轨迹,提供部分可解释性。新方法是基于常见的变分自编码器的架构和目标。通过在自动编码器的解码器部分中引入专家知识,编码器学习提取潜在参数,这些参数提供人类术语中可理解的含义。这样一个可解释的潜在空间,使专家定义的规则集的验证。DVAE的评估是使用公开的高速公路交通场景的高D数据集进行的。与具有相同复杂度的传统变分自编码器相比,所提出的模型提供了类似的预测精度,但具有可解释的潜在空间的巨大优势。对于关键的决策制定和评估预测的可信度,这个属性是非常可取的。
2021-06-24 cs.LG
Variational Autoencoder Layer
提出将变分自编码器作为神经网络层集成,并设计新训练策略,分析其性能。
2026-07-07 cs.LG
Preventing posterior collapse in variational autoencoders for text generation via decoder regularization
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
训练以最小化重构误差的变分自编码器对后验崩溃问题敏感,即建议后验分布总是等于先验分布。我们提出了一种新的正则化方法的基础上的兄弟辍学,以防止后崩溃。我们使用几个指标来评估我们的方法,并观察所有测试配置的改进。
2021-10-28 cs.CL cs.LG
Variational autoencoders for tissue heterogeneity exploration from (almost) no preprocessed mass spectrometry imaging data
本文介绍了变分自编码器(VAE)在质谱成像数据(MSI)降维和探索性分析中的应用。结果证实,VAE能够检测与不同组织亚型相关的模式,其性能优于标准方法。
2017-08-24 cs.LG q-bio.QM stat.ML
Infinite Variational Autoencoder for Semi-Supervised Learning
The University of Adelaide(阿德莱德大学)
本文提出了一种无限变分自编码器(VAE),其容量可根据输入数据进行调整。这是使用混合模型来实现的,其中混合系数由Dirichlet过程建模,允许我们在执行推断时对系数进行积分。重要的是,这允许我们根据数据自动改变混合中自动编码器的数量。实验表明,我们的方法的灵活性,特别是半监督学习,只有少量的训练样本。
2016-11-24 cs.LG stat.ML
Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research(谷歌研究院)
变分自编码器学习无监督的数据表示,但这些模型经常收敛到最小值,无法保留有意义的语义信息。例如,具有自回归解码器的变分自编码器通常会崩溃为自解码器,在自解码器中,它们学会忽略编码器输入。在这项工作中,我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃,但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量,并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比,我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
Adversarial Attacks on Variational Autoencoders
University of Campinas (Unicamp)(坎皮纳斯大学(Unicamp))
对抗攻击是破坏机器学习模型的恶意输入。我们提出了一个方案来攻击自动编码器,以及一个定量的评估框架,以及相关的定性评估的攻击。我们评估-统计验证实验-三个变分自编码器(简单,卷积,和DRAW)在三个数据集(MNIST,SVHN,CelebA)的攻击的抵抗力,表明DRAW的复发和注意力机制导致更好的抵抗力。由于自动编码器被提出用于压缩数据-在这种情况下,它们的安全性是至关重要的-我们预计更多的关注将给予对它们的对抗攻击。
2018-06-12 cs.CV cs.LG cs.NE
A Case for the Score: Identifying Image Anomalies using Variational Autoencoder Gradients
German Cancer Research Center (DKFZ)(德国癌症研究中心)
通过对未标记数据的训练,异常检测有可能通过勾勒可疑区域来影响计算机辅助诊断。以前关于基于深度学习的异常检测的工作主要集中在重建误差上。相反,我们认为,从基于变分自动编码器的分数近似得到的像素异常评级在理论上更有根据,更可靠。在我们的实验中,基于变分自动编码器梯度的评级在BraTS-2017数据集上的无监督像素肿瘤检测方面优于其他方法,ROC-AUC为0.94。
2019-11-28 cs.LG eess.IV stat.ML
Enhanced uncertainty quantification variational autoencoders for the solution of Bayesian inverse problems
本文提出一种新型损失函数训练变分自编码器,用于贝叶斯逆问题的实时不确定性量化,在仿射正向映射下证明其潜在状态收敛到后验分布,并通过数值测试和拉普拉斯方程实验验证了其准确性和泛化性能。
2025-09-24 cs.LG cs.NA math.NA
Variational Autoencoder with Arbitrary Conditioning
Samsung AI Center Moscow(三星莫斯科人工智能中心);Samsung-HSE Laboratory(三星-高等经济学院实验室)
我们提出了一个单一的神经概率模型的基础上变分自动编码器,可以条件的观察到的功能的任意子集,然后在“一枪”的其余功能的采样。特征可以是实值的和分类的。模型的训练由随机变分贝叶斯进行。对合成数据、特征填充和图像修复问题的实验评价表明了该方法的有效性和生成样本的多样性。
2019-06-27 cs.LG stat.ML
SGVAE: Sequential Graph Variational Autoencoder
Stanford University(斯坦福大学)
图的生成模型是众所周知的,但是许多现有的模型在可扩展性和表达性方面受到限制。我们提出了一种新的顺序图形变分自编码器直接操作的图形表示的数据。在我们的模型中,图的编码和解码分别被构建为顺序的解构和构建过程,从而能够学习潜在空间。循环数据集上的实验显示出希望,但强调需要放松节点排列的分布。
2019-12-17 cs.LG stat.ML
Improving Variational Autoencoder Estimation from Incomplete Data with Mixture Variational Families
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
针对不完整数据下VAE估计中后验复杂度增加的问题,提出基于有限变分混合和插补变分混合的两种策略,并通过实验证明其能有效提升估计准确性。
2024-06-27 cs.LG stat.ML
The Variational InfoMax AutoEncoder
University of Stirling(斯特灵大学)
变分自编码器(VAE)同时学习推理和生成模型,但这些模型中只有一个可以在最佳情况下学习,该行为与ELBO学习目标相关联,该ELBO学习目标由非信息生成器优化。为了解决这个问题,我们提供了一个学习目标,学习一个最大的信息生成器,同时保持有界的网络容量:变分InfoMax(VIM)。VIM推导的贡献是双重的:一个目标学习的最佳推理和生成模型和网络容量的明确定义,网络鲁棒性的估计。
2020-11-08 cs.LG stat.ML
A Perceived Environment Design using a Multi-Modal Variational Autoencoder for learning Active-Sensing
Bielefeld University(比勒费尔德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
这种贡献包括多模态变分自编码器和感知环境之间的相互作用,代理可以对其进行操作。此外,我们结束了我们的工作与好奇心驱动的学习比较。
2019-11-01 cs.AI cs.LG cs.MA
PRI-VAE: Principle-of-Relevant-Information Variational Autoencoders
University of Florida(佛罗里达大学);NEC Laboratories Europe(NEC欧洲实验室)
虽然大量的努力已经取得了学习解纠缠表示下的变分自编码器(VAE)的框架,大多数VAE模型的学习动力学的基本属性仍然是未知的和调查不足。在这项工作中,我们首先提出了一个新的学习目标,称为相关信息的原则变分自编码器(PRI-VAE),学习解开表示。然后,我们提出了一个信息理论的角度来分析现有的VAE模型,通过检查一些关键的信息理论量在训练时期的演变。我们的观察揭示了与VAE相关的一些基本性质。实证结果也证明了PRI-VAE的有效性在四个基准数据集。
2020-07-13 cs.LG stat.ML
Source Separation of Multi-source Raw Music using a Residual Quantized Variational Autoencoder
Sapienza University of Rome(罗马第一大学)
本研究提出一种基于残差量化变分自编码器的神经音频编解码器模型,在Slakh2100数据集上训练后可实现音乐源分离,以远低于现有方法的算力取得接近当前最优水平的效果,且代码已公开。
2024-08-12 cs.LG cs.MM cs.SD
Ladder Variational Autoencoders
University of Copenhagen(哥本哈根大学);Aalto University(阿尔托大学);Technical University of Denmark(丹麦技术大学)
变分自编码器是无监督学习的强大模型。然而,具有多层相关随机变量的深层模型难以训练,这限制了使用这些高度表达的模型所获得的改进。我们提出了一个新的推理模型,梯形变分自动编码器,递归地纠正生成分布的数据依赖的近似似然在一个过程中,类似于最近提出的梯形网络。我们表明,与分层变分自动编码器和其他生成模型中的纯自下而上的推理相比,该模型提供了最先进的预测对数似然和更严格的对数似然下限。我们提供了一个详细的分析,学习层次的潜在表示,并表明我们的新的推理模型是质的不同,并利用更深的更分布式层次的潜在变量。最后,我们观察到批量归一化和确定性预热(逐渐打开KL项)对于训练具有许多随机层的变分模型至关重要。
2016-05-27 cs.LG stat.ML
Least Square Variational Bayesian Autoencoder with Regularization
Indian Institute of Science, Bangalore(印度科学院)
近年来,变分自编码器(Variational Autoencoder,VAE)已成为复杂分布的最流行的无监督学习方法之一,与传统的自编码器相比,它具有更好的重构性能。变分自动编码器比MCMC有更好的近似性。VAE定义了一个生成过程,通过隐藏的随机层级联的祖先采样。它们是有向的图形模型。训练变分自动编码器以最大化变分下限。在这里,我们试图最大化可能性,同时我们也试图对数据进行良好的近似。它基本上是交易的数据对数似然和库尔贝克-莱布勒散度从真正的后验。本文描述的情况下,我们希望找到一个点估计的参数$θ$的一些参数模型中,我们产生的每个观察,首先采样的本地潜在变量,然后采样相关的观察。在这里,我们使用正则化的最小二乘损失函数在图像的重建,最小二乘损失函数被发现可以提供更好的重建图像,并具有更快的训练时间。
2017-07-11 cs.LG stat.ML
A lower bound for the ELBO of the Bernoulli Variational Autoencoder
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);Technical University of Kaiserslautern(凯泽斯劳滕工业大学)
我们考虑一个二进制数据的变分自编码器(VAE)。我们的主要创新是其训练目标的可解释的下限,这种VAE的修改的初始化和架构,导致更快的训练,以及通过使用PCA找到潜在空间的适当维度的决策支持。数值例子说明了我们的理论结果和性能的新架构。
2020-03-26 cs.LG math.ST stat.ML
Tutorial on Variational Autoencoders
Carnegie Mellon(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
在短短三年的时间里,变分自编码器(VAE)已经成为复杂分布无监督学习的最流行方法之一。VAE之所以吸引人,是因为它们建立在标准函数逼近器(神经网络)之上,并且可以用随机梯度下降进行训练。VAE已经在生成许多类型的复杂数据方面显示出了希望,包括手写数字、人脸、门牌号、CIFAR图像、场景的物理模型、分割以及从静态图像预测未来。本教程介绍VAE背后的直觉,解释它们背后的数学,并描述一些经验行为。假设变分贝叶斯方法没有先验知识。
2021-01-03 cs.LG stat.ML
Molecular generative model based on conditional variational autoencoder for de novo molecular design
KAIST(韩国科学技术院)
我们提出了一个基于条件变分自编码器的分子生成模型,用于从头分子设计。它专门通过将多个分子特性施加在潜在空间上来同时控制它们。作为概念证明,我们证明了它可以用于产生具有五个目标特性的药物样分子。我们还能够在不改变其他属性的情况下调整单个属性,并在数据集范围之外对其进行操作。
2018-06-15 cs.LG stat.ML
Embedding and generation of indoor climbing routes with variational autoencoder
CERN(欧洲核子研究组织)
最近室内攀岩的流行度增加允许深度学习算法的可能应用,以分类和生成攀岩路线。在这项工作中,我们采用了一个变分自编码器,攀登路线在一个标准化的训练设备MoonBoard,一个著名的训练工具在攀登社区。通过对编码的潜在空间进行采样,可以观察到该算法可以生成高质量的攀爬路线。生成的22个问题被上传到Moonboard应用程序供用户查看。该算法可以作为第一步,以方便室内攀登路线设置。
2020-09-16 cs.LG eess.SP
Variational Autoencoders with Normalizing Flow Decoders
National Chiao Tung University(国立交通大学)
最近提出的归一化流模型,如辉光已被证明能够生成高质量,高维图像与相对较快的采样速度。然而,由于它们固有的限制性结构,它们必须非常深,以便有效地进行训练。在本文中,我们建议结合辉光与底层的变分自编码器,以抵消这个问题。我们证明了我们提出的模型在图像质量和测试可能性方面与Glow具有竞争力,同时需要更少的训练时间。
2020-04-12 cs.LG stat.ML
Diffusion Priors In Variational Autoencoders
University of Liège(列日大学)
在基于可能性的深度生成建模方法中,变分自编码器(VAE)提供可扩展的摊销后验推理和快速采样。然而,VAE也越来越多地被竞争模型所超越,例如归一化流(NF),深能模型或新的去噪扩散概率模型(DDPM)。在这个初步的工作中,我们通过演示如何DDPM可以用于建模的潜变量的先验分布来改善VAE。扩散先验模型改进了经典VAE的高斯先验,并与基于NF的先验具有竞争力。最后,我们假设分层VAE可以类似地受益于扩散先验能力的增强。
2021-06-29 cs.LG
Coarse Grained Exponential Variational Autoencoders
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
变分自编码器(VAE)通常使用高斯分布或类别分布来对推理过程进行建模。这限制了变分学习,因为这种简化的假设与真实的后验分布不匹配,后者通常要复杂得多。为了打破这一限制,并在推理过程中应用任意的参数分布,本文推导了一个\emph{semi-continuous}潜在的表示,它近似的连续密度达到规定的精度,并且更容易分析比连续的副本,因为它是从根本上离散的。我们展示的命题应用多项式指数族分布作为后验,这是普遍的概率密度函数发生器。我们的实验结果表明,常用的VAE模型一致的改进。
2017-02-25 cs.LG
Diffusion Variational Autoencoders
Eindhoven University of Technology(埃因霍温理工大学)
具有欧几里得潜在空间的标准变分自编码器在结构上不能捕获某些数据集的拓扑特性。为了消除拓扑障碍,我们引入了扩散变分自编码器与任意流形作为潜在空间。扩散变分自编码器使用流形上布朗运动的过渡核。特别是,它使用布朗运动的性质来实现重新参数化技巧和快速逼近KL散度。我们证明了扩散变分自编码器能够捕获合成数据集的拓扑特性。此外,我们训练MNIST球,环面,射影空间,SO(3),和一个环面嵌入R3。虽然像MNIST这样的自然数据集没有具有明确拓扑结构的潜在变量,但在流形上训练它仍然可以突出拓扑和几何属性。
2019-03-28 cs.LG stat.ML
Squeezed Convolutional Variational AutoEncoder for Unsupervised Anomaly Detection in Edge Device Industrial Internet of Things
Seoul National University(首尔大学);Samsung Electronics Co. Ltd.(三星电子株式会社)
在本文中,我们提出了压缩卷积变分自编码器(SCVAE),用于工业物联网(IIoT)边缘计算的时间序列数据中的异常检测。将该模型应用于UCI数据集的标记时间序列数据进行精确的性能评估,并应用于真实世界数据进行间接的模型性能比较。此外,通过比较应用来自SqueezeNet的Fire Modules之前和之后的模型,我们发现模型大小和推理时间都有所减少,同时保持了相似的性能水平。
2017-12-18 cs.LG
Shape optimization in laminar flow with a label-guided variational autoencoder
Stanford University(斯坦福大学);TU Munich(慕尼黑工业大学)
流体动力学中的计算设计优化通常需要数值求解非线性偏微分方程。在这项工作中,我们探讨了贝叶斯优化方法,以最大限度地减少物体的阻力系数在层流的基础上预测阻力直接从物体的形状。联合训练一个架构,该架构结合了将形状映射到潜在表示的变变分自编码器器和高斯过程回归,使我们能够在我们考虑的二维的情况下生成改进的形状。
2017-12-10 cs.CE cs.LG
Symmetric Variational Autoencoder and Connections to Adversarial Learning
Duke University(杜克大学)
提出了一种基于对称库尔贝克-莱布勒散度的变分自编码器(VAE)。结果表明,学习所产生的对称VAE(SVAE)有密切的联系,以前开发的对抗学习方法。这种关系有助于统一VAE和对抗学习的先前不同的技术,并提供见解,使我们能够改善一些先前开发的对抗方法的缺点。除了激励和解释sVAE的分析外,一组广泛的实验验证了该方法的实用性。
2017-10-19 cs.LG stat.ML
Beyond Vanilla Variational Autoencoders: Detecting Posterior Collapse in Conditional and Hierarchical Variational Autoencoders
FPT Software AI Center(FPT软件AI中心);National University of Singapore(新加坡国立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究针对标准VAE之外后验坍缩理论不完善的问题,拓展了条件VAE和分层VAE的后验坍缩理论,分析了两类模型的坍缩成因,并通过实验验证理论对线性及非线性场景的有效性。
2024-05-13 cs.LG stat.ML
Semi-Amortized Variational Autoencoders
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
摊销变分推断(AVI)用全局推理网络代替特定于实例的局部推理。虽然AVI已经实现了深度生成模型(如变分自编码器(VAE))的有效训练,但最近的经验研究表明,推理网络可能会产生次优的变分参数。我们提出了一种混合的方法,使用AVI初始化变分参数和运行随机变分推断(SVI)来完善它们。最重要的是,局部SVI过程本身是可微的,因此推理网络和生成模型可以通过基于梯度的优化进行端到端的训练。这种半摊销方法可以使用丰富的生成模型,而不会遇到在训练VAE时常见的后崩溃现象,例如文本生成。实验表明,该方法在标准文本和图像数据集上的性能优于强自回归和变分基线。
2018-07-23 cs.CL cs.LG stat.ML
Modeling Barrett's Esophagus Progression using Geometric Variational Autoencoders
University of Amsterdam(阿姆斯特丹大学);Amsterdam University Medical Centres(阿姆斯特丹大学医学中心)
针对巴雷特食管早期检测需求,研究几何变分自编码器捕捉其进展潜在表示的效果,验证两类几何VAE的性能提升,并提出兼具生成能力与自编码器优势的新型架构。
2025-06-16 cs.CV cs.LG eess.IV
Variational Laplace Autoencoders
Seoul National University(首尔国立大学)
变分自编码器采用摊销推理模型来近似潜变量的后验。然而,这种摊销变分推理面临两个挑战:(1)有限的后验表达的完全分解高斯假设和(2)摊销误差的推理模型。我们提出了一种新的方法,解决这两个挑战。首先,我们关注具有高斯输出的ReLU网络,并说明它们与概率PCA的联系。在此基础上,我们推导出一个迭代算法,找到后验模式,并应用以模式为中心的全协方差高斯后验近似。随后,我们提出了一个名为变分拉普拉斯自编码器(VLAEs)的通用框架,用于训练深度生成模型。VLAES基于潜在变量后验的Laplace近似,增强了后验的表达能力,同时减少了摊销误差。在MNIST、Omniglot、Fashion-MNIST、SVHN和CIFAR 10上的实验结果表明,该方法在ReLU网络上的性能明显优于其他最近的摊销或迭代法。
2022-11-30 cs.LG
Factorized Gaussian Process Variational Autoencoders
ETH Zürich(苏黎世联邦理工学院);Warwick University(华威大学)
变分自动编码器通常假设各向同性高斯先验和平均场后验,因此在我们可能期望潜在变量之间的相似性或一致性的情况下不会利用结构。高斯过程变分自编码器通过使用潜在的高斯过程来缓解这个问题,但是导致立方推理时间复杂度。我们提出了一个更可扩展的扩展这些模型,利用独立的辅助功能,这是目前在许多数据集。我们的模型在不同的维度上分解了这些特征的潜在内核,导致了显着的加速(理论和实践),同时根据经验对现有的不可扩展方法进行了改进。此外,我们的方法允许额外的全球潜在信息的建模和更一般的外推到看不见的输入组合。
2020-11-14 cs.CV cs.LG stat.ML
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布,并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈(NVIB),这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量,并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量,以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化,提出了一种非参数变分自编码器(NVAE)。在自然语言文本上训练NVAE的初步实验表明,诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
Deep Variational Autoencoder with Shallow Parallel Path for Top-N Recommendation (VASP)
Czech Technical University in Prague(布拉格捷克理工大学)
最近推出的EASE算法提出了一种简单而优雅的方法,如何解决top-N推荐任务。在本文中,我们引入神经EASE,以进一步提高该算法的性能,结合现代神经网络的训练技术。此外,在recsys社区中,利用变分自编码器(VAE)来完成这项任务的兴趣越来越大。我们引入了深度自动编码器FLVAE,它受益于多个非线性层,没有信息瓶颈,同时不会对身份过度拟合。我们展示了如何与Neural EASE并行学习FLVAE,并在MovieLens 20 M数据集上实现最先进的性能,并在Netflix Prize数据集上获得有竞争力的结果。
2021-02-10 cs.LG cs.NE
Empirical Variational Autoencoder
The University of Tokyo(东京大学)
本文提出经验变分自编码器(EVA),通过经验学习自回归潜在先验替代标准高斯约束,缓解先验-后验分布差距,实现高保真序列生成,在图像和声音合成上达到与扩散模型相当的质量且推理更快。
2026-10-06 cs.LG
Inference Suboptimality in Variational Autoencoders
Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
分期推理允许通过变分学习训练的潜变量模型扩展到大型数据集。近似推理的质量由两个因素决定:a)变分分布匹配真实后验的能力和b)识别网络为每个数据点产生良好变分参数的能力。我们研究近似推理变分自编码器在这些因素。我们发现,从真正的后验发散往往是由于不完善的识别网络,而不是有限的复杂性的近似分布。我们表明,这部分是由于发电机学习,以适应近似的选择。此外,我们表明,用于增加近似的表达能力的参数在推广推理中发挥作用,而不是简单地提高近似的复杂性。
2018-05-27 cs.LG stat.ML
Biadversarial Variational Autoencoder
Department of Computer Science(计算机科学系);Ecole Polytechnique(巴黎综合理工学院);Palaiseau, FRANCE(帕莱索,法国(注:此为地址信息,按要求不应提取,此处原HTML可能存在格式错误,正确机构应为前两个))
在变分自编码器的原始版本中,Kingma等人假设在推理期间的近似后验和在生成过程期间的输出为高斯分布。这个假设对于计算来说是很好的,例如,我们可以很容易地使用重新参数化技巧来优化神经网络的参数,并且可以以封闭形式计算两个高斯之间的KL散度。然而,由于其难以表示多峰分布,因此导致模糊图像。我们证明了使用两个对抗网络,我们可以在没有任何高斯假设的情况下优化参数。
2019-02-12 cs.LG stat.ML
Latent Variable Modelling Using Variational Autoencoders: A survey
概率分布允许从业者发现数据中隐藏的结构,并建立模型来使用有限的数据解决监督学习问题。本报告的重点是变分自编码器,一种学习大型复杂数据集概率分布的方法。该报告提供了一个理论上的理解变分自编码器,并巩固了目前的研究领域。该报告分为多个章节,第一章介绍了问题,描述了变分自编码器,并确定了该领域的关键研究方向。第2、3、4和5章深入讨论了每个关键研究领域的细节。第6章是报告的结论,并提出了今后工作的方向。对机器学习有基本了解但又想了解机器学习研究中一般主题的读者可以从本报告中受益。该报告解释了学习概率分布的中心思想,人们做了什么来使其易于处理,并详细介绍了深度学习目前如何应用。该报告也为那些希望为这个子领域做出贡献的人提供了一个温和的介绍。
2022-06-20 cs.AI cs.LG
InfoVAE: Information Maximizing Variational Autoencoders
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
学习生成模型的一个关键进步是使用与模型联合训练的摊销推理分布。我们发现,现有的训练目标变分自编码器可能会导致不准确的摊销推理分布,在某些情况下,提高目标可证明降低推理质量。另外,已经观察到,当与过于灵活的解码分布组合时,变分自编码器倾向于忽略潜在变量。我们再次确定现有的培训标准的原因,并提出了一个新的类的目标(InfoVAE),以减轻这些问题。我们表明,我们的模型可以显着提高质量的变分后验,并可以有效地利用潜在的功能,无论解码分布的灵活性。通过广泛的定性和定量分析,我们证明了我们的模型在多个性能指标上优于竞争方法。
2018-05-30 cs.AI cs.LG stat.ML
Anomaly Detection With Conditional Variational Autoencoders
European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN));Laboratoire de Recherche en Informatique (LRI)(计算机科学研究实验室(LRI));Université Paris-Saclay(巴黎萨克雷大学)
利用概率推理的快速发展,特别是变分贝叶斯和变分自编码器(VAE),异常检测(AD)任务仍然是一个开放的研究问题。以往的工作认为,训练VAE模型只与内点是不够的,框架应显着修改,以区分异常的情况。在这项工作中,我们利用深度条件变分自编码器(CVAE),我们定义了一个原始的损失函数与一个指标,目标层次结构化的数据AD。我们的激励应用程序是一个现实世界的问题:监测触发系统,这是许多粒子物理实验在欧洲核子研究中心大型强子对撞机(LHC)的基本组成部分。在实验中,我们展示了这种方法的经典机器学习(ML)基准测试和我们的应用程序的优越性能。
2020-10-12 cs.LG hep-ex
Hierarchical Conditional Variational Autoencoder Based Acoustic Anomaly Detection
Hitachi Ltd.(日立有限公司)
提出了一种基于声信号的无监督机器异常检测方法。现有的方法,例如深度自动编码器(DAE)、变分自编码器(VAE)、条件变分自编码器(CVAE)等在潜在空间中具有有限的表示能力,并且因此具有差的异常检测性能。必须为每种不同类型的机器训练不同的模型,以准确地执行异常检测任务。为了解决这个问题,我们提出了一种新的方法命名为分层条件变分自编码器(HCVAE)。该方法利用已有的工业设施分类层次知识,对潜在空间表示进行细化。这些知识也有助于模型提高异常检测性能。我们证明了一个单一的HCVAE模型的泛化能力,不同类型的机器,通过使用适当的条件。此外,为了证明所提出的方法的实用性,(i)我们评估HCVAE模型在不同的领域和(ii)我们检查部分层次知识的效果。我们的研究结果表明,HCVAE方法验证了这两点,它优于基线系统的异常检测任务的最大15%的AUC得分度量。
2022-06-11 cs.AI cs.LG eess.AS
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Dimension Reduction for time series with Variational AutoEncoders
Institut de Mathématiques de Toulouse(图卢兹数学研究所);University of Toulouse(图卢兹大学);Liebherr Aerospace Toulouse(利勃海尔航空航天图卢兹公司);University Toulouse 3(图卢兹第三大学)
在这项工作中,我们探索降维技术的单变量和多变量时间序列数据。我们特别进行小波分解和卷积变分自编码器之间的降维比较。我们表明,变分自编码器是一个很好的选择,为降低维数的高维数据,如心电图。我们在现实世界中,公开可用的ECG数据集上进行这些比较,该数据集具有很大的可变性,并使用重建误差作为度量。然后,我们探索这些模型的鲁棒性与噪声数据是否用于训练或推理。这些测试旨在反映现实世界的时间序列数据中存在的问题,VAE对这两种测试都是鲁棒的。
2022-04-23 cs.LG math.ST stat.TH