Variational auto-encoders with Student's t-prior
Lund University(隆德大学);Halmstad University(哈尔姆斯塔德大学)
我们提出了一个新的结构变分自动编码器(VAE)的先验,弱信息的多元学生的t分布。在所提出的模型中,所有分布参数都经过训练,从而允许对底层数据分布进行更鲁棒的近似。我们在两个实验中使用Fashion-MNIST数据来比较所提出的VAE与标准高斯先验。这两个实验都表明,使用学生的t先验分布的VAE图像的更好的重建。
2020-04-06 cs.LG stat.ML
Improving Variational Auto-Encoders using Householder Flow
University of Amsterdam(阿姆斯特丹大学)
变分自动编码器(VAE)是可扩展的和强大的生成模型。然而,变分后验的选择决定了VAE的易处理性和灵活性。通常,潜变量使用具有对角协方差矩阵的正态分布建模。这导致计算效率,但通常它不够灵活,无法匹配真实的后验分布。丰富变分后验分布的一种方式是应用归一化流,即,一系列可逆的变换到一个简单的后验的潜在变量。在本文中,我们遵循这一思路,并提出了一个体积保持流,使用一系列的Householder变换。我们在MNIST数据集和组织病理学数据上的经验表明,与其他归一化流相比,所提出的流可以获得更灵活的变分后验和竞争结果。
2017-01-27 cs.LG stat.ML
Self-Supervised Variational Auto-Encoders
University of Amsterdam(阿姆斯特丹大学);BrainCreators;Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
密度估计、压缩和数据生成是人工智能中的关键任务。可变自动编码器(VAE)构成了实现这些目标的单一框架。在这里,我们提出了一类新的生成模型,称为自监督变分自动编码器(selfVAE),利用确定性和离散变分后验。这类模型允许执行条件和无条件采样,同时简化目标函数。首先,我们使用单个自监督变换作为潜在变量,其中变换是缩小或边缘检测。接下来,我们考虑分层架构,即,多个转换,我们展示了它的好处相比,VAE。selfVAE在数据重建中的灵活性在数据压缩任务中发现了一个特别有趣的用例,在其中我们可以权衡内存以获得更好的数据质量,反之亦然。我们提出了我们的方法在三个基准图像数据(Cifar10,Imagenette64和CelebA)的性能。
2020-10-06 cs.LG stat.ML
Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder
Technion(以色列理工学院);MIT(麻省理工学院)
连续随机变量的变分自编码器的重新参数化是减小其梯度估计方差的有效方法。在离散的情况下,可以使用Gumbel-Max技巧执行重新参数化,但是所得到的目标依赖于$\arg \max$运算并且是不可微的。与以前的作品诉诸基于softmax的松弛,我们建议直接优化它应用直接损失最小化的方法。当评估$\arg \max$操作是易处理的时,我们的建议自然地扩展到结构化离散潜变量模型。我们证明了经验的有效性,直接损失最小化技术在变分自编码器与非结构化和结构化的离散潜变量。
2019-12-08 cs.LG stat.ML
Semi-Implicit Graph Variational Auto-Encoders
Texas A&M University(得克萨斯农工大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
提出了半隐式图变分自动编码器(SIG-VAE),以扩展变分图自动编码器(VGAE)对图数据建模的灵活性。SIG-VAE采用分层变分框架来实现相邻节点共享,以更好地生成图依赖结构的建模,以及Bernoulli-Poisson链接解码器。这种分层构造不仅提供了更灵活的生成图模型以更好地捕获真实世界的图属性,而且SIG-VAE自然地导致半隐式分层变分推理,其允许对给定图数据的隐式后验进行忠实建模,其可能表现出重尾、多模式、偏斜和丰富的依赖结构。与VGAE相比,SIG-VAE所导出的图潜在表示更具可解释性,这是由于灵活的半隐式构造所实现的更具表达力的生成模型和更忠实的推理。对各种图形数据的大量实验表明,SIG-VAE在几个不同的图形分析任务上显着优于最先进的方法。
2020-04-22 cs.LG stat.ML
Enhancing IoT-Botnet Detection using Variational Auto-encoder and Cost-Sensitive Learning: A Deep Learning Approach for Imbalanced Datasets
School of Engineering and Information Technology(工程与信息技术学院);University of New South Wales(新南威尔士大学)
本文针对物联网僵尸网络检测中不平衡数据导致少数类攻击漏检的问题,提出结合变分自编码器与代价敏感学习的轻量级深度学习方法,并在多分类场景下验证了DNN和BLSTM模型的有效性。
2025-04-26 cs.AI cs.LG
Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders
University of Oxford(牛津大学);DeepMind(深度思维);Microsoft Research(微软研究院)
变分自动编码器(VAE)是学习生成模型和数据嵌入的流行方法。许多真实的数据集是分层结构的。然而,传统的VAE映射数据在一个欧氏潜在空间,不能有效地嵌入树状结构。具有负曲率的双曲空间可以。因此,我们赋予VAE与庞加莱球模型的双曲几何作为一个潜在的空间,并严格推导出必要的方法,工作与两个主要的高斯概括该空间。我们的经验表明,更好的概括看不见的数据比欧几里德同行,可以定性和定量更好地恢复层次结构。
2019-11-25 cs.LG stat.ML
A Variational Auto-Encoder Model for Stochastic Point Processes
Simon Fraser University(西蒙弗雷泽大学);Borealis AI;University of British Columbia(不列颠哥伦比亚大学)
我们提出了一种新的概率生成模型的动作序列。该模型被称为动作点过程VAE(APP-VAE),一个变分自动编码器,可以捕获的时间和类别的动作序列的分布。对各种可能的动作序列进行建模是一个挑战,我们表明可以通过APP-VAE使用潜在表示和非线性函数来参数化分布来解决这一问题,其中事件可能在序列中的下一个发生,以及在什么时间发生。我们经验验证了APP-VAE在MultiTHUMOS和Breakfast数据集上建模动作序列的有效性。
2019-04-05 cs.CV cs.LG
Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains
DeepMind(深度思维)
变分自动编码器(VAE)是一种深度潜变量模型,在类似自动编码器的架构中有两个神经网络;其中一个参数化模型的可能性。通过最大似然(ML)拟合其参数具有挑战性,因为边缘似然的计算涉及潜在空间上的棘手积分;因此VAE通过最大化变分下限来训练。在这里,我们通过引入对数似然梯度的无偏估计来开发VAE的ML训练方案。我们得到的估计通过增加一组重要性样本的潜在空间,类似的重要性加权自动编码器(IWAE),然后构建一个马尔可夫链蒙特卡罗耦合过程在这个增强的空间。我们提供的条件下,估计可以计算在有限的时间和有限的方差。我们的实验表明,采用无偏估计量拟合的VAE具有更好的预测性能。
2021-06-02 cs.LG stat.ML
On the Encoder-Decoder Incompatibility in Variational Text Modeling and Beyond
Tsinghua University(清华大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
变分自编码器(VAE)将隐变量与摊销变分推理相结合,其优化通常收敛到称为后验崩溃的平凡局部最优,特别是在文本建模中。通过跟踪优化动态,我们观察到编码器-解码器的不兼容性,导致数据流形的参数化不佳。我们认为,平凡的局部最优可以避免通过改进的编码器和解码器的参数化,因为后验网络是它们之间的过渡映射的一部分。为此,我们提出了耦合VAE,它耦合VAE模型与具有相同结构的确定性自动编码器,并通过编码器权重共享和解码器信号匹配来改进编码器和解码器参数化。我们将所提出的耦合VAE方法应用于具有不同正则化、后验族、解码器结构和优化策略的各种VAE模型。在基准数据集上的实验(即,PTB、Yelp和Yahoo)在概率估计和潜在空间丰富度方面显示出一致的改进结果。我们还将我们的方法推广到条件语言建模,并提出了耦合CVAE,这在很大程度上提高了Switchboard数据集上对话生成的多样性。
2020-04-20 cs.CL cs.LG stat.ML
Modeling Melodic Feature Dependency with Modularized Variational Auto-Encoder
National Taiwan University(台湾大学)
自动旋律生成一直是人工智能研究人员和音乐家的长期愿望。然而,学习产生悦耳的旋律已被证明是非常具有挑战性的。介绍了一种新的变分自编码器(VAE),它采用模块化的结构设计,能够对具有领域知识的复调音乐和动态音乐进行建模;介绍了一种层次化的编解码策略,能够对旋律特征之间的依赖关系进行显式建模。所提出的框架是能够产生不同的旋律,听起来自然,和用于评估生成的音乐片段的实验表明,所提出的模型优于人类评价的基线。
2018-10-31 cs.AI cs.LG cs.MM
Understanding Instance-based Interpretability of Variational Auto-Encoders
University of California San Diego(加州大学圣迭戈分校)
基于实例的解释方法已经被广泛研究用于监督学习方法,因为它们有助于解释黑盒神经网络如何预测。然而,在无监督学习的背景下,基于实例的解释仍然不好理解。在本文中,我们研究了影响函数[Koh和Liang,2017],这是一种流行的基于实例的解释方法,用于一类称为变分自动编码器(VAE)的深度生成模型。我们正式框架的反事实的问题,在这种设置中的影响函数回答,并通过理论分析,研究他们揭示了经典的无监督学习方法的训练样本的影响。然后,我们介绍了VAE- TracIn,这是一种基于Pagani等人[2020]的VAE计算效率高且理论上合理的解决方案。最后,我们评估VAE-TracIn在几个现实世界的数据集进行了广泛的定量和定性分析。
2022-01-21 cs.LG stat.ML
Variational Hetero-Encoder Randomized GANs for Joint Image-Text Modeling
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对于双向联合图像-文本建模,我们开发了变分异构编码器(VHE)随机生成对抗网络(GAN),这是一种通用的深度生成模型,将概率文本解码器,概率图像编码器和GAN集成到一个连贯的端到端多模态学习框架中。VHE随机化GAN(VHE-GAN)对图像进行编码以解码其相关联的文本,并且将变分后验作为随机性的源馈送到GAN图像生成器中。我们将三个现成的模块,包括深度主题模型,梯形结构的图像编码器和StackGAN++插入VHE-GAN,它已经达到了具有竞争力的性能。这进一步推动了VHE光栅扫描GAN的发展,VHE光栅扫描GAN不仅以多尺度低到高分辨率的方式生成照片级逼真的图像,而且还以分层语义粗到细的方式生成照片级逼真的图像。通过捕获分层语义和视觉概念并将其与端到端训练相关联,VHE-raster-scan-GAN在各种图像-文本多模态学习和生成任务中实现了最先进的性能。
2020-01-07 cs.CL cs.CV cs.LG
Attribute-based Regularization of Latent Spaces for Variational Auto-Encoders
Center for Music Technology, Georgia Institute of Technology(佐治亚理工学院音乐技术中心)
使用深度生成模型对数据属性进行选择性操作是一个活跃的研究领域。在本文中,我们提出了一种新的方法来构造变分自动编码器(VAE)的潜在空间,以显式地编码不同的连续值属性。这是通过使用属性正则化损失来实现的,该属性正则化损失强制属性值与属性将被编码的维度的潜在代码之间的单调关系。因此,在训练后,模型可以通过简单地改变相应正则化维度的潜在代码来操纵属性。从几个定量和定性的实验结果表明,所提出的方法导致解开和可解释的潜在空间,可用于有效地操纵广泛的数据属性跨越图像和符号音乐域。
2020-07-29 cs.LG stat.ML
Monte Carlo Variational Auto-Encoders
University of Torontoland(多伦多兰大学);University of Edenborrow(伊甸伯勒大学);HSE University(高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);University of Oxford(牛津大学);Centre de recherche Lagrange en mathematiques et calcul(拉格朗日数学与计算研究中心)
变分自动编码器(VAE)是一种流行的深度潜在变量模型,通过最大化证据下限(ELBO)进行训练。为了获得更紧密的ELBO和更好的变分近似,已经提出使用重要性抽样来获得证据的较低方差估计。然而,已知重要性抽样在高维度中表现不佳。虽然在文献中已经多次建议使用更复杂的算法,如退火重要性抽样(AIS)及其顺序重要性抽样(SIS)扩展,但这些先进技术带来的潜在好处从未实现VAE:AIS估计值无法轻松区分,而SIS需要精心选择的后向马尔可夫核的规范。在本文中,我们解决了这两个问题,并证明了性能的各种应用程序上产生的蒙特卡罗VAE。
2021-06-30 cs.LG stat.ML
Joint Training of Variational Auto-Encoder and Latent Energy-Based Model
Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一种联合训练方法来学习变分自动编码器(VAE)和基于潜在能量的模型(EBM)。VAE和潜在EBM的联合训练基于一个目标函数,该目标函数由潜在向量和图像上的三个联合分布之间的三个Kullback-Leibler发散组成,并且目标函数是一个优雅的对称和反对称形式的发散三角形,无缝集成了变分和对抗学习。在该联合训练方案中,潜在EBM作为生成器模型的评判器,而VAE中的生成器模型和推理模型分别作为潜在EBM的近似合成采样器和推理采样器。实验结果表明,联合训练大大提高了VAE的合成质量。它还使得能够学习能量函数,该能量函数能够检测出用于异常检测的样本示例。
2020-06-10 cs.CV cs.LG
Disentangling Latent Factors of Variational Auto-Encoder with Whitening
Handong Global University(韩东国际大学)
在深度生成模型成功应用于图像生成任务后,学习数据的解纠缠潜变量已成为深度生成模型研究的关键部分。已经提出了许多模型来通过修改它们的目标函数或模型架构来学习潜在变量的可解释和因子化表示。为了解开潜在变量,一些模型显示出较低的重建图像质量,而另一些模型增加了难以训练的模型复杂度。在本文中,我们提出了一个简单的去纠缠方法的基础上,传统的白化过程。该方法适用于变分自动编码器(VAE)的潜变量,虽然它可以应用于任何生成模型的潜变量。在实验中,我们将所提出的方法应用到简单的VAE模型和实验结果证实,我们的方法发现更多的解释因素,从潜在的空间,而保持相同的重建误差与传统的VAE的错误。
2019-07-05 cs.LG stat.ML
Information Theoretic-Learning Auto-Encoder
University of Florida(佛罗里达大学)
提出了神经网络变分正则化的信息理论学习(ITL)发散测度。我们还探索了ITL正则化自编码器作为变分自编码贝叶斯,对抗性自编码器和生成对抗网络的替代方案,用于随机生成样本数据,而无需显式定义分区函数。本文还形式化,生成矩匹配网络下的ITL框架。
2016-03-22 cs.LG
Learning Energy-Based Model with Variational Auto-Encoder as Amortized Sampler
Cognitive Computing Lab Baidu Research(百度研究院认知计算实验室)
由于难以处理的分区函数,极大似然训练基于能量的模型(EBM)需要马尔可夫链蒙特卡罗(MCMC)采样来近似数据和模型分布之间的库尔贝克-莱布勒散度的梯度。然而,由于模式之间的混合的困难,从EBM采样是不平凡的。在本文中,我们建议学习变分自动编码器(VAE)初始化的有限步MCMC,如朗之万动力学,来自能量函数,有效的摊销采样的EBM。有了这些摊销MCMC样本,EBM可以通过极大似然进行训练,这遵循“综合分析”方案;而VAE通过变分贝叶斯从这些MCMC样本中学习。我们称这种联合训练算法为变分MCMC教学,其中VAE追赶EBM走向数据分布。我们将学习算法解释为信息几何背景下的动态交替投影。我们提出的模型可以生成与GANs和EBM相当的样本。此外,我们证明了我们的模型可以学习有效的概率分布对监督条件学习任务。
2021-12-24 cs.LG stat.ML
Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and Self-Control Gradient Estimator
Texas A&M University(德州农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
语义散列已成为许多大型信息检索系统中快速相似性搜索的关键组成部分,特别是对于文本数据。变分自动编码器(VAE)与二进制潜在变量作为哈希码提供了最先进的性能方面的精度为文档检索。我们提出了一个具有离散潜在VAE的成对损失函数来奖励监督哈希的类内相似性和类间相异性。该算法不依赖于已有的有偏梯度估计器,而是采用无偏低方差梯度估计器,通过对两组相关的二进制哈希码的不可微损失函数进行估计,控制梯度估计的方差,从而优化哈希函数.这种新的语义哈希框架实现了优越的性能相比,国家的最先进的,我们的综合实验证明。
2020-05-21 cs.LG stat.ML
Multimodal Transformer for Parallel Concatenated Variational Autoencoders
University of Southern California(南加州大学)
在本文中,我们提出了一个多模态Transformer使用并行级联架构。我们使用R、G、B通道中图像的列条纹作为Transformer输入,而不是使用面片。列条纹保持了原始图像的空间关系。我们将多模态Transformer与变分自编码器相结合,用于合成跨模态数据生成。多模态Transformer使用多个压缩矩阵设计,并且它用作并行级联变分自编码器(PC-VAE)的编码器。VAE由多个编码器、一个潜在空间和两个解码器组成。编码器基于随机高斯矩阵,不需要任何训练。我们提出了一个新的损失函数的基础上的交互信息的部分信息分解。交互信息评估输入的跨模态信息和解码器输出。通过最小化损失函数来训练PC-VAE。实验进行验证所提出的多模态Transformer的PC-VAE。
2022-10-28 cs.AI cs.CV cs.LG
Learning Discrete Structured Variational Auto-Encoder using Natural Evolution Strategies
Technion, IIT(以色列理工学院);Meta AI Research(Meta人工智能研究院)
离散变分自动编码器(VAE)能够表示生成学习中的语义潜在空间。在许多现实生活中,离散的潜在空间由高维结构组成,并且通过相关结构传播梯度通常需要在指数级大的潜在空间上进行枚举。最近,设计了各种方法来传播近似梯度,而不枚举可能的结构的空间。在这项工作中,我们使用自然演化策略(NES),一类无梯度黑箱优化算法,学习离散结构VAE。NES算法在计算上是吸引人的,因为它们仅用前向通过评估来估计梯度,因此它们不需要通过其离散结构传播梯度。我们的经验表明,使用NES优化离散结构VAE是有效的梯度为基础的近似。最后,我们证明了NES收敛的非Lipschitz功能出现在离散结构的VAE。
2022-05-03 cs.LG cs.NE stat.ML
Three Variations on Variational Autoencoders
Michigan State University(密歇根州立大学)
本文通过引入第二个参数化编码器/解码器对及额外固定编码器,提出变分自编码器的三种变体,并发现其中一种变体导出的证据上界(EUBO)可与ELBO结合检验模型收敛性。
2023-04-05 cs.LG
Unsupervised Anomaly Localization using Variational Auto-Encoders
German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ))
对医学图像进行无干扰的自动检查,以发现潜在的监督异常,对于放射科医生来说是一个有价值的帮助。深度学习,特别是变分自动编码器(VAE)在数据分布的无监督学习中显示出巨大的潜力。原则上,这允许这样的检查,甚至定位图像中最可疑的部分。然而,目前,基于重建的设计定位需要调整模型架构,以适应评估过程中的特定问题。这与建立无约束模型的原则相矛盾。我们建议补充本地化的一部分,来自Kullback-Leibler(KL)发散项。为了验证,我们对FashionMNIST以及包括>1000名健康和>250名脑肿瘤患者的医疗任务进行了一系列实验。结果表明,所提出的形式主义优于最先进的基于VAE的异常定位在许多超参数设置,也显示出竞争力的最大性能。
2019-07-11 cs.LG eess.IV stat.ML
Hyperspherical Variational Auto-Encoders
University of Amsterdam(阿姆斯特丹大学)
变分自动编码器(VAE)是最常用的无监督机器学习模型之一。但是,虽然高斯分布的先验和后验的默认选择代表了一个数学上方便的分布,往往导致竞争的结果,我们表明,这种参数化未能建模数据与潜在的超球面结构。为了解决这个问题,我们建议使用von Mises-Fisher(vMF)分布来代替,从而导致超球形潜在空间。通过一系列的实验,我们展示了如何这样的超球形VAE,或$\mathcal{S}$ -VAE,更适合捕捉数据的超球形潜在结构,而优于正常的,$\mathcal{N}$ -VAE,在低维的其他数据类型。代码在http://github.com/nicola-decao/s-vae-tf和https://github.com/nicola-decao/s-vae-pytorch
2022-09-27 cs.LG stat.ML
Hamiltonian Variational Auto-Encoder
University of Oxford(牛津大学);Alan Turing Institute for Data Science(艾伦·图灵数据科学研究所)
变分自动编码器(VAE)已经成为在潜变量模型中执行推理和学习的非常流行的技术,因为它们允许我们利用神经网络的丰富表示能力来获得潜变量的后验的灵活近似以及紧证据下限(ELBO)。结合随机变分推理,这提供了一种扩展到大型数据集的方法。然而,这种方法是实际有效的,它是必要的,以获得低方差无偏估计的ELBO和它的梯度相对于参数的兴趣。虽然之前已经建议使用马尔可夫链蒙特卡罗(MCMC)技术(如汉密尔顿蒙特卡罗(HMC))来实现这一点[23,26],但所提出的方法需要指定对性能有很大影响的反向内核。此外,大多数MCMC内核的ELBO的无偏估计通常不适合重新参数化技巧。我们在这里展示了如何在此设置中最佳地选择反向核,并且通过建立在Hamilton重要性采样(HIS)[17]的基础上,我们获得了一个使用重新参数化技巧提供ELBO及其梯度的低方差无偏估计的方案。这使我们能够开发一个哈密尔顿变分自动编码器(HVAE)。这种方法可以被重新解释为目标通知的归一化流[20],在我们的上下文中,它只需要在每次迭代时对采样似然的梯度和微不足道的雅可比计算进行一些评估。
2018-11-23 cs.LG stat.ML
Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation
Washington State University(华盛顿州立大学)
变分自动编码器(VAE)是一个强大的无监督学习框架的图像生成。VAE的一个缺点是由于其高斯性假设而产生模糊图像,从而产生L2损失。为了允许VAE生成高质量的图像,我们通过采用残差块和跳过连接来增加解码器网络的容量,这也可以实现有效的优化。为了克服L2损失的限制,我们建议以从粗到细的多级方式生成图像。在最简单的情况下,所提出的多级VAE将解码器分成两个组件,其中第二组件基于由第一组件生成的过程图像生成细化图像。由于第二分量独立于VAE模型,因此它可以采用L2损失之外的其他损失函数和不同的模型架构。拟议的框架可以很容易地概括为包含两个以上的组成部分。在MNIST和CelebA数据集上的实验结果表明,与原始VAE相比,所提出的多级VAE可以生成更清晰的图像。
2017-05-19 cs.CV cs.LG
Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models
University of Cambridge(剑桥大学)
本文提出变分扩散自编码器,通过优化编码器最大化边际对数似然从预训练扩散模型提取潜在空间,并解析推导解码器,摒弃高斯假设与独立训练,显著提升VAEs性能。
2023-05-18 cs.CV cs.LG stat.ML
Description Generation using Variational Auto-Encoders for precursor microRNA
Eindhoven University of Technology(埃因霍温理工大学)
本文提出利用变分自编码器学习前体miRNA的潜在生成因素,并在低维潜在空间上用决策树生成可解释的结构描述,从而在保持高分类性能的同时提供准确的miRNA描述。
2023-11-29 cs.LG q-bio.QM
On the Necessity and Effectiveness of Learning the Prior of Variational Auto-Encoder
Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Tsinghua University(清华大学)
使用强大的后验分布是实现更好的变分推理的流行方法。然而,最近的工作表明,聚合后验可能无法匹配单位高斯先验,因此学习先验成为另一种方法来提高下界。本文在文献中首次证明了当聚合后验不匹配单位高斯先验时学习先验的必要性和有效性,分析了这种情况发生的原因,并提出了学习先验可以改善重建损失的假设,所有这些都得到了我们广泛的实验结果的支持。我们表明,使用学习的真实NVP先验知识和VAE中的一个潜在变量,我们可以实现与非常深的最先进的分层VAE相当的测试NLL,优于许多以前的复杂分层VAE架构的作品。
2019-05-31 cs.LG stat.ML
Encoding Event-Based Data With a Hybrid SNN Guided Variational Auto-encoder in Neuromorphic Hardware
University of California, Irvine(加州大学欧文分校);Accenture Labs(埃森哲实验室);Forschungszentrum Jülich(于利希研究中心)
具有学习能力的神经形态硬件可以适应新的实时数据。虽然脉冲神经网络(SNN)的模型现在可以使用梯度下降进行训练,以达到与等效的传统神经网络相当的准确性,但这种学习通常依赖于外部标签。然而,现实世界的数据是未标记的,这可能使监督方法不适用。为了解决这个问题,我们提出了一种混合制导变分自编码器(VAE),它将动态视觉传感器(DVS)感知到的基于事件的数据编码为使用SNN的潜在空间表示。这些表示可以用作嵌入来测量数据相似性并预测真实数据中的标签。我们表明,混合引导VAE在DVSGesture数据集上实现了87%的分类准确率,并且可以将稀疏的噪声输入编码为可解释的潜在空间表示,通过T-SNE图可视化。我们还实现了神经形态硬件模型的编码器组件,并讨论了我们的算法,使实时学习从现实世界的事件数据的潜力。
2022-03-08 cs.LG cs.NE
Super-resolution Variational Auto-Encoders
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);BrainCreators B.V.(BrainCreators公司)
变分自编码器(VAE)的框架提供了用于联合学习潜变量模型和对应的推理模型的原则性方法。然而,这种方法的主要缺点是所生成的图像的模糊。一些研究将这种影响与目标函数,即(负)对数似然联系起来。在这里,我们建议通过添加一个随机变量来增强VAE,该随机变量是原始图像的缩小版本,并且仍然使用对数似然函数作为学习目标。此外,通过将缩小的图像作为输入提供给解码器,可以以类似于超分辨率的方式使用缩小的图像。我们提出的经验,所提出的方法执行的负对数似然的VAE,但它获得了更好的FID得分在数据合成。
2020-06-30 cs.CV cs.LG stat.ML
A Revisit of Total Correlation in Disentangled Variational Auto-Encoder with Partial Disentanglement
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
针对完全解耦VAE对潜在成分独立性约束过强的问题,提出PDisVAE框架,将总相关性推广为偏相关以支持分组独立,并在合成与真实数据上验证其灵活性和有效性。
2025-02-04 cs.LG q-bio.NC
Symbolic expression generation via Variational Auto-Encoder
HSE University(高等经济大学);National University of Science and Technology MISIS(国立科技研究大学(MISIS));National University of Singapore(新加坡国立大学);Constructor University(康斯特拉克特大学)
在物理学、生物学和其他自然科学中有许多问题,符号回归可以提供有价值的见解并发现新的自然规律。广泛的深度神经网络不提供可解释的解决方案。同时,符号表达式给出了观测值与目标变量之间的明确关系。然而,目前,符号回归任务没有主导解决方案,我们的目标是用我们的算法缩小这一差距。在这项工作中,我们提出了一种新的深度学习框架,通过变分自编码器(VAE)生成符号表达式。简而言之,我们建议使用VAE来生成数学表达式,并且我们的训练策略强制生成的公式适合给定的数据集。我们的框架允许编码先验知识的公式到快速检查谓词,加快优化过程。我们将我们的方法与现代符号回归基准进行比较,并表明我们的方法在噪声条件下优于竞争对手。在噪声水平为10%的Ngyuen数据集上,SEGVAE的恢复率为65%,比以前报道的SOTA好20%。我们证明,这个值取决于数据集,甚至可能更高。
2023-01-15 cs.AI cs.LG cs.SC
PI-VAE: Physics-Informed Variational Auto-Encoder for stochastic differential equations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一类新的物理信息神经网络,称为物理信息变分自动编码器(PI-VAE),解决随机微分方程(SDES)或反问题涉及SDES。在这些问题中的控制方程是已知的,但只有有限数量的测量系统参数是可用的。PI-VAE由一个变分自动编码器(VAE)组成,它生成系统变量和参数的样本。该生成模型与控制方程相结合。在这种集成中,VAE输出的导数很容易使用自动微分计算,并用于基于物理的损失项。在这项工作中,损失函数被选择为最大平均离散(MMD),以提高性能,和神经网络参数迭代更新使用随机梯度下降算法。我们首先测试所提出的方法近似随机过程。然后,我们研究了三种类型的问题相关的SDES:正问题和反问题,以及混合问题,系统参数和解决方案同时计算。与物理信息生成对抗网络(PI-WGAN)相比,该方法具有令人满意的精度和效率。
2022-03-21 cs.LG stat.ML
The Effects of Invertibility on the Representational Complexity of Encoders in Variational Autoencoders
Carnegie Mellon University(卡内基梅隆大学)
训练和使用基于现代神经网络的潜变量生成模型(如变分自编码器)通常需要同时训练生成方向和推理(编码)方向,这近似于潜变量的后验分布。因此,问题就来了:为了能够准确地模拟给定生成模型的后验分布,推理模型需要有多复杂?在本文中,我们确定了一个重要的属性的生成地图影响所需的大小的编码器。我们表明,如果生成地图是“强可逆的”(在某种意义上,我们适当地正式),推理模型不需要更复杂。相反,我们证明了存在不可逆的生成映射,其编码方向需要呈指数增长(在计算复杂性的标准假设下)。重要的是,我们不要求生成模型是逐层可逆的,这是许多相关文献假设的,并且在实践中使用的许多架构(例如基于卷积和池化的网络)都不满足。因此,我们为经验智慧提供了理论支持,即当数据位于低维流形上时,学习深度生成模型更难。
2021-07-09 cs.LG stat.ML
Statistical Model Criticism of Variational Auto-Encoders
University of Amsterdam(阿姆斯特丹大学)
我们提出了一个变分自动编码器(VAE)的统计评估框架,并在手写数字和英语文本语料库的建模图像的背景下测试该框架的两个实例。我们对评估的看法是基于统计模型批评的想法,这种批评在贝叶斯数据分析中很流行,即根据统计模型再现未知数据生成过程的统计数据的能力来评估统计模型,我们可以从中获得样本。VAE在共享样本空间上学习的不是一个,而是两个联合分布,每个分布都利用因子分解的选择,使采样在两个方向(潜伏到数据,数据到潜伏)中的一个方向上易于处理。我们从这些分布中评估样本,评估它们与观察到的数据的(边际)拟合以及我们对先验的选择,我们还通过一个管道来评估样本,该管道从数据样本开始连接两个分布,评估它们是否一起利用和揭示对从业者有用的潜在变异因素。我们表明,这种方法提供了可能性,模型选择定性超越内在的评价指标,并在一个更细的粒度比常用的统计可以提供。
2022-04-06 cs.CV cs.LG stat.ML
Voice Conversion Based on Cross-Domain Features Using Variational Auto Encoders
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Taiwan University(台湾大学);Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息科技创新研究中心)
非并行语音转换(VC)的一种有效方法是利用深度神经网络(DNN),特别是变分自动编码器(VAE),以无监督的方式对语音的潜在结构进行建模。以前的研究已经证实了VAE的有效性,使用直光谱VC。然而,VAE使用的其他类型的频谱特征,如梅尔倒谱系数(MCC),这是与人类的感知和已被广泛用于VC,没有得到适当的研究。代替使用一种特定类型的光谱特征,预期VAE可以受益于同时使用多种类型的光谱特征,从而提高VAE用于VC的能力。为此,我们提出了一种新的VAE框架(称为跨域VAE,CDVAE)的VC。具体地,所提出的框架通过显式地正则化多个目标来利用STRAIGHT谱和MCC两者,以便约束学习的编码器和解码器的行为。实验结果表明,提出的CD-VAE框架优于传统的VAE框架的主观测试。
2018-08-29 cs.CL cs.LG cs.SD
Unified Embeddings of Structural and Functional Connectome via a Function-Constrained Structural Graph Variational Auto-Encoder
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Pittsburgh(匹兹堡大学)
图论分析已经成为大脑功能和解剖连接建模的标准工具。随着连接组学的出现,感兴趣的主要图形或网络是结构连接组(来自DTI纤维束成像)和功能连接组(来自静息状态fMRI)。然而,大多数已发表的连接体研究都集中在结构或功能连接体上,但当它们之间的互补信息在同一数据集中可用时,可以共同利用来提高我们对大脑的理解。为此,我们提出了一个功能约束的结构图变分自动编码器(FCS-GVAE)能够将信息从功能和结构连接体在一个无监督的方式。这导致了一个联合低维嵌入,建立了一个统一的空间坐标系,用于比较不同的主题。我们使用公开的OASIS-3阿尔茨海默病(AD)数据集评估我们的方法,并表明变分制剂是必要的,以最佳编码功能性脑动力学。此外,所提出的联合嵌入方法可以比不使用互补连接体信息的方法更准确地区分不同的患者亚群。
2022-07-05 cs.LG q-bio.NC
TimeVAE: A Variational Auto-Encoder for Multivariate Time Series Generation
Verint Systems Inc;Stony Brook University(纽约州立大学石溪分校)
在时间序列域的合成数据生成的最近的工作集中在使用生成对抗网络。我们提出了一种新的架构,综合产生的时间序列数据与使用变分自动编码器(VAE)。所提出的架构有几个不同的属性:可解释性,编码领域知识的能力,并减少训练时间。我们通过四个多变量数据集的相似性和可预测性来评估数据生成质量。我们用不同大小的训练数据进行实验,以测量数据可用性对我们的VAE方法以及几种最先进的数据生成方法的生成质量的影响。我们的相似性测试的结果表明,VAE方法是能够准确地表示原始数据的时间属性。在使用生成的数据进行下一步预测任务时,所提出的VAE架构始终满足或超过最先进的数据生成方法的性能。虽然降噪可能会导致生成的数据偏离原始数据,但我们证明了所得到的去噪数据可以显着提高使用生成的数据进行下一步预测的性能。最后,所提出的架构可以结合特定领域的时间模式,如多项式趋势和季节性,以提供可解释的输出。这种可解释性在需要模型输出的透明性的应用中或用户希望将时间序列模式的先验知识注入生成模型中的应用中是非常有利的。
2021-12-07 cs.LG
Geometry-Aware Hamiltonian Variational Auto-Encoder
Centre de Recherche des Cordeliers UMRS 1138(科德利尔研究中心UMRS 1138);Université de Paris(巴黎大学);INSERM(法国国家健康与医学研究院);Sorbonne Université(索邦大学);Centre de Mathématiques Appliquées, Inria(应用数学中心,法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
变分自动编码器(VAE)已被证明是一种非常适合的工具,用于通过提取潜在的比数据小得多的维度空间中的潜在变量来执行降维。当考虑到它们生成新的真实样本或在小得多的空间中执行潜在有意义的插值的能力时,可以很容易地理解它们从数据中捕获有意义的信息的能力。然而,这种生成模型在训练小数据集时可能表现不佳,这些数据集在许多现实生活领域(如医学)中非常丰富。除其他外,这可能是由于潜在空间缺乏结构,其几何形状往往被忽视。因此,在本文中,我们建议将潜在空间视为具有与编码器和解码器网络同时学习的参数化度量的黎曼流形。这个度量被用于我们称之为黎曼哈密顿VAE,它扩展了arXiv:1805.11328引入的哈密顿VAE,以更好地利用潜在空间的潜在几何。我们认为,这种潜在的空间建模提供了有用的信息,其潜在的结构,导致更有意义的插值,更现实的数据生成和更可靠的聚类。
2020-10-22 cs.LG math.DG math.ST
Voice Conversion with Diverse Intonation using Conditional Variational Auto-Encoder
Seoul National University(首尔大学);Kakao Brain
针对传统语音转换模型仅能生成单一结果的局限,提出基于条件变分自动编码器(CVAE)结合逆自回归流(IAF)的方法,实现语调多样且音质更优的语音转换。
2025-04-16 cs.LG cs.SD eess.AS
Variational Autoencoders: A Harmonic Perspective
University of Oxford(牛津大学);UCL(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
在这项工作中,我们研究变分自动编码器(VAE)的谐波分析的角度。通过查看一个VAE的潜在空间作为高斯空间,各种测量空间,我们得出了一系列的结果表明,VAE的编码器方差控制的VAE编码器和解码器神经网络参数化的功能的频率内容。特别是,我们证明了较大的编码器方差降低这些功能的高频内容。我们的分析使我们能够表明,增加这个方差有效地诱导了VAE解码器网络上的软Lipschitz约束,这是VAE对抗鲁棒性的核心贡献者。我们进一步证明,将高斯噪声添加到VAE的输入中可以更精细地控制VAE编码器网络的频率内容和Lipschitz常数。为了支持我们的理论分析,我们使用小型全连接神经网络和较大的卷积网络进行VAE实验,以经验证明我们的理论适用于各种神经网络架构。
2022-04-23 cs.LG eess.SP stat.ML
Diversifying Reply Suggestions using a Matching-Conditional Variational Autoencoder
Microsoft Search, Assistance and Intelligence(微软搜索、辅助与智能部门(Microsoft Search, Assistance and Intelligence))
我们认为,多样化的自动回复建议的商业即时消息(IM)系统(Skype)的问题。我们的会话模型是一个标准的匹配为基础的信息检索架构,它由两个并行的编码器到项目的消息和答复到一个共同的特征表示。在推理过程中,我们使用特征空间中的最近邻居从固定的响应集中选择响应。为了使响应多样化,我们将模型制定为具有条件变分自动编码器(M-CVAE)的生成潜变量模型。我们提出了一个约束抽样的方法,使变分推理M-CVAE有效的生产系统。在离线实验中,M-CVAE始终将多样性增加约30-40%,而对相关性没有显著影响。这意味着我们的在线制作系统的点击率增加了5%。
2019-03-25 cs.AI cs.CL cs.LG
Learning Correlated Latent Representations with Adaptive Priors
Columbia University(哥伦比亚大学);Netflix Inc.(奈飞公司);The University of Texas at Dallas(得克萨斯大学达拉斯分校);Spotify Inc.(声田公司)
变分自动编码器(VAE)已被广泛应用于学习高维数据的紧凑,低维的潜在表示。当数据点之间的相关性结构可用时,以前的工作提出了相关变分自动编码器(CVAE),它采用结构化混合模型作为先验,并为每个混合成分采用结构化变分后验,以强制学习的潜在表示遵循相同的相关性结构。然而,正如我们在这项工作中所证明的那样,这样的选择不能保证CVAE捕获所有的相关性。此外,它阻止我们获得一个易于处理的联合和边际变分分布。为了解决这些问题,我们提出了自适应相关变分自动编码器(ACVAE),它应用了一个自适应先验分布,可以在训练过程中进行调整,并可以学习一个易于处理的联合变分分布。其易于处理的形式还可以通过置信传播进行进一步细化。链接预测和层次聚类的实验结果表明,ACVAE显着优于其他基准之间的CVAE。
2019-12-18 cs.LG stat.ML
A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院)
我们提出了一个VAE的Transformers通过开发一个变信息瓶颈正则化Transformer嵌入。我们正式的嵌入空间的Transformer编码器的混合概率分布,并使用贝叶斯nonparametrics推导出一个非参数的变分信息瓶颈(NVIB),这样的注意力为基础的嵌入。由非参数方法支持的混合成分的可变数量捕获了由注意力支持的向量的可变数量,并且我们的非参数分布的互换性捕获了注意力的排列不变性。这使得NVIB能够规范注意力可访问的向量数量,以及单个向量中的信息量。通过对Transformer编解码器与NVIB的交叉注意进行正则化,提出了一种非参数变分自编码器(NVAE)。在自然语言文本上训练NVAE的初步实验表明,诱导的嵌入空间具有用于Transformers的VAE的期望属性。
2022-08-12 cs.CL cs.LG
DiffEnc: Variational Diffusion with a Learned Encoder
Copenhagen University Hospital(哥本哈根大学医院)
DiffEnc 通过引入数据与深度相关的均值函数及可调噪声方差比,改进扩散模型,在 CIFAR-10 上显著提升似然,并提供了有限与无限深度层级下的理论分析。
2024-02-08 cs.CV cs.LG stat.ML
Variational Auto Encoder Gradient Clustering
KTH Royal Institute of Technology(瑞典皇家理工学院)
近年来,使用深度神经网络模型的聚类得到了广泛的研究。其中最流行的框架是VAE和GAN框架,它们通过编码器/解码器神经网络结构来学习数据的潜在特征表示。这是聚类任务的合适基础,因为潜在空间通常似乎可以有效地捕捉数据的内在本质,简化其流形并减少噪音。在这篇文章中,VAE框架被用来研究如何使用数据点上的概率函数梯度上升来处理数据,以实现更好的聚类。与未处理的数据相比,观察到分类的改进,尽管没有获得最先进的结果。然而,用梯度下降处理数据会导致更明显的聚类分离,从而更容易研究合适的超参数设置,例如聚类数量。我们提出了一种简单而有效的方法,基于DBSCAN聚类算法来研究数据的合适集群数量,并证明梯度处理有助于集群数量的确定。作为一个额外的好奇心,我们发现我们用于比较的基线模型;在训练期间(自动编码器)重建的VAE结构的t-SNE潜在空间上的GMM,在MNIST数据上产生最先进的结果,据我们所知,没有被任何其他现有模型击败。
2021-05-11 cs.LG
Variational Autoencoder for Speech Enhancement with a Noise-Aware Encoder
最近,一种生成式变分自编码器(VAE)已被提出用于语音增强以模拟语音统计。然而,这种方法在训练阶段仅使用干净的语音,使得估计对噪声的存在特别敏感,特别是在低信噪比(SNR)下。为了增加VAE的鲁棒性,我们建议在训练阶段使用噪声感知编码器训练噪声干净的语音对,包括噪声信息。我们使用两个不同的噪声数据集对不同噪声环境和声学条件的真实记录进行评估。我们表明,我们提出的噪声感知VAE优于标准VAE的整体失真,而不增加模型参数的数量。与此同时,我们证明了我们的模型能够比监督前馈深度神经网络(DNN)更好地推广到不可见的噪声条件。此外,我们证明了模型性能的鲁棒性,以减少噪声干净的语音训练数据的大小。
2021-02-17 cs.LG cs.SD eess.AS
Multi-Source Neural Variational Inference
Technical University of Munich(慕尼黑工业大学);Volkswagen Group(大众集团)
从多个信息源中学习是机器学习研究中的一个重要问题。关键的挑战是学习表示和制定推理方法,考虑到各种信息源的互补性和冗余性。在本文中,我们制定了一个变分自动编码器为基础的多源学习框架中,每个编码器的条件是一个不同的信息源。这使我们能够通过计算单个源的后验近似之间的发散度量来通过共享的潜变量将源关联起来。我们探索了各种选择来学习这些编码器,并将它们计算的信念整合到一致的后验近似中。我们在一个玩具数据集上可视化了学习到的信念,并评估了我们学习共享表示和结构化输出预测的方法,显示了为每个信息源学习单独编码器的权衡。此外,我们展示了如何冲突检测和冗余可以增加鲁棒性的推理在多源设置。
2018-11-17 cs.LG stat.ML
F-ACVAE: A Federated Adaptive Conditional Variational Auto-Encoder for Privacy-Preserving Intrusion Detection in IoT Networks
Department of Computer Engineering, Ne. C., Islamic Azad University, Neyshabur, Iran(伊朗奈什巴尔伊斯兰Azad大学计算机工程系)
针对物联网设备网络中入侵检测面临的挑战,提出F-ACVAE框架,通过选择性参数聚合实现跨设备协作训练,引入新策略增强稳定性,实验表明其检测性能高且通信开销低。
2026-07-07 cs.CR cs.LG
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络(GANs)结合了标准的GAN算法,该算法区分真实和模型生成的数据,并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中,我们开发了一种原理,通过利用生成模型的分层结构,可以将自动编码器与生成对抗网络相结合。其基本原理表明,变分推断可以用作学习的基本工具,但不可处理的似然被合成似然代替,未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合,结合这两种方法的优点。我们描述了一个统一的优化目标,讨论了指导学习所需的约束条件,连接到广泛的现有工作,并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
There and Back Again: Unraveling the Variational Auto-Encoder
Google(谷歌)
我们证明了变分自动编码器(VAE)采用的证据下限(ELBO)承认在某些温和的条件下具有恒定后验方差的非平凡解决方案,消除了在编码器中学习方差的需要。证明如下从一个意想不到的旅程,通过一系列的主题:封闭形式的最佳解码器高斯VAE,证明解码器总是光滑的,证明ELBO在其固定点等于确切的日志证据,和后验方差只是一个随机估计的解码器海森的一部分。在温和的条件下,使用恒定的后验方差引起的惩罚很小,否则会阻碍解码器Hessian的大变化。从这里,我们推导出一个简化的公式ELBO作为一个期望在一个批次,我们称之为批次信息下限(BILBO)。尽管使用高斯,我们的分析是广泛适用的-它扩展到任何似然函数,诱导黎曼度量。关于学习的似然,我们表明,ELBO是最佳的极限的似然方差接近零,它是等价的变量的变化公式化在规范化流网络。标准的优化程序是不稳定的,在这个限制,所以我们提出了一个有界的高斯似然不变的规模的数据使用的措施,在一批,我们称之为有界的聚合信息采样(BAGGINS)的聚合信息。结合这两种配方,我们构建VAE网络,只有普通VAE的一半输出(没有学习的方差),在实验中得到改进的ELBO分数和尺度不变性。当我们执行我们的分析时,不管任何特定的网络架构,我们的重新表述可以适用于任何VAE实现。
2021-05-26 cs.LG stat.ML
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University(得克萨斯农工大学);Washington State University(华盛顿州立大学)
变分自动编码器(VAE)的核心思想类似于传统的自动编码器模型,其中空间信息应该被显式编码在潜在空间中。然而,VAE中的潜变量是向量,可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中,我们提出了空间VAE,使用较大尺寸的特征图作为潜在变量,以明确地捕捉空间信息。这是通过允许从矩阵变量正态(MVN)分布(其参数从编码器网络计算)中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量,我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明,所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE