Quantum Annealing for Variational Bayes Inference
Google(谷歌);University of Tokyo(东京大学)
研究了一种基于量子退火的变分贝叶斯(QAVB)推理的确定性退火算法,该算法可以看作是变分贝叶斯模拟退火(SAVB)推理的扩展. QAVB和SAVB一样容易实现。实验结果表明,QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配(LDA)。
2014-08-09 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反,提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中,我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗,解决问题的概念,局部曲率,并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度,并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的,因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型,由iid(伯努利)随机变量的混合物。该算法采用大规模混杂系统的概率关系模型,并将其转换为一个接近最优的变分模型。然后,它有效地计算边际概率的变分模型,通过使用潜在的(或提升)变量消除或提升随机抽样。这种推理是独特的,因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Unbiased Implicit Variational Inference
Athens University of Economics and Business(雅典经济与商业大学);University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学)
我们开发了无偏隐式变分推断(UIVI),一种方法,通过定义一个表达变分家庭,扩大了适用性的变分推断。UIVI考虑使用简单的可重新参数化分布以分层方式获得的隐式变分分布,该分布的变分参数由任意灵活的深度神经网络定义。与以前的作品,UIVI直接优化的证据下限(ELBO),而不是近似的ELBO。我们证明了UIVI上的几个模型,包括贝叶斯多项式逻辑斯谛回归和变分自编码器,并表明,UIVI实现了更紧密的ELBO和更好的预测性能比现有的方法在一个类似的计算成本。
2019-02-06 cs.LG stat.ML
Improving Explorability in Variational Inference with Annealed Variational Objectives
University of Montreal(蒙特利尔大学);MILA(蒙特利尔学习算法研究所);Element AI
尽管在变分推理的近似分布的表示能力方面取得了进展,但优化过程仍然可以限制最终学习的密度。我们证明了偏置真正的后验是单峰的缺点,并引入退火变分目标(AVO)到训练的分层变分方法。受退火重要性采样的启发,所提出的方法通过将能量回火纳入优化目标来促进学习。在我们的实验中,我们证明了我们的方法的鲁棒性确定性热身,并鼓励探索潜在空间的好处。
2018-10-26 cs.LG stat.ML
Fast Variational Inference in the Conjugate Exponential Family
本文给出了共轭指数族概率模型的塌缩变分推断算法的一般推导方法。我们的方法统一了许多现有的方法崩溃变分推理。我们的崩溃变分推理导致一个新的下界的边际似然。我们利用信息几何的界限,以获得更快的优化方法的基础上共轭梯度这些模型。我们的方法是非常普遍的,很容易适用于任何模型的平均场更新方程已经推导出来。从经验上讲,我们显示了显着的速度使用我们的边界优化的概率模型。
2012-12-04 cs.LG stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo(东京大学)
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似,称为CVB 0推断,潜在的Dirichlet分配(LDA)。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成:α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Rényi Divergence Variational Inference
University of Cambridge(剑桥大学)
引入变分Rényi界(VR),将传统的变分推断推广到Rényi α-发散.这个新的变分方法的家庭统一了一些现有的方法,并使一个平滑的插值从证据下限的日志(边际)的可能性,控制的值的alpha参数化的分歧。采用重新参数化技巧、蒙特卡罗逼近和随机优化方法来获得易于处理且统一的优化框架。我们进一步考虑负α值,并提出了一种新的变分推断方法作为一个新的特殊情况下,在建议的框架。贝叶斯神经网络和变分自动编码器上的实验证明了VR界的广泛适用性。
2016-10-28 cs.LG stat.ML
Advances in Variational Inference
Microsoft Research(微软研究院);Disney Research(迪士尼研究院);KTH Royal Institute of Technology(KTH皇家理工学院);University of California, Irvine(加州大学欧文分校)
许多现代无监督或半监督机器学习算法依赖于贝叶斯概率模型。这些模型通常是棘手的,因此需要近似推理。变分推理(VI)让我们通过解决优化问题来近似高维贝叶斯后验,具有更简单的变分分布。该方法已成功应用于各种模型和大规模应用中。在这篇评论中,我们给出了一个概述变分推理的最新趋势。本文首先介绍了标准平均场变分推理,然后重点从以下几个方面综述了近年来的研究进展:(a)可缩放VI,其包括随机近似,(b)通用VI,其将VI的适用性扩展到一大类否则难以处理的模型,例如非共轭模型,(c)精确VI,其包括超出平均场近似或具有非典型发散的变分模型,(d)摊销VI,利用推理网络实现对局部隐变量的推理。最后,我们提供了一个有前途的未来研究方向的总结。
2018-10-23 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine(加利福尼亚大学欧文分校);University College London(伦敦大学学院);Radboud University Nijmegen(拉德堡德大学)
变分贝叶斯推理和(塌陷)吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点:塌陷吉布斯采样是无偏的,但对于大计数值也是低效的,并且需要对许多样本进行平均以减少方差。另一方面,变分贝叶斯推理是有效的,准确的大计数值,但遭受小计数的偏见。我们提出了一种混合算法,结合了两个世界的最佳:它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI,一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中,TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI,并将其与两种替代方案进行了比较:自动微分变分推理(ADVI)和无Hessian-free随机梯度变分推理(HFSGVI)。前者是基于随机一阶优化。后者使用二阶信息,但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级,证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布,这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
A Contrastive Divergence for Combining Variational Inference and MCMC
Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);DeepMind(深度思考)
我们开发了一种方法,结合马尔可夫链蒙特卡罗(MCMC)和变分推断(VI),利用这两种推理方法的优点。具体来说,我们通过运行几个MCMC步骤来改进变分分布。为了使推理易于处理,我们引入了变分对比发散(VCD),这是一种新的发散,取代了VI中使用的标准Kullback-Leibler(KL)发散。VCD捕获初始变分分布与其改进版本(在运行MCMC步骤后获得)之间的差异的概念,并且它渐近收敛于变分分布与感兴趣的后验之间的对称化库尔贝克-莱布勒散度。VCD目标可以通过随机最优化相对于变参数有效地优化。我们的实验表明,优化VCD导致更好的预测性能的两个潜变量模型:逻辑矩阵分解和变分自动编码器(VAE)。
2019-05-28 cs.LG stat.ML
Doubly Semi-Implicit Variational Inference
Samsung AI Center Moscow(三星人工智能中心莫斯科);National Research University Higher School of Economics(国立研究型高等经济大学)
我们扩展了现有的半隐式变分推断(SIVI)的框架,并引入了双半隐式变分推断(DSIVI),一种方法来执行变分推断和学习时的近似后验和先验分布是半隐式的。换句话说,DSIVI在模型中执行推理,其中先验和后验可以表示为具有高度灵活的隐式混合分布的某些解析密度的难以处理的无限混合。我们提供了一个三明治上的证据下限(ELBO)的目标,可以任意紧。与基于鉴别器和基于核的隐式变分推断方法不同,DSIVI优化了ELBO的一个适当的下界,该下界是渐近精确的。我们评估DSIVI的一组问题,受益于隐式先验。特别是,我们表明,DSIVI引起的VampPrior,目前最先进的变分自编码器,这提高了其性能的一个简单的修改。
2019-03-16 cs.LG stat.ML
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University(斯坦福大学);Preferred Networks;The Institute of Statistical Mathematics(统计数理研究所)
我们形式化了两种流行的贝叶斯推理方法之间的等价性:斯坦变分梯度下降(SVGD)和黑箱变分推理(BBVI)。特别是,我们表明,BBVI正好对应于SVGD时,内核是神经切线核。此外,我们解释SVGD和BBVI内核梯度流,我们这样做,利用最近的观点,认为SVGD作为一个梯度流的概率分布的空间,并显示BBVI自然激励黎曼结构的空间。我们观察到,内核梯度流也描述了生成对抗网络(GANs)训练中发现的动态。因此,这项工作统一了变分推理和生成建模中的几种现有技术,并将内核确定为控制这些算法行为的基本对象,从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Inference Suboptimality in Variational Autoencoders
Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
分期推理允许通过变分学习训练的潜变量模型扩展到大型数据集。近似推理的质量由两个因素决定:a)变分分布匹配真实后验的能力和b)识别网络为每个数据点产生良好变分参数的能力。我们研究近似推理变分自编码器在这些因素。我们发现,从真正的后验发散往往是由于不完善的识别网络,而不是有限的复杂性的近似分布。我们表明,这部分是由于发电机学习,以适应近似的选择。此外,我们表明,用于增加近似的表达能力的参数在推广推理中发挥作用,而不是简单地提高近似的复杂性。
2018-05-27 cs.LG stat.ML
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计,其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的,变分族是位置-尺度分布时,常见的“重新参数化”估计的界。这些界限是不可改进的,因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Robust Variational Inference
National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学);Yandex
变分推理是近似推理的有力工具。然而,它主要集中在证据下界作为变分目标和其他措施的发展变分推理是一个有前途的研究领域。本文提出了一种鲁棒的证据修正和证据下限,这是适用于大多数的训练集样本是随机噪声对象。我们提供的实验变分自编码器显示的优势,通过添加无信息的噪声对象MNIST和OMNIGLOT合成数据集的证据下限的目标。此外,对于原始MNIST和OMNIGLOT数据集,我们观察到非鲁棒证据下限有小幅改善。
2016-11-28 cs.LG stat.ML
Note on the bias and variance of variational inference
Mila(米拉研究所);University of Montreal(蒙特利尔大学)
本文研究了变分间隙与似然比方差的关系。我们表明,差距可以通过某种形式的分散措施的似然比,这表明变分推断的偏差可以减少通过使分布的似然比更集中,如通过平均和方差减少的上限。
2019-06-09 cs.LG stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics(伦敦政治经济学院);JP Morgan Chase & Co.(摩根大通公司)
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置,既不能刻画潜变量间的相关结构,又由于普遍截断,不能推断真实的后验维数。为了克服这些局限性,我们提出了条件和自适应截断变分推断方法(CATVI),通过最大化的非参数证据下限,并集成蒙特卡罗到变分推断框架。与传统方法相比,CATVI具有几个优点,包括变分后验和真后验之间的偏差较小,欠拟合或过拟合的风险降低,以及预测精度提高。在三个大型数据集上的实证研究表明,CATVI应用于贝叶斯非参数主题模型大大优于竞争模型,提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Vprop: Variational Inference using RMSprop
RIKEN(理化学研究所);SUTD(新加坡科技设计大学);University of Oxford(牛津大学)
贝叶斯深度学习的许多计算效率高的方法依赖于连续优化算法,但这些方法的实现需要对现有代码库进行重大更改。在本文中,我们提出了Vprop,高斯变分推断,可以实现两个小的变化,现成的RMSprop优化方法。Vprop还将黑盒变分推断的内存需求减少了一半。我们推导出Vprop使用共轭计算变分推断方法,并建立其连接到牛顿的方法,自然梯度法,和扩展卡尔曼滤波器。总的来说,本文将Vprop作为贝叶斯深度学习的一种原则性,计算效率高且易于实现的方法。
2017-12-04 cs.LG stat.ML
Mixed Variational Inference
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所)
拉普拉斯近似一直是贝叶斯推断的主要工具之一。它通常在实践中提供良好的近似,尽管它没有严格考虑后验密度的体积。变分方法通过显式地最小化假设后验和真实(未归一化)对数后验之间的库尔贝克-莱布勒散度DKL来避免这个问题。然而,他们依赖于一个封闭的形式DKL,以更新变分参数。为了解决这个问题,已经设计了随机版本的变分推断,其用蒙特卡罗平均值来近似难处理的DKL。这种近似允许计算相对于变分参数的梯度。然而,变分方法往往假设一个因式高斯近似后验。这样做,他们牺牲了后验相关性。在这项工作中,我们提出了一种方法,结合了变分方法的拉普拉斯近似。的优点是,我们保持:非共轭模型的适用性,后验相关性和自由变分参数的数量减少。数值实验表明,改进的拉普拉斯近似和变分推断与因式高斯后验。
2022-02-28 cs.LG stat.ML
Variational Inference: A Unified Framework of Generative Models and Some Revelations
Sun Yat-sen University(中山大学)
我们从一个新的角度重新解释了变分推理。通过这种方法,我们可以很容易地证明EM算法、VAE、GAN、AAE、ALI(BiGAN)都是变分推理的特例。证明也揭示了标准GAN的损失是不完整的,这解释了为什么我们需要谨慎地训练GAN。在此基础上,我们提出了一种正则化项来提高GAN训练的稳定性。
2018-07-20 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs(高盛集团)
我们考虑了神经网络矩阵因子分解的概率模拟(Dziugaite & Roy,2015),我们用贝叶斯神经网络构建,并用变分推断拟合。我们发现,一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响,其中包括一些建议的利弊使用神经网络建设,以及变分推理方法。这样的概率方法是必需的,但是,当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构,并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University(斯坦福大学)
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中,我们探讨了一种技术,使用相关的,但更有代表性的样本,以减少估计方差。具体来说,我们将展示如何生成对偶样本,匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合,我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM(欧洲通信学院)
过度参数化的模型,如DeepNets和ConvNets,形成了一类在各种应用中常规采用的模型,并且贝叶斯推断是可取的,但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具,并且在近似上具有一定程度的灵活性,但是对于过参数化模型,由于变分目标的过度正则化属性,这是具有挑战性的。受核方法的文献,特别是随机矩阵分布的结构化近似的启发,本文提出了Walsh-Hadamard变分推断(WHVI),它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算,从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明,WHVI产生相当大的加速比和模型减少相比,其他技术进行近似推理过参数化模型,并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Variational Inference using Implicit Distributions
Twitter(推特)
生成对抗网络(GANs)为我们提供了一个很好的工具,可以将隐式生成模型拟合到数据中。隐式分布是我们可以很容易地从中采样的分布,并且可以对样本对模型参数求导。这些模型是高度表达,我们认为他们可以证明是一样有用的变分推断(VI),因为他们是生成建模。有几篇论文提出了类似GAN的推理算法,然而,与VI理论的联系并不总是很好理解。本文对现有算法进行了统一的回顾,这些算法在变分自编码器、逆向学习推理、算子VI、基于GAN的图像重建等之间建立了联系。其次,本文提供了一个框架,用于建立新的算法:根据变分界的方式表示,我们引入先验对比和联合对比的方法,并显示实际的推理算法的基础上,无论是密度比估计或去噪。
2017-02-27 cs.LG stat.ML
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover(汉诺威莱布尼茨大学)
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中,对模型的不确定性进行重新校正。期望不确定度校准误差(UCE)被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明,通过UCE,logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
Variational Inference via Transformations on Distributions
IIT Kanpur(坎普尔印度理工学院)
变分推断方法通常只关注模型的有效优化问题,而很少关注近似后验的选择。在本文中,我们回顾和实现的各种方法,使我们能够开发一个丰富的家庭的近似后验。我们表明,一个特定的方法,采用变换的分布结果在发展非常丰富和复杂的后验近似。我们分析其性能的MNIST数据集上实现与变分自动编码器,并证明其有效性,学习更好的后验分布。
2017-07-09 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University(哥伦比亚大学);Adobe Research(Adobe研究院);Adobe Systems Incorporated(奥多比系统公司)
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解(NMF)模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同,具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束,恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明,该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Amortized Variational Inference for Simple Hierarchical Models
在分层模型中,由于局部潜变量的数量与数据集成比例,因此难以使用具有变分推理的子采样。因此,分层模型中的推理在大规模上仍然是一个挑战。使用具有与后验结构匹配的变分族是有帮助的,但是由于大量的局部分布,优化仍然是缓慢的。相反,本文提出了一个摊销的方法,共享参数同时代表所有的本地分布。这种方法与使用给定的联合分布(例如,满秩高斯),但在大几个数量级的数据集上是可行的。它也比使用结构化变分分布快得多。
2021-11-04 cs.LG stat.ML
Black-box Coreset Variational Inference
Amazon(亚马逊);Meta;Insitro
核心集方法的最新进展表明,选择有代表性的数据点可以取代大量的数据进行贝叶斯推断,保留相关的统计信息,并显着加快后续的下游任务。现有的变分coreset的建设依赖于要么选择子集的观察到的数据点,或共同执行近似推理和优化伪数据在观察到的空间类似于高斯过程中的诱导点的方法。到目前为止,这两种方法是有限的,在评估其目标的通用模型的复杂性,并需要在整个推理和测试过程中生成一个典型的棘手的后验样本的核心集。在这项工作中,我们提出了一个黑箱的变分推断框架coresets,克服了这些限制,使原则上的应用变分coresets棘手的模型,如贝叶斯神经网络。我们将我们的技术应用于监督学习问题,并将其与文献中现有的数据汇总和推理方法进行比较。
2023-01-15 cs.LG stat.ML
Enhanced Variational Inference with Dyadic Transformation
Xylem Inc.(赛莱默公司);The University of Chicago(芝加哥大学)
变分自编码器是一个强大的具有变分推理的深度生成模型。在VAE的原始公式中,将潜在变量建模为具有对角协方差矩阵的正态分布的做法限制了匹配真实后验分布的灵活性。我们提出了一种新的变换,并元变换(DT),可以模拟多元正态分布。DT是一种单级变换,计算要求低。我们在MNIST数据集上的经验表明,DT增强了后验灵活性,并与其他VAE增强相比获得了有竞争力的结果。
2019-03-08 cs.LG stat.ML
Quantized Variational Inference
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎-萨克雷高等师范学校);SNCF(法国国家铁路公司);ITNOVEM
我们提出了量化变分推断,一个新的算法的证据下限最大化。我们展示了如何最佳Voronoi Tesskind产生方差自由梯度ELBO优化的成本引入渐近衰减的偏见。随后,我们提出了一个Richardson外推型方法来提高渐近界。我们表明,使用量化的变分推断框架导致快速收敛的得分函数和重新参数化的梯度估计在一个可比的计算成本。最后,我们提出了几个实验来评估我们的方法的性能及其局限性。
2020-11-04 cs.LG stat.ML
Automatic structured variational inference
Radboud University(拉德堡德大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Google Research(谷歌研究院)
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而,变分方法的性能取决于一个合适的变分家庭的选择。在这里,我们介绍了自动结构化变分推断(ASVI),一个全自动的方法构造结构化变分家庭,共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递,因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度,因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现,ASVI提供了一个明显的改善性能相比,其他流行的方法,如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam(阿姆斯特丹大学)
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断,在信任域内重用模型评估以降低计算成本,在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Structured Variational Inference for Coupled Gaussian Processes
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院)
稀疏变分近似允许在高斯过程(GP)模型中进行有原则的和可扩展的推断。在多个GP是生成模型的一部分的设置中,这些GP是后验耦合的。对于许多应用,例如回归,其中预测精度是感兴趣的量,这种耦合并不重要。然而,如果人们对后验不确定性感兴趣,它就不能被忽略。变分推断方案的一个关键要素是近似后验参数化的选择。当隐变量数目较大时,均值场方法提供了快速准确的后验均值,而结构化后验均值导致推理算法的计算复杂度更高。在这里,我们扩展了以前的稀疏GP近似,并提出了一种新的参数化的变分后验在多GP设置允许快速和可扩展的推理捕获后验依赖。
2017-11-29 cs.LG stat.ML
Meta-Learning Divergences of Variational Inference
Cornell University(康奈尔大学);Imperial College London(帝国理工学院);Microsoft Research(微软研究院)
变分推理(VI)由于其计算效率和广泛的适用性,在近似贝叶斯推理中起着至关重要的作用。VI的性能的关键是选择相关的分歧措施,因为VI通过最小化这种分歧来近似棘手的分布。在本文中,我们提出了一个元学习算法来学习适合于感兴趣的任务的发散度量,自动化的VI方法的设计。此外,当我们的方法部署在少样本学习场景中时,我们学习变分参数的初始化而不需要额外的成本。我们证明了我们的方法优于标准VI的高斯混合分布近似,贝叶斯神经网络回归,图像生成与变分自编码器和推荐系统与部分变分自编码器。
2021-06-22 cs.LG stat.ML
Censor Dependent Variational Inference
Purdue University(普渡大学)
本文提出依赖删失机制的变分推断(CDVI)及可扩展的CD-CVAE模型,解决了生存分析中变分分布设计不当的问题,显著提升了个体生存分布估计效果。
2025-06-03 cs.LG stat.ML
SoftCVI: Contrastive variational inference with self-generated soft labels
School of Mathematics, Bristol University, UK(数学系,布里斯托尔大学)
SoftCVI通过对比估计框架将变分分布参数化为分类器,利用未归一化后验生成软标签进行训练,无需正负样本,在多种贝叶斯推断任务中实现了稳定且覆盖质量的推断性能。
2025-05-04 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC,提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展,结合变分方法与序贯蒙特卡罗采样,我们证明了执行完整的贝叶斯推断的静态参数,而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理,在多变量随机波动模型和自激点过程模型,允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Alpha-Beta Divergence For Variational Inference
University College of London(伦敦大学学院)
本文介绍了一种变分近似框架,使用被称为{ \it尺度不变的α-β发散}(sAB发散)的直接优化。这个新的目标包括大多数变分目标,使用Kullback-Leibler,R{é}nyi或伽马发散。它还提供了访问以前从未利用的目标函数的上下文中的变分推断。这是通过两个易于解释的控制参数来实现的,这允许在发散空间上进行平滑插值,同时权衡目标分布的质量覆盖和对数据中离群值的鲁棒性等属性。此外,sAB变分目标可以直接优化,通过重新利用现有的蒙特卡罗计算复杂的变分目标的方法,导致的分歧,而不是变分下界的估计。我们展示了贝叶斯模型回归问题的这个目标的优势。
2018-05-20 cs.LG stat.ML
Nonparametric variational inference
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
变分方法被广泛用于近似后验推理。然而,它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制,我们提出了一个家庭的变分近似的启发,非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化,以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式,这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型,标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
Particle-based Energetic Variational Inference
Department of Applied Mathematics, Illinois Institute of Technology, IL, USA(应用数学系,伊利诺伊理工学院,伊利诺伊州,美国)
本文提出能量变分推断框架,通过能量耗散定律最小化变分目标函数,推导出多种粒子变分推断方法,并提出新的粒子方案提升近似密度的变分结构和KL散度性能。
2021-03-23 cs.LG stat.ML
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto(多伦多大学)
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说,我们删除了一部分的总导数相对于变分参数,对应于得分函数。去除这一项会产生一个无偏的梯度估计,其方差接近零,因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为,并将其推广到更复杂的变分分布,如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
Automatic variational inference with cascading flows
Donders Centre for Cognition, Radboud University(拉德堡德大学唐德斯认知中心);One Planet(一个星球(研究机构))
概率推理的自动化是机器学习的主要目标之一。最近,变分推断和深度学习的融合产生了强大而灵活的自动推理方法,可以通过随机梯度下降进行训练。特别是,归一化流是高度参数化的深度模型,可以拟合任意复杂的后验密度。然而,规范化流在高度结构化的概率程序中很难实现,因为它们需要重新学习程序的前向传递。自动结构化变分推断(ASVI)通过构造嵌入前向传递的变分程序来解决这个问题。在这里,我们结合规范化流的灵活性和事先嵌入属性的ASVI在一个新的家庭变分方案,我们命名为级联流。级联流程序在先前程序的条件分布之间插入一个新设计的高速公路流架构,以便将其转向观察到的数据。这些程序可以从输入的概率程序自动构造,也可以自动摊销。我们在一系列的结构化推理问题的新变分方案的性能进行评估。我们发现,级联流有更高的性能比规范化流程和ASVI在一个大的结构化推理问题。
2021-02-09 cs.LG stat.ML
Moment-Based Variational Inference for Stochastic Differential Equations
Technische Universität Darmstadt(达姆施塔特工业大学)
现有的扩散过程的确定性变分推理方法使用简单的建议和目标后验的边缘密度。我们将变分过程构造为先验过程的受控版本,并通过一组矩函数来逼近后验过程。结合矩封闭,平滑问题减少到一个确定性的最优控制问题。利用路径的Fisher信息,我们提出了一个优化过程,对应于一个自然的梯度下降的变参数。我们的方法允许更丰富的变分近似,扩展到状态相关的扩散项。经典高斯过程近似作为一种特殊情况恢复。
2021-03-01 cs.LG stat.ML
MaxEntropy Pursuit Variational Inference
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);National Research University Higher School of Economics(国立研究型高等经济学院);Samsung AI Center(三星人工智能中心)
变分推理的核心问题之一是近似后验分布的选择。这是至关重要的,以简单的家庭作为平均场模型的有效推理和推理的准确性之间的权衡。我们提出了一个变量的贪婪近似的后验分布与易处理的基础学习。利用最大熵方法,我们得到了一个定义良好的优化问题。我们证明了该方法通过神经网络的持续学习设置来捕获复杂的多模态后验的能力。
2019-05-20 cs.LG stat.ML
Variational Inference for Gaussian Process Models with Linear Complexity
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics Intelligent Machines(机器人与智能机器研究所)
大规模高斯过程推理长期以来一直面临着实际的挑战,由于时间和空间的复杂性,是超线性的数据集大小。虽然稀疏变分高斯过程模型能够从大规模数据中学习,但用于稀疏化模型的标准策略可以防止复杂函数的近似。在这项工作中,我们提出了一种新的变分高斯过程模型,在再生核希尔伯特空间中的平均值和协方差函数的表示。我们表明,这种新的参数化推广以前的模型。此外,它产生了一个变分推断问题,可以解决的随机梯度上升的时间和空间的复杂性,只有线性的平均函数参数的数量,无论选择的内核,似然,和诱导点。这种策略使得采用大规模的表达高斯过程模型成为可能。我们在回归任务上运行了几个实验,结果表明这种解耦方法大大优于以前的稀疏变分高斯过程推理程序。
2018-01-22 cs.LG stat.ML
Recursive Inference for Variational Autoencoders
Samsung AI Center(三星人工智能中心);Rutgers University(罗格斯大学)
传统的变分自编码器(VAE)的推理网络通常被摊销,导致与实例变分优化相比相对不准确的后验近似。最近提出的半摊销的方法来解决这个缺点,但是,他们的迭代梯度更新程序可以计算要求。为了解决这些问题,在本文中,我们介绍了一个准确的摊销推理算法。我们提出了一种新的递归混合估计算法的VAE,迭代增加当前的混合与新的组件,以最大限度地减少变分和真正的后验之间的分歧。使用函数梯度方法,我们设计了一个直观的学习标准来选择一个新的混合成分:新的成分必须提高数据的似然性(下限),同时,尽可能地偏离当前的混合分布,从而增加代表性的多样性。与最近提出的提升变分推理(BVI)相比,我们的方法依赖于摊销推理,而不是BVI的非摊销单一优化实例。我们的方法的一个关键好处是,在测试时的推理需要一个单一的前馈通过混合推理网络,使其显着快于半摊销的方法。我们表明,我们的方法产生更高的测试数据的可能性比国家的最先进的几个基准数据集。
2020-11-17 cs.LG stat.ML
Stochastic Variational Inference via Upper Bound
Kuang-Chi Institute of Advanced Technology(光启高等理工研究院);ZenRhyme Consulting Services(ZenRhyme咨询服务公司)
随机变分推理(SVI)在贝叶斯深度学习中起着关键作用。最近,各种分歧已被提出来设计变分推理的替代损失。我们提出了一个简单的上限的证据作为替代损失。该证据上限(EUBO)等于对数边际似然加上后验和建议之间的KL-分歧。我们表明,建议的EUBO是紧比以前的上限引入$χ$ -发散或$α$ -发散。为了便于可扩展的推理,我们提出了数值近似的梯度的EUBO和应用SGD算法迭代优化变分参数。贝叶斯逻辑回归的模拟研究表明,上界和下界很好地夹在证据和建议的上限是有利的紧。对于贝叶斯神经网络,所提出的EUBO-VI算法优于国家的最先进的各种例子的结果。
2019-12-02 cs.LG stat.ML
The Thermodynamic Variational Objective
University of British Columbia(不列颠哥伦比亚大学);MIT(麻省理工学院)
我们引入了热力学变分目标(TVO),用于连续和离散深度生成模型的学习。TVO产生于变分推理和热力学积分之间的关键连接,其导致比标准变分变分证据下限(ELBO)更严格的对数边际似然下限,同时保持广泛适用。我们提供了一个计算效率的梯度估计的TVO,适用于连续的,离散的,和非reparameterizable分布,并表明变分推理,变分自编码器,唤醒睡眠和推理编译中使用的目标函数都是特殊情况下的TVO。我们使用TVO来学习离散和连续的深度生成模型,并以经验证明最先进的模型和推理网络学习。
2021-04-07 cs.LG stat.ML
Sequential Function-Space Variational Inference via Gaussian Mixture Approximation
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出基于高斯混合变分分布的序列函数空间变分推断方法,以更好地近似神经网络多模态后验,实验表明其在持续学习最终平均准确率上优于其他序列变分推断方法。
2025-05-27 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发,我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此,我们将这种变分推理技术应用于香草策略梯度,TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
A Tutorial on Parametric Variational Inference
Uppsala University(乌普萨拉大学)
在贝叶斯模型中,变分推断使用优化而不是积分来近似边缘似然,从而近似后验。由于过去十年在计算可扩展性方面取得的进展,变分推断现在是许多高维模型和大型数据集的首选。本教程介绍了变分推断从参数的角度来看,占主导地位的这些最近的发展,在其他介绍性文本中常见的平均场的角度。
2023-01-03 cs.LG stat.ME stat.ML