Quantum Annealing for Variational Bayes Inference
Google（谷歌）；University of Tokyo（东京大学）
研究了一种基于量子退火的变分贝叶斯（QAVB）推理的确定性退火算法，该算法可以看作是变分贝叶斯模拟退火（SAVB）推理的扩展. QAVB和SAVB一样容易实现。实验结果表明，QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配（LDA）。
2014-08-09 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反，提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中，我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗，解决问题的概念，局部曲率，并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度，并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的，因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型，由iid（伯努利）随机变量的混合物。该算法采用大规模混杂系统的概率关系模型，并将其转换为一个接近最优的变分模型。然后，它有效地计算边际概率的变分模型，通过使用潜在的（或提升）变量消除或提升随机抽样。这种推理是独特的，因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Unbiased Implicit Variational Inference
Athens University of Economics and Business（雅典经济与商业大学）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
我们开发了无偏隐式变分推断（UIVI），一种方法，通过定义一个表达变分家庭，扩大了适用性的变分推断。UIVI考虑使用简单的可重新参数化分布以分层方式获得的隐式变分分布，该分布的变分参数由任意灵活的深度神经网络定义。与以前的作品，UIVI直接优化的证据下限（ELBO），而不是近似的ELBO。我们证明了UIVI上的几个模型，包括贝叶斯多项式逻辑斯谛回归和变分自编码器，并表明，UIVI实现了更紧密的ELBO和更好的预测性能比现有的方法在一个类似的计算成本。
2019-02-06 cs.LG stat.ML
Improving Explorability in Variational Inference with Annealed Variational Objectives
University of Montreal（蒙特利尔大学）；MILA（蒙特利尔学习算法研究所）；Element AI
尽管在变分推理的近似分布的表示能力方面取得了进展，但优化过程仍然可以限制最终学习的密度。我们证明了偏置真正的后验是单峰的缺点，并引入退火变分目标（AVO）到训练的分层变分方法。受退火重要性采样的启发，所提出的方法通过将能量回火纳入优化目标来促进学习。在我们的实验中，我们证明了我们的方法的鲁棒性确定性热身，并鼓励探索潜在空间的好处。
2018-10-26 cs.LG stat.ML
Fast Variational Inference in the Conjugate Exponential Family
本文给出了共轭指数族概率模型的塌缩变分推断算法的一般推导方法。我们的方法统一了许多现有的方法崩溃变分推理。我们的崩溃变分推理导致一个新的下界的边际似然。我们利用信息几何的界限，以获得更快的优化方法的基础上共轭梯度这些模型。我们的方法是非常普遍的，很容易适用于任何模型的平均场更新方程已经推导出来。从经验上讲，我们显示了显着的速度使用我们的边界优化的概率模型。
2012-12-04 cs.LG stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Rényi Divergence Variational Inference
University of Cambridge（剑桥大学）
引入变分Rényi界（VR），将传统的变分推断推广到Rényi α-发散.这个新的变分方法的家庭统一了一些现有的方法，并使一个平滑的插值从证据下限的日志（边际）的可能性，控制的值的alpha参数化的分歧。采用重新参数化技巧、蒙特卡罗逼近和随机优化方法来获得易于处理且统一的优化框架。我们进一步考虑负α值，并提出了一种新的变分推断方法作为一个新的特殊情况下，在建议的框架。贝叶斯神经网络和变分自动编码器上的实验证明了VR界的广泛适用性。
2016-10-28 cs.LG stat.ML
Advances in Variational Inference
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）；University of California, Irvine（加州大学欧文分校）
许多现代无监督或半监督机器学习算法依赖于贝叶斯概率模型。这些模型通常是棘手的，因此需要近似推理。变分推理（VI）让我们通过解决优化问题来近似高维贝叶斯后验，具有更简单的变分分布。该方法已成功应用于各种模型和大规模应用中。在这篇评论中，我们给出了一个概述变分推理的最新趋势。本文首先介绍了标准平均场变分推理，然后重点从以下几个方面综述了近年来的研究进展：（a）可缩放VI，其包括随机近似，（b）通用VI，其将VI的适用性扩展到一大类否则难以处理的模型，例如非共轭模型，（c）精确VI，其包括超出平均场近似或具有非典型发散的变分模型，（d）摊销VI，利用推理网络实现对局部隐变量的推理。最后，我们提供了一个有前途的未来研究方向的总结。
2018-10-23 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine（加利福尼亚大学欧文分校）；University College London（伦敦大学学院）；Radboud University Nijmegen（拉德堡德大学）
变分贝叶斯推理和（塌陷）吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点：塌陷吉布斯采样是无偏的，但对于大计数值也是低效的，并且需要对许多样本进行平均以减少方差。另一方面，变分贝叶斯推理是有效的，准确的大计数值，但遭受小计数的偏见。我们提出了一种混合算法，结合了两个世界的最佳：它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI，一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中，TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI，并将其与两种替代方案进行了比较：自动微分变分推理（ADVI）和无Hessian-free随机梯度变分推理（HFSGVI）。前者是基于随机一阶优化。后者使用二阶信息，但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级，证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布，这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
A Contrastive Divergence for Combining Variational Inference and MCMC
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；DeepMind（深度思考）
我们开发了一种方法，结合马尔可夫链蒙特卡罗（MCMC）和变分推断（VI），利用这两种推理方法的优点。具体来说，我们通过运行几个MCMC步骤来改进变分分布。为了使推理易于处理，我们引入了变分对比发散（VCD），这是一种新的发散，取代了VI中使用的标准Kullback-Leibler（KL）发散。VCD捕获初始变分分布与其改进版本（在运行MCMC步骤后获得）之间的差异的概念，并且它渐近收敛于变分分布与感兴趣的后验之间的对称化库尔贝克-莱布勒散度。VCD目标可以通过随机最优化相对于变参数有效地优化。我们的实验表明，优化VCD导致更好的预测性能的两个潜变量模型：逻辑矩阵分解和变分自动编码器（VAE）。
2019-05-28 cs.LG stat.ML
Doubly Semi-Implicit Variational Inference
Samsung AI Center Moscow（三星人工智能中心莫斯科）；National Research University Higher School of Economics（国立研究型高等经济大学）
我们扩展了现有的半隐式变分推断（SIVI）的框架，并引入了双半隐式变分推断（DSIVI），一种方法来执行变分推断和学习时的近似后验和先验分布是半隐式的。换句话说，DSIVI在模型中执行推理，其中先验和后验可以表示为具有高度灵活的隐式混合分布的某些解析密度的难以处理的无限混合。我们提供了一个三明治上的证据下限（ELBO）的目标，可以任意紧。与基于鉴别器和基于核的隐式变分推断方法不同，DSIVI优化了ELBO的一个适当的下界，该下界是渐近精确的。我们评估DSIVI的一组问题，受益于隐式先验。特别是，我们表明，DSIVI引起的VampPrior，目前最先进的变分自编码器，这提高了其性能的一个简单的修改。
2019-03-16 cs.LG stat.ML
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Robust Variational Inference
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Yandex
变分推理是近似推理的有力工具。然而，它主要集中在证据下界作为变分目标和其他措施的发展变分推理是一个有前途的研究领域。本文提出了一种鲁棒的证据修正和证据下限，这是适用于大多数的训练集样本是随机噪声对象。我们提供的实验变分自编码器显示的优势，通过添加无信息的噪声对象MNIST和OMNIGLOT合成数据集的证据下限的目标。此外，对于原始MNIST和OMNIGLOT数据集，我们观察到非鲁棒证据下限有小幅改善。
2016-11-28 cs.LG stat.ML
Note on the bias and variance of variational inference
Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
本文研究了变分间隙与似然比方差的关系。我们表明，差距可以通过某种形式的分散措施的似然比，这表明变分推断的偏差可以减少通过使分布的似然比更集中，如通过平均和方差减少的上限。
2019-06-09 cs.LG stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics（伦敦政治经济学院）；JP Morgan Chase & Co.（摩根大通公司）
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置，既不能刻画潜变量间的相关结构，又由于普遍截断，不能推断真实的后验维数。为了克服这些局限性，我们提出了条件和自适应截断变分推断方法（CATVI），通过最大化的非参数证据下限，并集成蒙特卡罗到变分推断框架。与传统方法相比，CATVI具有几个优点，包括变分后验和真后验之间的偏差较小，欠拟合或过拟合的风险降低，以及预测精度提高。在三个大型数据集上的实证研究表明，CATVI应用于贝叶斯非参数主题模型大大优于竞争模型，提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Vprop: Variational Inference using RMSprop
RIKEN（理化学研究所）；SUTD（新加坡科技设计大学）；University of Oxford（牛津大学）
贝叶斯深度学习的许多计算效率高的方法依赖于连续优化算法，但这些方法的实现需要对现有代码库进行重大更改。在本文中，我们提出了Vprop，高斯变分推断，可以实现两个小的变化，现成的RMSprop优化方法。Vprop还将黑盒变分推断的内存需求减少了一半。我们推导出Vprop使用共轭计算变分推断方法，并建立其连接到牛顿的方法，自然梯度法，和扩展卡尔曼滤波器。总的来说，本文将Vprop作为贝叶斯深度学习的一种原则性，计算效率高且易于实现的方法。
2017-12-04 cs.LG stat.ML
Mixed Variational Inference
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
拉普拉斯近似一直是贝叶斯推断的主要工具之一。它通常在实践中提供良好的近似，尽管它没有严格考虑后验密度的体积。变分方法通过显式地最小化假设后验和真实（未归一化）对数后验之间的库尔贝克-莱布勒散度DKL来避免这个问题。然而，他们依赖于一个封闭的形式DKL，以更新变分参数。为了解决这个问题，已经设计了随机版本的变分推断，其用蒙特卡罗平均值来近似难处理的DKL。这种近似允许计算相对于变分参数的梯度。然而，变分方法往往假设一个因式高斯近似后验。这样做，他们牺牲了后验相关性。在这项工作中，我们提出了一种方法，结合了变分方法的拉普拉斯近似。的优点是，我们保持：非共轭模型的适用性，后验相关性和自由变分参数的数量减少。数值实验表明，改进的拉普拉斯近似和变分推断与因式高斯后验。
2022-02-28 cs.LG stat.ML
Variational Inference: A Unified Framework of Generative Models and Some Revelations
Sun Yat-sen University（中山大学）
我们从一个新的角度重新解释了变分推理。通过这种方法，我们可以很容易地证明EM算法、VAE、GAN、AAE、ALI（BiGAN）都是变分推理的特例。证明也揭示了标准GAN的损失是不完整的，这解释了为什么我们需要谨慎地训练GAN。在此基础上，我们提出了一种正则化项来提高GAN训练的稳定性。
2018-07-20 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs（高盛集团）
我们考虑了神经网络矩阵因子分解的概率模拟（Dziugaite & Roy，2015），我们用贝叶斯神经网络构建，并用变分推断拟合。我们发现，一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响，其中包括一些建议的利弊使用神经网络建设，以及变分推理方法。这样的概率方法是必需的，但是，当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构，并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
A Tutorial on Parametric Variational Inference
Uppsala University（乌普萨拉大学）
在贝叶斯模型中，变分推断使用优化而不是积分来近似边缘似然，从而近似后验。由于过去十年在计算可扩展性方面取得的进展，变分推断现在是许多高维模型和大型数据集的首选。本教程介绍了变分推断从参数的角度来看，占主导地位的这些最近的发展，在其他介绍性文本中常见的平均场的角度。
2023-01-03 cs.LG stat.ME stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Variational Inference using Implicit Distributions
Twitter（推特）
生成对抗网络（GANs）为我们提供了一个很好的工具，可以将隐式生成模型拟合到数据中。隐式分布是我们可以很容易地从中采样的分布，并且可以对样本对模型参数求导。这些模型是高度表达，我们认为他们可以证明是一样有用的变分推断（VI），因为他们是生成建模。有几篇论文提出了类似GAN的推理算法，然而，与VI理论的联系并不总是很好理解。本文对现有算法进行了统一的回顾，这些算法在变分自编码器、逆向学习推理、算子VI、基于GAN的图像重建等之间建立了联系。其次，本文提供了一个框架，用于建立新的算法：根据变分界的方式表示，我们引入先验对比和联合对比的方法，并显示实际的推理算法的基础上，无论是密度比估计或去噪。
2017-02-27 cs.LG stat.ML
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中，对模型的不确定性进行重新校正。期望不确定度校准误差（UCE）被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明，通过UCE，logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
Variational Inference via Transformations on Distributions
IIT Kanpur（坎普尔印度理工学院）
变分推断方法通常只关注模型的有效优化问题，而很少关注近似后验的选择。在本文中，我们回顾和实现的各种方法，使我们能够开发一个丰富的家庭的近似后验。我们表明，一个特定的方法，采用变换的分布结果在发展非常丰富和复杂的后验近似。我们分析其性能的MNIST数据集上实现与变分自动编码器，并证明其有效性，学习更好的后验分布。
2017-07-09 cs.LG stat.ML
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University（明治大学）；Chuo University（中央大学）
变分推断（VI）结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗（SMC）及其变体上，例如，前向滤波后向模拟（FFBSi）。虽然这些研究取得了成功，严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中，我们提出了Ensemble卡尔曼变分目标（EnKO），VI和集合卡尔曼滤波（EnKF）的混合方法，推断状态空间模型（SSM）。我们提出的方法可以有效地识别潜在的动态，因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Amortized Variational Inference for Simple Hierarchical Models
在分层模型中，由于局部潜变量的数量与数据集成比例，因此难以使用具有变分推理的子采样。因此，分层模型中的推理在大规模上仍然是一个挑战。使用具有与后验结构匹配的变分族是有帮助的，但是由于大量的局部分布，优化仍然是缓慢的。相反，本文提出了一个摊销的方法，共享参数同时代表所有的本地分布。这种方法与使用给定的联合分布（例如，满秩高斯），但在大几个数量级的数据集上是可行的。它也比使用结构化变分分布快得多。
2021-11-04 cs.LG stat.ML
Variational Inference for GARCH-family Models
Aarhus University（奥胡斯大学）
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状，探讨变分推断的替代可行性，经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Enhanced Variational Inference with Dyadic Transformation
Xylem Inc.（赛莱默公司）；The University of Chicago（芝加哥大学）
变分自编码器是一个强大的具有变分推理的深度生成模型。在VAE的原始公式中，将潜在变量建模为具有对角协方差矩阵的正态分布的做法限制了匹配真实后验分布的灵活性。我们提出了一种新的变换，并元变换（DT），可以模拟多元正态分布。DT是一种单级变换，计算要求低。我们在MNIST数据集上的经验表明，DT增强了后验灵活性，并与其他VAE增强相比获得了有竞争力的结果。
2019-03-08 cs.LG stat.ML
Quantized Variational Inference
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎-萨克雷高等师范学校）；SNCF（法国国家铁路公司）；ITNOVEM
我们提出了量化变分推断，一个新的算法的证据下限最大化。我们展示了如何最佳Voronoi Tesskind产生方差自由梯度ELBO优化的成本引入渐近衰减的偏见。随后，我们提出了一个Richardson外推型方法来提高渐近界。我们表明，使用量化的变分推断框架导致快速收敛的得分函数和重新参数化的梯度估计在一个可比的计算成本。最后，我们提出了几个实验来评估我们的方法的性能及其局限性。
2020-11-04 cs.LG stat.ML
Automatic structured variational inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Google Research（谷歌研究院）
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而，变分方法的性能取决于一个合适的变分家庭的选择。在这里，我们介绍了自动结构化变分推断（ASVI），一个全自动的方法构造结构化变分家庭，共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递，因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度，因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现，ASVI提供了一个明显的改善性能相比，其他流行的方法，如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam（阿姆斯特丹大学）
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断，在信任域内重用模型评估以降低计算成本，在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Meta-Learning Divergences of Variational Inference
Cornell University（康奈尔大学）；Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）
变分推理（VI）由于其计算效率和广泛的适用性，在近似贝叶斯推理中起着至关重要的作用。VI的性能的关键是选择相关的分歧措施，因为VI通过最小化这种分歧来近似棘手的分布。在本文中，我们提出了一个元学习算法来学习适合于感兴趣的任务的发散度量，自动化的VI方法的设计。此外，当我们的方法部署在少样本学习场景中时，我们学习变分参数的初始化而不需要额外的成本。我们证明了我们的方法优于标准VI的高斯混合分布近似，贝叶斯神经网络回归，图像生成与变分自编码器和推荐系统与部分变分自编码器。
2021-06-22 cs.LG stat.ML
Censor Dependent Variational Inference
Purdue University（普渡大学）
本文提出依赖删失机制的变分推断（CDVI）及可扩展的CD-CVAE模型，解决了生存分析中变分分布设计不当的问题，显著提升了个体生存分布估计效果。
2025-06-03 cs.LG stat.ML
SoftCVI: Contrastive variational inference with self-generated soft labels
School of Mathematics, Bristol University, UK（数学系，布里斯托尔大学）
SoftCVI通过对比估计框架将变分分布参数化为分类器，利用未归一化后验生成软标签进行训练，无需正负样本，在多种贝叶斯推断任务中实现了稳定且覆盖质量的推断性能。
2025-05-04 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Alpha-Beta Divergence For Variational Inference
University College of London（伦敦大学学院）
本文介绍了一种变分近似框架，使用被称为{ \it尺度不变的α-β发散}（sAB发散）的直接优化。这个新的目标包括大多数变分目标，使用Kullback-Leibler，R{é}nyi或伽马发散。它还提供了访问以前从未利用的目标函数的上下文中的变分推断。这是通过两个易于解释的控制参数来实现的，这允许在发散空间上进行平滑插值，同时权衡目标分布的质量覆盖和对数据中离群值的鲁棒性等属性。此外，sAB变分目标可以直接优化，通过重新利用现有的蒙特卡罗计算复杂的变分目标的方法，导致的分歧，而不是变分下界的估计。我们展示了贝叶斯模型回归问题的这个目标的优势。
2018-05-20 cs.LG stat.ML
Nonparametric variational inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
变分方法被广泛用于近似后验推理。然而，它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制，我们提出了一个家庭的变分近似的启发，非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化，以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式，这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型，标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
Incremental Variational Inference for Latent Dirichlet Allocation
引入增量变分推断并将其应用于隐狄利克雷分配问题。增量变分推断的灵感来自增量EM，并提供了一种替代随机变分推断。增量LDA可以处理大量的文档集合，不需要设置学习率，收敛到局部最优的变分界更快，并享有单调增加它的吸引人的属性。我们进一步介绍了一个随机逼近的增量变分推断扩展到异步分布式设置。由此产生的分布式算法实现单主机增量变分推断的性能相当，但具有显着的速度。
2015-07-22 stat.ML
Automatic Variational Inference in Stan
变分推断是一种可扩展的近似贝叶斯推断技术。推导变分推断算法需要繁琐的特定于模型的计算;这使得它难以自动化。提出了一种自动变分推断算法--自动微分变分推断（ADVI）。用户只提供了一个贝叶斯模型和一个数据集;没有别的。我们不做共轭假设，并支持广泛的一类模型。该算法自动确定一个合适的变分家庭和优化的变分目标。我们在Stan中实现了ADVI（代码现已可用），这是一个概率编程框架。我们比较ADVI MCMC抽样分层广义线性模型，非共轭矩阵分解，和混合模型。我们用25万张图片训练混合模型。有了ADVI，我们可以在Stan中编写的任何模型上使用变分推断。
2015-06-12 stat.ML
Denoising Diffusion Variational Inference: Diffusion Models as Expressive Variational Posteriors
本文提出DDVI，一种基于扩散模型的黑盒变分推断算法，通过迭代优化潜在空间后验，提升深度潜在变量模型的推理与学习性能。
2026-10-24 cs.LG q-bio.QM stat.ML
Automated Variational Inference in Probabilistic Programming
基于变分规划的随机梯度，提出了概率规划近似推理的一种新算法。这种方法是有效的，没有限制的概率程序，它是特别实用的分布，这是不容易分析，包括高度结构化的分布，出现在概率程序。我们展示了如何自动推导平均场概率程序并对其进行优化，并证明了我们的观点比其他算法提高了推理效率。
2013-01-07 cs.AI cs.LG stat.ML
Semi-Amortized Variational Autoencoders
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
摊销变分推断（AVI）用全局推理网络代替特定于实例的局部推理。虽然AVI已经实现了深度生成模型（如变分自编码器（VAE））的有效训练，但最近的经验研究表明，推理网络可能会产生次优的变分参数。我们提出了一种混合的方法，使用AVI初始化变分参数和运行随机变分推断（SVI）来完善它们。最重要的是，局部SVI过程本身是可微的，因此推理网络和生成模型可以通过基于梯度的优化进行端到端的训练。这种半摊销方法可以使用丰富的生成模型，而不会遇到在训练VAE时常见的后崩溃现象，例如文本生成。实验表明，该方法在标准文本和图像数据集上的性能优于强自回归和变分基线。
2018-07-23 cs.CL cs.LG stat.ML
Kernel Implicit Variational Inference
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
变分推断的最新进展十分关注变分后验的灵活性。一个有希望的方向是使用隐式分布，即，分布没有易处理的密度作为变分后验。然而，现有的隐式后验方法仍然面临着噪声估计和计算不可行的挑战时，应用于高维潜变量模型。在本文中，我们提出了一种新的方法命名为核隐式变分推断，以解决这些挑战。据我们所知，第一次隐式变分推断成功地应用到贝叶斯神经网络，这表明在回归和分类任务有希望的结果。
2018-02-23 cs.AI cs.LG cs.NE
Proximity Variational Inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
变分推断是一种强有力的近似后验推理方法。然而，它对初始化很敏感，并且可能会受到局部最优解的影响。在本文中，我们开发了邻近变分推断（PVI）。PVI是一种新的优化变分目标的方法，它通过约束变分参数的后续迭代来增强优化路径的鲁棒性，因此PVI对初始化和优化异常不敏感，并能找到更好的局部最优解。我们证明了我们的方法对三个邻近统计。我们研究了Bernoulli因子模型和sigmoid信念网络上的PVI，其中包含真实数据和合成数据，并与确定性退火进行比较（Katahira等人，2008年）。我们通过为贝叶斯深度学习模型（如变分自动编码器）设计接近度统计量来突出PVI的灵活性（Kingma和Welling，2014; Rezelman等人，2014年）。经验上，我们表明，PVI始终找到更好的局部最优，并提供更好的预测性能。
2017-05-24 cs.LG stat.CO stat.ML
Two Methods For Wild Variational Inference
变分推断为复杂结构化模型的近似概率推理提供了一个强大的工具。然而，典型的变分推断方法需要使用具有计算上易处理的概率密度函数的推理网络。这在很大程度上限制了变分推理方法的设计和实现。我们考虑野生变分推断方法，不需要听话的密度函数的推理网络，因此可以应用于更具有挑战性的情况下。作为一个应用实例，我们将随机梯度Langevin动力学（SGLD）作为一个推理网络，并使用我们的方法自动调整SGLD的步长，与手工设计的步长方案相比，得到了显着的改进
2017-10-30 stat.ML
Neural Variational Inference for Text Processing
University of Oxford（牛津大学）；Google Deepmind（谷歌DeepMind）
神经变分推理的最新进展催生了深层潜变量模型的复兴。在本文中，我们介绍了一个通用的变分推理框架的生成和条件模型的文本。虽然传统的变分方法推导出一个解析近似的棘手的分布在潜在的变量，在这里，我们构建了一个推理网络的条件下的离散文本输入，以提供变分分布。我们验证这个框架上的两个非常不同的文本建模应用程序，生成文档建模和监督问答。我们的神经变分文档模型结合了连续的随机文档表示与词袋生成模型，并在两个标准测试语料库上实现了最低的困惑。神经答案选择模型采用注意力机制内的随机表示层来提取问题和答案对之间的语义。在两个问答基准测试中，该模型超过了所有以前发布的基准测试。
2016-06-04 cs.CL cs.LG stat.ML
Boosting Variational Inference: an Optimization Perspective
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；UT Austin（得克萨斯大学奥斯汀分校）
变分推理是一种流行的技术，以近似一个可能难以处理的贝叶斯后验更容易处理。最近，提升变分推理已被提出作为一种新的范例，通过向混合物中添加分量来近似混合密度的后验。然而，与许多其他变分推理算法一样，它的理论性质尚未得到研究。在目前的工作中，我们研究了这种方法的收敛性，从现代优化的观点，通过建立连接到经典的弗兰克-沃尔夫算法。我们的分析产生了新的理论见解的充分条件收敛，明确的速度，算法简化。由于变分推理在以前的作品中有很多重点是在易处理性上，我们的工作是特别重要的，因为我们迫切需要尝试弥合概率模型及其相应的理论性质之间的差距。
2018-03-07 cs.AI cs.LG stat.ML
Stochastic Collapsed Variational Inference for Sequential Data
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。本文提出了一种序列数据下的随机折叠变分推断算法。我们的算法适用于有限隐马尔可夫模型和层次Dirichlet过程隐马尔可夫模型，并在指数族的排放分布所产生的任何数据集。我们在两个离散数据集上的实验结果表明，我们的推理是更有效的，更准确的比它的非折叠版本，随机变分推断。
2015-12-05 stat.ML
