Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Copula variational inference
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
我们开发了一个通用的变分推断方法，保留了潜在变量之间的依赖关系。我们的方法使用Copula来增加平均场和结构近似中使用的分布族。Copulas模型的依赖性，没有被捕获的原始变分分布，因此，增强变分家庭保证更好的近似后验。利用随机最优化，对增广分布的推断是可扩展的。此外，我们的策略是通用的：它可以适用于任何推理过程，目前使用的平均场或结构化的方法。Copula变分推断具有许多优点：它减少了偏差;它对局部最优值不太敏感;它对超参数不太敏感;它有助于表征和解释潜在变量之间的依赖关系。
2015-10-31 cs.LG stat.CO stat.ME
Semi-Implicit Variational Inference
引入半隐式变分推断（SIVI），通过将变分参数与柔性分布混合，扩展了常用的解析变分分布族。这种混合分布可以假设任何密度函数，显式或非显式，只要独立的随机样本可以通过重新参数化生成。SIVI不仅扩大了变分家庭，将高度灵活的变分分布，包括隐式的，没有解析密度函数，但也三明治的证据下限（ELBO）之间的下限和上限，并进一步推导出一个渐近精确的代理ELBO是服从通过随机梯度上升优化。与一个大大扩展的变分家庭和一种新的优化算法，SIVI显示出密切配合的准确性MCMC推断后，在各种贝叶斯推断任务。
2018-05-28 cs.LG stat.CO stat.ME
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗（MCMC）和变分推理。MCMC如果运行足够长的时间，则趋于准确，而变分推理则趋于在较短的时间范围内给出更好的近似。然而，MCMC超过变分方法的性能所需的时间量可能相当高，从而激发了更细粒度的权衡。本文推导出一个分布变分参数，旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限，并给出了一个例子，如何从这个分布中的方式，插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理（SGVI）。
2017-06-20 cs.LG stat.ML
Quantum Annealing for Variational Bayes Inference
Google（谷歌）；University of Tokyo（东京大学）
研究了一种基于量子退火的变分贝叶斯（QAVB）推理的确定性退火算法，该算法可以看作是变分贝叶斯模拟退火（SAVB）推理的扩展. QAVB和SAVB一样容易实现。实验结果表明，QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配（LDA）。
2014-08-09 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反，提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中，我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗，解决问题的概念，局部曲率，并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度，并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Black Box Variational Inference
Princeton University（普林斯顿大学）
变分推断已成为复杂潜变量模型中后验估计的一种广泛应用的方法。然而，推导出一个变分推断算法通常需要大量的模型特定的分析，这些努力可能会阻碍和阻止我们快速开发和探索各种模型的问题。在本文中，我们提出了一个“黑箱”的变分推断算法，一个可以快速应用于许多模型，很少额外的推导。我们的方法是基于变分目标的随机最优化，其中噪声梯度是从变分分布的蒙特卡罗样本计算的。我们开发了许多方法来减少梯度的方差，始终保持我们希望避免困难的基于模型的推导的标准。我们评估我们的方法对相应的黑盒采样为基础的方法。我们发现，我们的方法比采样方法更快地达到更好的预测可能性。最后，我们证明了黑盒变分推断可以让我们轻松地探索广泛的空间模型，快速构建和评估几个模型的纵向医疗保健数据。
2013-12-31 cs.LG stat.CO stat.ME
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的，因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型，由iid（伯努利）随机变量的混合物。该算法采用大规模混杂系统的概率关系模型，并将其转换为一个接近最优的变分模型。然后，它有效地计算边际概率的变分模型，通过使用潜在的（或提升）变量消除或提升随机抽样。这种推理是独特的，因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Unbiased Implicit Variational Inference
Athens University of Economics and Business（雅典经济与商业大学）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
我们开发了无偏隐式变分推断（UIVI），一种方法，通过定义一个表达变分家庭，扩大了适用性的变分推断。UIVI考虑使用简单的可重新参数化分布以分层方式获得的隐式变分分布，该分布的变分参数由任意灵活的深度神经网络定义。与以前的作品，UIVI直接优化的证据下限（ELBO），而不是近似的ELBO。我们证明了UIVI上的几个模型，包括贝叶斯多项式逻辑斯谛回归和变分自编码器，并表明，UIVI实现了更紧密的ELBO和更好的预测性能比现有的方法在一个类似的计算成本。
2019-02-06 cs.LG stat.ML
Improving Explorability in Variational Inference with Annealed Variational Objectives
University of Montreal（蒙特利尔大学）；MILA（蒙特利尔学习算法研究所）；Element AI
尽管在变分推理的近似分布的表示能力方面取得了进展，但优化过程仍然可以限制最终学习的密度。我们证明了偏置真正的后验是单峰的缺点，并引入退火变分目标（AVO）到训练的分层变分方法。受退火重要性采样的启发，所提出的方法通过将能量回火纳入优化目标来促进学习。在我们的实验中，我们证明了我们的方法的鲁棒性确定性热身，并鼓励探索潜在空间的好处。
2018-10-26 cs.LG stat.ML
Fast Variational Inference in the Conjugate Exponential Family
本文给出了共轭指数族概率模型的塌缩变分推断算法的一般推导方法。我们的方法统一了许多现有的方法崩溃变分推理。我们的崩溃变分推理导致一个新的下界的边际似然。我们利用信息几何的界限，以获得更快的优化方法的基础上共轭梯度这些模型。我们的方法是非常普遍的，很容易适用于任何模型的平均场更新方程已经推导出来。从经验上讲，我们显示了显着的速度使用我们的边界优化的概率模型。
2012-12-04 cs.LG stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Rényi Divergence Variational Inference
University of Cambridge（剑桥大学）
引入变分Rényi界（VR），将传统的变分推断推广到Rényi α-发散.这个新的变分方法的家庭统一了一些现有的方法，并使一个平滑的插值从证据下限的日志（边际）的可能性，控制的值的alpha参数化的分歧。采用重新参数化技巧、蒙特卡罗逼近和随机优化方法来获得易于处理且统一的优化框架。我们进一步考虑负α值，并提出了一种新的变分推断方法作为一个新的特殊情况下，在建议的框架。贝叶斯神经网络和变分自动编码器上的实验证明了VR界的广泛适用性。
2016-10-28 cs.LG stat.ML
Advances in Variational Inference
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）；University of California, Irvine（加州大学欧文分校）
许多现代无监督或半监督机器学习算法依赖于贝叶斯概率模型。这些模型通常是棘手的，因此需要近似推理。变分推理（VI）让我们通过解决优化问题来近似高维贝叶斯后验，具有更简单的变分分布。该方法已成功应用于各种模型和大规模应用中。在这篇评论中，我们给出了一个概述变分推理的最新趋势。本文首先介绍了标准平均场变分推理，然后重点从以下几个方面综述了近年来的研究进展：（a）可缩放VI，其包括随机近似，（b）通用VI，其将VI的适用性扩展到一大类否则难以处理的模型，例如非共轭模型，（c）精确VI，其包括超出平均场近似或具有非典型发散的变分模型，（d）摊销VI，利用推理网络实现对局部隐变量的推理。最后，我们提供了一个有前途的未来研究方向的总结。
2018-10-23 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine（加利福尼亚大学欧文分校）；University College London（伦敦大学学院）；Radboud University Nijmegen（拉德堡德大学）
变分贝叶斯推理和（塌陷）吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点：塌陷吉布斯采样是无偏的，但对于大计数值也是低效的，并且需要对许多样本进行平均以减少方差。另一方面，变分贝叶斯推理是有效的，准确的大计数值，但遭受小计数的偏见。我们提出了一种混合算法，结合了两个世界的最佳：它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI，一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中，TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI，并将其与两种替代方案进行了比较：自动微分变分推理（ADVI）和无Hessian-free随机梯度变分推理（HFSGVI）。前者是基于随机一阶优化。后者使用二阶信息，但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级，证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布，这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
A Contrastive Divergence for Combining Variational Inference and MCMC
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；DeepMind（深度思考）
我们开发了一种方法，结合马尔可夫链蒙特卡罗（MCMC）和变分推断（VI），利用这两种推理方法的优点。具体来说，我们通过运行几个MCMC步骤来改进变分分布。为了使推理易于处理，我们引入了变分对比发散（VCD），这是一种新的发散，取代了VI中使用的标准Kullback-Leibler（KL）发散。VCD捕获初始变分分布与其改进版本（在运行MCMC步骤后获得）之间的差异的概念，并且它渐近收敛于变分分布与感兴趣的后验之间的对称化库尔贝克-莱布勒散度。VCD目标可以通过随机最优化相对于变参数有效地优化。我们的实验表明，优化VCD导致更好的预测性能的两个潜变量模型：逻辑矩阵分解和变分自动编码器（VAE）。
2019-05-28 cs.LG stat.ML
Doubly Semi-Implicit Variational Inference
Samsung AI Center Moscow（三星人工智能中心莫斯科）；National Research University Higher School of Economics（国立研究型高等经济大学）
我们扩展了现有的半隐式变分推断（SIVI）的框架，并引入了双半隐式变分推断（DSIVI），一种方法来执行变分推断和学习时的近似后验和先验分布是半隐式的。换句话说，DSIVI在模型中执行推理，其中先验和后验可以表示为具有高度灵活的隐式混合分布的某些解析密度的难以处理的无限混合。我们提供了一个三明治上的证据下限（ELBO）的目标，可以任意紧。与基于鉴别器和基于核的隐式变分推断方法不同，DSIVI优化了ELBO的一个适当的下界，该下界是渐近精确的。我们评估DSIVI的一组问题，受益于隐式先验。特别是，我们表明，DSIVI引起的VampPrior，目前最先进的变分自编码器，这提高了其性能的一个简单的修改。
2019-03-16 cs.LG stat.ML
The equivalence between Stein variational gradient descent and black-box variational inference
Stanford University（斯坦福大学）；Preferred Networks；The Institute of Statistical Mathematics（统计数理研究所）
我们形式化了两种流行的贝叶斯推理方法之间的等价性：斯坦变分梯度下降（SVGD）和黑箱变分推理（BBVI）。特别是，我们表明，BBVI正好对应于SVGD时，内核是神经切线核。此外，我们解释SVGD和BBVI内核梯度流，我们这样做，利用最近的观点，认为SVGD作为一个梯度流的概率分布的空间，并显示BBVI自然激励黎曼结构的空间。我们观察到，内核梯度流也描述了生成对抗网络（GANs）训练中发现的动态。因此，这项工作统一了变分推理和生成建模中的几种现有技术，并将内核确定为控制这些算法行为的基本对象，从而激发对其属性进行更深入的分析。
2020-04-04 cs.LG stat.ML
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Robust Variational Inference
National Research University Higher School of Economics（俄罗斯国家研究型高等经济大学）；Yandex
变分推理是近似推理的有力工具。然而，它主要集中在证据下界作为变分目标和其他措施的发展变分推理是一个有前途的研究领域。本文提出了一种鲁棒的证据修正和证据下限，这是适用于大多数的训练集样本是随机噪声对象。我们提供的实验变分自编码器显示的优势，通过添加无信息的噪声对象MNIST和OMNIGLOT合成数据集的证据下限的目标。此外，对于原始MNIST和OMNIGLOT数据集，我们观察到非鲁棒证据下限有小幅改善。
2016-11-28 cs.LG stat.ML
Note on the bias and variance of variational inference
Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
本文研究了变分间隙与似然比方差的关系。我们表明，差距可以通过某种形式的分散措施的似然比，这表明变分推断的偏差可以减少通过使分布的似然比更集中，如通过平均和方差减少的上限。
2019-06-09 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics（伦敦政治经济学院）；JP Morgan Chase & Co.（摩根大通公司）
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置，既不能刻画潜变量间的相关结构，又由于普遍截断，不能推断真实的后验维数。为了克服这些局限性，我们提出了条件和自适应截断变分推断方法（CATVI），通过最大化的非参数证据下限，并集成蒙特卡罗到变分推断框架。与传统方法相比，CATVI具有几个优点，包括变分后验和真后验之间的偏差较小，欠拟合或过拟合的风险降低，以及预测精度提高。在三个大型数据集上的实证研究表明，CATVI应用于贝叶斯非参数主题模型大大优于竞争模型，提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Vprop: Variational Inference using RMSprop
RIKEN（理化学研究所）；SUTD（新加坡科技设计大学）；University of Oxford（牛津大学）
贝叶斯深度学习的许多计算效率高的方法依赖于连续优化算法，但这些方法的实现需要对现有代码库进行重大更改。在本文中，我们提出了Vprop，高斯变分推断，可以实现两个小的变化，现成的RMSprop优化方法。Vprop还将黑盒变分推断的内存需求减少了一半。我们推导出Vprop使用共轭计算变分推断方法，并建立其连接到牛顿的方法，自然梯度法，和扩展卡尔曼滤波器。总的来说，本文将Vprop作为贝叶斯深度学习的一种原则性，计算效率高且易于实现的方法。
2017-12-04 cs.LG stat.ML
Mixed Variational Inference
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
拉普拉斯近似一直是贝叶斯推断的主要工具之一。它通常在实践中提供良好的近似，尽管它没有严格考虑后验密度的体积。变分方法通过显式地最小化假设后验和真实（未归一化）对数后验之间的库尔贝克-莱布勒散度DKL来避免这个问题。然而，他们依赖于一个封闭的形式DKL，以更新变分参数。为了解决这个问题，已经设计了随机版本的变分推断，其用蒙特卡罗平均值来近似难处理的DKL。这种近似允许计算相对于变分参数的梯度。然而，变分方法往往假设一个因式高斯近似后验。这样做，他们牺牲了后验相关性。在这项工作中，我们提出了一种方法，结合了变分方法的拉普拉斯近似。的优点是，我们保持：非共轭模型的适用性，后验相关性和自由变分参数的数量减少。数值实验表明，改进的拉普拉斯近似和变分推断与因式高斯后验。
2022-02-28 cs.LG stat.ML
Variational Inference: A Unified Framework of Generative Models and Some Revelations
Sun Yat-sen University（中山大学）
我们从一个新的角度重新解释了变分推理。通过这种方法，我们可以很容易地证明EM算法、VAE、GAN、AAE、ALI（BiGAN）都是变分推理的特例。证明也揭示了标准GAN的损失是不完整的，这解释了为什么我们需要谨慎地训练GAN。在此基础上，我们提出了一种正则化项来提高GAN训练的稳定性。
2018-07-20 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs（高盛集团）
我们考虑了神经网络矩阵因子分解的概率模拟（Dziugaite & Roy，2015），我们用贝叶斯神经网络构建，并用变分推断拟合。我们发现，一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响，其中包括一些建议的利弊使用神经网络建设，以及变分推理方法。这样的概率方法是必需的，但是，当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构，并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University（明治大学）；Chuo University（中央大学）
变分推断（VI）结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗（SMC）及其变体上，例如，前向滤波后向模拟（FFBSi）。虽然这些研究取得了成功，严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中，我们提出了Ensemble卡尔曼变分目标（EnKO），VI和集合卡尔曼滤波（EnKF）的混合方法，推断状态空间模型（SSM）。我们提出的方法可以有效地识别潜在的动态，因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Variational Inference using Implicit Distributions
Twitter（推特）
生成对抗网络（GANs）为我们提供了一个很好的工具，可以将隐式生成模型拟合到数据中。隐式分布是我们可以很容易地从中采样的分布，并且可以对样本对模型参数求导。这些模型是高度表达，我们认为他们可以证明是一样有用的变分推断（VI），因为他们是生成建模。有几篇论文提出了类似GAN的推理算法，然而，与VI理论的联系并不总是很好理解。本文对现有算法进行了统一的回顾，这些算法在变分自编码器、逆向学习推理、算子VI、基于GAN的图像重建等之间建立了联系。其次，本文提供了一个框架，用于建立新的算法：根据变分界的方式表示，我们引入先验对比和联合对比的方法，并显示实际的推理算法的基础上，无论是密度比估计或去噪。
2017-02-27 cs.LG stat.ML
Variational Inference for GARCH-family Models
Aarhus University（奥胡斯大学）
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状，探讨变分推断的替代可行性，经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中，对模型的不确定性进行重新校正。期望不确定度校准误差（UCE）被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明，通过UCE，logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
Variational Inference via Transformations on Distributions
IIT Kanpur（坎普尔印度理工学院）
变分推断方法通常只关注模型的有效优化问题，而很少关注近似后验的选择。在本文中，我们回顾和实现的各种方法，使我们能够开发一个丰富的家庭的近似后验。我们表明，一个特定的方法，采用变换的分布结果在发展非常丰富和复杂的后验近似。我们分析其性能的MNIST数据集上实现与变分自动编码器，并证明其有效性，学习更好的后验分布。
2017-07-09 cs.LG stat.ML
Sylvester Normalizing Flows for Variational Inference
University of Amsterdam（阿姆斯特丹大学）；University of Oxford（牛津大学）
变分推断依赖于灵活的近似后验分布。规范化流提供了一个通用的配方来构建灵活的变分后验。我们引入西尔维斯特规范化流，这可以被看作是一个推广的平面流。Sylvester规范化流消除了平面流中众所周知的单单元瓶颈，使单个转换更加灵活。我们比较了西尔维斯特规范化流对平面流和逆自回归流的性能，并证明了它们在几个数据集上的表现。
2019-02-20 cs.AI cs.LG stat.ME
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Amortized backward variational inference in nonlinear state-space models
本文研究了一般状态空间模型中的状态估计问题，采用变分推断。对于一个通用的变分家庭定义使用相同的向后分解作为实际的联合平滑分布，我们建立的第一次，在混合假设下，期望的加性状态泛函的变分近似引起的错误，最多线性增长的观测数。这种保证是一致的平滑分布的近似使用标准的蒙特卡罗方法与已知的上限。此外，我们提出了一个摊销的推理框架，其中一个神经网络共享所有时间的步骤输出的变分内核的参数。我们还研究了经验参数化，允许分析边缘化的变分分布，从而导致有效的平滑算法。显着的改进是最先进的变分解决方案，特别是当生成模型依赖于一个强非线性和非内射混合函数。
2022-06-01 stat.ME stat.ML
Amortized Variational Inference for Simple Hierarchical Models
在分层模型中，由于局部潜变量的数量与数据集成比例，因此难以使用具有变分推理的子采样。因此，分层模型中的推理在大规模上仍然是一个挑战。使用具有与后验结构匹配的变分族是有帮助的，但是由于大量的局部分布，优化仍然是缓慢的。相反，本文提出了一个摊销的方法，共享参数同时代表所有的本地分布。这种方法与使用给定的联合分布（例如，满秩高斯），但在大几个数量级的数据集上是可行的。它也比使用结构化变分分布快得多。
2021-11-04 cs.LG stat.ML
Enhanced Variational Inference with Dyadic Transformation
Xylem Inc.（赛莱默公司）；The University of Chicago（芝加哥大学）
变分自编码器是一个强大的具有变分推理的深度生成模型。在VAE的原始公式中，将潜在变量建模为具有对角协方差矩阵的正态分布的做法限制了匹配真实后验分布的灵活性。我们提出了一种新的变换，并元变换（DT），可以模拟多元正态分布。DT是一种单级变换，计算要求低。我们在MNIST数据集上的经验表明，DT增强了后验灵活性，并与其他VAE增强相比获得了有竞争力的结果。
2019-03-08 cs.LG stat.ML
Variational Inference with Normalizing Flows
Google DeepMind（谷歌DeepMind）
近似后验分布的选择是变分推断的核心问题之一。变分推断的大多数应用采用简单的后验近似族，以允许有效的推理，集中在平均场或其他简单的结构化近似。这种限制有显着的影响，使用变分方法的推理质量。我们介绍了一种新的方法来指定灵活的，任意复杂的和可扩展的近似后验分布。我们的近似是通过归一化流构造的分布，通过应用一系列可逆变换将简单的初始密度变换为更复杂的密度，直到达到所需的复杂程度。我们使用这种观点规范化流发展类别的有限和无穷小流量，并提供了一个统一的观点，构建丰富的后验近似的方法。我们证明了具有更好地匹配真实后验的后验的理论优势，结合摊销变分方法的可扩展性，提供了变分推断的性能和适用性的明显改善。
2016-06-14 cs.AI cs.LG stat.CO
Quantized Variational Inference
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎-萨克雷高等师范学校）；SNCF（法国国家铁路公司）；ITNOVEM
我们提出了量化变分推断，一个新的算法的证据下限最大化。我们展示了如何最佳Voronoi Tesskind产生方差自由梯度ELBO优化的成本引入渐近衰减的偏见。随后，我们提出了一个Richardson外推型方法来提高渐近界。我们表明，使用量化的变分推断框架导致快速收敛的得分函数和重新参数化的梯度估计在一个可比的计算成本。最后，我们提出了几个实验来评估我们的方法的性能及其局限性。
2020-11-04 cs.LG stat.ML
Automatic structured variational inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Google Research（谷歌研究院）
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而，变分方法的性能取决于一个合适的变分家庭的选择。在这里，我们介绍了自动结构化变分推断（ASVI），一个全自动的方法构造结构化变分家庭，共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递，因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度，因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现，ASVI提供了一个明显的改善性能相比，其他流行的方法，如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam（阿姆斯特丹大学）
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断，在信任域内重用模型评估以降低计算成本，在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Meta-Learning Divergences of Variational Inference
Cornell University（康奈尔大学）；Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）
变分推理（VI）由于其计算效率和广泛的适用性，在近似贝叶斯推理中起着至关重要的作用。VI的性能的关键是选择相关的分歧措施，因为VI通过最小化这种分歧来近似棘手的分布。在本文中，我们提出了一个元学习算法来学习适合于感兴趣的任务的发散度量，自动化的VI方法的设计。此外，当我们的方法部署在少样本学习场景中时，我们学习变分参数的初始化而不需要额外的成本。我们证明了我们的方法优于标准VI的高斯混合分布近似，贝叶斯神经网络回归，图像生成与变分自编码器和推荐系统与部分变分自编码器。
2021-06-22 cs.LG stat.ML
Censor Dependent Variational Inference
Purdue University（普渡大学）
本文提出依赖删失机制的变分推断（CDVI）及可扩展的CD-CVAE模型，解决了生存分析中变分分布设计不当的问题，显著提升了个体生存分布估计效果。
2025-06-03 cs.LG stat.ML
SoftCVI: Contrastive variational inference with self-generated soft labels
School of Mathematics, Bristol University, UK（数学系，布里斯托尔大学）
SoftCVI通过对比估计框架将变分分布参数化为分类器，利用未归一化后验生成软标签进行训练，无需正负样本，在多种贝叶斯推断任务中实现了稳定且覆盖质量的推断性能。
2025-05-04 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Alpha-Beta Divergence For Variational Inference
University College of London（伦敦大学学院）
本文介绍了一种变分近似框架，使用被称为{ \it尺度不变的α-β发散}（sAB发散）的直接优化。这个新的目标包括大多数变分目标，使用Kullback-Leibler，R{é}nyi或伽马发散。它还提供了访问以前从未利用的目标函数的上下文中的变分推断。这是通过两个易于解释的控制参数来实现的，这允许在发散空间上进行平滑插值，同时权衡目标分布的质量覆盖和对数据中离群值的鲁棒性等属性。此外，sAB变分目标可以直接优化，通过重新利用现有的蒙特卡罗计算复杂的变分目标的方法，导致的分歧，而不是变分下界的估计。我们展示了贝叶斯模型回归问题的这个目标的优势。
2018-05-20 cs.LG stat.ML
Nonparametric variational inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
变分方法被广泛用于近似后验推理。然而，它们的使用通常仅限于具有特定共轭性质的分布族。为了规避这一限制，我们提出了一个家庭的变分近似的启发，非参数核密度估计。这些内核的位置和它们的带宽被视为变分参数和优化，以提高数据的边际似然的近似下界。使用多个内核允许近似捕获后验的多个模式，这与大多数其他变分近似不同。我们证明了非参数近似与分层逻辑回归模型和非线性矩阵分解模型的有效性。我们获得的预测性能一样好或更好的比更专门的变分方法和基于样本的近似。该方法很容易适用于更一般的图形模型，标准的变分方法是很难得到的。
2012-06-18 cs.LG stat.ML
Incremental Variational Inference for Latent Dirichlet Allocation
引入增量变分推断并将其应用于隐狄利克雷分配问题。增量变分推断的灵感来自增量EM，并提供了一种替代随机变分推断。增量LDA可以处理大量的文档集合，不需要设置学习率，收敛到局部最优的变分界更快，并享有单调增加它的吸引人的属性。我们进一步介绍了一个随机逼近的增量变分推断扩展到异步分布式设置。由此产生的分布式算法实现单主机增量变分推断的性能相当，但具有显着的速度。
2015-07-22 stat.ML
Automatic Variational Inference in Stan
变分推断是一种可扩展的近似贝叶斯推断技术。推导变分推断算法需要繁琐的特定于模型的计算;这使得它难以自动化。提出了一种自动变分推断算法--自动微分变分推断（ADVI）。用户只提供了一个贝叶斯模型和一个数据集;没有别的。我们不做共轭假设，并支持广泛的一类模型。该算法自动确定一个合适的变分家庭和优化的变分目标。我们在Stan中实现了ADVI（代码现已可用），这是一个概率编程框架。我们比较ADVI MCMC抽样分层广义线性模型，非共轭矩阵分解，和混合模型。我们用25万张图片训练混合模型。有了ADVI，我们可以在Stan中编写的任何模型上使用变分推断。
2015-06-12 stat.ML
Particle-based Energetic Variational Inference
Department of Applied Mathematics, Illinois Institute of Technology, IL, USA（应用数学系，伊利诺伊理工学院，伊利诺伊州，美国）
本文提出能量变分推断框架，通过能量耗散定律最小化变分目标函数，推导出多种粒子变分推断方法，并提出新的粒子方案提升近似密度的变分结构和KL散度性能。
2021-03-23 cs.LG stat.ML
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto（多伦多大学）
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说，我们删除了一部分的总导数相对于变分参数，对应于得分函数。去除这一项会产生一个无偏的梯度估计，其方差接近零，因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为，并将其推广到更复杂的变分分布，如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
