MCMC for Variationally Sparse Gaussian Processes
高斯过程（GP）模型构成概率机器学习的核心部分。GP模型的研究主要集中在三个方面：数据量大时如何有效计算;似然函数非高斯时如何近似后验;如何估计协方差函数参数后验。本文同时解决这些问题，使用变分近似的后稀疏的功能，但其他自由形式的支持。其结果是一个混合蒙特卡洛采样方案，允许同时对函数值和协方差参数进行非高斯近似，并基于诱导点稀疏GP进行有效计算。本文中重复每个实验的代码将很快提供。
2015-06-12 stat.ML
Two Methods For Wild Variational Inference
变分推断为复杂结构化模型的近似概率推理提供了一个强大的工具。然而，典型的变分推断方法需要使用具有计算上易处理的概率密度函数的推理网络。这在很大程度上限制了变分推理方法的设计和实现。我们考虑野生变分推断方法，不需要听话的密度函数的推理网络，因此可以应用于更具有挑战性的情况下。作为一个应用实例，我们将随机梯度Langevin动力学（SGLD）作为一个推理网络，并使用我们的方法自动调整SGLD的步长，与手工设计的步长方案相比，得到了显着的改进
2017-10-30 stat.ML
Variational Message Passing with Structured Inference Networks
最近将深度模型与概率图模型相结合的努力在提供灵活的模型方面很有希望，这些模型也很容易解释。我们提出了一个变分消息传递算法的变分推断在这样的模型。我们做了三个贡献。首先，我们提出了结构化的推理网络，它将图形模型的结构纳入变分自动编码器（VAE）的推理网络中。其次，我们建立条件下，这样的推理网络，使快速摊销推理类似于VAE。最后，我们推导出一个变分的消息传递算法进行有效的自然梯度推理，同时保持摊销推理的效率。通过同时启用深度结构化模型的结构化，摊销和自然梯度推理，我们的方法简化和推广了现有的方法。
2018-06-14 stat.ML
On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes
学习诱导变量的变分框架（Titsias，2009 a）对高斯过程文献产生了很大的影响。该框架可以被解释为最小化近似和后突之间严格定义的库尔贝克-莱布勒散度。据我们所知，这种联系迄今为止在文献中还没有被注意到。在本文中，我们对这一主题的文献进行了大量的概括。我们给出了一个新的证明结果的无限指数集，它允许诱导点，不是数据点和依赖于所有函数值的似然。然后，我们讨论了增广指数集，并表明，与以前的作品，边际一致性的增强是不足以保证一致的变分推断与原模型。然后，我们描述了一个额外的条件，这样的保证是可获得的。最后，我们展示了我们的框架如何揭示域间稀疏近似和稀疏近似Cox过程。
2015-12-04 stat.ML
Stochastic Collapsed Variational Inference for Sequential Data
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。本文提出了一种序列数据下的随机折叠变分推断算法。我们的算法适用于有限隐马尔可夫模型和层次Dirichlet过程隐马尔可夫模型，并在指数族的排放分布所产生的任何数据集。我们在两个离散数据集上的实验结果表明，我们的推理是更有效的，更准确的比它的非折叠版本，随机变分推断。
2015-12-05 stat.ML
Variational Inducing Kernels for Sparse Convolved Multiple Output Gaussian Processes
无论是在多任务学习、多传感器网络还是结构化输出数据的幌子下，对多输出核方法的兴趣都在增加。从高斯过程的角度来看，多输出Mercer核是相关输出函数上的协方差函数。构造这种内核的一种方式是基于卷积过程（CP）。这种方法的一个关键问题是有效的推理。Alvarez和Lawrence（2009）最近提出了一种CP的稀疏近似，可以实现有效的推理。在本文中，我们在两个方向上扩展这项工作：我们引入变分诱导函数的概念来处理核CP构造中涉及的潜在非光滑函数，我们考虑基于变分方法的近似推理的替代方法，将Titsias（2009）的工作扩展到多输出情况。我们展示了我们的方法对预测的成绩，编译器的性能和金融时间序列。
2009-12-16 stat.ML
Learning Model Reparametrizations: Implicit Variational Inference by Fitting MCMC distributions
我们介绍了一种新的算法，结合重新参数化，马尔可夫链蒙特卡罗和变分方法的近似推理。我们构建了一个非常灵活的隐式变分分布合成的任意马尔可夫链蒙特卡罗操作和确定性变换，可以使用重新参数化技巧进行优化。与现有的隐式变分推断方法不同，该方法避免了对数密度比的计算，因此易于应用于任意连续和可微模型.我们证明了所提出的算法拟合香蕉形分布和训练变分自动编码器。
2017-08-04 stat.ML
Overdispersed Black-Box Variational Inference
我们介绍了过分散的黑箱变分推断，一种方法来减少方差的蒙特卡罗估计的梯度黑箱变分推断。我们使用重要性抽样从与变分近似相同的指数族中的过分散分布中抽取样本，而不是从变分分布中抽取样本。我们的方法是通用的，因为它可以很容易地应用到任何指数族分布，这是变分逼近的典型选择。我们在两个非共轭概率模型上进行了实验，结果表明，我们的方法有效地降低了方差，并且由建议参数和重要性权重的计算引入的开销可以忽略不计。我们发现，我们的过度分散的重要性抽样方案提供了较低的方差比黑盒变分推断，即使后者使用的样本数量的两倍。这导致黑盒推理过程的更快收敛。
2016-03-03 stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
Stochastic Annealing for Variational Inference
我们经验评估贝叶斯后验优化与变分推断的随机退火策略。变分推断是贝叶斯模型中近似后验推理的确定性方法，其中典型的非凸目标函数在近似分布的参数上局部优化。我们研究的退火方法优化这个目标的目的是找到一个更好的局部最优解，并比较确定性退火方法和没有退火。我们表明，随机退火可以提供明显的改善GMM和HMM，而LDA的性能往往有利于确定性退火方法。
2015-05-25 stat.ML
Importance Sampled Stochastic Optimization for Variational Inference
变分推断通过最大化模型证据的下限来近似具有参数化密度的概率模型的后验分布。现代的解决方案适合一个灵活的近似与随机梯度下降，使用蒙特卡罗近似的梯度。这使得变分推断的任意可微的概率模型，从而使变分推断的概率编程语言的可行性。在这项工作中，我们开发了更有效的推理算法的任务，考虑重要性抽样估计的梯度。我们展示了如何在不需要重新计算模型本身的梯度的情况下，通常可以有效地评估近似参数的梯度，然后继续推导出使用重要性采样估计来加速计算的实用算法。我们提出了重要性采样随机梯度下降，它在一系列模型中明显优于标准随机梯度下降，并为变分推断提供了随机平均梯度的合理变体。
2017-07-12 stat.ML
Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs
标准的稀疏伪输入近似的高斯过程（GP）不能处理复杂的功能。稀疏频谱替代方案试图回答这个问题，但已知过度拟合。我们建议使用变分推断的稀疏谱近似，以避免这两个问题。我们用有限傅立叶级数近似法对协方差函数建模，并将其视为随机变量。随机协方差函数有一个后验，其上放置了一个变分分布。变分分布变换随机协方差函数以拟合数据。我们研究我们的近似推理的性质，比较它的替代，并将其扩展到分布式和随机域。我们的近似比标准方法更好地捕获复杂函数，并避免过度拟合。
2015-03-20 stat.ML
Variational Inference based on Robust Divergences
对离群值的鲁棒性是现实世界机器学习应用中的核心问题。当将模型替换为重尾模型时（例如，从高斯到Student-t）是鲁棒化的标准方法，但它只能应用于简单模型。本文基于Zellner的最优化和贝叶斯推断的变分形式，提出了一种离群稳健的伪贝叶斯变分方法，该方法将用于数据拟合的库尔贝克-莱布勒散度替换为稳健的散度，如beta和gamma-divergence。我们的方法的一个优点是，也可以处理高级但复杂的模型，如深度网络。我们从理论上证明，对于具有ReLU激活函数的深度网络，我们提出的方法中的\emph{influence function}是有界的，而在普通的变分推断中是无界的。这意味着，我们提出的方法是鲁棒的输入和输出离群值，而普通的变分方法不是。我们通过实验证明，我们的鲁棒变分方法在深度网络的回归和分类中优于普通的变分推断。
2018-02-28 stat.ML
Variational Inference in Nonconjugate Models
平均场变分方法被广泛用于许多概率模型的近似后验推断。在一个典型的应用中，平均场方法近似计算后验与坐标上升优化算法。当模型是条件共轭时，坐标更新容易导出，且为封闭形式。然而，许多感兴趣的模型--像相关主题模型和贝叶斯逻辑斯谛回归--是非共轭的。在这些模型中，平均场方法不能直接应用，从业者不得不根据具体情况开发变分算法。本文发展了非共轭模型的两种一般方法：Laplace变分推断和delta方法变分推断。我们的方法有几个优点：它们允许很容易派生的变分算法与广泛的一类非共轭模型;它们扩展和统一了一些现有的算法，已被派生为特定的模型;和他们在现实世界的数据集上工作得很好。我们研究了相关主题模型、贝叶斯逻辑斯谛回归和分层贝叶斯逻辑斯谛回归的方法。
2013-03-12 stat.ML
Local Expectation Gradients for Doubly Stochastic Variational Inference
我们介绍了当地的期望梯度，这是一个通用的随机变分推断算法，通过从变分分布采样构建随机梯度。该算法将估计多个变分参数的随机梯度的问题划分为较小的子任务，使得每个子任务智能地利用来自变分分布的最相关部分的信息。这是通过对主要与感兴趣的变分参数相关的单个随机变量执行精确期望来实现的，从而产生具有低方差并且可以有效地用于连续和离散随机变量的Rao-Blackwellized估计。此外，该算法与吉布斯抽样有有趣的相似之处，但与此同时，不像吉布斯抽样，它可以平凡地并行化。
2015-03-04 stat.ML
Scalable GAM using sparse variational Gaussian processes
广义加性模型（GAM）是统计学家感兴趣的一类广泛使用的模型，因为它们提供了一种灵活的方法来设计线性模型之外的可解释数据模型。在这里，我们提出了一个可扩展的和良好校准的贝叶斯治疗的GAM使用高斯过程（GP），并利用最新进展的变分推理。我们使用稀疏GP来表示每个组件，并利用模型的加性结构来有效地表示组件之间的高斯后验耦合。
2018-12-28 cs.LG stat.ML
Deep recurrent Gaussian process with variational Sparse Spectrum approximation
University of Stuttgart（斯图加特大学）；ETAS GmbH（ETAS有限公司）
序列数据建模在实践中变得越来越重要。一些应用包括自动驾驶、虚拟传感器和天气预报。为了对这样的系统建模，经常使用所谓的递归模型。本文在稀疏谱高斯过程（SSGP）及其改进模型变分稀疏谱高斯过程（VSSGP）的基础上，提出了几种新的深度递归高斯过程（DRGP）模型。我们按照现有的DRGP给出的一个特定的变分稀疏Nyström近似，经常性的高斯过程（RGP）的基础上的经常性结构。类似于以前的工作，我们也变分集成的输入空间，因此可以通过高斯过程（GP）层传播的不确定性。我们的方法可以处理一个更大的类的协方差函数比RGP，因为它的频谱性质允许变分积分在所有平稳的情况下。此外，我们结合（变分）稀疏谱（（V）SS）近似与一个众所周知的诱导输入正则化框架。我们改进了当前最先进的方法，用于其评估的实验数据集的预测精度，并引入了一个新的数据集的发动机控制，命名为排放。
2019-09-27 cs.LG stat.ML
Variational Sparse Coding with Learned Thresholding
Georgia Institute of Technology（佐治亚理工学院）
稀疏编码策略因其利用低维结构的数据的简约表示而受到称赞。然而，这些代码的推理通常依赖于一个优化过程，在高维问题的计算缩放差。例如，在深度神经网络（DNN）的高维中间层中学习的表示中的稀疏推理需要在每个训练步骤中执行迭代最小化。因此，最近已经提出了变分推理中的快速方法，以通过使用DNN学习代码上的分布来推断稀疏代码。在这项工作中，我们提出了一种新的变分稀疏编码方法，使我们能够通过阈值样本来学习稀疏分布，避免使用有问题的松弛。我们首先通过训练线性生成器来评估和分析我们的方法，表明与其他稀疏分布相比，它具有更好的性能，统计效率和梯度估计。然后，我们将Fashion MNIST和CelebA数据集上使用DNN生成器的标准变分自编码器进行比较
2022-09-01 cs.LG eess.SP stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee
Purdue University（普渡大学）
稀疏深度学习旨在解决深度神经网络巨大存储消耗的挑战，并恢复目标函数的稀疏结构。虽然已经取得了巨大的经验成功，但大多数稀疏深度学习算法缺乏理论支持。另一方面，另一系列的工作提出了理论框架，计算上是不可行的。在本文中，我们训练稀疏的深度神经网络，在尖峰和板先验下进行完全贝叶斯处理，并通过连续松弛伯努利分布来开发一组计算效率高的变分推断。给出了变分后验收缩率，证明了变分贝叶斯方法的一致性。值得注意的是，我们的实证结果表明，这种变分过程提供了贝叶斯预测分布方面的不确定性量化，也能够通过训练稀疏多层神经网络来实现一致的变量选择。
2020-11-15 cs.LG math.ST stat.ML
On parameters transformations for emulating sparse priors using variational-Laplace inference
所谓的稀疏估计出现在模型拟合的上下文中，当一个先验假设只有少数（未知）模型参数偏离零。当估计问题欠定时，即当模型参数的数量远高于数据点的数量时，稀疏约束可以是有用的。通常，这样的约束是通过最小化L1范数来实现的，这产生了所谓的LASSO估计量。在这项工作中，我们提出了一个简单的参数变换，模拟稀疏先验，而不牺牲L2范数正则化方案的简单性和鲁棒性。我们展示了如何L1正则化可以得到一个“稀疏化”下正常的贝叶斯先验参数重新映射，我们证明了随后的变分拉普拉斯方法使用蒙特卡罗模拟。
2017-03-06 q-bio.NC stat.ML
Dual Parameterization of Sparse Variational Gaussian Processes
Aalto University（阿尔托大学）；RIKEN Center for AI Project（理化学研究所人工智能项目中心）
稀疏变分高斯过程（SVGP）方法是非共轭高斯过程推理的常见选择，因为它们的计算优势。在本文中，我们提高了他们的计算效率，通过使用一个双参数化，每个数据的例子被分配双参数，类似于期望传播中使用的网站参数。我们的双参数化加速推理使用自然梯度下降，并提供了一个更严格的证据下界超参数学习。该方法与现有的SVGP方法具有相同的内存开销，但速度更快，精度更高。
2022-01-19 cs.LG stat.ML
Efficient Approximate Inference with Walsh-Hadamard Variational Inference
EURECOM（欧洲通信学院）
变分推断提供了可扩展和灵活的工具来解决现代统计模型（如贝叶斯神经网络和高斯过程）的棘手贝叶斯推断。然而，对于大部分过参数化模型，变分目标的过正则化性质使得变分推断的应用具有挑战性。受核方法文献的启发，特别是随机矩阵分布的结构化近似，本文提出了Walsh-Hadamard变分推断，它使用基于Walsh-Hadamard的因子分解策略来减少模型参数化，加速计算，并增加近似后验的表达能力。
2019-11-29 cs.LG stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型，提出基于变分贝叶斯的超参数选择理论保证，通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界，并在多种高斯过程先验中实现最优收缩率，同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University（斯坦福大学）；VinAI（越南人工智能研究所）
深度潜变量模型（如变分自编码器（VAE））中的识别网络依赖于摊销推理，以实现有效的后验近似，可以扩展到大型数据集。然而，这种技术也被证明是选择次优的变分参数，往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练，最近的工作已经引入了一个附加的细化步骤，该步骤应用随机变分推断（SVI）来改进由摊销推理模型返回的变分参数。在本文中，我们提出了缓冲随机变分推断（BSVI），一个新的细化过程，利用SVI的序列的中间变分建议分布和相应的重要性权重，以构建一个新的广义重要性加权下界。我们的经验表明，训练变分自动编码器与BSVI一贯优于SVI，产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Doubly Sparse Variational Gaussian Processes
高斯过程模型的使用通常限于具有数万个观测值的数据集，这是由于它们的复杂性和内存占用。克服这种限制的两种最常用的方法是1）依赖于诱导点的变分稀疏近似和2）高斯过程的状态空间等效公式化，其可以被视为利用精度矩阵中的一些稀疏性。我们建议采取两全其美：我们表明，诱导点框架仍然是有效的状态空间模型，它可以带来进一步的计算和内存节省。此外，我们提供了自然梯度制定拟议变分参数化。最后，这项工作使得有可能使用深高斯过程模型内部的状态空间公式，如在一个实验中所示。
2020-01-15 cs.LG stat.ML
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包，用于执行变分贝叶斯推断。它基于变分消息传递框架，支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务，用户可以更快地构建模型，并且不易出错。简单的语法，灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法，如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
Importance Weighting and Variational Inference
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Computer Science, Mount Holyoke College（曼荷莲学院计算机科学系）
最近的工作使用重要性采样的想法，更好的变分界限的可能性。我们澄清了这些想法的适用性，纯概率推理，通过显示所得到的重要性加权变分推理（IWVI）技术是一个例子，增强变分推理，从而确定在以前的工作中的松散。实验证实IWVI的实用性概率推理。作为第二个贡献，我们调查的推断与椭圆分布，这提高了精度在低维，并在高维收敛。
2018-10-27 cs.LG stat.ML
Wasserstein Variational Inference
Radboud University（拉德堡德大学）；University of Amsterdam（阿姆斯特丹大学）
本文介绍了Wasserstein变分推断，一种基于最优运输理论的近似贝叶斯推断的新形式。Wasserstein变分推断使用一个新的分歧族，其中包括f-分歧和瓦瑟斯坦距离作为特殊情况。Wasserstein变分损失的梯度通过Sinkhorn迭代反向传播得到。这种技术产生了一种非常稳定的无似然训练方法，可用于隐式分布和概率程序。使用Wasserstein变分推断框架，我们介绍了几种新形式的自动编码器和测试其鲁棒性和性能对现有的变分自动编码技术。
2018-06-04 cs.LG stat.ML
Markov Chain Monte Carlo and Variational Inference: Bridging the Gap
随机梯度变分推断的最新进展使得利用含有辅助随机变量的后验近似进行变分贝叶斯推断成为可能。这使我们能够探索一种新的合成变分推断和蒙特卡罗方法，我们将一个或多个步骤的MCMC到我们的变分近似。通过这样做，我们获得了丰富的推理算法弥合变分方法和MCMC之间的差距，并提供了最好的两个世界：快速后验近似通过显式目标的最大化，与交易的选择额外的计算额外的准确性。我们描述的理论基础，使这成为可能，并显示一些有前途的第一个结果。
2015-05-19 stat.CO stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University（爱荷华州立大学）
稀疏的，基于节点的高斯过程已经取得了相当大的成功，作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出，并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法，但由于要优化的参数的数量，同时优化节点可能会很慢。此外，已经提出了一些方法来选择节点的数量，并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集，但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Tighter sparse variational Gaussian processes
Australian National University（澳大利亚国立大学）；University of Cambridge（剑桥大学）
本文针对稀疏变分高斯过程（GP）近似，通过放宽条件近似后验需匹配先验的假设，提出了一种更紧致的近似方法，在回归、分类等任务中保持计算成本不变的同时提升性能。
2025-02-13 cs.LG stat.ML
A Deterministic Global Optimization Method for Variational Inference
用于潜变量统计模型的变分推断方法已经得到普及，因为它们相对快速，可以处理大数据集，并且具有确定性收敛保证。然而，在实践中，不清楚由变分推断算法识别的不动点是局部最优还是全局最优。在这里，我们提出了一种方法，用于构造迭代优化算法的变分推断问题，保证收敛到$ε$ -全球变分下界的对数似然。我们推导出推理算法的两个变分近似的标准贝叶斯高斯混合模型（BGMM）。我们提出了一个最小的数据集的经验测试收敛性和表明，变分推断算法经常收敛到局部最优，而我们的算法总是收敛到全局最优的变分下界。我们的特点所产生的损失，选择一个非最佳的变分近似分布表明，选择的近似变分分布值得尽可能多的关注，为一个给定的数据集的原始统计模型的选择。
2017-03-21 stat.ME stat.ML
Wasserstein variational gradient descent: From semi-discrete optimal transport to ensemble variational inference
Radboud University（拉德堡德大学）
基于粒子的变分推断提供了一种用一组粒子来逼近复杂后验分布的灵活方法。本文基于半离散最优输运理论，提出了一种新的基于粒子的变分推断方法。而不是最小化的库尔贝克-莱布勒散度之间的后变分近似，我们最小化半离散的最佳运输分歧。所得到的最佳运输问题的解决方案提供了一个粒子近似和一组最佳运输密度，每个粒子映射到一个部分的后验分布。我们近似这些运输密度之间的截尾分布和最佳运输解决方案的库尔贝克-莱布勒散度最小化。由此产生的算法可以被解释为一种形式的合奏变分推断，其中每个粒子与一个局部变分近似。
2019-05-15 cs.LG stat.ML
Pointwise uncertainty quantification for sparse variational Gaussian process regression with a Brownian motion prior
本文针对采用特征向量诱导变量和重标度布朗运动先验的稀疏变分高斯过程，建立了逐点可信集频率学派覆盖率的理论保证，并精确刻画其渐近行为，揭示该方法何时保守或过度自信。
2023-10-31 math.ST stat.ML stat.TH
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA（加州大学洛杉矶分校）
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构，用于科学机器学习中的不确定性量化，通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Gaussian variational approximation with sparse precision matrices
我们考虑的问题学习高斯变分近似的后验分布的高维参数，我们施加稀疏的精度矩阵，以反映适当的条件独立结构的模型。在精度矩阵中定义稀疏性使得高斯变分分布既灵活又简约，并且稀疏性通过Cholesky因子的参数化来实现。有效的随机梯度方法，适当利用梯度信息的目标分布的优化开发。我们考虑随机梯度的替代估计，具有较低的变化，更稳定。我们的方法说明使用广义线性混合模型和状态空间模型的时间序列。
2017-04-13 stat.CO stat.ML
Sparse Orthogonal Variational Inference for Gaussian Processes
Tsinghua University（清华大学）；DeepMind
本文提出将高斯过程分解为诱导点基与残差过程之和的新视角，据此推导出更紧的边际似然下界和可扩展的随机变分推断算法，并在CIFAR-10上取得纯GP模型的最优结果。
2024-02-24 cs.LG stat.ML
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
A Divergence Bound for Hybrids of MCMC and Variational Inference and an Application to Langevin Dynamics and SGVI
近似推理的两种流行方法是马尔可夫链蒙特卡罗（MCMC）和变分推理。MCMC如果运行足够长的时间，则趋于准确，而变分推理则趋于在较短的时间范围内给出更好的近似。然而，MCMC超过变分方法的性能所需的时间量可能相当高，从而激发了更细粒度的权衡。本文推导出一个分布变分参数，旨在最大限度地减少所产生的边际分布和目标之间的分歧的界限，并给出了一个例子，如何从这个分布中的方式，插值的行为之间的现有方法的基础上朗之万动力学和随机梯度变分推理（SGVI）。
2017-06-20 cs.LG stat.ML
Variational Inference: Posterior Threshold Improves Network Clustering Accuracy in Sparse Regimes
University of California, Davis（加利福尼亚大学戴维斯分校）
针对现有变分推断社区检测方法仅适用于稠密网络、稀疏网络下因鞍点影响性能的问题，提出迭代后对社区分配后验做硬阈值的改进方法，理论证明其在平均节点度有界时可准确恢复社区标签，数值实验验证其优于经典方法与现有SOTA算法。
2024-05-21 cs.LG stat.ML
Sparse Gaussian Process Variational Autoencoders
University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）；Warwick University（华威大学）
在现代科学和工程中，大型、多维的时空数据集无处不在。处理此类数据的有效框架是高斯过程深度生成模型（GP-DGMs），其在DGMs的潜变量上采用GP先验。用于在GP-DGMs中执行推理的现有方法不支持基于诱导点的稀疏GP近似，这对于GP的计算效率是必不可少的，它们也不以原则性的方式处理缺失数据-在许多时空数据集中自然发生。我们解决这些缺点与稀疏高斯过程变分自动编码器（SGP-VAE）的发展，其特征在于使用部分推理网络参数化稀疏GP近似。利用摊销变分推断的优点，SGP-VAE能够在先前未观察到的数据上进行多输出稀疏GP中的推理，而无需额外的训练。SGP-VAE在各种实验中进行了评估，其中它优于替代方法，包括多输出GP和结构化VAE。
2020-10-23 cs.LG cs.NE stat.ML
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学，以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的，但它们很少使用，因为它们需要双重棘手的蒙特卡罗采样。在这里，我们开发了一个框架，可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI，离散无向模型的变分推断算法，避免了双重棘手的MCMC和近似的分区函数。第二个是淡出，一个重新参数化方法的变分推断稀疏诱导先验，捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现，这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
Quantum Annealing for Variational Bayes Inference
Google（谷歌）；University of Tokyo（东京大学）
研究了一种基于量子退火的变分贝叶斯（QAVB）推理的确定性退火算法，该算法可以看作是变分贝叶斯模拟退火（SAVB）推理的扩展. QAVB和SAVB一样容易实现。实验结果表明，QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配（LDA）。
2014-08-09 cs.LG stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反，提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中，我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗，解决问题的概念，局部曲率，并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度，并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Lifted Relational Variational Inference
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
混合连续-离散模型自然代表了机器人、金融和环境工程中的许多实际应用。大规模模型的推理是具有挑战性的，因为关系结构在观察推理过程中迅速恶化。本文的主要贡献是一个有效的关系变分推理算法的因素大规模的概率模型到更简单的变分模型，由iid（伯努利）随机变量的混合物。该算法采用大规模混杂系统的概率关系模型，并将其转换为一个接近最优的变分模型。然后，它有效地计算边际概率的变分模型，通过使用潜在的（或提升）变量消除或提升随机抽样。这种推理是独特的，因为它在个体观察和推理步骤期间保持关系结构。
2012-10-16 cs.LG stat.ML
Unbiased Implicit Variational Inference
Athens University of Economics and Business（雅典经济与商业大学）；University of Cambridge（剑桥大学）；Columbia University（哥伦比亚大学）
我们开发了无偏隐式变分推断（UIVI），一种方法，通过定义一个表达变分家庭，扩大了适用性的变分推断。UIVI考虑使用简单的可重新参数化分布以分层方式获得的隐式变分分布，该分布的变分参数由任意灵活的深度神经网络定义。与以前的作品，UIVI直接优化的证据下限（ELBO），而不是近似的ELBO。我们证明了UIVI上的几个模型，包括贝叶斯多项式逻辑斯谛回归和变分自编码器，并表明，UIVI实现了更紧密的ELBO和更好的预测性能比现有的方法在一个类似的计算成本。
2019-02-06 cs.LG stat.ML
Improving Explorability in Variational Inference with Annealed Variational Objectives
University of Montreal（蒙特利尔大学）；MILA（蒙特利尔学习算法研究所）；Element AI
尽管在变分推理的近似分布的表示能力方面取得了进展，但优化过程仍然可以限制最终学习的密度。我们证明了偏置真正的后验是单峰的缺点，并引入退火变分目标（AVO）到训练的分层变分方法。受退火重要性采样的启发，所提出的方法通过将能量回火纳入优化目标来促进学习。在我们的实验中，我们证明了我们的方法的鲁棒性确定性热身，并鼓励探索潜在空间的好处。
2018-10-26 cs.LG stat.ML
Variational Semi-blind Sparse Deconvolution with Orthogonal Kernel Bases and its Application to MRFM
当成像器件的点扩散函数（点扩散函数）部分已知时，提出了一种联合图像重建和点扩散函数估计的变分贝叶斯方法。为了解决这个半盲反卷积问题，为PSF和3D图像指定先验分布。联合图像重建和PSF估计，然后在贝叶斯框架内进行，使用变分算法来估计后验分布。图像先验分布施加了一个明确的原子措施，对应于图像稀疏。重要的是，所提出的贝叶斯反卷积算法不需要手动调整。仿真结果清楚地表明，半盲反卷积算法相比，毫不逊色于以前的马尔可夫链蒙特卡罗（MCMC）版本的近视稀疏重建。它显著优于依赖于PSF的完美知识的假设的失配非盲算法。该算法说明了从磁共振力显微镜（MRFM）的实际数据。
2013-03-15 physics.data-an stat.ML
Solving Statistical Mechanics on Sparse Graphs with Feedback Set Variational Autoregressive Networks
Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出了一种求解定义在稀疏图上的统计力学问题的方法。它从稀疏图中提取一个小的反馈顶点集（FVS），将稀疏系统转换为一个更小的系统，该系统具有多体和密集的相互作用，在FVS的每个配置上具有有效能量，然后使用神经网络学习参数化的变分分布来近似原始玻尔兹曼分布。该方法是能够估计自由能，计算可观，并通过直接采样无自相关产生无偏样本。大量的实验表明，我们的方法是更准确的稀疏自旋玻璃比现有的方法。在随机图和真实世界的网络上，我们的方法显着优于稀疏系统的标准方法，如置信传播算法;在结构化稀疏系统，如二维网格上，我们的方法比最近提出的变分自回归网络使用卷积神经网络显着更快，更准确。
2020-05-22 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Fast Variational Inference in the Conjugate Exponential Family
本文给出了共轭指数族概率模型的塌缩变分推断算法的一般推导方法。我们的方法统一了许多现有的方法崩溃变分推理。我们的崩溃变分推理导致一个新的下界的边际似然。我们利用信息几何的界限，以获得更快的优化方法的基础上共轭梯度这些模型。我们的方法是非常普遍的，很容易适用于任何模型的平均场更新方程已经推导出来。从经验上讲，我们显示了显着的速度使用我们的边界优化的概率模型。
2012-12-04 cs.LG stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Rényi Divergence Variational Inference
University of Cambridge（剑桥大学）
引入变分Rényi界（VR），将传统的变分推断推广到Rényi α-发散.这个新的变分方法的家庭统一了一些现有的方法，并使一个平滑的插值从证据下限的日志（边际）的可能性，控制的值的alpha参数化的分歧。采用重新参数化技巧、蒙特卡罗逼近和随机优化方法来获得易于处理且统一的优化框架。我们进一步考虑负α值，并提出了一种新的变分推断方法作为一个新的特殊情况下，在建议的框架。贝叶斯神经网络和变分自动编码器上的实验证明了VR界的广泛适用性。
2016-10-28 cs.LG stat.ML
