Particle-based Variational Inference with Generalized Wasserstein Gradient Flow
Peking University（北京大学）
本文提出基于广义Wasserstein梯度流的粒子变分推断框架GWG，通过凸函数诱导的更广泛正则化类替代核化方法，提供强收敛保证与自适应度量选择，在模拟和真实数据上验证了有效性与效率。
2023-10-25 cs.LG stat.ML
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College（达特茅斯学院）
我们提出了一个通用的变分推断算法，形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子，以匹配目标分布，通过应用一种形式的函数梯度下降，最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究，在这些模型和数据集上，我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果，连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异，这是独立的利益。
2019-09-09 cs.LG stat.ML
Understanding Stochastic Natural Gradient Variational Inference
University of Pennsylvania（宾夕法尼亚大学）
本文研究了随机自然梯度变分推断（NGVI）的非渐近收敛速率，证明了共轭似然下首个O(1/T)收敛速率，并揭示了非共轭似然下优化非凸目标的挑战。
2024-06-04 cs.LG stat.ML
A Latent Variational Framework for Stochastic Optimization
University of Toronto（多伦多大学）
本文通过一个潜在的随机变分问题，为随机优化算法提供了一个统一的理论框架。使用随机控制技术，变分问题的解决方案是等价的一个向前向后随机微分方程（FBSTO）。通过求解这些方程，我们恢复了各种现有的自适应随机梯度下降方法。该框架建立了随机优化算法和二次贝叶斯推理问题之间的直接联系梯度，在噪声梯度观测的先验测量确定所得到的算法。
2019-10-27 cs.LG math.PR stat.CO
Neural Variational Gradient Descent
ETH Zurich（苏黎世联邦理工学院）；Deepmind（深度思维）
基于粒子的近似贝叶斯推理方法，如Stein变分梯度下降（SVGD）结合了采样方法的灵活性和收敛保证与变分推理的计算优势。在实践中，SVGD依赖于选择适当的核函数，这会影响其对目标分布建模的能力-这是一个只有启发式解决方案的挑战性问题。我们提出了神经变分梯度下降（NVGD），它是基于参数化的证据函数的斯坦差异的深度神经网络，其参数学习并行的推理，减轻了必要性，使任何内核的选择。我们经验评估我们的方法流行的综合推理问题，现实世界的贝叶斯线性回归，贝叶斯神经网络推理。
2021-07-29 cs.LG stat.CO stat.ML
Optimization Guarantees for Square-Root Natural-Gradient Variational Inference
University of Basel（巴塞尔大学）；RIKEN Center for AI Project（日本人工智能研究中心）；Department of Mathematics and Computer Science（数学与计算机科学系）
针对自然梯度变分推断理论收敛保证难以建立的问题，提出使用高斯协方差的平方根参数化方法，为变分高斯推断及其连续时间梯度流建立了新的收敛保证，并实验验证了其优于欧几里得或Wasserstein几何算法的有效性。
2025-07-10 cs.AI cs.LG stat.ML
Accelerating Stochastic Probabilistic Inference
Amazon（亚马逊）
近年来，随机变分推理（SVI）由于能够找到概率模型的良好后验近似而越来越受到关注。它根据自然梯度的噪声估计，通过随机优化来优化变分目标。然而，几乎所有的最先进的SVI算法是基于一阶优化算法，往往受到收敛速度差。在本文中，我们提出了一个基于二阶的随机变分推理方法，弥补了二阶方法和随机变分推理之间的差距。特别地，我们首先推导出变分目标的Hessian矩阵。然后，我们设计了两个数值方案，有效地实现二阶SVI。在合成数据集和真实数据集上进行了全面的经验评估，以支持所提出的方法的有效性和效率。
2022-03-15 cs.AI cs.LG stat.ML
Condensed Stein Variational Gradient Descent for Uncertainty Quantification of Neural Networks
Cornell University（康奈尔大学）；Sandia National Laboratories（桑迪亚国家实验室）；Pasteur Labs（巴斯德实验室）
提出cSVGD方法，通过图协调与浓缩过程同时稀疏化、训练复杂模型并提供参数级不确定性量化，加速收敛，在固体力学应用中验证了有效性。
2024-12-21 cs.LG physics.comp-ph stat.ML
Branching Stein Variational Gradient Descent for sampling multimodal distributions
) Kyoto University, Disaster Prevention Research Institute, Japan；) Centro de Investigaci\'on en Matem\'aticas A.C., Department of Probability；) ETH Zurich, Department of Mathematics, Switzerland
本文提出分支 Stein 变分梯度下降（BSVGD），通过随机分支机制扩展 SVGD 以更好地采样多模态分布，并给出收敛性理论保证及基于 Wasserstein 距离和计算时间的实验对比验证。
2025-07-17 cs.LG stat.CO stat.ML
VAE Learning via Stein Variational Gradient Descent
Duke University（杜克大学）
提出了一种基于Stein变分梯度下降的变分自编码器（VAE）学习方法。这种方法的一个关键优点是，不需要对编码器分布的形式进行参数假设。通过将所提出的编码器与重要性采样相结合，进一步提高了性能。在多个无监督和半监督问题中表现出出色的性能，包括ImageNet数据的半监督分析，证明了模型对大型数据集的可扩展性。
2017-11-17 cs.LG
Stochastic Variational Deep Kernel Learning
Cornell University（康奈尔大学）；CMU（卡内基梅隆大学）
深度核学习将核方法的非参数灵活性与深度学习架构的归纳偏差相结合。我们提出了一种新的深度内核学习模型和随机变分推断过程，该过程将深度内核学习方法推广到分类，多任务学习，加性协方差结构和随机梯度训练。具体来说，我们将加性基础内核应用于深度神经架构的输出特征子集，并通过高斯过程边缘似然目标联合学习基础内核和深度网络的参数。在这个框架内，我们推导出一个有效的形式的随机变分推断，利用本地内核插值，诱导点，和结构利用代数。我们在几个分类基准上显示了独立深度网络，SVM和最先进的可扩展高斯过程的性能改进，包括包含600万个训练点的航班延误数据集，CIFAR和ImageNet。
2016-11-02 cs.LG stat.ME stat.ML
Regularized Stein Variational Gradient Flow
Georgia Institute of Technology（佐治亚理工学院）；University of California, Davis（加州大学戴维斯分校）；Pennsylvania State University（宾夕法尼亚州立大学）；Duke University（杜克大学）
针对 SVGD 梯度流仅能常数阶近似 KL 散度 Wasserstein 梯度流的问题，提出可在二者间插值的正则化 Stein 变分梯度流，并证明其收敛性、弱解唯一性与稳定性。
2024-05-09 cs.LG cs.NA math.AP
Fast yet Simple Natural-Gradient Descent for Variational Inference in Complex Models
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
贝叶斯推断在推进机器学习方面发挥着重要作用，但在应用于深度神经网络等复杂模型时面临着计算挑战。变分推断通过将贝叶斯推断公式化为优化问题并使用基于梯度的优化来解决它来规避这些挑战。在本文中，我们主张自然梯度的方法，不像他们的梯度为基础的同行，可以提高收敛利用信息几何的解决方案。我们展示了如何通过使用与指数族分布相关的对偶来获得快速而简单的自然梯度更新。这些方法的一个有吸引力的特点是，通过使用自然梯度，它们能够为单个模型组件提取精确的局部近似。我们总结了贝叶斯深度学习的最新结果，显示了自然梯度方法相对于梯度方法的优越性。
2018-08-02 cs.IT cs.LG math.IT
Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；University of California, Merced（加州大学默塞德分校）
本研究扩展了多级Stein变分梯度下降的代价复杂度分析，使其适用于单级方法收敛速率依赖迭代参数的场景，并将该方法应用于冰川冰模型贝叶斯反问题，实现了数个数量级的加速。
2023-04-29 cs.LG cs.NA math.NA
Stein Variational Evolution Strategies
TU Berlin（柏林技术大学）；Sakana AI
本文提出了一种结合SVGD与进化策略的无梯度方法，用于高效生成无规范分布的样本，提升了多个基准任务的性能。
2026-03-12 cs.AI cs.LG cs.NE
A Note on the Convergence of Mirrored Stein Variational Gradient Descent under $(L_0,L_1)-$Smoothness Condition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；KAUST（阿卜杜拉国王科技大学）
本文建立了总体极限的MiraminStein变分梯度法~（MSVGD）的一个下降引理。该下降引理不依赖于MSVGD的路径信息，而是依赖于镜像分布$\nablaΨ_{\#}π\propto\exp(-V)$的简单假设。我们的分析表明，MSVGD可以适用于更广泛的一类非光滑$V$的约束抽样问题。我们还调查的复杂性的人口限制MSVGD方面的尺寸$d$。
2022-06-20 cs.LG math.OC math.ST
The Variational Predictive Natural Gradient
Columbia University（哥伦比亚大学）；New York University（纽约大学）
变分推理将后验推理转换为参数优化，从而在不切实际的情况下使用潜在变量模型。然而，当不同的变分参数控制模型下强相关的变量时，变分推断可能是挑剔的。传统的自然梯度的基础上变分近似不能正确的相关性时，近似是不是真正的后验。为了解决这个问题，我们构造了一个新的自然梯度，称为变分预测自然梯度（VPNG）。与传统的变分推理的自然梯度不同，这种自然梯度解释了模型参数和变分参数之间的关系。我们通过一个简单的例子以及分类任务的经验值，图像的深度生成模型和推荐的概率矩阵分解来展示洞察力。
2019-11-29 cs.LG stat.ML
Sticking the Landing: Simple, Lower-Variance Gradient Estimators for Variational Inference
University of Toronto（多伦多大学）
我们提出了一个简单的和一般的变分证据下界的标准重参数梯度估计的变种。具体地说，我们删除了一部分的总导数相对于变分参数，对应于得分函数。去除这一项会产生一个无偏的梯度估计，其方差接近零，因为近似后验接近精确后验。我们从理论和经验上分析了这种梯度估计的行为，并将其推广到更复杂的变分分布，如混合物和重要性加权后验。
2017-05-28 cs.LG stat.ML
Training Variational Autoencoders with Buffered Stochastic Variational Inference
Stanford University（斯坦福大学）；VinAI（越南人工智能研究所）
深度潜变量模型（如变分自编码器（VAE））中的识别网络依赖于摊销推理，以实现有效的后验近似，可以扩展到大型数据集。然而，这种技术也被证明是选择次优的变分参数，往往会导致相当大的额外的错误称为摊销差距。为了缩小摊销差距并改进生成模型的训练，最近的工作已经引入了一个附加的细化步骤，该步骤应用随机变分推断（SVI）来改进由摊销推理模型返回的变分参数。在本文中，我们提出了缓冲随机变分推断（BSVI），一个新的细化过程，利用SVI的序列的中间变分建议分布和相应的重要性权重，以构建一个新的广义重要性加权下界。我们的经验表明，训练变分自动编码器与BSVI一贯优于SVI，产生一个改进的训练过程VAE。
2019-02-27 cs.LG stat.ML
Fast Black-box Variational Inference through Stochastic Trust-Region Optimization
我们介绍TrustVI，一个快速的二阶算法的黑盒变分推理的信赖域优化和重新参数化技巧的基础上。在每次迭代中，TrustVI基于从变分分布中提取的小批量来建议和评估步骤。该算法可证明收敛到一个稳定点。我们在Stan框架中实现了TrustVI，并将其与两种替代方案进行了比较：自动微分变分推理（ADVI）和无Hessian-free随机梯度变分推理（HFSGVI）。前者是基于随机一阶优化。后者使用二阶信息，但缺乏收敛保证。TrustVI通常比ADVI收敛至少快一个数量级，证明了随机二阶信息的价值。TrustVI经常发现比HFSGVI更好的变分分布，这表明我们的收敛理论在实践中很重要。
2017-11-05 cs.LG stat.ML
Provable Gradient Variance Guarantees for Black-Box Variational Inference
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
2019-10-28 cs.LG stat.ML
Differentiable Antithetic Sampling for Variance Reduction in Stochastic Variational Inference
Stanford University（斯坦福大学）
随机优化技术在变分推理算法中是标准的。这些方法通过用独立的Monte Carlo样本近似期望来估计梯度。在本文中，我们探讨了一种技术，使用相关的，但更有代表性的样本，以减少估计方差。具体来说，我们将展示如何生成对偶样本，匹配样本矩与潜在的重要性分布的真实时刻。将可微对偶采样器与现代随机变分推理相结合，我们展示了这种方法学习深度生成模型的有效性。
2019-08-14 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Noisy Natural Gradient as Variational Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。不幸的是，在廉价但简单的变分族（例如~完全因式分解的）或昂贵且复杂的推理过程。我们表明，自然梯度上升与自适应权重噪声隐式地适合变分后验最大化的证据下限（ELBO）。这种见解使我们能够分别使用自然梯度、Adam和K-FAC的噪声版本来训练全协方差、全因子分解或矩阵变量高斯变分后验，从而可以扩展到现代规模的ConvNets。在标准回归基准上，我们的噪声K-FAC算法比现有方法更好地预测和匹配Hamilton Monte Carlo的预测方差。其改进的不确定性估计导致主动学习中更有效的探索，以及强化学习的内在动机。
2018-02-26 cs.LG stat.ML
Smoothed Gradients for Stochastic Variational Inference
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
随机变分推断（SVI）使我们能够将贝叶斯计算扩展到海量数据。它使用随机最优化来拟合变分分布，遵循易于计算的噪声自然梯度。与大多数传统的随机最优化方法一样，SVI采取预防措施，使用无偏随机梯度，其期望值等于真实梯度。在本文中，我们探讨的想法，以下有偏随机梯度SVI。我们的方法将自然梯度替换为类似构造的向量，该向量使用其先前项的固定窗口移动平均值。我们将展示这种技术的许多优点。首先，它的计算成本与SVI相同，存储需求仅乘以一个常数因子。第二，它享有显着的方差减少比无偏估计，更小的偏差比平均梯度，并导致更小的均方误差对全梯度。我们测试我们的方法上的潜在狄利克雷分配与三个大型语料库。
2014-11-18 cs.LG stat.ML
Variational Inference for Policy Gradient
受Stein变分推理和Stein变分策略梯度的启发，我们推导了一种通过\textit{explicitly}最小化KL散度以摊销方式匹配目标分布来从后验变分参数分布生成样本的方法。因此，我们将这种变分推理技术应用于香草策略梯度，TRPO和PPO与贝叶斯神经网络参数化的强化学习问题。
2018-03-25 cs.AI cs.LG stat.ML
Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models
Imperial College London（帝国理工学院）
自然梯度法已被有效地用于共轭高斯过程模型，但非共轭的情况下，在很大程度上还没有探索。我们研究了自然梯度如何在非共轭随机环境中使用，以及超参数学习。我们的结论是，自然梯度可以显着提高性能方面的挂钟时间。对于病态后验的自然梯度方法的好处是特别明显的，我们展示了一个实际的设置，普通的梯度是不可用的。我们展示了如何使用自动微分在任何参数化中有效地自动计算自然梯度。我们的代码集成到GPflow包中。
2018-03-24 cs.LG stat.ML
Fast and Simple Natural-Gradient Variational Inference with Mixture of Exponential-family Approximations
University of British Columbia（不列颠哥伦比亚大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
自然梯度方法使变分推断的算法快速而简单，但由于计算困难，它们的使用主要限于\emph{minimal}指数族（EF）近似。在本文中，我们将其应用扩展到估计\emph{structured}近似，如混合EF分布。这种近似可以拟合复杂的多峰后验分布，并且通常比单峰EF近似更准确。通过使用这样的近似的\emph{minimal conditional-EF}表示，我们得到简单的自然梯度更新。我们的实证结果表明，我们的自然梯度方法相比，黑盒梯度为基础的方法与重新参数化梯度的收敛速度更快。我们的工作扩大了自然梯度的范围，贝叶斯推断，使他们更广泛的适用于比以前。
2020-11-06 cs.LG stat.ML
Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Adobe Systems Incorporated（奥多比系统公司）
Beta过程是潜在因子模型的标准非参数贝叶斯先验。本文对具有Poisson似然的Beta过程非负矩阵分解（NMF）模型给出了一个结构化的平均场变分推断算法。与非参数贝叶斯文献中研究较多的线性高斯模型不同，具有beta过程先验的NMF模型不具有共轭性。我们利用最近发展的随机结构平均场变分推断放松共轭约束，恢复近似变分分布中隐变量之间的依赖关系。仿真和实际算例的初步结果表明，该推理算法能够合理地恢复数据的隐藏结构。
2014-12-02 cs.LG stat.ML
Variational inference for neural network matrix factorization and its application to stochastic blockmodeling
Goldman Sachs（高盛集团）
我们考虑了神经网络矩阵因子分解的概率模拟（Dziugaite & Roy，2015），我们用贝叶斯神经网络构建，并用变分推断拟合。我们发现，一个线性模型与变分推断可以达到相同的预测性能的常规神经网络变体上的Movielens数据集。我们讨论了这一结果的影响，其中包括一些建议的利弊使用神经网络建设，以及变分推理方法。这样的概率方法是必需的，但是，当考虑到重要的一类随机块模型。我们描述了一个变分推断算法的神经网络矩阵分解模型与非参数块结构，并评估其性能的NIPS合著数据集。
2019-08-15 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University（哥伦比亚大学）；BCAM & Ikerbasque（BCAM与伊克尔巴斯克基金会）
提出基于可学习核心集变分推断的高斯过程回归方法CVGP，通过先验与似然定义后验，推导出适用于随机优化的变分下界，将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Moment-Based Variational Inference for Stochastic Differential Equations
Technische Universität Darmstadt（达姆施塔特工业大学）
现有的扩散过程的确定性变分推理方法使用简单的建议和目标后验的边缘密度。我们将变分过程构造为先验过程的受控版本，并通过一组矩函数来逼近后验过程。结合矩封闭，平滑问题减少到一个确定性的最优控制问题。利用路径的Fisher信息，我们提出了一个优化过程，对应于一个自然的梯度下降的变参数。我们的方法允许更丰富的变分近似，扩展到状态相关的扩散项。经典高斯过程近似作为一种特殊情况恢复。
2021-03-01 cs.LG stat.ML
Stochastic Variational Inference with Gradient Linearization
TU Darmstadt（达姆施塔特工业大学）
变分推理经历了最近的流行，由于随机方法，这已经产生了广泛的模型类的实用工具激增。一个关键的好处是，随机变分推理避免了繁琐的过程，推导出解析表达式的封闭形式的变量更新。相反，人们只需要导出对数后验的梯度，这通常要容易得多。然而，对于某些模型类别，对数后验本身很难使用标准梯度技术进行优化。一个这样的例子是随机场模型，其中基于梯度线性化的优化已被证明是流行的，因为它显著地加速收敛并且可以避免差的局部最优。本文提出了梯度线性化随机变分推理（SVIGL）。它与标准随机变分推理一样方便-所需的只是能量梯度的局部线性化。它的好处是随机变分推理与传统的梯度方法是一个明显的改善收敛速度，同时产生可比的，甚至更好的变分近似的KL发散。我们展示了SVIGL在三个应用中的好处：光流估计，泊松-高斯去噪和3D表面重建。
2018-03-28 cs.CV cs.LG stat.ML
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Stochastic Collapsed Variational Inference for Sequential Data
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。本文提出了一种序列数据下的随机折叠变分推断算法。我们的算法适用于有限隐马尔可夫模型和层次Dirichlet过程隐马尔可夫模型，并在指数族的排放分布所产生的任何数据集。我们在两个离散数据集上的实验结果表明，我们的推理是更有效的，更准确的比它的非折叠版本，随机变分推断。
2015-12-05 stat.ML
Local Expectation Gradients for Doubly Stochastic Variational Inference
我们介绍了当地的期望梯度，这是一个通用的随机变分推断算法，通过从变分分布采样构建随机梯度。该算法将估计多个变分参数的随机梯度的问题划分为较小的子任务，使得每个子任务智能地利用来自变分分布的最相关部分的信息。这是通过对主要与感兴趣的变分参数相关的单个随机变量执行精确期望来实现的，从而产生具有低方差并且可以有效地用于连续和离散随机变量的Rao-Blackwellized估计。此外，该算法与吉布斯抽样有有趣的相似之处，但与此同时，不像吉布斯抽样，它可以平凡地并行化。
2015-03-04 stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Robust, Accurate Stochastic Optimization for Variational Inference
本文针对变分推断中随机优化方法在高维和多样模型下不稳健的问题，提出将优化算法视为马尔可夫链的稳健随机优化框架，并配套收敛诊断与停止规则，可自动检测优化失败或不准确近似。
2020-09-03 cs.LG stat.ME stat.ML
A Case for the Score: Identifying Image Anomalies using Variational Autoencoder Gradients
German Cancer Research Center (DKFZ)（德国癌症研究中心）
通过对未标记数据的训练，异常检测有可能通过勾勒可疑区域来影响计算机辅助诊断。以前关于基于深度学习的异常检测的工作主要集中在重建误差上。相反，我们认为，从基于变分自动编码器的分数近似得到的像素异常评级在理论上更有根据，更可靠。在我们的实验中，基于变分自动编码器梯度的评级在BraTS-2017数据集上的无监督像素肿瘤检测方面优于其他方法，ROC-AUC为0.94。
2019-11-28 cs.LG eess.IV stat.ML
Stein Variational Gradient Descent as Gradient Flow
Stein变分梯度下降（SVGD）是一种确定性采样算法，其基于有效的基于梯度的更新来迭代地传输一组粒子以近似给定的分布，该更新保证在函数空间内最佳地减小库尔贝克-莱布勒散度。本文首次对SVGD进行了理论分析，讨论了它的弱收敛性质，并证明了它的渐近性态被Stein算子引入的新度量结构下的库尔贝克-莱布勒散度泛函的梯度流所捕获.利用弱导数的概念给出了Stein算子和Stein恒等式的一些结果，包括在弱条件下Stein不等式的可解性的一个新证明。
2017-11-14 stat.ML
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University（奥胡斯大学）
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新，以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布，我们广泛讨论高斯的情况下，更新有一个相当简单的形式。我们的准黑盒变分推断（QBVI）框架是很容易适用于广泛的一类贝叶斯推断问题，是简单的实现，因为更新的变分后不涉及梯度的模型参数，也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下，讨论其强大的和可行的实施细节，并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML
Smooth Monotone Stochastic Variational Inequalities and Saddle Point Problems: A Survey
MIPT（莫斯科物理技术学院）；ICS RAS（俄罗斯科学院控制系统研究所）；KAUST（阿卜杜拉国王科技大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Caucasus Mathematical Center（高加索数学中心）；Adyghe State University（阿迪格国立大学）
本文综述了求解光滑（强）单调随机变分不等式的方法，回顾了其确定性基础、一般随机公式与有限和设置，并探讨了算法的最新进展。
2023-04-02 cs.GT cs.LG math.OC
Doubly Stochastic Variational Inference for Neural Processes with Hierarchical Latent Variables
Amsterdam Machine Learning Lab, University of Amsterdam（阿姆斯特丹大学阿姆斯特丹机器学习实验室）
神经过程（NP）是一类随机过程的变分近似模型，在计算效率和不确定性量化方面具有良好的性能。这些过程使用具有潜在变量输入的神经网络来诱导预测分布。然而，普通NP的表达能力是有限的，因为它们仅使用全局潜在变量，而目标特定的局部变化有时可能是至关重要的。为了解决这个问题，我们系统地研究了NP问题，并提出了一种新的NP模型，我们称之为双随机变分神经过程（DSVNP）。该模型结合了全局潜变量和局部潜变量进行预测。我们在几个实验中评估了这个模型，我们的结果表明，在多输出回归和不确定性估计分类竞争力的预测性能。
2020-10-30 cs.LG stat.AP stat.ML
Stochastic Annealing for Variational Inference
我们经验评估贝叶斯后验优化与变分推断的随机退火策略。变分推断是贝叶斯模型中近似后验推理的确定性方法，其中典型的非凸目标函数在近似分布的参数上局部优化。我们研究的退火方法优化这个目标的目的是找到一个更好的局部最优解，并比较确定性退火方法和没有退火。我们表明，随机退火可以提供明显的改善GMM和HMM，而LDA的性能往往有利于确定性退火方法。
2015-05-25 stat.ML
Importance Sampled Stochastic Optimization for Variational Inference
变分推断通过最大化模型证据的下限来近似具有参数化密度的概率模型的后验分布。现代的解决方案适合一个灵活的近似与随机梯度下降，使用蒙特卡罗近似的梯度。这使得变分推断的任意可微的概率模型，从而使变分推断的概率编程语言的可行性。在这项工作中，我们开发了更有效的推理算法的任务，考虑重要性抽样估计的梯度。我们展示了如何在不需要重新计算模型本身的梯度的情况下，通常可以有效地评估近似参数的梯度，然后继续推导出使用重要性采样估计来加速计算的实用算法。我们提出了重要性采样随机梯度下降，它在一系列模型中明显优于标准随机梯度下降，并为变分推断提供了随机平均梯度的合理变体。
2017-07-12 stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的，但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差：最近的研究表明，对于连续潜变量，特别是多变量高斯，这可以通过使用对数后验的梯度来实现。在本文中，我们将同样的想法，伽玛分布的潜在变量的伽玛变分分布，使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据，以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的，这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化，允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差，其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法：逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
The Generalized Reparameterization Gradient
重新参数化梯度已成为一种广泛使用的方法来获得蒙特卡罗梯度优化变分目标。然而，这种技术不容易应用于常用的分布，如贝塔或伽马没有进一步的近似，和最实际的应用程序的重新参数化梯度拟合高斯分布。在本文中，我们介绍了广义重新参数化梯度，一种方法，扩展到更广泛的一类变分分布的重新参数化梯度。广义重参数化使用可逆变换的潜变量，导致变换后的分布，弱依赖于变分参数。这导致组合了重新参数化梯度和得分函数梯度的新的蒙特卡罗梯度。我们证明了我们的方法变分推断两个复杂的概率模型。广义重新参数化是有效的：即使是一个单一的样本从变分分布是足够的，以获得一个低方差梯度。
2016-10-19 stat.ML
Stochastic Collapsed Variational Inference for Hidden Markov Models
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。在本文中，我们提出了一个随机折叠变分推断算法的隐马尔可夫模型，在一个序列数据设置。给定一个崩溃的隐马尔可夫模型，我们将它的长马尔可夫链分解成一组短的子链。我们提出了一种新的和积算法来更新子链的后验，考虑到它们的边界过渡，由于顺序依赖。我们在两个离散数据集上的实验表明，我们的折叠算法是可扩展的非常大的数据集，内存效率和显着更准确的比现有的uncollapsed算法。
2015-12-05 stat.ML
Pathwise Gradient Variance Reduction with Control Variates in Variational Inference
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
针对现有路径梯度控制变量方差缩减方法依赖被积函数近似、仅适用于简单变分族的局限，本研究提出将零方差控制变量应用于路径梯度估计器，仅需变分分布可采样的弱假设。
2024-10-08 cs.LG stat.CO stat.ME
Fast Second-Order Stochastic Backpropagation for Variational Inference
我们提出了一个基于二阶（Hessian或Hessian-free）的优化方法，用于受高斯反向传播启发的变分推断，并认为可以开发拟牛顿优化。这是通过一个较低复杂度的重新参数化技巧，在随机反向传播中推广梯度计算来实现的。作为一个说明性的例子，我们将这种方法应用到贝叶斯逻辑斯谛回归和变分自动编码器（VAE）的问题。此外，我们计算的估计方差的难以处理的期望的家庭Lipschitz连续函数的界限。我们的方法是实用的，可扩展的和无模型的。我们在几个真实世界的数据集上展示了我们的方法，并与其他随机梯度方法进行了比较，以显示收敛速度的大幅提高。
2017-03-28 stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
Stochastic Variational Inference for Hidden Markov Models
变分推断算法已被证明是成功的贝叶斯分析在大数据设置，最近的进展使用随机变分推断（SVI）。然而，这些方法在很大程度上是在独立或可交换的数据环境中研究的。我们开发了一个SVI算法来学习隐马尔可夫模型（HHALF）的参数在一个时间依赖的数据设置。在这种情况下，应用随机最优化的挑战来自于链中的依赖关系，必须打破这种依赖关系才能考虑小批量的观测。我们提出了一种算法，利用记忆衰减的链自适应边界所产生的边缘效应的错误。我们证明了我们的算法的有效性合成实验和一个大的基因组数据集，其中一个批处理算法是计算上不可行的。
2014-11-06 stat.ML
