The Neural Moving Average Model for Scalable Variational Inference of State Space Models
Newcastle University（纽卡斯尔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
变分推断通过利用小批量训练，在将近似贝叶斯推断扩展到大数据方面取得了巨大成功。然而，到目前为止，这种策略最适用于独立数据的模型。我们提出了一个扩展的状态空间模型的时间序列数据的基础上一种新的生成模型的潜在的时间状态：神经移动平均模型。这允许在不从整个分布中提取的情况下对子序列进行采样，使得训练迭代能够以低计算成本使用小批量的时间序列。我们举例说明我们的方法在自回归，Lotka-Volterra，FitzHugh-Nagumo和随机波动率模型，实现准确的参数估计在很短的时间。
2021-05-18 cs.LG stat.ML
Scalable and adaptive variational Bayes methods for Hawkes processes
本文统一了Hawkes过程的变分贝叶斯方法，提出可并行化的自适应平均场算法，能适应参数维度并对模型误设定具有鲁棒性。
2023-09-01 math.ST stat.ML stat.TH
Scalable Mean-Field Variational Inference via Preconditioned Primal-Dual Optimization
Department of Industrial Engineering and Management Science, Northwestern University（工业工程与管理科学系，西北大学）；Department of Mathematics, Northwestern University（数学系，西北大学）；Department of Biostatistics, Brown University（生物统计学系，布朗大学）
本文提出了一种基于预条件对偶优化的可扩展均场变分推断方法，通过改进参数块的几何适应性，提升了算法的鲁棒性和效率，并在大规模数据上验证了其优越的收敛性能。
2026-02-10 cs.LG stat.ML
Scalable Variational Inference for Multinomial Probit Models under Large Choice Sets and Sample Sizes
Chung Ang University（中央大学）；National University of Singapore（新加坡国立大学）
本研究提出了一种可扩展的变分推断方法，用于高效校准大规模选择集和样本量下的多项式概率模型，显著提升了计算效率和准确性。
2025-07-15 stat.ME
Scalable Variational Inference in Log-supermodular Models
ETH Zurich（苏黎世联邦理工学院）
研究了对数超模模型中的近似贝叶斯推断问题。这些模型包含具有二进制变量的常规成对MRF，但允许捕获高阶相互作用，这对于现有的近似推理技术（如置信传播、平均场和变体）是难以处理的。我们表明，最近提出的变分方法，在对数超模块化模型-L-FIELD-推断减少到广泛研究的最小范数问题的次模块化。这种洞察力允许利用强大的现有工具，从而比以前更有效地解决变分问题的数量级。然后，我们提供了另一个自然的解释L-FIELD，证明它正好最小化一个特定类型的Rényi散度测度。这种见解揭示了L-场产生的变分近似的性质。此外，我们展示了如何执行并行推理作为消息传递在一个合适的因子图的线性收敛速度，而不必总结了所有配置的因素。最后，我们将我们的方法应用于一个具有挑战性的图像分割任务。我们的实验证实了我们的方法的可扩展性，高质量的边缘，并将高阶电位的好处。
2015-02-24 cs.LG stat.ML
A new wavelet-based variational family with copula dependence structures
本文提出一种结合小波表示和Copula函数的变分家族，通过小波系数构建边缘后验分布，利用Copula建模依赖结构，提升变分推断的灵活性和不确定性量化能力。
2026-04-02 stat.CO stat.ME
Scalable Amortized Variational Inference for Non-Poisson Buy-'Til-You-Die Models
The University of Chicago（芝加哥大学）
本文提出了适用于非泊松BTYD模型的可扩展摊销变分推断方法，该方法将交易假设为威布尔更新过程，在500万客户数据集上拟合仅需8分钟，还可扩展到协变量，显著提升了客户分析概率模型的效率。
2026-08-20 stat.AP stat.ME stat.ML
Scalable Estimation for Structured Additive Distributional Regression Through Variational Inference
针对结构化加性分布回归模型估计复杂且成本高的问题，提出基于变分推断的快速可扩展方法，结合参数近似与精确条件后验，采用随机梯度上升优化，并通过退火增强鲁棒性，在模拟和真实数据中验证了准确性与效率。
2023-11-13 stat.ME
Amortized Reparametrization: Efficient and Scalable Variational Inference for Latent SDEs
University of Toronto（多伦多大学）
针对潜在SDE推断时间复杂度受方程刚度制约的问题，提出结合摊销策略与线性SDE期望重参数化的方法，无需求解微分方程即可近似梯度，训练评估次数降一个数量级以上且性能相当。
2023-12-16 cs.LG stat.ML
Implicit copula variational inference
有效的通用或“黑盒”变分推断的关键是选择平衡精度和速度的目标密度的近似值。Copula模型是很有前途的选择，但对于某些选择，近似值的校准可能很慢。Smith et al.（2020）建议使用易于处理和可扩展的“隐式copula”模型，这些模型是通过对目标参数进行逐元素变换而形成的。我们提出了一个调整这些变换，使近似不变的目标密度的规模和位置。我们还展示了椭圆Copula的子类如何具有生成表示，可以轻松应用重新参数化技巧和高效的一阶优化。我们使用两个统计模型作为例子来演示估计方法。第一种是混合效应逻辑斯谛回归，第二种是正则化相关矩阵。对于后者，标准的马尔可夫链蒙特卡罗估计方法可能是缓慢或难以实现的，但我们提出的变分方法提供了一个有效的和可扩展的估计。我们通过估计1917年至2018年美国各州收入不平等的正则化高斯copula模型来说明。在线附录和MATLAB代码来实现该方法可作为补充材料。
2022-06-30 stat.CO stat.ME
Co-SIVI: A Correlated Semi-Implicit Variational Approach for Spatial Models
McGill University（麦吉尔大学）；Federal University of Rio de Janeiro（里约热内卢联邦大学）
Co-SIVI是面向大型非高斯空间模型全后验近似的可扩展方法，通过改进SIVI解决其依赖不足问题，在模拟及温度、房价数据集上以低计算成本复现HMC结果。
2026-09-04 stat.CO stat.ME
Variational predictive resampling
University of Oxford（牛津大学）；Monash University（莫纳什大学）
本文提出变分预测重采样方法，利用变分推断的预测能力，在预测-重采样框架中更准确地近似贝叶斯后验。通过在可计算的高斯位置模型中验证，VPR在计算效率上优于MCMC，且能更精确地量化后验不确定性。
2026-05-13 stat.CO stat.ME stat.ML
A Scalable Variational Bayes Approach to Fit High-dimensional Spatial Generalized Linear Mixed Models
本文提出两种基于半参数近似和并行计算的变分贝叶斯方法，用于高效拟合高维空间广义线性混合模型，在保持与MCMC相当性能的同时实现高达3600倍加速，并能在标准笔记本上处理数百万位置的数据。
2025-01-23 stat.ME
Variational Inference for Bayesian Neural Networks under Model and Parameter Uncertainty
University of Oslo（奥斯陆大学）；NMBU（挪威生命科学大学）；HiOF（东福尔郡大学学院）
针对现有贝叶斯神经网络无法同时处理结构与参数不确定性的问题，提出结合模型不确定性框架与重参数化变分推断的方法，在联合空间推断，实现了与现有模型相当且更稀疏的效果。
2023-05-01 cs.LG stat.ML
Efficient variational approximations for state space models
针对状态空间模型现有变分贝叶斯估计不准或计算不可行的问题，本文提出适用于闭式测量密度与指数族状态转移的快速准确变分近似，并在多元 Skellam 随机波动率和时变参数 VAR 模型中验证。
2023-06-02 econ.EM stat.CO
Group Spike and Slab Variational Bayes
Imperial College London（帝国理工学院）
本文提出组稀疏回归的可扩展方法GSVB，开发快速CAVI算法并提供理论保证，通过数值研究和真实数据集分析证明其性能优于或相当现有方法，兼具简约性、预测性、变量选择和不确定性量化能力。
2025-11-13 stat.CO stat.ME
Neural Variational Inference For Estimating Uncertainty in Knowledge Graph Embeddings
MediaGamma（MediaGamma公司）；University College London（伦敦大学学院）
神经变分推理的最新进展允许在涉及高维数据的各种领域中的潜在变量模型的复兴。虽然传统的变分方法推导出一个解析近似的棘手的分布的潜在变量，在这里，我们构建了一个推理网络的条件下的符号表示的实体和关系类型的知识图谱，提供变分分布。新的框架导致高度可扩展的方法。在Bernoulli抽样框架下，我们为大规模随机变分推理中常用的技术提供了另一种理由，这种方法以额外近似变分下限为代价，大大减少了训练时间。我们从这个高度可扩展的概率框架，即潜在的信息和潜在的事实模型，推理知识图谱为基础的表示引入两个模型。我们的潜在信息和潜在事实模型在某些条件下改进了基线性能。我们使用学习的嵌入方差估计预测的不确定性在链接预测，并讨论这些学习的不确定性估计的质量。我们的源代码和数据集可在https://github.com/alexanderimanicowenrivers/Neural-Variational-Knowledge-Graphs上公开获取。
2019-08-19 cs.AI cs.LG cs.SC
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School（斯威本商学院）
变分贝叶斯（VB）是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗（MCMC），但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明，VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是，我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
Bayesian Sociality Models: A Scalable and Flexible Alternative for Network Analysis
针对潜在空间模型的可识别性难题，研究提出贝叶斯社会性模型，构建结合马尔可夫链蒙特卡洛与变分推断的贝叶斯推断框架，验证其在多类网络分析任务中的稳健性，为网络科学提供可扩展、可解释的通用工具。
2025-03-18 stat.CO stat.ME
Copula variational inference
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）
我们开发了一个通用的变分推断方法，保留了潜在变量之间的依赖关系。我们的方法使用Copula来增加平均场和结构近似中使用的分布族。Copulas模型的依赖性，没有被捕获的原始变分分布，因此，增强变分家庭保证更好的近似后验。利用随机最优化，对增广分布的推断是可扩展的。此外，我们的策略是通用的：它可以适用于任何推理过程，目前使用的平均场或结构化的方法。Copula变分推断具有许多优点：它减少了偏差;它对局部最优值不太敏感;它对超参数不太敏感;它有助于表征和解释潜在变量之间的依赖关系。
2015-10-31 cs.LG stat.CO stat.ME
Stochastic Variational Inference
Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
我们开发了随机变分推断，一个可扩展的算法近似后验分布。我们开发了一个大类的概率模型，我们证明了它与两个概率主题模型，潜在的Dirichlet分配和层次Dirichlet过程主题模型。使用随机变分推断，我们分析了几个大的文档集合：30万篇来自《自然》的文章，180万篇来自《纽约时报》的文章，以及380万篇来自维基百科的文章。随机推理可以很容易地处理这种大小的数据集，并且优于传统的变分推断，后者只能处理较小的子集。(We也表明贝叶斯非参数主题模型优于其参数对应模型。随机变分推断使我们能够将复杂的贝叶斯模型应用于海量数据集。
2013-04-22 cs.AI stat.CO stat.ME
Stratified stochastic variational inference for high-dimensional network factor model
最近有相当大的兴趣在贝叶斯建模的高维网络通过潜在空间的方法。当节点数量增加时，基于马尔可夫链蒙特卡罗的估计可能非常慢，并且显示出较差的混合，从而激励对在高维设置中扩展良好的替代算法的研究。在这篇文章中，我们专注于潜在因素模型，一个广泛使用的网络数据的潜在空间建模方法。我们开发了可扩展的算法进行近似贝叶斯推断通过随机最优化。利用网络数据的稀疏表示，所提出的算法显示出巨大的计算和存储优势，并允许在具有数千个节点的设置中进行推理。
2022-05-27 stat.CO stat.ME
Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
Your Fantastic Institute（优范研究院）；Their Fantastic Institute（泽范研究院）
互信息是一个核心统计量，在机器学习的所有领域都有应用，无论是在多个数据模态上训练密度模型，最大化噪声传输信道的效率，还是在学习人工智能体探索的行为策略时。大多数涉及互信息优化的学习算法依赖于Blahut-Arimoto算法-一种具有指数复杂度的枚举算法，不适合现代机器学习应用。本文通过融合变分推断和深度学习的技术，为互信息的可扩展优化提供了一种新方法。我们通过关注内在动机学习的问题来开发我们的方法，其中互信息形成了一个众所周知的内部驱动的定义，称为授权。使用互信息的变分下界，结合处理视觉输入流的卷积网络，我们开发了一种随机优化算法，该算法允许直接从像素到动作的可扩展信息最大化和基于授权的推理。
2015-09-29 cs.AI cs.LG stat.ML
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Birmingham（伯明翰大学）；University of Manchester（曼彻斯特大学）
变分自动编码器（VAE）为非线性降维提供了一个灵活且可扩展的框架。然而，在应用领域，如基因组学的数据集通常是表格和高维的，黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程，但是，这将是可取的，以建立一个联合建模框架，同时降维和聚类的功能。在本文中，我们建议通过BasisVAE来实现这一点：VAE和概率聚类先验的组合，它让我们学习一个独热基函数表示作为解码器网络的一部分。此外，对于不是所有特征都对齐的情况，我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE，演示各种玩具的例子，以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
Variational Hamiltonian Monte Carlo via Score Matching
传统上，计算贝叶斯统计领域被分为两个主要的子领域：变分方法和马尔可夫链蒙特卡罗（MCMC）。然而，近年来，已经提出了几种方法的基础上结合变分贝叶斯推断和MCMC模拟，以提高其整体精度和计算效率。这种快速评估和灵活近似的结合为设计可扩展的贝叶斯推断方法提供了一种很有前途的方法。在本文中，我们探讨了将变分逼近到最先进的MCMC方法，哈密顿蒙特卡罗（HMC），以减少所需的梯度计算在模拟哈密尔顿流，这是许多应用的瓶颈HMC在大数据问题。为此，我们使用一个{ \it自由形式}近似诱导的快速和灵活的代理函数的基础上单隐层前馈神经网络。代理提供足够准确的近似，同时允许快速探索参数空间，从而产生一个有效的近似推理算法。我们证明了我们的方法在合成和真实数据问题上的优势。
2017-04-17 stat.CO stat.ML
Automatic Variational Inference in Stan
变分推断是一种可扩展的近似贝叶斯推断技术。推导变分推断算法需要繁琐的特定于模型的计算;这使得它难以自动化。提出了一种自动变分推断算法--自动微分变分推断（ADVI）。用户只提供了一个贝叶斯模型和一个数据集;没有别的。我们不做共轭假设，并支持广泛的一类模型。该算法自动确定一个合适的变分家庭和优化的变分目标。我们在Stan中实现了ADVI（代码现已可用），这是一个概率编程框架。我们比较ADVI MCMC抽样分层广义线性模型，非共轭矩阵分解，和混合模型。我们用25万张图片训练混合模型。有了ADVI，我们可以在Stan中编写的任何模型上使用变分推断。
2015-06-12 stat.ML
Variational Bayes for high-dimensional proportional hazards models with applications within gene expression
很少有贝叶斯方法用于分析高维稀疏生存数据，提供可扩展的变量选择，效果估计和不确定性量化。这种方法通常要么通过计算最大后验估计来牺牲不确定性量化，要么以高（不可缩放）计算费用来量化不确定性。我们弥合了这一差距，并开发了一个可解释和可扩展的贝叶斯比例风险模型的预测和变量选择，简称为SVB。我们的方法，基于平均场变分近似，克服了MCMC的高计算成本，同时保留有用的功能，提供了一个后验分布的参数，并提供了一个自然的机制，通过后验包含概率变量选择。我们提出的方法的性能进行评估，通过广泛的模拟和其他国家的最先进的贝叶斯变量选择方法进行比较，表现出可比或更好的性能。最后，我们演示了如何使用所提出的方法在两个具有删失生存结局的转录组数据集上进行变量选择，以及如何使用我们的方法提供的不确定性量化来提供对患者风险的可解释评估。
2022-07-05 stat.ME stat.ML
Deep Probabilistic Ensembles: Approximate Variational Inference through KL Regularization
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
在本文中，我们介绍了深度概率集成（DPEs），这是一种可扩展的技术，它使用正则化集成来近似深度贝叶斯神经网络（BNN）。我们这样做是通过将库尔贝克-莱布勒散度惩罚项集成的训练目标，来自变分推断中使用的证据下限。我们评估了从我们的模型中获得的不确定性估计，用于视觉分类的主动学习。随着注释预算的增加，我们的方法在主动学习基线上稳步改进。
2018-11-30 cs.LG stat.ML
A Particle Algorithm for Mean-Field Variational Inference
Columbia University（哥伦比亚大学）
本文提出了一种非参数均场变分推断的粒子算法PAVI，并提供了非渐近误差界，首次为粒子基于的MFVI提供了端到端保证。
2025-12-31 cs.LG math.OC math.ST
Stochastic Collapsed Variational Inference for Hidden Markov Models
塌陷模型的随机变分推断最近已成功地应用于大规模主题建模。在本文中，我们提出了一个随机折叠变分推断算法的隐马尔可夫模型，在一个序列数据设置。给定一个崩溃的隐马尔可夫模型，我们将它的长马尔可夫链分解成一组短的子链。我们提出了一种新的和积算法来更新子链的后验，考虑到它们的边界过渡，由于顺序依赖。我们在两个离散数据集上的实验表明，我们的折叠算法是可扩展的非常大的数据集，内存效率和显着更准确的比现有的uncollapsed算法。
2015-12-05 stat.ML
Variational Inference with Normalizing Flows
Google DeepMind（谷歌DeepMind）
近似后验分布的选择是变分推断的核心问题之一。变分推断的大多数应用采用简单的后验近似族，以允许有效的推理，集中在平均场或其他简单的结构化近似。这种限制有显着的影响，使用变分方法的推理质量。我们介绍了一种新的方法来指定灵活的，任意复杂的和可扩展的近似后验分布。我们的近似是通过归一化流构造的分布，通过应用一系列可逆变换将简单的初始密度变换为更复杂的密度，直到达到所需的复杂程度。我们使用这种观点规范化流发展类别的有限和无穷小流量，并提供了一个统一的观点，构建丰富的后验近似的方法。我们证明了具有更好地匹配真实后验的后验的理论优势，结合摊销变分方法的可扩展性，提供了变分推断的性能和适用性的明显改善。
2016-06-14 cs.AI cs.LG stat.CO
Scalable MCMC for Mixed Membership Stochastic Blockmodels
University of Southern California（南加州大学）；University of Montreal（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）
提出了一种随机梯度马尔可夫链蒙特卡罗（SG-MCMC）算法，用于混合成员随机块模型（MMSB）的可扩展推理.我们的算法是基于随机梯度黎曼Langevin采样器，并实现了更快的速度和更高的精度，在每一次迭代比目前的国家的最先进的算法的基础上随机变分推理。此外，我们开发了一个近似，可以处理的模型，招待了大量的社区。实验结果表明，SG-MCMC严格优于竞争算法在所有情况下。
2015-10-22 cs.LG stat.ML
Scaling Factorial Hidden Markov Models: Stochastic Variational Inference without Messages
阶乘隐马尔可夫模型（FHMM）是序列数据的强大模型，但它们不能很好地扩展长序列。我们提出了一个可扩展的推理和学习算法的FHSTIM，借鉴了随机变分推断，神经网络和copula文献的想法。与现有方法不同，该算法不需要隐变量之间的消息传递过程，并且可以分布到计算机网络中以加快学习速度。我们的实验证实，该算法不引入进一步的近似偏置相比，已被证明的结构化平均场算法，并实现更好的性能与长序列和大的FHH。
2016-10-28 stat.ML
Fast Second-Order Stochastic Backpropagation for Variational Inference
我们提出了一个基于二阶（Hessian或Hessian-free）的优化方法，用于受高斯反向传播启发的变分推断，并认为可以开发拟牛顿优化。这是通过一个较低复杂度的重新参数化技巧，在随机反向传播中推广梯度计算来实现的。作为一个说明性的例子，我们将这种方法应用到贝叶斯逻辑斯谛回归和变分自动编码器（VAE）的问题。此外，我们计算的估计方差的难以处理的期望的家庭Lipschitz连续函数的界限。我们的方法是实用的，可扩展的和无模型的。我们在几个真实世界的数据集上展示了我们的方法，并与其他随机梯度方法进行了比较，以显示收敛速度的大幅提高。
2017-03-28 stat.ML
Early Stopping is Nonparametric Variational Inference
Harvard University（哈佛大学）
我们表明，不收敛的随机梯度下降可以解释为一个程序，从一个非参数变分近似后验分布的样本。该分布被隐式地定义为通过优化更新序列对初始分布的变换。通过跟踪熵的变化，在优化过程中，这个序列的转换，我们形成了一个可扩展的，无偏估计的变分下界的对数边际似然。我们可以使用这个界限来优化超参数，而不是使用交叉验证。SGD的贝叶斯解释表明改进的，抗过拟合的优化程序，并为流行的技巧，如早期停止和集成提供了理论基础。我们研究了神经网络模型的边际似然估计的性质。
2015-04-06 cs.LG stat.ML
Censor Dependent Variational Inference
Purdue University（普渡大学）
本文提出依赖删失机制的变分推断（CDVI）及可扩展的CD-CVAE模型，解决了生存分析中变分分布设计不当的问题，显著提升了个体生存分布估计效果。
2025-06-03 cs.LG stat.ML
Variational Inference for Sparse and Undirected Models
无向图模型应用于基因组学、蛋白质结构预测和神经科学，以识别离散数据下的稀疏相互作用。虽然贝叶斯推理方法在这些情况下是有利的，但它们很少使用，因为它们需要双重棘手的蒙特卡罗采样。在这里，我们开发了一个框架，可扩展的贝叶斯推断的离散无向模型的基础上两个新的方法。第一个是持久VI，离散无向模型的变分推断算法，避免了双重棘手的MCMC和近似的分区函数。第二个是淡出，一个重新参数化方法的变分推断稀疏诱导先验，捕捉参数和超参数与非中心参数化之间的后验相关性。我们发现，这些变分推断方法大大提高了稀疏无向图形模型在物理和生物学模拟和真实问题的学习。
2017-06-14 cond-mat.dis-nn physics.data-an q-bio.QM
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起，并返回所表示的唯一个体的最小集合，以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型，在数据库之间共享功率，以及对最终解析数据库的查询的不确定性进行原则性量化。然而，现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法（MCMC）近似，运行速度太慢，包含数百万或数十亿条记录的现代数据库。相反，我们建议应用变分近似，使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似，定性地比较我们的算法与现有的方法，注意到独特的挑战，推理所产生的预期分布的集群大小在实体分辨率，并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
Scalable recommender system based on factor analysis
本文提出基于因子分析和扩展交叉随机效应模型的推荐系统方法，引入随机斜率并利用EM及变分EM算法实现可扩展参数估计，以有效预测用户-物品交互。
2024-08-12 cs.IR stat.ME
Advances in Variational Inference
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）；University of California, Irvine（加州大学欧文分校）
许多现代无监督或半监督机器学习算法依赖于贝叶斯概率模型。这些模型通常是棘手的，因此需要近似推理。变分推理（VI）让我们通过解决优化问题来近似高维贝叶斯后验，具有更简单的变分分布。该方法已成功应用于各种模型和大规模应用中。在这篇评论中，我们给出了一个概述变分推理的最新趋势。本文首先介绍了标准平均场变分推理，然后重点从以下几个方面综述了近年来的研究进展：（a）可缩放VI，其包括随机近似，（b）通用VI，其将VI的适用性扩展到一大类否则难以处理的模型，例如非共轭模型，（c）精确VI，其包括超出平均场近似或具有非典型发散的变分模型，（d）摊销VI，利用推理网络实现对局部隐变量的推理。最后，我们提供了一个有前途的未来研究方向的总结。
2018-10-23 cs.LG stat.ML
A stochastic variational framework for fitting and diagnosing generalized linear mixed models
在随机变分推断中，使用随机梯度近似来优化变分贝叶斯目标函数，其中在小的随机数据子集上计算的梯度用于近似整个数据集上的真实梯度。这使得复杂的模型能够适应大型数据集，因为数据可以在小批量中处理。本文将共轭指数模型的随机变分推断推广到非共轭模型，并提出了一种适合于大数据集的广义线性混合模型的随机非共轭变分消息传递算法。此外，我们表明，诊断先验似然冲突，这是有用的贝叶斯模型的批评，可以从非共轭变分信息自动传递，作为替代基于模拟的马尔可夫链蒙特卡罗方法。最后，我们证明，对于中等规模的数据集，收敛速度可以通过使用随机版本的非共轭变分消息传递在初始阶段的优化之前切换到标准版本。
2014-03-28 stat.ME
Stochastic Variational Inference via Upper Bound
Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；ZenRhyme Consulting Services（ZenRhyme咨询服务公司）
随机变分推理（SVI）在贝叶斯深度学习中起着关键作用。最近，各种分歧已被提出来设计变分推理的替代损失。我们提出了一个简单的上限的证据作为替代损失。该证据上限（EUBO）等于对数边际似然加上后验和建议之间的KL-分歧。我们表明，建议的EUBO是紧比以前的上限引入$χ$ -发散或$α$ -发散。为了便于可扩展的推理，我们提出了数值近似的梯度的EUBO和应用SGD算法迭代优化变分参数。贝叶斯逻辑回归的模拟研究表明，上界和下界很好地夹在证据和建议的上限是有利的紧。对于贝叶斯神经网络，所提出的EUBO-VI算法优于国家的最先进的各种例子的结果。
2019-12-02 cs.LG stat.ML
Lifted Hybrid Variational Inference
The University of Texas at Dallas（得克萨斯大学达拉斯分校）
各种提升推理算法，利用模型对称性，以减少计算成本，已被提出，使推理在概率关系模型易处理。大多数现有的提升推理算法仅在具有受限势函数的离散域或连续域上操作，例如，高斯。我们研究了两种近似的提升变分方法，它们适用于混合域，并且表达能力足以捕获多模态。我们证明了所提出的变分方法都是可扩展的，可以利用近似模型对称性，即使在大量的连续证据的存在下。我们证明，我们的方法相比，有利现有的基于消息传递的方法在各种设置。最后，我们提出了一个充分条件的Bethe近似产生一个非平凡的估计的边缘多面体。
2020-02-08 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Bridging the inference gap in Mutimodal Variational Autoencoders
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Inserm（法国国家健康与医学研究院）
本文提出一种无需专家混合聚合的多模态变分自编码器，通过多阶段训练结合变分推断与归一化流，并利用模态间共享信息提升条件生成质量，在多个基准上达到最优性能。
2025-02-06 cs.LG stat.ML
Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization
Duke University（杜克大学）；Newcastle University（纽卡斯尔大学）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
控制变量是一个行之有效的工具，以减少方差的蒙特卡罗估计。然而，对于包括高维和大样本设置的大规模问题，它们的优点可能会被大量的计算成本所抵消。本文认为控制变量的Stein算子的基础上，提出了一个框架，涵盖和推广现有的方法，使用多项式，内核和神经网络。提出了一种通过随机最优化使变分目标最小化的学习策略，从而得到可扩展的有效控制变量。新的理论结果，提供洞察的方差减少，可以实现，和实证评估，包括应用贝叶斯推断，提供支持。
2021-07-21 cs.LG stat.ML
Frequentist Consistency of Variational Bayes
Columbia University（哥伦比亚大学）
现代贝叶斯统计的一个关键挑战是如何对后验分布进行可扩展的推断。为了解决这个问题，变分贝叶斯（VB）方法已经成为一个流行的替代经典的马尔可夫链蒙特卡罗（MCMC）方法。VB方法往往更快，同时实现相当的预测性能。然而，围绕VB的理论研究成果很少。本文证明了VB方法的频率相合性和渐近正态性。具体来说，我们连接VB方法的变分近似，称为频率变分近似的基础上的点估计，我们使用的连接证明变分伯恩斯坦-冯米塞斯定理。该定理利用频率论变分逼近的理论特征来理解VB的渐近性质。总之，我们证明了（1）VB后验收敛到正态分布的Kullback-Leibler（KL）极小值，以真值为中心，（2）相应的变分期望是一致的，渐近正态的。作为定理的应用，我们得到了贝叶斯混合模型、贝叶斯广义线性混合模型和贝叶斯随机块模型中VB后验的渐近性质。我们进行了模拟研究来说明这些理论结果。
2021-07-08 cs.LG math.ST stat.ML
PAVI: Plate-Amortized Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
给定一些观测数据和概率生成模型，贝叶斯推理旨在获得可能产生数据的模型潜在参数的分布。这项任务对于大型人群研究具有挑战性，在大型人群研究中，对数百名受试者的队列进行数千次测量，导致大量潜在参数空间。这种大基数使得现成的变分推理（VI）在计算上不切实际。在这项工作中，我们设计了结构化的VI家庭，可以有效地解决大人口的研究。为此，我们的主要想法是在不同的i.i.d.之间共享参数化和学习。生成模型中的变量-由模型的板块符号化。我们将此概念命名为板块摊销，并说明了它所带来的强大的协同作用，从而产生富有表现力的，简约的参数化和数量级更快的训练大规模的分层变分分布。我们通过一个具有挑战性的神经影像学的例子，具有百万个潜在的参数，展示了可扩展的和富有表现力的变分推理的重要一步，PAVI的实际效用。
2022-06-10 cs.AI cs.LG q-bio.NC
Scalable Gradients for Stochastic Differential Equations
Google Research（谷歌研究院）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
伴随灵敏度方法可扩展地计算常微分方程解的梯度。我们将这种方法推广到随机微分方程，允许高效率的时间和恒定的内存计算梯度高阶自适应求解器。具体来说，我们推导出一个随机微分方程的解决方案是梯度，缓存噪声的内存效率的算法，以及数值解收敛的条件。此外，我们结合我们的方法与基于梯度的随机变分推理潜随机微分方程。我们使用我们的方法来拟合由神经网络定义的随机动态，在50维运动捕捉数据集上实现了有竞争力的性能。
2020-10-18 cs.LG cs.NA math.NA
Scalable Semi-Modular Inference with Variational Meta-Posteriors
University of Oxford（牛津大学）
截后验和相关的半模块化推理是模块化贝叶斯证据组合的广义贝叶斯方法。分析被分解在联合后验分布的模块化子模型上。多模块模型中的模型错误指定很难单独通过模型细化来修复，而Cut posterior和SMI提供了一种解决方法。从错误指定的模块进入分析的信息由与学习率相关的影响参数$η$控制。本文包含两个实质性的新方法。首先，我们给出了变分方法来近似切割和SMI后验，这是适应证据组合的推理目标。我们使用Normalising Flow对一系列变分后验进行参数化，以实现精确近似和端到端训练。其次，我们证明了使用一个新的变分元后验分析模型的多个切割是可行的。这近似一个家庭的SMI后验指数$η$使用一组变分参数。
2022-04-01 cs.LG stat.CO stat.ML
Actor Heterogeneity and Explained Variance in Network Models -- A Scalable Approach through Variational Approximations
针对超大网络中指数随机图模型因节点同质性假设导致的扩展性与不稳定性问题，提出基于变分近似的可扩展方法，引入行动者随机效应与协变量以降低异质性，并定义后验解释方差，实现了高维有向与无向网络的稳定估计。
2023-09-12 stat.CO stat.ME
Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations
针对全协方差高斯混合变分推断参数增长快且易陷入局部最优的问题，提出多起点优化结合局部 Laplace 近似与约束最小二乘的初始化方法。
2023-07-12 cs.CE stat.CO stat.ME
A Variational Algorithm for Bayesian Variable Selection
稀疏回归系数向量的估计问题在统计学、机器学习等领域得到了广泛的研究。在本文中，我们专注于贝叶斯方法来解决这个问题，稀疏性被纳入所谓的尖峰和板前的系数。我们提出了一种基于变分逼近后验分布的快速可扩展算法，而不是用MCMC进行后验推理。我们的算法所采用的更新方案与Carbonetto和Stephens（2012）提出的更新方案不同。这些变化似乎至关重要，我们表明，我们的算法可以实现渐近一致性，即使当特征维数与样本量呈指数快速发散。实验结果证明了该算法的有效性和效率。
2016-02-24 stat.CO stat.ME
