Efficient variational inference for generalized linear mixed models with large datasets
本文开发了一种混合变分贝叶斯算法，结合了平均场和固定形式的变分贝叶斯方法。新的估计算法可以用来近似任何后验，而不依赖于共轭先验。我们提出了一个划分和重组策略的大型数据集的分析，它将一个大的数据集划分成较小的块，然后结合的变分分布，已学习在每个单独的一块使用混合变分贝叶斯算法并行。将该方法应用于广义线性混合模型的拟合。并行和混合变分贝叶斯算法的计算效率证明了几个模拟和真实数据集。
2013-08-08 stat.ME
Variational Bayes and Truncation approximations for Enriched Dirichlet process mixtures
本文提出了一种用于增强狄利克雷过程混合模型（EDPM）的变分贝叶斯估计器，通过改进的截断近似方法提高效率，并展示了其在Nimble中实现阻塞吉布斯采样器的应用，通过模拟和实际数据验证了方法的有效性。
2026-06-03 stat.ME
Bayesian Inference for Non-Gaussian Simultaneous Autoregressive Models with Missing Data
University of Wollongong（伍伦贡大学）
本文提出非高斯同时自回归模型的贝叶斯推断方法，通过引入学生t分布、变换响应变量等方法处理厚尾和偏斜数据，并结合混合VB方法处理缺失数据。
2025-12-15 stat.ME
Adapted Variational Bayes for Functional Data Registration, Smoothing, and Prediction
我们提出了一个模型的功能数据注册，比较有利的功能数据注册目前可用的最佳方法。它还通过提供灵活的概率框架来扩展未注册数据的当前推理能力，该框架1）允许在注册的上下文中进行功能预测，并且2）可以适于在一个模型中包括平滑和注册。建议的推理框架是一个贝叶斯分层模型，其中注册的功能建模为高斯过程。为了解决高维贝叶斯模型中推理的计算需求，我们提出了一种适应形式的变分贝叶斯算法的近似推理，执行类似于MCMC抽样方法定义明确的问题。自适应变分贝叶斯（AVB）算法的效率允许预测的注册，扭曲，和未注册的功能的变化，分别通过自举来描绘。与厄尔尼诺现象有关的温度数据被用来证明该模型提供的独特的预测推理能力。
2016-06-03 stat.ME
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes
University of Nottingham（诺丁汉大学）；University of Oxford（牛津大学）
贝叶斯方法已被证明是强大的，在许多应用程序中的推理模型参数的数据。这些方法基于贝叶斯定理，该定理本身看似简单。然而，在实践中，即使对于简单的情况，所需的计算也是棘手的。因此，用于贝叶斯推断的方法在历史上要么是显著近似的，例如，拉普拉斯近似，或者以显著的计算代价从精确解获得样本，例如，马尔可夫链蒙特卡罗方法。自2000年左右以来，所谓的变分方法贝叶斯推断已越来越多地部署。在其最一般的形式变分贝叶斯（VB）涉及近似真实的后验概率分布通过另一个更“可管理”的分布，目的是实现尽可能好的近似。在最初的FMRIB变分贝叶斯教程中，我们记录了一种基于VB的方法，该方法采用“平均场”方法来形成近似后验，需要先验和似然的共轭性，并利用变分法来推导一系列迭代更新方程，类似于期望最大化。在本教程中，我们将重新讨论VB，但现在采用一种随机方法来解决问题，这种方法可能会规避早期方法所带来的一些限制。这种新方法与应用于机器学习算法的计算方法有很多相似之处，并从中受益。尽管如此，我们在这里记录的仍然是经典意义上的贝叶斯推断，而不是试图使用机器学习作为黑盒来解决推理问题。
2020-07-09 cs.LG stat.ME
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起，并返回所表示的唯一个体的最小集合，以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型，在数据库之间共享功率，以及对最终解析数据库的查询的不确定性进行原则性量化。然而，现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法（MCMC）近似，运行速度太慢，包含数百万或数十亿条记录的现代数据库。相反，我们建议应用变分近似，使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似，定性地比较我们的算法与现有的方法，注意到独特的挑战，推理所产生的预期分布的集群大小在实体分辨率，并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
Variational Inference of Dynamic Factor Models with Arbitrary Missing Data
动态因子模型通常采用点估计方法进行估计，而不考虑参数的不确定性。我们提出了一种方法占参数的不确定性，通过后验近似，使用变分推断。我们的方法允许任何任意模式的缺失数据，包括不同的样本量和混合频率。它还产生了一个简单的估计算法没有耗时的仿真技术。在使用小型和大型模型的经验示例中，我们将我们的方法与MCMC模拟的全贝叶斯估计进行了比较。一般来说，近似捕捉因子的功能和参数，具有巨大的计算增益。由此产生的预测分布近似到一个非常高的精度，几乎无法区分MCMC无论是在样本内外，在一小部分的计算时间。
2022-10-13 stat.AP stat.CO stat.ME
Variational Bayes Approximations for Clustering via Mixtures of Normal Inverse Gaussian Distributions
通过变分贝叶斯近似实现了基于模型的聚类的参数估计。考虑了单变量NIG混合物和多变量NIG混合物。变分贝叶斯近似的使用在这里是从传统的EM方法的实质性偏离，并消除了一些相关的计算复杂性和不确定性。我们的变分算法适用于模拟和真实数据。最后，本文进行了讨论，并对今后的工作提出了建议。
2013-09-07 stat.CO stat.ME stat.ML
A practical tutorial on Variational Bayes
本教程从实用的角度快速介绍了变分贝叶斯（VB），也称为变分推断或变分近似。本文涵盖了一系列常用的VB方法，并试图保持广泛的数据分析从业者社区的材料。其目的是读者可以快速推导和实现他们的第一个VB算法的贝叶斯推断与他们的数据分析问题。Matlab中的最终用户软件包以及文档可在https://vbayeslab.github.io/VBLabDocs/上找到
2021-03-01 stat.CO stat.ME stat.ML
Fast robustness quantification with variational Bayes
贝叶斯分层模型在经济学中越来越受欢迎。当使用分层模型时，不仅可以计算后验期望，还可以衡量这些期望对合理的替代先验选择的稳健性。我们使用变分贝叶斯和线性响应方法，以提供快速，准确的后验手段和鲁棒性的措施与应用程序来衡量发展中国家的小额信贷的有效性。
2016-06-23 stat.AP stat.ME stat.ML
Stochastic Gradient Variational Bayes in the Stochastic Blockmodel
本文实证评估了随机块模型中随机变分贝叶斯算法的速度与准确性权衡，发现需要较大子样本才能获得准确的后验近似，且近似质量高度不稳定。
2024-10-03 stat.AP stat.ME
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学，广泛应用于空间数据建模和计算机视觉问题。然而，该模型的统计推断仍然具有挑战性，由于棘手的性质的归一化常数的可能性。在这里，我们使用伪似然，而不是研究贝叶斯估计的两个参数，逆温度，磁化，伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下，我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失，由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Group Spike and Slab Variational Bayes
Imperial College London（帝国理工学院）
本文提出组稀疏回归的可扩展方法GSVB，开发快速CAVI算法并提供理论保证，通过数值研究和真实数据集分析证明其性能优于或相当现有方法，兼具简约性、预测性、变量选择和不确定性量化能力。
2025-11-13 stat.CO stat.ME
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto（都灵大学 ESOMAS 学院和卡罗阿尔贝托学院）
本文提出基于均场变分贝叶斯的方法，用于二元结果的稀疏变量选择，通过闭式更新实现高效推断，相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
Covariance Matrices for Mean Field Variational Bayes
University of California, Berkeley（加州大学伯克利分校）
平均场变分贝叶斯（MFVB）是一种流行的后验近似方法，由于其快速运行的大规模数据集。然而，众所周知，MFVB的一个主要缺点是它（有时严重）低估了模型变量的不确定性和缺乏有关模型变量协方差的信息。我们为指数族开发了一种快速，通用的方法，该方法增强了MFVB，为模型变量提供准确的不确定性估计-无论是单个变量还是跨变量的一致性。指数族的MFVB定义了一个近似后验均值的不动点方程，我们的方法通过扰动这个不动点来得到协方差估计。受线性响应理论的启发，我们称我们的方法为线性响应变分贝叶斯（LRVB）。我们证明了我们的方法在模拟数据集的准确性。
2014-12-08 cs.LG stat.ME stat.ML
Variational Bayes: A report on approaches and applications
New York University（纽约大学）
深度神经网络在各种各样的任务上取得了令人印象深刻的成果。然而，量化网络输出的不确定性是一项具有挑战性的任务。贝叶斯模型提供了一个数学框架来推理模型的不确定性。变分方法已经被用于近似在神经网络的贝叶斯推断中出现的难处理的积分。在这份报告中，我们回顾了有关贝叶斯神经网络的主要变分推理概念，并比较了文献中使用的各种近似方法。我们还讨论了变分贝叶斯在强化学习和持续学习中的应用。
2019-05-26 cs.LG stat.ML
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
Variational approximations of empirical Bayes posteriors in high-dimensional linear models
在高维情形下，先验尾部对后验计算和渐近集中率都有显著影响。为了在保持后验计算相对简单的同时实现最优速率，最近提出了一种经验贝叶斯方法，其特征在于具有数据驱动中心的薄尾共轭先验。虽然共轭先验减轻了一些计算负担，但仍然需要马尔可夫链蒙特卡罗方法，当维数很高时，这种方法可能是昂贵的。在本文中，我们开发了一个变分近似的经验贝叶斯后验，是快速计算，并保留了原来的最佳浓度率属性。在模拟中，我们的方法被证明具有优越的性能相比，现有的变分近似在文献中在广泛的高维设置。
2020-07-31 math.ST stat.ME stat.ML
Quantum Annealing for Variational Bayes Inference
Google（谷歌）；University of Tokyo（东京大学）
研究了一种基于量子退火的变分贝叶斯（QAVB）推理的确定性退火算法，该算法可以看作是变分贝叶斯模拟退火（SAVB）推理的扩展. QAVB和SAVB一样容易实现。实验结果表明，QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配（LDA）。
2014-08-09 cs.LG stat.ML
Asymptotic Consistency of Loss-Calibrated Variational Bayes
Purdue University（普渡大学）
本文建立了{ \it损失校准变分贝叶斯}（LCVB）方法的渐近相合性。LCVB是在~ \cite{LaSiGh2011}中提出的，作为一种以“损失感知”方式近似计算贝叶斯后验的方法。这种方法在一般数据驱动的决策环境中也高度相关。在这里，我们不仅建立了校准的近似后验的渐近一致性，而且还建立了决策规则的渐近一致性。我们还建立了一个“天真”变分贝叶斯过程中获得的决策规则的渐近一致性。
2019-11-04 cs.LG stat.ML
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题，提出可组合多模型变分后验的框架，证明其最优收缩率，给出海量模型下的可行方案，还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
Interpolation of Missing Swaption Volatility Data using Gibbs Sampling on Variational Autoencoders
尽管金融从业者和研究人员都非常感兴趣，但由于各种基础互换工具的流动性不足，欧洲互换的市场隐含波动率数据经常显示出大部分缺失的报价。在这种情况下，标准的随机插值工具，如常见的SABR模型，往往不能校准观察到的隐含波动率微笑，由于数据只能用于相应的基础互换的价内报价。在这里，我们建议通过学习隐含波动率立方体的随机潜在表示通过变分自编码器，使推理的丢失的波动率数据的条件下观察到的数据的近似吉布斯抽样方法来推断的几何形状的完整未知的隐含波动率立方体。缺失报价的插补估计可以用于拟合标准的随机波动率模型。由于所采用的变分自编码器模型的训练数据通常是稀疏可用的，我们测试的方法的鲁棒性的合成数据上训练的模型在真实的市场报价，我们表明，SABR插值波动率校准重建的波动率立方体与人为估算的缺失值相比，SABR拟合校准到完整的立方体相差不超过两个基点。此外，我们还展示了如何使用插补来成功地建立用于对冲目的的Delta中性投资组合。
2022-04-21 cs.LG stat.ML
On Statistical Optimality of Variational Bayes
本文解决了一个长期存在的开放问题的理由使用变分贝叶斯方法的参数估计。我们提供了一般的条件，获得最佳的风险界的点估计获得平均场变分贝叶斯推断。这些条件涉及参数空间上距离度量的某些检验函数的存在性和先验的最小假设。概述了一个通用的配方验证的条件，这是广泛适用于现有的贝叶斯模型有或没有潜变量。作为示例，讨论了潜在狄利克雷分配和高斯混合模型的具体应用。
2017-12-25 math.ST stat.ML stat.TH
$α$-Variational Inference with Statistical Guarantees
我们提出了一个家庭的变分近似贝叶斯后验分布，称为$α$ -VB，可证明的统计保证。标准变分近似是带有$α$的一种特殊情况。当$α\in(0,1]$，一类新的变分不等式被发展用于将变分最优化问题中变分近似下的Bayes风险与目标函数联系起来，这意味着在变分推理中最大化证据下界具有在变分密度族内最小化Bayes风险的效果.在一个频率论的设置，变分不等式意味着点估计构造的$α$ -VB程序收敛到真正的参数在广泛的问题以最佳的速度。我们说明了我们的一般理论与一些例子，包括平均场变分近似（低）-高维贝叶斯线性回归与尖峰和板先验，混合高斯模型，潜在的Dirichlet分配，和（混合）高斯变分近似在常规参数模型。
2018-02-07 math.ST stat.CO stat.ME
Variational Bayes inference and Dirichlet process priors
本文展示了如何变分贝叶斯方法提供了一个计算效率高的技术的背景下，分层建模使用狄利克雷过程先验，特别是不需要共轭先验假设。它表明，使用所谓的参数分离参数化，一个简单的标准下，变分法工作良好。基于这个框架，它提供了一个完整的变分解的Dirichlet过程。数值结果表明，该方法是非常计算效率相比，MCMC。最后，我们提出了一个经验方法来估计截断Dirichlet过程的截断水平。
2013-09-20 stat.CO
Frequentist Consistency of Variational Bayes
Columbia University（哥伦比亚大学）
现代贝叶斯统计的一个关键挑战是如何对后验分布进行可扩展的推断。为了解决这个问题，变分贝叶斯（VB）方法已经成为一个流行的替代经典的马尔可夫链蒙特卡罗（MCMC）方法。VB方法往往更快，同时实现相当的预测性能。然而，围绕VB的理论研究成果很少。本文证明了VB方法的频率相合性和渐近正态性。具体来说，我们连接VB方法的变分近似，称为频率变分近似的基础上的点估计，我们使用的连接证明变分伯恩斯坦-冯米塞斯定理。该定理利用频率论变分逼近的理论特征来理解VB的渐近性质。总之，我们证明了（1）VB后验收敛到正态分布的Kullback-Leibler（KL）极小值，以真值为中心，（2）相应的变分期望是一致的，渐近正态的。作为定理的应用，我们得到了贝叶斯混合模型、贝叶斯广义线性混合模型和贝叶斯随机块模型中VB后验的渐近性质。我们进行了模拟研究来说明这些理论结果。
2021-07-08 cs.LG math.ST stat.ML
Good Initializations of Variational Bayes for Deep Models
EURECOM（欧洲通信学院）
随机变分推断是对深度模型进行近似贝叶斯推断的既定方法。虽然在深度学习中已经有了有效的初始化损失最小化的建议，但对随机变分推断的初始化问题的关注要少得多。我们解决这个问题，提出了一种新的逐层初始化策略的基础上贝叶斯线性模型。所提出的方法在回归和分类任务上得到了广泛的验证，包括贝叶斯DeepNets和ConvNets，与损失最小化初始化文献启发的替代方案相比，显示出更快和更好的收敛性。
2019-01-25 cs.LG stat.ML
Streaming Variational Bayes
我们提出了SDA-Bayes，一个用于贝叶斯后验的（S）处理，（D）迭代，（A）同步计算的框架。该框架根据用户指定的近似批处理原语对估计后验进行流式更新。我们证明了我们的框架的有用性，变分贝叶斯（VB）作为原始的，通过拟合潜在的Dirichlet分配模型，两个大规模的文档集合。我们证明了我们的算法的优势，随机变分推断（SVI）通过比较后，通过一个已知的数据量-SVI的情况下，可以应用-和在流设置，SVI不适用。
2013-11-20 cs.LG stat.ML
A Quantum Extension of Variational Bayes Inference
变分贝叶斯（VB）推理是机器学习中最重要的算法之一，在工程和工业中有着广泛的应用。然而，众所周知，VB遭受局部最优的问题。在这封信中，我们推广VB使用量子力学，并提出了一个新的算法，我们称之为量子退火变分贝叶斯（QAVB）推理。然后，我们表明，QAVB大大提高VB的性能，通过将它们应用到高斯混合模型描述的聚类问题。最后，我们讨论了一个直观的理解QAVB是如何工作的。
2017-12-13 cond-mat.stat-mech quant-ph stat.ML
A variational Bayes latent class approach for EHR-based patient phenotyping in R
University College Dublin（都柏林大学学院）
该研究提出了一种基于变分贝叶斯的隐类方法，用于利用电子健康记录数据进行患者表型分析，结合高斯混合模型和逻辑回归模型评估表型预测性能。
2025-12-16 stat.CO stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics（伦敦政治经济学院）；JP Morgan Chase & Co.（摩根大通公司）
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置，既不能刻画潜变量间的相关结构，又由于普遍截断，不能推断真实的后验维数。为了克服这些局限性，我们提出了条件和自适应截断变分推断方法（CATVI），通过最大化的非参数证据下限，并集成蒙特卡罗到变分推断框架。与传统方法相比，CATVI具有几个优点，包括变分后验和真后验之间的偏差较小，欠拟合或过拟合的风险降低，以及预测精度提高。在三个大型数据集上的实证研究表明，CATVI应用于贝叶斯非参数主题模型大大优于竞争模型，提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Quantum Speedup of Natural Gradient for Variational Bayes
变分贝叶斯（VB）是机器学习和统计学中的一种关键方法，是贝叶斯深度学习最近成功的基础。自然梯度是有效的VB估计的重要组成部分，但它在高维中的计算成本过高。我们提出了一种计算效率高的基于回归的自然梯度估计方法，在标准假设下的收敛保证。该方法使量子矩阵求逆的使用，以进一步加快VB。我们证明了问题设置满足量子矩阵求逆提供计算效率所需的条件。该方法适用于广泛的统计模型，不需要特殊用途或简化的变分分布。
2022-06-21 quant-ph stat.CO stat.ML
Diagnostics for Variational Bayes approximations
变分贝叶斯（VB）在许多应用领域中已显示出其本身是一种强大的近似方法。本文介绍了一些诊断方法，可以评估如何以及VB近似真实的后验，特别是关于其协方差结构。所提出的方法也使我们能够产生简单的修正时，近似误差是大的。它着眼于联合，边缘和条件方面的近似后验，并显示如何应用这些技术在模拟和真实数据的例子。
2013-09-19 stat.CO
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School（斯威本商学院）
变分贝叶斯（VB）是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗（MCMC），但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明，VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是，我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的，但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差：最近的研究表明，对于连续潜变量，特别是多变量高斯，这可以通过使用对数后验的梯度来实现。在本文中，我们将同样的想法，伽玛分布的潜在变量的伽玛变分分布，使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据，以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型，用于解决链接预测问题，相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
Variational Bayes latent class approach for EHR-based phenotyping with large real-world data
用于患者表型分析的贝叶斯临床分析方法受到与将马尔可夫链蒙特卡罗（MCMC）方法应用于大型真实世界数据相关的计算挑战的限制。近似贝叶斯推断通过优化的变分证据下限，通常称为变分贝叶斯（VB），已成功地证明了其他应用。我们研究了目前可用的R和Python VB软件的性能和特点，用于现实大型真实世界观测数据的变分贝叶斯潜在类分析（LCA）。我们使用了一个真实世界的数据集，Optum \textsuperscript{TM}电子健康记录（EHR），包含具有2型糖尿病风险指标的儿科患者，2型糖尿病是儿科患者中的一种罕见形式。这项工作的目的是验证贝叶斯患者表型模型的通用性和可扩展性，至关重要的是，它可以应用于一个现实的大型现实世界的临床数据集。我们发现目前可用的自动VB方法是非常敏感的初始起始条件，模型定义，算法超参数和梯度优化器的选择。贝叶斯LCA模型是具有挑战性的实现使用VB，但我们取得了合理的结果，非常好的计算性能相比MCMC。
2023-03-23 stat.AP
Accurate Computation of Marginal Data Densities Using Variational Bayes
本文提出了一种新的边缘数据密度估计器，它将变分贝叶斯后验密度作为倒数重要性抽样（RIS）边缘数据密度估计器的加权密度。这种计算方便的估计是基于变分贝叶斯后验密度，可用于许多模型，只需要模拟绘制从后验分布。它提供了准确的估计与适度数量的后验绘制，有一个有限的方差，并提供了一个最小方差的候选人的类RIS MDDE。它的倒数是一致的，渐近正态分布，无偏的。这些属性是在不截断加权密度的情况下获得的，这对于其他此类估计是典型的。我们提出的估计优于许多现有的MDDE的偏差和数值标准误。特别是，我们的RIS MDDE执行一致优于其他估计从这个类。
2020-05-09 stat.AP stat.CO
Manifold Gaussian Variational Bayes on the Precision Matrix
Aarhus University（奥胡斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程学院）
该研究提出基于精度矩阵的流形高斯变分贝叶斯算法MGVBP，通过黎曼流形上的自然梯度更新满足协方差正定约束，计算高效、易实现且为黑箱方案，在五个数据集的多类模型上验证了性能。
2024-04-17 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Particle Mean Field Variational Bayes
The University of Sydney Business School（悉尼大学商学院）；ARC Centre for Data Analytics for Resources and Environments (DARE)（澳大利亚研究委员会资源与环境数据分析中心（DARE））；UNSW Business School（新南威尔士大学商学院）
本文提出一种基于粒子的MFVB方法，利用Wasserstein梯度流与Langevin扩散动力学的联系建立理论基础，突破了传统MFVB仅适用于共轭先验或解析计算模型的限制，并在多个模型上验证了其有效性。
2023-05-17 cs.LG stat.CO
Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges
Michigan State University（密歇根州立大学）
贝叶斯神经网络模型（BNN）近年来由于可扩展计算的进步及其在解决各种应用中的复杂预测问题中的实用性而重新兴起。尽管BNN的流行和有用性，传统的马尔可夫链蒙特卡罗为基础的实现遭受高计算成本，限制了使用这种强大的技术在大规模的研究。变分贝叶斯推理已经成为一个可行的替代方案，以规避一些计算问题。虽然这种方法在机器学习中很流行，但它在统计学中的应用有些有限。本文发展了一种变分贝叶斯神经网络估计方法和相关的统计理论。详细讨论了数值算法及其实现。后验一致性理论，在非参数贝叶斯统计的一个理想的属性，也被开发。这一理论提供了一个评估的预测精度和准则的特点先验分布和变分家庭。使用变分后的损失超过真正的后验也被量化。该开发的动机是一个重要的生物医学工程应用，即建立从轻度认知障碍到阿尔茨海默病的预测工具。预测因子是多模态的，可能涉及复杂的交互关系。
2020-11-19 cs.LG math.ST stat.ML
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University（普林斯顿大学神经科学研究所）；Google AI Berlin（谷歌柏林人工智能研究院）；Department of Engineering, University of Cambridge（剑桥大学工程系）；Microsoft Research, Cambridge（微软剑桥研究院）
贝叶斯神经网络（BNN）作为一种灵活而有原则的解决方案，在从有限数据中学习时处理不确定性，具有很大的前景。在深度神经网络中实现概率推理的方法中，变分贝叶斯（VB）具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识，为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限？我们认为，变分推理神经网络是脆弱的：成功的实现需要仔细的初始化和调整的先验方差，以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新，旨在把VB成为一个强大的推理工具贝叶斯神经网络：首先，我们引入了一种新的确定性方法来近似矩神经网络，消除梯度方差;第二，我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新，所得到的方法是高效和鲁棒的。在异方差回归的应用中，我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题，因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗（MCMC）方法，产生贝叶斯推断的ERGM，如交换算法，是渐近精确的，但计算密集，因为网络必须从每一步的可能性，例如，使用“领带不领带”采样器。在这篇文章中，我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍，我们提出了随机梯度上升，使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络，并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
Variational Bayes Made Easy
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出一种三步配方，通过识别后验对已知分布期望的线性关系并直接读出更新项，使变分贝叶斯推导更简单、快速且通用。
2023-07-10 cs.AI cs.LG stat.ML
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation（电装公司）；Toyohashi University of Technology（丰桥技术科学大学）
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而，在时间序列分析中，大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法，目前还没有得到广泛的讨论。在本文中，我们提出了一种新的聚类算法，侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明，该算法不仅对相移、幅度和信号长度的变化具有鲁棒性，而且基于变分贝叶斯方法的特性，提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
Unnormalized Variational Bayes
NNAISENSE, Inc.（NNAISENSE 公司）；University of California, Berkeley（加州大学伯克利分校）
我们统一的经验贝叶斯和变分贝叶斯近似未规范化的密度。这个框架，名为非归一化变分贝叶斯（UVB），是基于制定一个潜在的变量模型的随机变量$Y=X+N(0,σ^2 I_d)$和使用的证据下限（ELBO），计算的变分自动编码器，作为一个参数化的能量函数的$Y$，然后用于估计$X$与经验贝叶斯最小二乘估计。在这个有趣的设置中，ELBO相对于噪声输入的$\textit{gradient}$在学习能量函数中起着核心作用。经验上，我们证明，UVB有更高的能力，近似能量函数比参数化与MLP神经经验贝叶斯（DEEN）。我们特别展示了$σ=1$，其中UVB和DEEN之间的差异在去噪实验中变得可见和定性。对于这种高水平的噪声，分布的$Y$是非常平滑的，我们证明了一个可以遍历在一个单一的运行$-$没有重新启动$-$所有MNIST类在各种风格通过步行跳跃采样与快速混合Langevin MCMC采样器。最后，我们探测训练模型的编码器/解码器，并确认UVB $\neq$ VAE。
2020-07-29 cs.LG stat.ML
Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations
Indian Institute of Technology Delhi（德里印度理工学院）
基于神经网络的数据驱动算子学习方案在计算力学中显示出巨大的潜力。DeepONet就是这样一种神经网络架构，由于其出色的预测能力而获得了广泛的赞赏。话虽如此，设置在确定性框架中使DeepONet架构面临过拟合、泛化能力差的风险，并且在其未改变的形式下，它无法量化与其预测相关的不确定性。在本文中，我们提出了一种用于算子学习的变分贝叶斯DeepONet（VB-DeepONet），它可以在很大程度上减轻DeepONet架构的这些限制，并在预测阶段为用户提供有关相关不确定性的额外信息。贝叶斯框架下的神经网络集的核心思想是，神经网络的权重和偏差被视为概率分布而不是点估计，并使用贝叶斯推断来更新它们的先验分布。现在，为了管理与近似后验分布相关的计算成本，所提出的VB-DeepONet使用\textit{variational inference}。与马尔可夫链蒙特卡罗方案不同，变分推断具有考虑高维后验分布的能力，同时保持相关的计算成本低。涵盖扩散反应，重力摆，平流扩散等力学问题的不同示例已经被示出来说明所提出的VB-DeepONet的性能，并且还与确定性框架中的DeepONet集进行了比较。
2022-06-12 cs.LG stat.ML
A Variational Bayes Approach to Decoding in a Phase-Uncertain Digital Receiver
本文提出了一种相位不同步数字接收机中符号和相位推断的贝叶斯方法。它主要将[Quinn 2011]扩展到多符号情况，使用变分贝叶斯（VB）近似来处理这种情况下相位推断的组合复杂性。这项工作提供了一个完全贝叶斯扩展的EM为基础的框架下目前的涡轮同步方法，因为它会导致冯米塞斯先验的时不变的相位参数。其结果是，我们实现了易于处理的迭代算法，在低信噪比制度的鲁棒性提高，相比目前的EM为基础的方法。作为我们分析的推论，我们还发现了先验正则化在优雅地处理相位模糊性的重要问题中的重要性。
2011-07-04 stat.AP stat.ML
