Fast robustness quantification with variational Bayes
贝叶斯分层模型在经济学中越来越受欢迎。当使用分层模型时，不仅可以计算后验期望，还可以衡量这些期望对合理的替代先验选择的稳健性。我们使用变分贝叶斯和线性响应方法，以提供快速，准确的后验手段和鲁棒性的措施与应用程序来衡量发展中国家的小额信贷的有效性。
2016-06-23 stat.AP stat.ME stat.ML
A Variational Inference method for Bayesian variable selection
变量选择是统计学中的一个经典问题。在本文中，我们考虑了Ročková和George（2014）提出的基于混合正态分布的spike-and-slab先验的贝叶斯变量选择问题。受Ormerod和You（2017，2023）的启发，我们使用变分推断和折叠变分推断方法来解决贝叶斯问题，而不是MCMC。与Ormerod and You（2017，2023）一样，我们也解释了稀疏估计是如何被导出的，并且在某些温和的假设下，我们还证明了一致和渐近的结果。
2023-03-07 stat.ME
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto（都灵大学 ESOMAS 学院和卡罗阿尔贝托学院）
本文提出基于均场变分贝叶斯的方法，用于二元结果的稀疏变量选择，通过闭式更新实现高效推断，相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
Semisupervised hyperspectral image unmixing using a variational Bayes algorithm
本技术报告提出了一种用于半监督高光谱图像分解的变分贝叶斯算法。所提出的贝叶斯模型采用重尾，非负截断拉普拉斯先验的丰度系数。这种先验对丰度系数施加了稀疏性假设和非负性约束。在Aviris Cuprite数据集上进行的实验结果证明了该方法的有效性。
2014-06-18 stat.ME
Variational Bayes: A report on approaches and applications
New York University（纽约大学）
深度神经网络在各种各样的任务上取得了令人印象深刻的成果。然而，量化网络输出的不确定性是一项具有挑战性的任务。贝叶斯模型提供了一个数学框架来推理模型的不确定性。变分方法已经被用于近似在神经网络的贝叶斯推断中出现的难处理的积分。在这份报告中，我们回顾了有关贝叶斯神经网络的主要变分推理概念，并比较了文献中使用的各种近似方法。我们还讨论了变分贝叶斯在强化学习和持续学习中的应用。
2019-05-26 cs.LG stat.ML
Use of model reparametrization to improve variational Bayes
我们建议使用模型重新参数化，以提高变分贝叶斯推理的分层模型，其变量可以被分类为全球（共享的意见）或本地（观察特定）。局部变量和全局变量之间的后验依赖性通过对局部变量应用可逆仿射变换来最小化。该变换的函数形式是通过二阶泰勒展开的高斯密度近似每个局部变量的后验分布的条件下的全局变量。然后使用随机逼近得到重新参数化模型的变分贝叶斯推断。我们的方法可以很容易地扩展到大型数据集通过划分和重组策略。使用广义线性混合模型，我们证明了重新参数化变分贝叶斯（RVB）提供了改进的精度和收敛速度相比，最先进的高斯变分近似方法。
2020-03-07 stat.ME
Natural Gradient Variational Bayes without Fisher Matrix Analytic Calculation and Its Inversion
本文提出一种无需解析计算及显式求逆Fisher信息矩阵的natural gradient variational Bayes方法，通过迭代过程逼近矩阵的逆，实现线性复杂度与可证明收敛性，适用于多种变分贝叶斯领域。
2024-04-26 stat.ME
Quantum Annealing for Variational Bayes Inference
Google（谷歌）；University of Tokyo（东京大学）
研究了一种基于量子退火的变分贝叶斯（QAVB）推理的确定性退火算法，该算法可以看作是变分贝叶斯模拟退火（SAVB）推理的扩展. QAVB和SAVB一样容易实现。实验结果表明，QAVB发现一个更好的局部最优比SAVB的变分自由能在潜在的狄利克雷分配（LDA）。
2014-08-09 cs.LG stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
Asymptotic Consistency of Loss-Calibrated Variational Bayes
Purdue University（普渡大学）
本文建立了{ \it损失校准变分贝叶斯}（LCVB）方法的渐近相合性。LCVB是在~ \cite{LaSiGh2011}中提出的，作为一种以“损失感知”方式近似计算贝叶斯后验的方法。这种方法在一般数据驱动的决策环境中也高度相关。在这里，我们不仅建立了校准的近似后验的渐近一致性，而且还建立了决策规则的渐近一致性。我们还建立了一个“天真”变分贝叶斯过程中获得的决策规则的渐近一致性。
2019-11-04 cs.LG stat.ML
Geodesic Variational Bayes for Multiway Covariances
针对高斯多路数组后验协方差，提出基于仿射不变度量拉回的测地变分优化框架，并给出联合与平均场近似的梯度表达式。
2025-01-09 stat.CO
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的，但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差：最近的研究表明，对于连续潜变量，特别是多变量高斯，这可以通过使用对数后验的梯度来实现。在本文中，我们将同样的想法，伽玛分布的潜在变量的伽玛变分分布，使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据，以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
Variational Bayes model averaging for graphon functions and motif frequencies inference in W-graph models
W-图是指一类可以看作是随机图极限的随机图模型。它的特点是它的graphon功能和它的模频率。在本文中，依赖于现有的变分贝叶斯算法的随机块模型以及相应的权重模型平均，我们得到的graphon函数的估计作为一个平均值的随机块模型的块数不断增加。在相同的框架下，我们推导出任何基序的变分后验频率。一个社会网络的模拟研究和插图完成我们的工作。
2015-11-05 stat.ME
Variational Bayes for Mixture of Gaussian Structural Equation Models
针对现有变分近似仅适用于简单结构方程模型的局限，提出两种适配非高斯数据的高斯混合结构方程模型的平均场变分贝叶斯算法，含协变量与缺失数据处理，并提出两种易计算的变分信息准则，经模拟和真实数据验证性能。
2024-07-11 stat.ME
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes
University of Nottingham（诺丁汉大学）；University of Oxford（牛津大学）
贝叶斯方法已被证明是强大的，在许多应用程序中的推理模型参数的数据。这些方法基于贝叶斯定理，该定理本身看似简单。然而，在实践中，即使对于简单的情况，所需的计算也是棘手的。因此，用于贝叶斯推断的方法在历史上要么是显著近似的，例如，拉普拉斯近似，或者以显著的计算代价从精确解获得样本，例如，马尔可夫链蒙特卡罗方法。自2000年左右以来，所谓的变分方法贝叶斯推断已越来越多地部署。在其最一般的形式变分贝叶斯（VB）涉及近似真实的后验概率分布通过另一个更“可管理”的分布，目的是实现尽可能好的近似。在最初的FMRIB变分贝叶斯教程中，我们记录了一种基于VB的方法，该方法采用“平均场”方法来形成近似后验，需要先验和似然的共轭性，并利用变分法来推导一系列迭代更新方程，类似于期望最大化。在本教程中，我们将重新讨论VB，但现在采用一种随机方法来解决问题，这种方法可能会规避早期方法所带来的一些限制。这种新方法与应用于机器学习算法的计算方法有很多相似之处，并从中受益。尽管如此，我们在这里记录的仍然是经典意义上的贝叶斯推断，而不是试图使用机器学习作为黑盒来解决推理问题。
2020-07-09 cs.LG stat.ME
Good Initializations of Variational Bayes for Deep Models
EURECOM（欧洲通信学院）
随机变分推断是对深度模型进行近似贝叶斯推断的既定方法。虽然在深度学习中已经有了有效的初始化损失最小化的建议，但对随机变分推断的初始化问题的关注要少得多。我们解决这个问题，提出了一种新的逐层初始化策略的基础上贝叶斯线性模型。所提出的方法在回归和分类任务上得到了广泛的验证，包括贝叶斯DeepNets和ConvNets，与损失最小化初始化文献启发的替代方案相比，显示出更快和更好的收敛性。
2019-01-25 cs.LG stat.ML
Streaming Variational Bayes
我们提出了SDA-Bayes，一个用于贝叶斯后验的（S）处理，（D）迭代，（A）同步计算的框架。该框架根据用户指定的近似批处理原语对估计后验进行流式更新。我们证明了我们的框架的有用性，变分贝叶斯（VB）作为原始的，通过拟合潜在的Dirichlet分配模型，两个大规模的文档集合。我们证明了我们的算法的优势，随机变分推断（SVI）通过比较后，通过一个已知的数据量-SVI的情况下，可以应用-和在流设置，SVI不适用。
2013-11-20 cs.LG stat.ML
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题，提出可组合多模型变分后验的框架，证明其最优收缩率，给出海量模型下的可行方案，还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
A variational Bayes latent class approach for EHR-based patient phenotyping in R
University College Dublin（都柏林大学学院）
该研究提出了一种基于变分贝叶斯的隐类方法，用于利用电子健康记录数据进行患者表型分析，结合高斯混合模型和逻辑回归模型评估表型预测性能。
2025-12-16 stat.CO stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics（伦敦政治经济学院）；JP Morgan Chase & Co.（摩根大通公司）
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置，既不能刻画潜变量间的相关结构，又由于普遍截断，不能推断真实的后验维数。为了克服这些局限性，我们提出了条件和自适应截断变分推断方法（CATVI），通过最大化的非参数证据下限，并集成蒙特卡罗到变分推断框架。与传统方法相比，CATVI具有几个优点，包括变分后验和真后验之间的偏差较小，欠拟合或过拟合的风险降低，以及预测精度提高。在三个大型数据集上的实证研究表明，CATVI应用于贝叶斯非参数主题模型大大优于竞争模型，提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
On Statistical Optimality of Variational Bayes
本文解决了一个长期存在的开放问题的理由使用变分贝叶斯方法的参数估计。我们提供了一般的条件，获得最佳的风险界的点估计获得平均场变分贝叶斯推断。这些条件涉及参数空间上距离度量的某些检验函数的存在性和先验的最小假设。概述了一个通用的配方验证的条件，这是广泛适用于现有的贝叶斯模型有或没有潜变量。作为示例，讨论了潜在狄利克雷分配和高斯混合模型的具体应用。
2017-12-25 math.ST stat.ML stat.TH
Multivariate Gaussian Variational Inference by Natural Gradient Descent
University of Toronto（多伦多大学）；Institute for Aerospace Studies（航空航天研究所）
这篇短文回顾了所谓的多元高斯的自然梯度下降（NGD）。推导了几种不同高斯参数化下的费舍尔信息矩阵。在计算导数时，要特别注意协方差阵的对称性。我们发现，有一些优点，选择一个参数化，包括平均值和逆协方差阵，并提供一个简单的NGD更新，占对称（和稀疏）性质的逆协方差阵。
2020-10-19 cs.LG cs.RO math.ST
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
A Quantum Extension of Variational Bayes Inference
变分贝叶斯（VB）推理是机器学习中最重要的算法之一，在工程和工业中有着广泛的应用。然而，众所周知，VB遭受局部最优的问题。在这封信中，我们推广VB使用量子力学，并提出了一个新的算法，我们称之为量子退火变分贝叶斯（QAVB）推理。然后，我们表明，QAVB大大提高VB的性能，通过将它们应用到高斯混合模型描述的聚类问题。最后，我们讨论了一个直观的理解QAVB是如何工作的。
2017-12-13 cond-mat.stat-mech quant-ph stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学，广泛应用于空间数据建模和计算机视觉问题。然而，该模型的统计推断仍然具有挑战性，由于棘手的性质的归一化常数的可能性。在这里，我们使用伪似然，而不是研究贝叶斯估计的两个参数，逆温度，磁化，伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下，我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失，由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Frequentist Consistency of Variational Bayes
Columbia University（哥伦比亚大学）
现代贝叶斯统计的一个关键挑战是如何对后验分布进行可扩展的推断。为了解决这个问题，变分贝叶斯（VB）方法已经成为一个流行的替代经典的马尔可夫链蒙特卡罗（MCMC）方法。VB方法往往更快，同时实现相当的预测性能。然而，围绕VB的理论研究成果很少。本文证明了VB方法的频率相合性和渐近正态性。具体来说，我们连接VB方法的变分近似，称为频率变分近似的基础上的点估计，我们使用的连接证明变分伯恩斯坦-冯米塞斯定理。该定理利用频率论变分逼近的理论特征来理解VB的渐近性质。总之，我们证明了（1）VB后验收敛到正态分布的Kullback-Leibler（KL）极小值，以真值为中心，（2）相应的变分期望是一致的，渐近正态的。作为定理的应用，我们得到了贝叶斯混合模型、贝叶斯广义线性混合模型和贝叶斯随机块模型中VB后验的渐近性质。我们进行了模拟研究来说明这些理论结果。
2021-07-08 cs.LG math.ST stat.ML
Quantum Speedup of Natural Gradient for Variational Bayes
变分贝叶斯（VB）是机器学习和统计学中的一种关键方法，是贝叶斯深度学习最近成功的基础。自然梯度是有效的VB估计的重要组成部分，但它在高维中的计算成本过高。我们提出了一种计算效率高的基于回归的自然梯度估计方法，在标准假设下的收敛保证。该方法使量子矩阵求逆的使用，以进一步加快VB。我们证明了问题设置满足量子矩阵求逆提供计算效率所需的条件。该方法适用于广泛的统计模型，不需要特殊用途或简化的变分分布。
2022-06-21 quant-ph stat.CO stat.ML
Laplace-aided variational inference for differential equation models
常微分方程模型的回归曲线是某些常微分方程的解曲线的集合，这对参数估计提出了挑战。由于经常缺乏解析解和复杂的似然曲面，这一挑战往往更加严重，特别是对于具有许多参数和变量的大型模型。Yang和Lee（2021）提出了一种用于ODE的变分贝叶斯（SSVB）状态空间模型，能够在较大的ODE模型中进行快速和稳定的估计。该方法在参数估计方面表现出了良好的性能，但存在低估后验协方差的缺点，这一缺点源于平均场变分法。本文提出了一种利用拉普拉斯近似来克服这一缺点的方法。在数值实验中，拉普拉斯近似修改的协方差显示出高度的改善时，检查对标准的马尔可夫链蒙特卡罗方法获得的协方差。通过改进协方差估计，SSVB提供了相当准确的后验近似。
2021-08-10 stat.CO
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School（斯威本商学院）
变分贝叶斯（VB）是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗（MCMC），但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明，VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是，我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型，用于解决链接预测问题，相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
Variational Bayes inference and Dirichlet process priors
本文展示了如何变分贝叶斯方法提供了一个计算效率高的技术的背景下，分层建模使用狄利克雷过程先验，特别是不需要共轭先验假设。它表明，使用所谓的参数分离参数化，一个简单的标准下，变分法工作良好。基于这个框架，它提供了一个完整的变分解的Dirichlet过程。数值结果表明，该方法是非常计算效率相比，MCMC。最后，我们提出了一个经验方法来估计截断Dirichlet过程的截断水平。
2013-09-20 stat.CO
Diagnostics for Variational Bayes approximations
变分贝叶斯（VB）在许多应用领域中已显示出其本身是一种强大的近似方法。本文介绍了一些诊断方法，可以评估如何以及VB近似真实的后验，特别是关于其协方差结构。所提出的方法也使我们能够产生简单的修正时，近似误差是大的。它着眼于联合，边缘和条件方面的近似后验，并显示如何应用这些技术在模拟和真实数据的例子。
2013-09-19 stat.CO
Empirical Bayes Covariance Decomposition, and a Solution to the Multiple Tuning Problem in Sparse PCA
University of Chicago（芝加哥大学）
本文提出利用经验贝叶斯方法解决稀疏PCA中的多重调优问题，通过协方差分解提升模型性能。
2026-02-22 stat.ME stat.ML
Mean field variational Bayesian inference for support vector machine classification
提出了一种基于Polson & Scott（2012）的隐变量表示的支持向量机（SVM）均值场变分贝叶斯方法。这种表示允许规避许多与经典支持向量机相关的缺点，包括自动惩罚参数选择，处理相关样本，缺失数据和变量选择的能力。我们在模拟和真实数据集上证明，我们的方法很容易扩展到非标准情况，并且在保持计算效率的同时优于经典的SVM方法。
2013-05-13 stat.ME stat.ML
Scalable Bayesian dynamic covariance modeling with variational Wishart and inverse Wishart processes
我们实现了基于梯度的变分推断例程Wishart和逆Wishart过程，我们适用于贝叶斯模型的动态，异方差协方差阵的多变量时间序列。Wishart过程和逆Wishart过程由i.i.d.高斯过程，现有的变分推断算法，形成我们的方法的基础。这些方法很容易实现为一个黑盒和规模有利的长度的时间序列，但是，他们失败的情况下，Wishart过程，一个问题，我们解决了一个简单的修改成一个加性白噪声参数化的模型。这种修改也是实现构造的因子化变体的关键，允许推断额外扩展到高维协方差阵。通过实验，我们证明了一些（但不是所有）模型变量在预测金融工具收益率的协方差时优于多变量GARCH。
2019-11-04 cs.LG stat.ML
Disentangled Variational Autoencoder based Multi-Label Classification with Covariance-Aware Multivariate Probit Model
Cornell University（康奈尔大学）
多标签分类是一个具有挑战性的任务，预测存在和不存在的多个目标，涉及表示学习和标签相关性建模。我们提出了一种新的多标签分类框架，多变量概率变分自编码器（MPVAE），有效地学习潜在的嵌入空间以及标签相关性。MPVAE分别为标签和特征学习和对齐两个概率嵌入空间。MPVAE的解码器从嵌入空间中获取样本，并通过学习共享协方差矩阵，在多变量Probit模型下对输出目标的联合分布进行建模。我们表明，MPVAE优于现有的国家的最先进的方法在各种应用领域，使用公共的真实世界的数据集。MPVAE进一步示出在噪声设置下保持稳健。最后，我们通过一个鸟类观测数据集的案例研究证明了学习协方差的可解释性。
2020-07-12 cs.LG stat.ML
Gaussian variational approximation for high-dimensional state space models
本文考虑高维状态空间模型中后验密度的高斯变分近似。待优化的变分参数是近似的均值向量和协方差阵。由于协方差阵中的参数数量与模型参数数量的平方成正比，因此当模型参数数量较大时，需要找到简单有效的协方差结构参数化方法。我们近似的联合后验分布的高维状态向量的动态因子模型，具有马尔可夫时间依赖性和因子协方差结构的状态。这给出了一个减少的描述的依赖结构的状态，以及一个时间的条件独立结构类似于真正的后验。该方法的有用性说明预测在两个高维应用程序，是具有挑战性的马尔可夫链蒙特卡罗采样。第一个是欧亚领鸽在北美的传播的时空模型;第二个是基于Wishart的金融收益的多变量随机波动模型。
2020-02-19 stat.CO stat.ME stat.ML
Variational Bayes Factor Analysis for i-Vector Extraction
在本文中，我们将推导出实现变分贝叶斯i向量提取器所需的方程。这可以用于提取较长的i向量，从而降低过拟合的风险，或者将i向量提取器从数据库适配到具有稀缺开发数据的另一个数据库。这项工作是基于帕特里克·肯尼的联合因子分析和克里斯托弗·毕晓普的变分主成分。
2015-11-20 stat.ML
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法，基于混合模型，侧重于引入潜变量，使我们有可能处理模型对离群值的敏感性，并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理，并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Athinoula A. Martinos Center for Biomedical Imaging（阿瑟努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）
稀疏贝叶斯学习（SBL）是解决稀疏编码问题的一个强大框架。然而，最流行的推理算法SBL变得过于昂贵的高维设置，由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案，避免了显式的协方差矩阵的建设，并行求解多个线性系统，以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果，从数值线性代数与共轭梯度算法。在几次模拟中，我们的方法在计算时间和内存方面比现有方法更好，特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Confirmatory Bayesian Online Change Point Detection in the Covariance Structure of Gaussian Processes
Ulsan National Institute of Science and Technology（蔚山科学技术院）
在序列数据的分析中，突变的检测对于预测未来的变化非常重要。在本文中，我们提出了统计假设检验检测协方差结构的变化，局部光滑的高斯过程（GP）建模的时间序列。我们为测试提供了理论上合理的阈值，并通过确认统计上显著的变化和非变化来使用它们来改进贝叶斯在线变化点检测（BOCPD）。我们的解释性BOCPD（CBOCPD）算法发现多个结构断裂的GP，即使超参数没有精确调整。我们还提供了条件下，CBOCPD提供较低的预测误差相比，BOCPD。在合成和真实世界数据集上的实验结果表明，我们的新测试正确地检测到GP中协方差结构的变化。所提出的算法也优于现有的方法，在回归误差和对数似然预测的非平稳性。
2020-02-07 cs.LG stat.ML
Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances
University of Oxford（牛津大学）
我们开发了一种贝叶斯方法，通过使用高斯过程（GP）与所谓的签名内核作为协方差函数从序列数据中学习。这允许使不同长度的序列具有可比性，并依赖于来自随机分析的强有力的理论结果。签名捕获序列结构与张量，可以缩放不利的序列长度和状态空间维度。为了解决这个问题，我们引入了一个稀疏变分方法与诱导张量。然后，我们将得到的GP与LSTM和GRU相结合，以构建更大的模型，这些模型利用了每种方法的优势，并将得到的GP在多变量时间序列（TS）分类数据集上进行基准测试。代码可在https://github.com/tgcsaba/GPSig获得。
2020-07-06 cs.LG math.PR stat.ML
Adaptive posterior distributions for uncertainty analysis of covariance matrices in Bayesian inversion problems for multioutput signals
本文针对多输出非线性模型参数与噪声协方差矩阵的贝叶斯反演问题，提出自适应目标自适应重要性采样（ATAIS）方法，通过分块推断与样本回收重加权实现完整贝叶斯分析，并辅以ILIS算法验证其优势。
2025-01-02 cs.CE stat.CO stat.ML
Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective
本文研究了经验贝叶斯后验分布在非参数和高维推断下的收敛速度。证明了只要超参数集是离散的，由极大边际似然估计量导出的经验Bayes后验分布可以看作是分层Bayes后验分布的变分逼近.经验贝叶斯和变分贝叶斯之间的这种联系使我们能够利用变分贝叶斯文献中的最新结果，并从变分的角度直接获得经验贝叶斯后验分布的收敛速度。对于一个更一般的超参数集，不一定是离散的，我们引入了一种新的技术，称为“先验分解”来处理先验分布，可以写为凸组合的概率测度，其支持是低维子空间。这导致了经验贝叶斯的收敛速度的经典“先验质量和检验”条件的广义版本。我们的理论被应用到一些统计估计问题，包括非参数密度估计和稀疏线性回归。
2020-09-08 math.ST stat.ML stat.TH
Variational Kalman Filtering with Hinf-Based Correction for Robust Bayesian Learning in High Dimensions
Sandia National Laboratories（桑迪亚国家实验室）
在本文中，我们解决的问题，通过应用一个强大的变分目标和基于Hinf范数的校正线性高斯系统的序列变分推断过滤器（VIF）的收敛性。随着状态空间或参数空间维数的增加，对于大规模系统，利用密集的协方差阵执行完全卡尔曼更新需要增加的存储和计算复杂度，使得其不切实际。基于平均场高斯变分推断的VIF方法通过对协方差的变分近似（通常以对角协方差近似的形式）来减少这种负担。挑战在于保持收敛性并纠正顺序VIF步骤引入的偏差。我们希望有一个框架，提高可行性，同时仍然保持合理的接近最佳卡尔曼滤波器的数据被同化。为了实现这一目标，基于Hinf范数的优化扰动VIF协方差阵以提高鲁棒性。这产生了一个新的VIF-Hinf递归，采用连续的变分推断和基于Hinf的优化步骤。我们探讨了这种方法的发展，并研究了一个数值例子来说明所提出的过滤器的有效性。
2022-04-27 cs.LG eess.SP stat.AP
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Harvard University（哈佛大学）
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是，已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时，函数空间后验均值在均值场变分推理下实际上收敛于零，完全忽略数据.这与真正的后验相反，后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Variational Dropout via Empirical Bayes
National Research University Higher School of Economics（高等经济学院国家研究型大学）；Samsung AI Center in Moscow（三星莫斯科人工智能中心）
我们研究了应用于深度神经网络的自动相关性确定过程。我们表明，ARD应用于贝叶斯DNN与高斯近似后验分布导致变分界类似的变分辍学，并在一个固定的辍学率的情况下，目标是完全相同的。实验结果表明，这两种方法在实践中产生相当的结果，即使在辍学率训练。这导致了另一种贝叶斯解释的辍学，并减轻了一些理论上的问题，出现了不正确的先验使用变辍学模型。此外，我们探讨了ARD中分层先验的使用，并表明它有助于在相同的精度下实现更高的稀疏性。
2018-11-28 cs.LG stat.ML
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Variational bagging: a robust approach for Bayesian uncertainty quantification
变分袋外方法通过整合袋外过程与变分贝叶斯，提升贝叶斯不确定性量化，理论保证后验收缩率和BVM定理，适用于多种模型。
2025-11-25 math.ST stat.ML stat.TH
Hierarchical Variational Kalman Filtering
MiniEye（瞳宇科技）
针对变分卡尔曼滤波中过程协方差估计不一致和收敛慢的问题，引入无过程噪声状态变量，将坐标上升变分推断重构为边缘最大后验问题，实现单步超参数拟合，支持高阶协方差跟踪和滑窗估计，数值实验验证了收敛速度和精度的提升。
2026-07-02 cs.IT math.IT stat.ML
