Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
Manifold Gaussian Variational Bayes on the Precision Matrix
Aarhus University（奥胡斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程学院）
该研究提出基于精度矩阵的流形高斯变分贝叶斯算法MGVBP，通过黎曼流形上的自然梯度更新满足协方差正定约束，计算高效、易实现且为黑箱方案，在五个数据集的多类模型上验证了性能。
2024-04-17 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University（普林斯顿大学神经科学研究所）；Google AI Berlin（谷歌柏林人工智能研究院）；Department of Engineering, University of Cambridge（剑桥大学工程系）；Microsoft Research, Cambridge（微软剑桥研究院）
贝叶斯神经网络（BNN）作为一种灵活而有原则的解决方案，在从有限数据中学习时处理不确定性，具有很大的前景。在深度神经网络中实现概率推理的方法中，变分贝叶斯（VB）具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识，为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限？我们认为，变分推理神经网络是脆弱的：成功的实现需要仔细的初始化和调整的先验方差，以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新，旨在把VB成为一个强大的推理工具贝叶斯神经网络：首先，我们引入了一种新的确定性方法来近似矩神经网络，消除梯度方差;第二，我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新，所得到的方法是高效和鲁棒的。在异方差回归的应用中，我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
Unnormalized Variational Bayes
NNAISENSE, Inc.（NNAISENSE 公司）；University of California, Berkeley（加州大学伯克利分校）
我们统一的经验贝叶斯和变分贝叶斯近似未规范化的密度。这个框架，名为非归一化变分贝叶斯（UVB），是基于制定一个潜在的变量模型的随机变量$Y=X+N(0,σ^2 I_d)$和使用的证据下限（ELBO），计算的变分自动编码器，作为一个参数化的能量函数的$Y$，然后用于估计$X$与经验贝叶斯最小二乘估计。在这个有趣的设置中，ELBO相对于噪声输入的$\textit{gradient}$在学习能量函数中起着核心作用。经验上，我们证明，UVB有更高的能力，近似能量函数比参数化与MLP神经经验贝叶斯（DEEN）。我们特别展示了$σ=1$，其中UVB和DEEN之间的差异在去噪实验中变得可见和定性。对于这种高水平的噪声，分布的$Y$是非常平滑的，我们证明了一个可以遍历在一个单一的运行$-$没有重新启动$-$所有MNIST类在各种风格通过步行跳跃采样与快速混合Langevin MCMC采样器。最后，我们探测训练模型的编码器/解码器，并确认UVB $\neq$ VAE。
2020-07-29 cs.LG stat.ML
Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations
Indian Institute of Technology Delhi（德里印度理工学院）
基于神经网络的数据驱动算子学习方案在计算力学中显示出巨大的潜力。DeepONet就是这样一种神经网络架构，由于其出色的预测能力而获得了广泛的赞赏。话虽如此，设置在确定性框架中使DeepONet架构面临过拟合、泛化能力差的风险，并且在其未改变的形式下，它无法量化与其预测相关的不确定性。在本文中，我们提出了一种用于算子学习的变分贝叶斯DeepONet（VB-DeepONet），它可以在很大程度上减轻DeepONet架构的这些限制，并在预测阶段为用户提供有关相关不确定性的额外信息。贝叶斯框架下的神经网络集的核心思想是，神经网络的权重和偏差被视为概率分布而不是点估计，并使用贝叶斯推断来更新它们的先验分布。现在，为了管理与近似后验分布相关的计算成本，所提出的VB-DeepONet使用\textit{variational inference}。与马尔可夫链蒙特卡罗方案不同，变分推断具有考虑高维后验分布的能力，同时保持相关的计算成本低。涵盖扩散反应，重力摆，平流扩散等力学问题的不同示例已经被示出来说明所提出的VB-DeepONet的性能，并且还与确定性框架中的DeepONet集进行了比较。
2022-06-12 cs.LG stat.ML
From the Expectation Maximisation Algorithm to Autoencoded Variational Bayes
虽然期望最大化（EM）算法在1970年被引入，但由于其模糊的符号，简洁的证明以及缺乏与现代机器学习技术（如自动编码变分贝叶斯）的具体联系，机器学习从业者仍然无法访问。这导致了人工智能文献中关于“潜变量”和“变分下界”等概念的含义的空白，这些概念经常使用，但往往没有明确解释。这些思想的根源在于期望最大化算法。我们首先给出了一个教程介绍的期望最大化算法估计参数的$K$组件的混合物密度。高斯混合的情况下，详细介绍了使用$K$元标量隐藏（或潜在）变量，而不是更传统的二进制值$K$维向量。本文的动机是从目标跟踪文献的混合建模。在一个类似的风格，主教的2009年的书，我们提出变分贝叶斯推断作为一个广义的期望最大化算法源于变分（或证据）下界，以及平均场近似（或产品密度变换）的技术。我们继续从EM发展到由Kingma & Welling于2014年开发的变分自动编码器。这样，我们就在期望最大化算法和它的变分算法之间建立了明确的联系，从而澄清了“潜变量”的含义。“我们提供了一个详细的报道“reparametrisation技巧”，并专注于如何AEVB不同于传统的变分贝叶斯推断。在整个教程中，使用一致的符号约定。这统一了叙述，澄清了概念。最后给出了一些数值例子来进一步说明算法。
2021-05-04 cs.LG stat.ML
Frequentist Consistency of Variational Bayes
Columbia University（哥伦比亚大学）
现代贝叶斯统计的一个关键挑战是如何对后验分布进行可扩展的推断。为了解决这个问题，变分贝叶斯（VB）方法已经成为一个流行的替代经典的马尔可夫链蒙特卡罗（MCMC）方法。VB方法往往更快，同时实现相当的预测性能。然而，围绕VB的理论研究成果很少。本文证明了VB方法的频率相合性和渐近正态性。具体来说，我们连接VB方法的变分近似，称为频率变分近似的基础上的点估计，我们使用的连接证明变分伯恩斯坦-冯米塞斯定理。该定理利用频率论变分逼近的理论特征来理解VB的渐近性质。总之，我们证明了（1）VB后验收敛到正态分布的Kullback-Leibler（KL）极小值，以真值为中心，（2）相应的变分期望是一致的，渐近正态的。作为定理的应用，我们得到了贝叶斯混合模型、贝叶斯广义线性混合模型和贝叶斯随机块模型中VB后验的渐近性质。我们进行了模拟研究来说明这些理论结果。
2021-07-08 cs.LG math.ST stat.ML
Covariance Matrices for Mean Field Variational Bayes
University of California, Berkeley（加州大学伯克利分校）
平均场变分贝叶斯（MFVB）是一种流行的后验近似方法，由于其快速运行的大规模数据集。然而，众所周知，MFVB的一个主要缺点是它（有时严重）低估了模型变量的不确定性和缺乏有关模型变量协方差的信息。我们为指数族开发了一种快速，通用的方法，该方法增强了MFVB，为模型变量提供准确的不确定性估计-无论是单个变量还是跨变量的一致性。指数族的MFVB定义了一个近似后验均值的不动点方程，我们的方法通过扰动这个不动点来得到协方差估计。受线性响应理论的启发，我们称我们的方法为线性响应变分贝叶斯（LRVB）。我们证明了我们的方法在模拟数据集的准确性。
2014-12-08 cs.LG stat.ME stat.ML
Variational Bayes Made Easy
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出一种三步配方，通过识别后验对已知分布期望的线性关系并直接读出更新项，使变分贝叶斯推导更简单、快速且通用。
2023-07-10 cs.AI cs.LG stat.ML
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation（电装公司）；Toyohashi University of Technology（丰桥技术科学大学）
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而，在时间序列分析中，大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法，目前还没有得到广泛的讨论。在本文中，我们提出了一种新的聚类算法，侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明，该算法不仅对相移、幅度和信号长度的变化具有鲁棒性，而且基于变分贝叶斯方法的特性，提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
Variational Inference for GARCH-family Models
Aarhus University（奥胡斯大学）
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状，探讨变分推断的替代可行性，经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School（斯威本商学院）
变分贝叶斯（VB）是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗（MCMC），但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明，VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是，我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
Low-rank variational Bayes correction to the Laplace method
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对精确推断不可行的场景，提出结合拉普拉斯方法与低维变分贝叶斯校正的低秩变分贝叶斯校正（VBC）方法，兼具拉普拉斯方法的低计算成本与可扩展性，在多类模型和数据集上验证了适用性。
2023-11-14 cs.LG stat.ME stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs（英特尔实验室）
深度神经网络（DNN）为多种应用提供了最先进的结果，但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法，该方法结合了确定性和变化层，以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本，从一个子集的时刻在时间（MiT）数据集显示了一个更可靠的信心措施相比，非贝叶斯基线和蒙特卡罗脱落（MC脱落）近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中，与非贝叶斯基线相比，所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的，但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差：最近的研究表明，对于连续潜变量，特别是多变量高斯，这可以通过使用对数后验的梯度来实现。在本文中，我们将同样的想法，伽玛分布的潜在变量的伽玛变分分布，使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据，以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
Variational Bayes Approximations for Clustering via Mixtures of Normal Inverse Gaussian Distributions
通过变分贝叶斯近似实现了基于模型的聚类的参数估计。考虑了单变量NIG混合物和多变量NIG混合物。变分贝叶斯近似的使用在这里是从传统的EM方法的实质性偏离，并消除了一些相关的计算复杂性和不确定性。我们的变分算法适用于模拟和真实数据。最后，本文进行了讨论，并对今后的工作提出了建议。
2013-09-07 stat.CO stat.ME stat.ML
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes
University of Nottingham（诺丁汉大学）；University of Oxford（牛津大学）
贝叶斯方法已被证明是强大的，在许多应用程序中的推理模型参数的数据。这些方法基于贝叶斯定理，该定理本身看似简单。然而，在实践中，即使对于简单的情况，所需的计算也是棘手的。因此，用于贝叶斯推断的方法在历史上要么是显著近似的，例如，拉普拉斯近似，或者以显著的计算代价从精确解获得样本，例如，马尔可夫链蒙特卡罗方法。自2000年左右以来，所谓的变分方法贝叶斯推断已越来越多地部署。在其最一般的形式变分贝叶斯（VB）涉及近似真实的后验概率分布通过另一个更“可管理”的分布，目的是实现尽可能好的近似。在最初的FMRIB变分贝叶斯教程中，我们记录了一种基于VB的方法，该方法采用“平均场”方法来形成近似后验，需要先验和似然的共轭性，并利用变分法来推导一系列迭代更新方程，类似于期望最大化。在本教程中，我们将重新讨论VB，但现在采用一种随机方法来解决问题，这种方法可能会规避早期方法所带来的一些限制。这种新方法与应用于机器学习算法的计算方法有很多相似之处，并从中受益。尽管如此，我们在这里记录的仍然是经典意义上的贝叶斯推断，而不是试图使用机器学习作为黑盒来解决推理问题。
2020-07-09 cs.LG stat.ME
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型，用于解决链接预测问题，相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges
Michigan State University（密歇根州立大学）
贝叶斯神经网络模型（BNN）近年来由于可扩展计算的进步及其在解决各种应用中的复杂预测问题中的实用性而重新兴起。尽管BNN的流行和有用性，传统的马尔可夫链蒙特卡罗为基础的实现遭受高计算成本，限制了使用这种强大的技术在大规模的研究。变分贝叶斯推理已经成为一个可行的替代方案，以规避一些计算问题。虽然这种方法在机器学习中很流行，但它在统计学中的应用有些有限。本文发展了一种变分贝叶斯神经网络估计方法和相关的统计理论。详细讨论了数值算法及其实现。后验一致性理论，在非参数贝叶斯统计的一个理想的属性，也被开发。这一理论提供了一个评估的预测精度和准则的特点先验分布和变分家庭。使用变分后的损失超过真正的后验也被量化。该开发的动机是一个重要的生物医学工程应用，即建立从轻度认知障碍到阿尔茨海默病的预测工具。预测因子是多模态的，可能涉及复杂的交互关系。
2020-11-19 cs.LG math.ST stat.ML
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起，并返回所表示的唯一个体的最小集合，以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型，在数据库之间共享功率，以及对最终解析数据库的查询的不确定性进行原则性量化。然而，现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法（MCMC）近似，运行速度太慢，包含数百万或数十亿条记录的现代数据库。相反，我们建议应用变分近似，使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似，定性地比较我们的算法与现有的方法，注意到独特的挑战，推理所产生的预期分布的集群大小在实体分辨率，并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题，提出可组合多模型变分后验的框架，证明其最优收缩率，给出海量模型下的可行方案，还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
A variational Bayes latent class approach for EHR-based patient phenotyping in R
该研究提出了一种基于变分贝叶斯的隐类方法，用于利用电子健康记录数据进行患者表型分析，结合高斯混合模型和逻辑回归模型评估表型预测性能。
2025-12-16 stat.CO stat.ML
A practical tutorial on Variational Bayes
本教程从实用的角度快速介绍了变分贝叶斯（VB），也称为变分推断或变分近似。本文涵盖了一系列常用的VB方法，并试图保持广泛的数据分析从业者社区的材料。其目的是读者可以快速推导和实现他们的第一个VB算法的贝叶斯推断与他们的数据分析问题。Matlab中的最终用户软件包以及文档可在https://vbayeslab.github.io/VBLabDocs/上找到
2021-03-01 stat.CO stat.ME stat.ML
On Statistical Optimality of Variational Bayes
本文解决了一个长期存在的开放问题的理由使用变分贝叶斯方法的参数估计。我们提供了一般的条件，获得最佳的风险界的点估计获得平均场变分贝叶斯推断。这些条件涉及参数空间上距离度量的某些检验函数的存在性和先验的最小假设。概述了一个通用的配方验证的条件，这是广泛适用于现有的贝叶斯模型有或没有潜变量。作为示例，讨论了潜在狄利克雷分配和高斯混合模型的具体应用。
2017-12-25 math.ST stat.ML stat.TH
A variational Bayes framework for sparse adaptive estimation
近年来，为了解决\emph{sparse}自适应信号估值和系统辨识问题，提出了一系列基于$\ell_1$范数的正则化最小二乘确定性算法.从贝叶斯的角度来看，这个任务相当于在稀疏性促进重尾先验下对感兴趣的参数进行最大后验概率估计。遵循不同的方法，本文开发了一个统一的框架稀疏\emph{variational Bayes}算法，采用重尾先验共轭层次的形式，以方便后验推理。由此产生的全自动变分方案，首先提出了一个批量迭代的形式。然后，它示出，通过适当地利用批估计任务的结构，新的稀疏自适应变分贝叶斯算法可以导出，它具有施加和跟踪稀疏性在实时处理过程中的时变环境中的能力。所提出的算法的最重要的特点是，它们完全消除了计算成本高的参数微调，稀疏自适应确定性算法的必要成分的需要。大量的仿真结果证明了新的稀疏变分贝叶斯算法对最先进的确定性技术的自适应信道估计的有效性。结果表明，所提出的算法是数值上的鲁棒性，并表现出优越的估计性能相比，他们的确定性同行。
2014-01-13 stat.ML
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
Linear Response Methods for Accurate Covariance Estimates from Mean Field Variational Bayes
平均场变分贝叶斯（MFVB）是一种流行的后验近似方法，由于其在大规模数据集上的快速运行。然而，众所周知，MFVB的一个主要缺点是它低估了模型变量的不确定性（有时严重），并且没有提供关于模型变量协方差的信息。我们从统计物理学中推广线性响应方法，为模型变量提供准确的不确定性估计-无论是单个变量还是跨变量的一致性。我们称我们的方法为线性响应变分贝叶斯（LRVB）。当MFVB后验近似是指数族时，LRVB具有简单的解析形式，即使对于非共轭模型。其实，我们并没有假设真实的后验形式。我们证明了我们的方法的准确性和可扩展性的一系列模型的模拟和真实数据。
2015-12-23 stat.ML
Variational Bayesian Monte Carlo
University of Geneva（日内瓦大学）
科学计算和机器学习中感兴趣的许多概率模型具有昂贵的黑盒似然性，这阻止了用于贝叶斯推断的标准技术的应用，例如MCMC，这将需要访问梯度或大量似然性评估。我们在这里介绍一种新的样本有效的推理框架，变分贝叶斯蒙特卡罗（VBMC）。VBMC结合了变分推断与基于高斯过程的主动采样贝叶斯求积，使用后者来有效地近似变分目标中的难处理积分。我们的方法产生的后验分布的非参数近似和模型证据的近似下界，有用的模型选择。我们证明VBMC的几个合成的可能性和神经元模型的数据从真正的神经元。在所有测试的问题和维度（直到$D = 10$）中，VBMC在重建后验和模型证据方面的表现一直很好，而不像其他方法只在非常低的维度上工作。我们的框架显示出巨大的潜力，作为一种新的工具，昂贵的，黑箱似然后验和模型推理。
2018-11-29 cs.LG q-bio.NC q-bio.QM
A Quantum Extension of Variational Bayes Inference
变分贝叶斯（VB）推理是机器学习中最重要的算法之一，在工程和工业中有着广泛的应用。然而，众所周知，VB遭受局部最优的问题。在这封信中，我们推广VB使用量子力学，并提出了一个新的算法，我们称之为量子退火变分贝叶斯（QAVB）推理。然后，我们表明，QAVB大大提高VB的性能，通过将它们应用到高斯混合模型描述的聚类问题。最后，我们讨论了一个直观的理解QAVB是如何工作的。
2017-12-13 cond-mat.stat-mech quant-ph stat.ML
Variational Inference over Non-differentiable Cardiac Simulators using Bayesian Optimization
在模拟器上执行推理通常是棘手的，因为它们的运行时间意味着我们无法计算边际可能性。我们开发了一种无似然推理方法来推断心脏模拟器的参数，该心脏模拟器复制通过心脏到体表的电流。我们改进了最先进的模拟器与真实患者记录的心电图（ECG）的拟合。
2017-12-09 stat.ML
Fast robustness quantification with variational Bayes
贝叶斯分层模型在经济学中越来越受欢迎。当使用分层模型时，不仅可以计算后验期望，还可以衡量这些期望对合理的替代先验选择的稳健性。我们使用变分贝叶斯和线性响应方法，以提供快速，准确的后验手段和鲁棒性的措施与应用程序来衡量发展中国家的小额信贷的有效性。
2016-06-23 stat.AP stat.ME stat.ML
Variational Bayes under Model Misspecification
Columbia University（哥伦比亚大学）
变分贝叶斯（VB）是一种可扩展的替代马尔可夫链蒙特卡罗（MCMC）的贝叶斯后验推理。虽然流行，VB附带的理论保证很少，其中大部分集中在良好指定的模型。然而，模型在实践中很少被很好地指定。在这项工作中，我们研究了VB下的模型误指定。我们证明了VB后验是渐近正态的，并以最小化Kullback-Leibler（KL）发散到真实数据生成分布的值为中心。此外，VB后验均值集中在相同的值，也是渐近正态的。这些结果将变分Bernstein-von Mises定理[29]推广到错误指定的模型。作为这些结果的结果，我们发现，在VB后验预测分布的模型误设定误差占主导地位的变分逼近误差。它解释了广泛观察到的现象，即VB实现了与MCMC相当的预测精度，即使VB使用近似族。作为例证，我们研究VB下的三种形式的模型误指定，从模型过度/欠分散潜在的维度误指定。我们进行了两个模拟研究，证明了理论结果。
2020-08-11 cs.LG math.ST stat.ML
Quantum Advantage in Variational Bayes Inference
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出量子退火变分贝叶斯（QAVB）推断算法，利用量子力学基态与退火过程避免局部最小值，在保持时间复杂度不变的同时实现优于经典VB算法的性能。
2022-07-07 cond-mat.stat-mech cs.LG quant-ph
Quantum Speedup of Natural Gradient for Variational Bayes
变分贝叶斯（VB）是机器学习和统计学中的一种关键方法，是贝叶斯深度学习最近成功的基础。自然梯度是有效的VB估计的重要组成部分，但它在高维中的计算成本过高。我们提出了一种计算效率高的基于回归的自然梯度估计方法，在标准假设下的收敛保证。该方法使量子矩阵求逆的使用，以进一步加快VB。我们证明了问题设置满足量子矩阵求逆提供计算效率所需的条件。该方法适用于广泛的统计模型，不需要特殊用途或简化的变分分布。
2022-06-21 quant-ph stat.CO stat.ML
Particle Mean Field Variational Bayes
The University of Sydney Business School（悉尼大学商学院）；ARC Centre for Data Analytics for Resources and Environments (DARE)（澳大利亚研究委员会资源与环境数据分析中心（DARE））；UNSW Business School（新南威尔士大学商学院）
本文提出一种基于粒子的MFVB方法，利用Wasserstein梯度流与Langevin扩散动力学的联系建立理论基础，突破了传统MFVB仅适用于共轭先验或解析计算模型的限制，并在多个模型上验证了其有效性。
2023-05-17 cs.LG stat.CO
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto（都灵大学 ESOMAS 学院和卡罗阿尔贝托学院）
本文提出基于均场变分贝叶斯的方法，用于二元结果的稀疏变量选择，通过闭式更新实现高效推断，相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
A Variational Bayes Approach to Decoding in a Phase-Uncertain Digital Receiver
本文提出了一种相位不同步数字接收机中符号和相位推断的贝叶斯方法。它主要将[Quinn 2011]扩展到多符号情况，使用变分贝叶斯（VB）近似来处理这种情况下相位推断的组合复杂性。这项工作提供了一个完全贝叶斯扩展的EM为基础的框架下目前的涡轮同步方法，因为它会导致冯米塞斯先验的时不变的相位参数。其结果是，我们实现了易于处理的迭代算法，在低信噪比制度的鲁棒性提高，相比目前的EM为基础的方法。作为我们分析的推论，我们还发现了先验正则化在优雅地处理相位模糊性的重要问题中的重要性。
2011-07-04 stat.AP stat.ML
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
A Variational Inference method for Bayesian variable selection
变量选择是统计学中的一个经典问题。在本文中，我们考虑了Ročková和George（2014）提出的基于混合正态分布的spike-and-slab先验的贝叶斯变量选择问题。受Ormerod和You（2017，2023）的启发，我们使用变分推断和折叠变分推断方法来解决贝叶斯问题，而不是MCMC。与Ormerod and You（2017，2023）一样，我们也解释了稀疏估计是如何被导出的，并且在某些温和的假设下，我们还证明了一致和渐近的结果。
2023-03-07 stat.ME
Semisupervised hyperspectral image unmixing using a variational Bayes algorithm
本技术报告提出了一种用于半监督高光谱图像分解的变分贝叶斯算法。所提出的贝叶斯模型采用重尾，非负截断拉普拉斯先验的丰度系数。这种先验对丰度系数施加了稀疏性假设和非负性约束。在Aviris Cuprite数据集上进行的实验结果证明了该方法的有效性。
2014-06-18 stat.ME
Variational approximations of empirical Bayes posteriors in high-dimensional linear models
在高维情形下，先验尾部对后验计算和渐近集中率都有显著影响。为了在保持后验计算相对简单的同时实现最优速率，最近提出了一种经验贝叶斯方法，其特征在于具有数据驱动中心的薄尾共轭先验。虽然共轭先验减轻了一些计算负担，但仍然需要马尔可夫链蒙特卡罗方法，当维数很高时，这种方法可能是昂贵的。在本文中，我们开发了一个变分近似的经验贝叶斯后验，是快速计算，并保留了原来的最佳浓度率属性。在模拟中，我们的方法被证明具有优越的性能相比，现有的变分近似在文献中在广泛的高维设置。
2020-07-31 math.ST stat.ME stat.ML
Variational Bayes In Private Settings (VIPS)
贝叶斯数据分析的许多应用涉及敏感信息，激励方法，以确保隐私得到保护。我们介绍了一个一般的隐私保护框架变分贝叶斯（VB），广泛使用的优化为基础的贝叶斯推断方法。我们的框架尊重差分隐私，黄金标准的隐私标准，并包括一个大类的概率模型，称为共轭指数（CE）家庭。我们观察到，我们可以直接私有化VB的近似后验分布的CE系列中的模型，通过扰动预期的充分统计量的完整数据的可能性。对于广泛使用的一类非CE模型，那些二项式似然，我们展示了如何将这些模型纳入CE家庭，使修改后的模型中的推论类似于私人变分贝叶斯算法尽可能接近，使用Polya-Gamma数据增强方案。变分贝叶斯的迭代性质提出了进一步的挑战，因为迭代增加了所需的噪声量。我们通过结合以下方面来克服这一点：（1）一种改进的差分隐私合成方法，称为矩会计，它提供了一个严格的约束上的隐私成本的多个VB迭代，从而显着减少加性噪声的量;和（2）在随机学习中的大规模数据的子采样小批量的隐私放大效应。我们实证证明了我们的方法在CE和非CE模型，包括潜在的狄利克雷分配，贝叶斯逻辑斯谛回归，和sigmoid信念网络，在现实世界的数据集上评估的有效性。
2018-12-03 cs.CR stat.ML
Variational Bayes inference and Dirichlet process priors
本文展示了如何变分贝叶斯方法提供了一个计算效率高的技术的背景下，分层建模使用狄利克雷过程先验，特别是不需要共轭先验假设。它表明，使用所谓的参数分离参数化，一个简单的标准下，变分法工作良好。基于这个框架，它提供了一个完整的变分解的Dirichlet过程。数值结果表明，该方法是非常计算效率相比，MCMC。最后，我们提出了一个经验方法来估计截断Dirichlet过程的截断水平。
2013-09-20 stat.CO
Use of model reparametrization to improve variational Bayes
我们建议使用模型重新参数化，以提高变分贝叶斯推理的分层模型，其变量可以被分类为全球（共享的意见）或本地（观察特定）。局部变量和全局变量之间的后验依赖性通过对局部变量应用可逆仿射变换来最小化。该变换的函数形式是通过二阶泰勒展开的高斯密度近似每个局部变量的后验分布的条件下的全局变量。然后使用随机逼近得到重新参数化模型的变分贝叶斯推断。我们的方法可以很容易地扩展到大型数据集通过划分和重组策略。使用广义线性混合模型，我们证明了重新参数化变分贝叶斯（RVB）提供了改进的精度和收敛速度相比，最先进的高斯变分近似方法。
2020-03-07 stat.ME
$α$-Variational Inference with Statistical Guarantees
我们提出了一个家庭的变分近似贝叶斯后验分布，称为$α$ -VB，可证明的统计保证。标准变分近似是带有$α$的一种特殊情况。当$α\in(0,1]$，一类新的变分不等式被发展用于将变分最优化问题中变分近似下的Bayes风险与目标函数联系起来，这意味着在变分推理中最大化证据下界具有在变分密度族内最小化Bayes风险的效果.在一个频率论的设置，变分不等式意味着点估计构造的$α$ -VB程序收敛到真正的参数在广泛的问题以最佳的速度。我们说明了我们的一般理论与一些例子，包括平均场变分近似（低）-高维贝叶斯线性回归与尖峰和板先验，混合高斯模型，潜在的Dirichlet分配，和（混合）高斯变分近似在常规参数模型。
2018-02-07 math.ST stat.CO stat.ME
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学，广泛应用于空间数据建模和计算机视觉问题。然而，该模型的统计推断仍然具有挑战性，由于棘手的性质的归一化常数的可能性。在这里，我们使用伪似然，而不是研究贝叶斯估计的两个参数，逆温度，磁化，伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下，我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失，由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Natural Gradient Variational Bayes without Fisher Matrix Analytic Calculation and Its Inversion
本文提出一种无需解析计算及显式求逆Fisher信息矩阵的natural gradient variational Bayes方法，通过迭代过程逼近矩阵的逆，实现线性复杂度与可证明收敛性，适用于多种变分贝叶斯领域。
2024-04-26 stat.ME
Diagnostics for Variational Bayes approximations
变分贝叶斯（VB）在许多应用领域中已显示出其本身是一种强大的近似方法。本文介绍了一些诊断方法，可以评估如何以及VB近似真实的后验，特别是关于其协方差结构。所提出的方法也使我们能够产生简单的修正时，近似误差是大的。它着眼于联合，边缘和条件方面的近似后验，并显示如何应用这些技术在模拟和真实数据的例子。
2013-09-19 stat.CO
Variational Bayes model averaging for graphon functions and motif frequencies inference in W-graph models
W-图是指一类可以看作是随机图极限的随机图模型。它的特点是它的graphon功能和它的模频率。在本文中，依赖于现有的变分贝叶斯算法的随机块模型以及相应的权重模型平均，我们得到的graphon函数的估计作为一个平均值的随机块模型的块数不断增加。在相同的框架下，我们推导出任何基序的变分后验频率。一个社会网络的模拟研究和插图完成我们的工作。
2015-11-05 stat.ME
Variational Bayes for Mixture of Gaussian Structural Equation Models
针对现有变分近似仅适用于简单结构方程模型的局限，提出两种适配非高斯数据的高斯混合结构方程模型的平均场变分贝叶斯算法，含协变量与缺失数据处理，并提出两种易计算的变分信息准则，经模拟和真实数据验证性能。
2024-07-11 stat.ME
