Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；University of California, Merced（加州大学默塞德分校）
本研究扩展了多级Stein变分梯度下降的代价复杂度分析，使其适用于单级方法收敛速率依赖迭代参数的场景，并将该方法应用于冰川冰模型贝叶斯反问题，实现了数个数量级的加速。
2023-04-29 cs.LG cs.NA math.NA
Good Initializations of Variational Bayes for Deep Models
EURECOM（欧洲通信学院）
随机变分推断是对深度模型进行近似贝叶斯推断的既定方法。虽然在深度学习中已经有了有效的初始化损失最小化的建议，但对随机变分推断的初始化问题的关注要少得多。我们解决这个问题，提出了一种新的逐层初始化策略的基础上贝叶斯线性模型。所提出的方法在回归和分类任务上得到了广泛的验证，包括贝叶斯DeepNets和ConvNets，与损失最小化初始化文献启发的替代方案相比，显示出更快和更好的收敛性。
2019-01-25 cs.LG stat.ML
Streaming Variational Bayes
我们提出了SDA-Bayes，一个用于贝叶斯后验的（S）处理，（D）迭代，（A）同步计算的框架。该框架根据用户指定的近似批处理原语对估计后验进行流式更新。我们证明了我们的框架的有用性，变分贝叶斯（VB）作为原始的，通过拟合潜在的Dirichlet分配模型，两个大规模的文档集合。我们证明了我们的算法的优势，随机变分推断（SVI）通过比较后，通过一个已知的数据量-SVI的情况下，可以应用-和在流设置，SVI不适用。
2013-11-20 cs.LG stat.ML
CATVI: Conditional and Adaptively Truncated Variational Inference for Hierarchical Bayesian Nonparametric Models
London School of Economics（伦敦政治经济学院）；JP Morgan Chase & Co.（摩根大通公司）
现有的多层贝叶斯非参数模型的变分推断方法由于均值场的设置，既不能刻画潜变量间的相关结构，又由于普遍截断，不能推断真实的后验维数。为了克服这些局限性，我们提出了条件和自适应截断变分推断方法（CATVI），通过最大化的非参数证据下限，并集成蒙特卡罗到变分推断框架。与传统方法相比，CATVI具有几个优点，包括变分后验和真后验之间的偏差较小，欠拟合或过拟合的风险降低，以及预测精度提高。在三个大型数据集上的实证研究表明，CATVI应用于贝叶斯非参数主题模型大大优于竞争模型，提供更低的困惑和更清晰的主题词聚类。
2022-04-05 cs.LG stat.ML
Rethinking Collapsed Variational Bayes Inference for LDA
The University of Tokyo（东京大学）
我们提出了一种新的解释折叠变分贝叶斯推断与零阶泰勒展开近似，称为CVB 0推断，潜在的Dirichlet分配（LDA）。我们澄清的性质的CVB 0推断使用α发散。我们证明了CVB 0推理由两个不同的发散投影组成：α =1和-1。这一解读将有助于理解CVB 0作品。
2012-06-27 cs.LG stat.ML
Transformation Models for Flexible Posteriors in Variational Bayes
Konstanz University of Applied Sciences（康斯坦茨应用科学大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；University of Zurich（苏黎世大学）
贝叶斯模型的主要挑战是确定模型参数的后验。在只有一个或几个参数的模型中，分析后验只能在特殊设置中确定。在贝叶斯神经网络中，变分推断被广泛地用于通过变分分布来近似难以计算的后验。通常，高斯分布被用作变分分布（Gaussian-VI），由于其有限的灵活性，这限制了近似的质量。另一方面，转换模型足够灵活，可以适应任何分布。在这里，我们提出了基于变换模型的变分推断（TM-VI），并证明它可以准确地近似复杂的后验模型中的一个参数，也工作在一个平均场的方式为多参数模型，如神经网络。
2021-06-01 cs.LG stat.ML
Scalable Bayesian Learning for State Space Models using Variational Inference with SMC Samplers
University College of London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们提出了一个可扩展的方法来执行近似完全贝叶斯推断在通用的状态空间模型。所提出的方法是一种替代粒子MCMC，提供完全贝叶斯推断的动态潜在状态和静态参数的模型。我们建立在计算统计学的最新进展，结合变分方法与序贯蒙特卡罗采样，我们证明了执行完整的贝叶斯推断的静态参数，而不仅仅是执行变分EM近似的优势。我们说明了我们的方法如何使可扩展的推理，在多变量随机波动模型和自激点过程模型，允许灵活的动态的潜在强度函数。
2019-02-12 cs.LG stat.ML
A stochastic Stein Variational Newton method
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
Stein变分梯度下降（SVGD）是一种通用的基于优化的采样算法，最近流行起来，但受到两个问题的限制：已知它会产生有偏差的样本，并且它在复杂分布上收敛速度较慢。最近提出的SVGD（sSVGD）的随机变量解决了第一个问题，通过将一个特殊的噪声到SVGD动态，从而保证渐近收敛产生无偏样本。同时，Stein变分牛顿（SVN），一个类似于牛顿的SVGD扩展，通过将Hessian信息纳入动力学，大大加快了SVGD的收敛速度，但也产生有偏的样本。在本文中，我们推导出，并提供了一个实际的实施，随机变量的SVN（sSVN），这是渐近正确的，收敛迅速。我们证明了我们的算法在一类困难的测试问题-混合Rosenbrock密度-的有效性，并表明sSVN收敛使用三个数量级的梯度评估的对数似然比随机SVGD对应。我们的研究结果表明，sSVN是一种很有前途的方法，以加速高精度贝叶斯推断任务与适度的维，$d\sim\mathcal{O}(10)$。
2022-04-19 astro-ph.CO cs.LG stat.ML
Manifold Gaussian Variational Bayes on the Precision Matrix
Aarhus University（奥胡斯大学）；Department of Electrical and Computer Engineering（电气与计算机工程学院）
该研究提出基于精度矩阵的流形高斯变分贝叶斯算法MGVBP，通过黎曼流形上的自然梯度更新满足协方差正定约束，计算高效、易实现且为黑箱方案，在五个数据集的多类模型上验证了性能。
2024-04-17 cs.LG stat.ML
Walsh-Hadamard Variational Inference for Bayesian Deep Learning
EURECOM（欧洲通信学院）
过度参数化的模型，如DeepNets和ConvNets，形成了一类在各种应用中常规采用的模型，并且贝叶斯推断是可取的，但极具挑战性。变分推断提供了以可扩展的方式解决这一挑战的工具，并且在近似上具有一定程度的灵活性，但是对于过参数化模型，由于变分目标的过度正则化属性，这是具有挑战性的。受核方法的文献，特别是随机矩阵分布的结构化近似的启发，本文提出了Walsh-Hadamard变分推断（WHVI），它使用基于Walsh-Hadamard的因子分解策略来减少参数化和加速计算，从而避免了变分目标的过度正则化问题。广泛的理论和实证分析表明，WHVI产生相当大的加速比和模型减少相比，其他技术进行近似推理过参数化模型，并最终显示如何在核方法的进步可以转化为近似贝叶斯推断的进步。
2020-11-23 cs.LG stat.ML
Frequentist Consistency of Variational Bayes
Columbia University（哥伦比亚大学）
现代贝叶斯统计的一个关键挑战是如何对后验分布进行可扩展的推断。为了解决这个问题，变分贝叶斯（VB）方法已经成为一个流行的替代经典的马尔可夫链蒙特卡罗（MCMC）方法。VB方法往往更快，同时实现相当的预测性能。然而，围绕VB的理论研究成果很少。本文证明了VB方法的频率相合性和渐近正态性。具体来说，我们连接VB方法的变分近似，称为频率变分近似的基础上的点估计，我们使用的连接证明变分伯恩斯坦-冯米塞斯定理。该定理利用频率论变分逼近的理论特征来理解VB的渐近性质。总之，我们证明了（1）VB后验收敛到正态分布的Kullback-Leibler（KL）极小值，以真值为中心，（2）相应的变分期望是一致的，渐近正态的。作为定理的应用，我们得到了贝叶斯混合模型、贝叶斯广义线性混合模型和贝叶斯随机块模型中VB后验的渐近性质。我们进行了模拟研究来说明这些理论结果。
2021-07-08 cs.LG math.ST stat.ML
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University（普林斯顿大学神经科学研究所）；Google AI Berlin（谷歌柏林人工智能研究院）；Department of Engineering, University of Cambridge（剑桥大学工程系）；Microsoft Research, Cambridge（微软剑桥研究院）
贝叶斯神经网络（BNN）作为一种灵活而有原则的解决方案，在从有限数据中学习时处理不确定性，具有很大的前景。在深度神经网络中实现概率推理的方法中，变分贝叶斯（VB）具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识，为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限？我们认为，变分推理神经网络是脆弱的：成功的实现需要仔细的初始化和调整的先验方差，以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新，旨在把VB成为一个强大的推理工具贝叶斯神经网络：首先，我们引入了一种新的确定性方法来近似矩神经网络，消除梯度方差;第二，我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新，所得到的方法是高效和鲁棒的。在异方差回归的应用中，我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
Unnormalized Variational Bayes
NNAISENSE, Inc.（NNAISENSE 公司）；University of California, Berkeley（加州大学伯克利分校）
我们统一的经验贝叶斯和变分贝叶斯近似未规范化的密度。这个框架，名为非归一化变分贝叶斯（UVB），是基于制定一个潜在的变量模型的随机变量$Y=X+N(0,σ^2 I_d)$和使用的证据下限（ELBO），计算的变分自动编码器，作为一个参数化的能量函数的$Y$，然后用于估计$X$与经验贝叶斯最小二乘估计。在这个有趣的设置中，ELBO相对于噪声输入的$\textit{gradient}$在学习能量函数中起着核心作用。经验上，我们证明，UVB有更高的能力，近似能量函数比参数化与MLP神经经验贝叶斯（DEEN）。我们特别展示了$σ=1$，其中UVB和DEEN之间的差异在去噪实验中变得可见和定性。对于这种高水平的噪声，分布的$Y$是非常平滑的，我们证明了一个可以遍历在一个单一的运行$-$没有重新启动$-$所有MNIST类在各种风格通过步行跳跃采样与快速混合Langevin MCMC采样器。最后，我们探测训练模型的编码器/解码器，并确认UVB $\neq$ VAE。
2020-07-29 cs.LG stat.ML
Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations
Indian Institute of Technology Delhi（德里印度理工学院）
基于神经网络的数据驱动算子学习方案在计算力学中显示出巨大的潜力。DeepONet就是这样一种神经网络架构，由于其出色的预测能力而获得了广泛的赞赏。话虽如此，设置在确定性框架中使DeepONet架构面临过拟合、泛化能力差的风险，并且在其未改变的形式下，它无法量化与其预测相关的不确定性。在本文中，我们提出了一种用于算子学习的变分贝叶斯DeepONet（VB-DeepONet），它可以在很大程度上减轻DeepONet架构的这些限制，并在预测阶段为用户提供有关相关不确定性的额外信息。贝叶斯框架下的神经网络集的核心思想是，神经网络的权重和偏差被视为概率分布而不是点估计，并使用贝叶斯推断来更新它们的先验分布。现在，为了管理与近似后验分布相关的计算成本，所提出的VB-DeepONet使用\textit{variational inference}。与马尔可夫链蒙特卡罗方案不同，变分推断具有考虑高维后验分布的能力，同时保持相关的计算成本低。涵盖扩散反应，重力摆，平流扩散等力学问题的不同示例已经被示出来说明所提出的VB-DeepONet的性能，并且还与确定性框架中的DeepONet集进行了比较。
2022-06-12 cs.LG stat.ML
Variational Bayes Approximations for Clustering via Mixtures of Normal Inverse Gaussian Distributions
通过变分贝叶斯近似实现了基于模型的聚类的参数估计。考虑了单变量NIG混合物和多变量NIG混合物。变分贝叶斯近似的使用在这里是从传统的EM方法的实质性偏离，并消除了一些相关的计算复杂性和不确定性。我们的变分算法适用于模拟和真实数据。最后，本文进行了讨论，并对今后的工作提出了建议。
2013-09-07 stat.CO stat.ME stat.ML
Pathfinder: Parallel quasi-Newton variational inference
Columbia University（哥伦比亚大学）；Flatiron Institute（弗莱提荣研究所）；Aalto University（阿尔托大学）
我们提出了探路者，一个变分方法近似采样可微日志密度。从随机初始化开始，Pathfinder沿着拟牛顿优化路径定位目标密度的正常近似，使用优化器产生的逆Hessian估计估计局部协方差。Pathfinder返回从具有最低估计Kullback-Leibler（KL）发散的近似到真实后验的绘制。我们评估探路者在广泛的后验分布，证明其近似绘制优于自动微分变分推断（ADVI）和可比的动态哈密顿蒙特卡罗（HMC），由1-瓦瑟斯坦距离测量的短链。与ADVI和短动态HMC运行相比，Pathfinder需要少一到两个数量级的对数密度和梯度评估，对于更具挑战性的后验，减少幅度更大。Pathfinder多次运行的重要性恢复提高了近似绘制的多样性，进一步减小了1-瓦瑟斯坦距离，并提供了对平台、鞍点或次要模式上的优化失败的鲁棒性度量。蒙特卡罗库尔贝克-莱布勒散度估计在核心Pathfinder算法中是可并行化的，在resort版本中也是如此，进一步增加了Pathfinder在多个核心上的速度优势。
2022-05-16 cs.LG stat.ML
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics（数学与统计学院）；University of Melbourne（墨尔本大学）
在这项工作中，我们主张的重要性，奇异学习理论（ESTA），因为它涉及到贝叶斯神经网络（BNN）的变分推断的理论和实践。首先，我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑，这些差异是通过以下方式测量的，测试测井预测密度和变目标。接下来，我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说，我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020}，这是理论上有吸引力，但实际上是棘手的。我们的建议形成了一个规范化的流，其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较，这规范的高斯基分布，并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Approximation Properties of Variational Bayes for Vector Autoregressions
Swinburne Business School（斯威本商学院）
变分贝叶斯（VB）是最近提出的一种贝叶斯推断近似方法。它的优点是快速和可扩展的替代马尔可夫链蒙特卡罗（MCMC），但其近似误差往往是未知的。本文从均值、众数、方差、预测密度和库尔贝克-莱布勒散度等方面推导了VB对线性高斯型多元方程回归的逼近误差。我们的研究结果表明，VB近似后验均值完美。揭示了影响后验方差和模态低估幅度的因素。重要的是，我们证明了VB准确地估计预测密度。
2019-03-02 cs.LG econ.EM stat.CO
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes
University of Nottingham（诺丁汉大学）；University of Oxford（牛津大学）
贝叶斯方法已被证明是强大的，在许多应用程序中的推理模型参数的数据。这些方法基于贝叶斯定理，该定理本身看似简单。然而，在实践中，即使对于简单的情况，所需的计算也是棘手的。因此，用于贝叶斯推断的方法在历史上要么是显著近似的，例如，拉普拉斯近似，或者以显著的计算代价从精确解获得样本，例如，马尔可夫链蒙特卡罗方法。自2000年左右以来，所谓的变分方法贝叶斯推断已越来越多地部署。在其最一般的形式变分贝叶斯（VB）涉及近似真实的后验概率分布通过另一个更“可管理”的分布，目的是实现尽可能好的近似。在最初的FMRIB变分贝叶斯教程中，我们记录了一种基于VB的方法，该方法采用“平均场”方法来形成近似后验，需要先验和似然的共轭性，并利用变分法来推导一系列迭代更新方程，类似于期望最大化。在本教程中，我们将重新讨论VB，但现在采用一种随机方法来解决问题，这种方法可能会规避早期方法所带来的一些限制。这种新方法与应用于机器学习算法的计算方法有很多相似之处，并从中受益。尽管如此，我们在这里记录的仍然是经典意义上的贝叶斯推断，而不是试图使用机器学习作为黑盒来解决推理问题。
2020-07-09 cs.LG stat.ME
Adaptive variational Bayes: Optimality, computation and applications
针对缺乏通用可计算自适应变分贝叶斯方法的问题，提出可组合多模型变分后验的框架，证明其最优收缩率，给出海量模型下的可行方案，还揭示了变分贝叶斯的隐式正则化效应。
2024-03-11 math.ST stat.ML stat.TH
Covariance Matrices for Mean Field Variational Bayes
University of California, Berkeley（加州大学伯克利分校）
平均场变分贝叶斯（MFVB）是一种流行的后验近似方法，由于其快速运行的大规模数据集。然而，众所周知，MFVB的一个主要缺点是它（有时严重）低估了模型变量的不确定性和缺乏有关模型变量协方差的信息。我们为指数族开发了一种快速，通用的方法，该方法增强了MFVB，为模型变量提供准确的不确定性估计-无论是单个变量还是跨变量的一致性。指数族的MFVB定义了一个近似后验均值的不动点方程，我们的方法通过扰动这个不动点来得到协方差估计。受线性响应理论的启发，我们称我们的方法为线性响应变分贝叶斯（LRVB）。我们证明了我们的方法在模拟数据集的准确性。
2014-12-08 cs.LG stat.ME stat.ML
Variational Bayes Made Easy
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出一种三步配方，通过识别后验对已知分布期望的线性关系并直接读出更新项，使变分贝叶斯推导更简单、快速且通用。
2023-07-10 cs.AI cs.LG stat.ML
Multi-Decoder RNN Autoencoder Based on Variational Bayes Method
Denso Corporation（电装公司）；Toyohashi University of Technology（丰桥技术科学大学）
聚类算法在包括时间序列数据分析在内的数据分析领域有着广泛的应用和重要的作用。然而，在时间序列分析中，大多数算法使用信号的形状特征或神经网络隐变量的初始值。基于时间序列生成模型的方法，目前还没有得到广泛的讨论。在本文中，我们提出了一种新的聚类算法，侧重于产生过程的信号与一个循环神经网络和变分贝叶斯方法。实验结果表明，该算法不仅对相移、幅度和信号长度的变化具有鲁棒性，而且基于变分贝叶斯方法的特性，提供了一种灵活的聚类方法。
2020-04-29 cs.LG stat.AP stat.ML
A practical tutorial on Variational Bayes
本教程从实用的角度快速介绍了变分贝叶斯（VB），也称为变分推断或变分近似。本文涵盖了一系列常用的VB方法，并试图保持广泛的数据分析从业者社区的材料。其目的是读者可以快速推导和实现他们的第一个VB算法的贝叶斯推断与他们的数据分析问题。Matlab中的最终用户软件包以及文档可在https://vbayeslab.github.io/VBLabDocs/上找到
2021-03-01 stat.CO stat.ME stat.ML
On Statistical Optimality of Variational Bayes
本文解决了一个长期存在的开放问题的理由使用变分贝叶斯方法的参数估计。我们提供了一般的条件，获得最佳的风险界的点估计获得平均场变分贝叶斯推断。这些条件涉及参数空间上距离度量的某些检验函数的存在性和先验的最小假设。概述了一个通用的配方验证的条件，这是广泛适用于现有的贝叶斯模型有或没有潜变量。作为示例，讨论了潜在狄利克雷分配和高斯混合模型的具体应用。
2017-12-25 math.ST stat.ML stat.TH
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起，并返回所表示的唯一个体的最小集合，以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型，在数据库之间共享功率，以及对最终解析数据库的查询的不确定性进行原则性量化。然而，现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法（MCMC）近似，运行速度太慢，包含数百万或数十亿条记录的现代数据库。相反，我们建议应用变分近似，使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似，定性地比较我们的算法与现有的方法，注意到独特的挑战，推理所产生的预期分布的集群大小在实体分辨率，并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
Variational Inference for GARCH-family Models
Aarhus University（奥胡斯大学）
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状，探讨变分推断的替代可行性，经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
On the Convergence of Stochastic Variational Inference in Bayesian Networks
我们强调了一个陷阱时，随机变分推断一般贝叶斯网络。对于由指数族分布近似的全局随机变量，通常从单位长度步长开始的自然梯度步长被平均以收敛。当近似在一般贝叶斯网络上进行因子分解时，这种对初始步长缩放的有用见解就会丢失，必须小心确保实际收敛。我们实验性地研究了有多少婴儿（比例良好的步骤）与洗澡水（精确的梯度）一起被抛出。
2015-07-16 stat.ML
A variational Bayes latent class approach for EHR-based patient phenotyping in R
该研究提出了一种基于变分贝叶斯的隐类方法，用于利用电子健康记录数据进行患者表型分析，结合高斯混合模型和逻辑回归模型评估表型预测性能。
2025-12-16 stat.CO stat.ML
Low-rank variational Bayes correction to the Laplace method
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对精确推断不可行的场景，提出结合拉普拉斯方法与低维变分贝叶斯校正的低秩变分贝叶斯校正（VBC）方法，兼具拉普拉斯方法的低计算成本与可扩展性，在多类模型和数据集上验证了适用性。
2023-11-14 cs.LG stat.ME stat.ML
Variational Bayes Neural Network: Posterior Consistency, Classification Accuracy and Computational Challenges
Michigan State University（密歇根州立大学）
贝叶斯神经网络模型（BNN）近年来由于可扩展计算的进步及其在解决各种应用中的复杂预测问题中的实用性而重新兴起。尽管BNN的流行和有用性，传统的马尔可夫链蒙特卡罗为基础的实现遭受高计算成本，限制了使用这种强大的技术在大规模的研究。变分贝叶斯推理已经成为一个可行的替代方案，以规避一些计算问题。虽然这种方法在机器学习中很流行，但它在统计学中的应用有些有限。本文发展了一种变分贝叶斯神经网络估计方法和相关的统计理论。详细讨论了数值算法及其实现。后验一致性理论，在非参数贝叶斯统计的一个理想的属性，也被开发。这一理论提供了一个评估的预测精度和准则的特点先验分布和变分家庭。使用变分后的损失超过真正的后验也被量化。该开发的动机是一个重要的生物医学工程应用，即建立从轻度认知障碍到阿尔茨海默病的预测工具。预测因子是多模态的，可能涉及复杂的交互关系。
2020-11-19 cs.LG math.ST stat.ML
Spike and slab variational Bayes for high dimensional logistic regression
Imperial College London（帝国理工学院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
变分贝叶斯（VB）是马尔可夫链蒙特卡罗的一种流行的可扩展替代方案，用于贝叶斯推断。研究了稀疏高维逻辑斯谛回归中广泛使用的贝叶斯模型选择先验的均值场尖峰和板条VB近似。我们提供非渐近的理论保证VB后在$\ell_2$和预测损失的稀疏真理，最佳（极大极小）收敛速度。由于VB算法不依赖于未知的真相，以实现最优性，我们的结果揭示了有效的先验选择。我们证实了我们的VB算法的改进性能在数值研究中常见的稀疏VB方法。
2021-09-06 cs.LG math.ST stat.ME
A Quantum Extension of Variational Bayes Inference
变分贝叶斯（VB）推理是机器学习中最重要的算法之一，在工程和工业中有着广泛的应用。然而，众所周知，VB遭受局部最优的问题。在这封信中，我们推广VB使用量子力学，并提出了一个新的算法，我们称之为量子退火变分贝叶斯（QAVB）推理。然后，我们表明，QAVB大大提高VB的性能，通过将它们应用到高斯混合模型描述的聚类问题。最后，我们讨论了一个直观的理解QAVB是如何工作的。
2017-12-13 cond-mat.stat-mech quant-ph stat.ML
Fast robustness quantification with variational Bayes
贝叶斯分层模型在经济学中越来越受欢迎。当使用分层模型时，不仅可以计算后验期望，还可以衡量这些期望对合理的替代先验选择的稳健性。我们使用变分贝叶斯和线性响应方法，以提供快速，准确的后验手段和鲁棒性的措施与应用程序来衡量发展中国家的小额信贷的有效性。
2016-06-23 stat.AP stat.ME stat.ML
Stochastic gradient variational Bayes for gamma approximating distributions
虽然随机变分推断对于贝叶斯概率模型中的缩放推断是相对公知的，但是相关方法还提供了绕过分析上难以处理的期望的近似的方法。这两种情况下的关键挑战是控制梯度估计的方差：最近的研究表明，对于连续潜变量，特别是多变量高斯，这可以通过使用对数后验的梯度来实现。在本文中，我们将同样的想法，伽玛分布的潜在变量的伽玛变分分布，使简单的“黑箱”变分推断的稀疏性和非负性是适当的模型。我们证明了最近提出的伽马过程模型的网络数据，以及一种新的稀疏因子分析的方法。我们优于一般的抽样算法和使用高斯变分分布的方法转换变量。
2015-09-04 stat.ML
Quantum Speedup of Natural Gradient for Variational Bayes
变分贝叶斯（VB）是机器学习和统计学中的一种关键方法，是贝叶斯深度学习最近成功的基础。自然梯度是有效的VB估计的重要组成部分，但它在高维中的计算成本过高。我们提出了一种计算效率高的基于回归的自然梯度估计方法，在标准假设下的收敛保证。该方法使量子矩阵求逆的使用，以进一步加快VB。我们证明了问题设置满足量子矩阵求逆提供计算效率所需的条件。该方法适用于广泛的统计模型，不需要特殊用途或简化的变分分布。
2022-06-21 quant-ph stat.CO stat.ML
Variational Bayesian Monte Carlo
University of Geneva（日内瓦大学）
科学计算和机器学习中感兴趣的许多概率模型具有昂贵的黑盒似然性，这阻止了用于贝叶斯推断的标准技术的应用，例如MCMC，这将需要访问梯度或大量似然性评估。我们在这里介绍一种新的样本有效的推理框架，变分贝叶斯蒙特卡罗（VBMC）。VBMC结合了变分推断与基于高斯过程的主动采样贝叶斯求积，使用后者来有效地近似变分目标中的难处理积分。我们的方法产生的后验分布的非参数近似和模型证据的近似下界，有用的模型选择。我们证明VBMC的几个合成的可能性和神经元模型的数据从真正的神经元。在所有测试的问题和维度（直到$D = 10$）中，VBMC在重建后验和模型证据方面的表现一直很好，而不像其他方法只在非常低的维度上工作。我们的框架显示出巨大的潜力，作为一种新的工具，昂贵的，黑箱似然后验和模型推理。
2018-11-29 cs.LG q-bio.NC q-bio.QM
A Variational Inference method for Bayesian variable selection
变量选择是统计学中的一个经典问题。在本文中，我们考虑了Ročková和George（2014）提出的基于混合正态分布的spike-and-slab先验的贝叶斯变量选择问题。受Ormerod和You（2017，2023）的启发，我们使用变分推断和折叠变分推断方法来解决贝叶斯问题，而不是MCMC。与Ormerod and You（2017，2023）一样，我们也解释了稀疏估计是如何被导出的，并且在某些温和的假设下，我们还证明了一致和渐近的结果。
2023-03-07 stat.ME
Semisupervised hyperspectral image unmixing using a variational Bayes algorithm
本技术报告提出了一种用于半监督高光谱图像分解的变分贝叶斯算法。所提出的贝叶斯模型采用重尾，非负截断拉普拉斯先验的丰度系数。这种先验对丰度系数施加了稀疏性假设和非负性约束。在Aviris Cuprite数据集上进行的实验结果证明了该方法的有效性。
2014-06-18 stat.ME
Mean-field Variational Bayes for Sparse Probit Regression
ESOMAS Department, University of Torino and Collegio Carlo Alberto（都灵大学 ESOMAS 学院和卡罗阿尔贝托学院）
本文提出基于均场变分贝叶斯的方法，用于二元结果的稀疏变量选择，通过闭式更新实现高效推断，相比MCMC方法速度快数十倍且保持准确性。
2026-05-15 stat.CO stat.ME stat.ML
A variational Bayes framework for sparse adaptive estimation
近年来，为了解决\emph{sparse}自适应信号估值和系统辨识问题，提出了一系列基于$\ell_1$范数的正则化最小二乘确定性算法.从贝叶斯的角度来看，这个任务相当于在稀疏性促进重尾先验下对感兴趣的参数进行最大后验概率估计。遵循不同的方法，本文开发了一个统一的框架稀疏\emph{variational Bayes}算法，采用重尾先验共轭层次的形式，以方便后验推理。由此产生的全自动变分方案，首先提出了一个批量迭代的形式。然后，它示出，通过适当地利用批估计任务的结构，新的稀疏自适应变分贝叶斯算法可以导出，它具有施加和跟踪稀疏性在实时处理过程中的时变环境中的能力。所提出的算法的最重要的特点是，它们完全消除了计算成本高的参数微调，稀疏自适应确定性算法的必要成分的需要。大量的仿真结果证明了新的稀疏变分贝叶斯算法对最先进的确定性技术的自适应信道估计的有效性。结果表明，所提出的算法是数值上的鲁棒性，并表现出优越的估计性能相比，他们的确定性同行。
2014-01-13 stat.ML
Variational Bayes for high-dimensional linear regression with sparse priors
研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖板变分贝叶斯（VB）近似。在设计矩阵的相容性条件下，导出了平均场VB近似的预言不等式，表明它以最优速率收敛到稀疏真值，并给出了响应向量的最优预测.我们的算法的实证性能进行了研究，表明它的工作原理以及其他国家的最先进的贝叶斯变量选择方法。我们还数值证明，广泛使用的坐标上升变分推断（CAVI）算法可以高度敏感的参数更新顺序，导致潜在的性能不佳。为了缓解这一问题，我们提出了一种新的优先更新方案，使用数据驱动的更新顺序，并在模拟中表现更好。变分算法在R包'sparsevb'中实现。
2020-11-19 math.ST stat.ME stat.ML
Particle Mean Field Variational Bayes
The University of Sydney Business School（悉尼大学商学院）；ARC Centre for Data Analytics for Resources and Environments (DARE)（澳大利亚研究委员会资源与环境数据分析中心（DARE））；UNSW Business School（新南威尔士大学商学院）
本文提出一种基于粒子的MFVB方法，利用Wasserstein梯度流与Langevin扩散动力学的联系建立理论基础，突破了传统MFVB仅适用于共轭先验或解析计算模型的限制，并在多个模型上验证了其有效性。
2023-05-17 cs.LG stat.CO
Linear Response Methods for Accurate Covariance Estimates from Mean Field Variational Bayes
平均场变分贝叶斯（MFVB）是一种流行的后验近似方法，由于其在大规模数据集上的快速运行。然而，众所周知，MFVB的一个主要缺点是它低估了模型变量的不确定性（有时严重），并且没有提供关于模型变量协方差的信息。我们从统计物理学中推广线性响应方法，为模型变量提供准确的不确定性估计-无论是单个变量还是跨变量的一致性。我们称我们的方法为线性响应变分贝叶斯（LRVB）。当MFVB后验近似是指数族时，LRVB具有简单的解析形式，即使对于非共轭模型。其实，我们并没有假设真实的后验形式。我们证明了我们的方法的准确性和可扩展性的一系列模型的模拟和真实数据。
2015-12-23 stat.ML
Variational Bayes inference and Dirichlet process priors
本文展示了如何变分贝叶斯方法提供了一个计算效率高的技术的背景下，分层建模使用狄利克雷过程先验，特别是不需要共轭先验假设。它表明，使用所谓的参数分离参数化，一个简单的标准下，变分法工作良好。基于这个框架，它提供了一个完整的变分解的Dirichlet过程。数值结果表明，该方法是非常计算效率相比，MCMC。最后，我们提出了一个经验方法来估计截断Dirichlet过程的截断水平。
2013-09-20 stat.CO
A Variational Bayes Approach to Decoding in a Phase-Uncertain Digital Receiver
本文提出了一种相位不同步数字接收机中符号和相位推断的贝叶斯方法。它主要将[Quinn 2011]扩展到多符号情况，使用变分贝叶斯（VB）近似来处理这种情况下相位推断的组合复杂性。这项工作提供了一个完全贝叶斯扩展的EM为基础的框架下目前的涡轮同步方法，因为它会导致冯米塞斯先验的时不变的相位参数。其结果是，我们实现了易于处理的迭代算法，在低信噪比制度的鲁棒性提高，相比目前的EM为基础的方法。作为我们分析的推论，我们还发现了先验正则化在优雅地处理相位模糊性的重要问题中的重要性。
2011-07-04 stat.AP stat.ML
Variational approximations of empirical Bayes posteriors in high-dimensional linear models
在高维情形下，先验尾部对后验计算和渐近集中率都有显著影响。为了在保持后验计算相对简单的同时实现最优速率，最近提出了一种经验贝叶斯方法，其特征在于具有数据驱动中心的薄尾共轭先验。虽然共轭先验减轻了一些计算负担，但仍然需要马尔可夫链蒙特卡罗方法，当维数很高时，这种方法可能是昂贵的。在本文中，我们开发了一个变分近似的经验贝叶斯后验，是快速计算，并保留了原来的最佳浓度率属性。在模拟中，我们的方法被证明具有优越的性能相比，现有的变分近似在文献中在广泛的高维设置。
2020-07-31 math.ST stat.ME stat.ML
Use of model reparametrization to improve variational Bayes
我们建议使用模型重新参数化，以提高变分贝叶斯推理的分层模型，其变量可以被分类为全球（共享的意见）或本地（观察特定）。局部变量和全局变量之间的后验依赖性通过对局部变量应用可逆仿射变换来最小化。该变换的函数形式是通过二阶泰勒展开的高斯密度近似每个局部变量的后验分布的条件下的全局变量。然后使用随机逼近得到重新参数化模型的变分贝叶斯推断。我们的方法可以很容易地扩展到大型数据集通过划分和重组策略。使用广义线性混合模型，我们证明了重新参数化变分贝叶斯（RVB）提供了改进的精度和收敛速度相比，最先进的高斯变分近似方法。
2020-03-07 stat.ME
Variational Bayes algorithm and posterior consistency of Ising model parameter estimation
伊辛模型起源于统计物理学，广泛应用于空间数据建模和计算机视觉问题。然而，该模型的统计推断仍然具有挑战性，由于棘手的性质的归一化常数的可能性。在这里，我们使用伪似然，而不是研究贝叶斯估计的两个参数，逆温度，磁化，伊辛模型与一个完全指定的耦合矩阵。我们开发了一个计算效率高的变分贝叶斯模型估计过程。在高斯平均场变分族下，我们得到了伪似然变分后验的后验收缩率。我们还讨论了伪似然方法的损失，由于变后验超过真正的后验。广泛的模拟研究验证了平均场高斯和双变量高斯家庭的伊辛模型参数的推断变分家庭的可能选择的功效。
2021-09-03 math.ST stat.ME stat.TH
Natural Gradient Variational Bayes without Fisher Matrix Analytic Calculation and Its Inversion
本文提出一种无需解析计算及显式求逆Fisher信息矩阵的natural gradient variational Bayes方法，通过迭代过程逼近矩阵的逆，实现线性复杂度与可证明收敛性，适用于多种变分贝叶斯领域。
2024-04-26 stat.ME
$α$-Variational Inference with Statistical Guarantees
我们提出了一个家庭的变分近似贝叶斯后验分布，称为$α$ -VB，可证明的统计保证。标准变分近似是带有$α$的一种特殊情况。当$α\in(0,1]$，一类新的变分不等式被发展用于将变分最优化问题中变分近似下的Bayes风险与目标函数联系起来，这意味着在变分推理中最大化证据下界具有在变分密度族内最小化Bayes风险的效果.在一个频率论的设置，变分不等式意味着点估计构造的$α$ -VB程序收敛到真正的参数在广泛的问题以最佳的速度。我们说明了我们的一般理论与一些例子，包括平均场变分近似（低）-高维贝叶斯线性回归与尖峰和板先验，混合高斯模型，潜在的Dirichlet分配，和（混合）高斯变分近似在常规参数模型。
2018-02-07 math.ST stat.CO stat.ME
Diagnostics for Variational Bayes approximations
变分贝叶斯（VB）在许多应用领域中已显示出其本身是一种强大的近似方法。本文介绍了一些诊断方法，可以评估如何以及VB近似真实的后验，特别是关于其协方差结构。所提出的方法也使我们能够产生简单的修正时，近似误差是大的。它着眼于联合，边缘和条件方面的近似后验，并显示如何应用这些技术在模拟和真实数据的例子。
2013-09-19 stat.CO
