Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford（牛津大学）；Amazon（亚马逊）
我们开发了一个框架，广义变分推断在无限维函数空间，并使用它来构建一个方法称为高斯Wasserstein推理（GWI）。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离，以便使用易于处理的优化标准来确定变分后验，并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络，将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中，所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中，我们回顾了VL方法的主要变体，这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant，我们还得出了一些新的理论成果，完成现有的变分贝叶斯方法的分析组合，包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法，包括（例如，精度）超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Variational Bayesian Adaptation of Noise Covariances in Non-Linear Kalman Filtering
本文研究非线性随机状态空间模型中状态和时变噪声协方差阵的联合估计问题。本文提出了一种基于变分贝叶斯和高斯滤波的近似滤波后验后验分布的有效计算方法。非线性状态空间模型计算的基于高斯滤波的公式化允许使用有效的高斯积分方法，例如无迹变换、体积积分和高斯-厄米特积分以及经典的泰勒级数近似。该算法的性能示出在一个模拟的应用程序。
2013-02-04 stat.ME
Bayesian Generalized Additive Model Selection Including a Fast Variational Option
本文提出贝叶斯广义加性模型选择方法，利用组 LASSO 先验和辅助变量实现 MCMC 与快速平均场变分推断，并提供 R 包支持大规模数据应用。
2023-09-28 stat.ME
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Bayesian Functional Principal Components Analysis via Variational Message Passing
函数型主成分分析是一种常用的函数型数据推理工具。标准方法依赖于平滑协方差表面的特征分解，以提取代表主要变化模式的正交函数。这种方法可能是一个计算密集型的过程，特别是在存在大型数据集的不规则观测。在本文中，我们开发了一种贝叶斯方法，其目的是直接确定Karhunen-Loève分解，而无需平滑和估计协方差曲面。更具体地说，我们开发了一个变分贝叶斯算法通过信息传递的因素图，这是更常见的称为变分信息传递。消息传递算法是划分层次统计模型中推理所需的代数和编码的强大工具。最近，有很多的重点制定变分推断算法的消息传递框架，因为它消除了需要重新推导近似后验密度函数，如果有一个变化的模型。相反，模型更改是通过更改因子图中的特定计算单元（称为片段）来处理的。我们扩展的概念变的消息传递功能的主成分分析。实际上，这是第一篇通过变分消息传递来解决函数式数据模型的文章。我们的方法引入了两个新的片段，是必要的贝叶斯函数主成分分析。我们提出的计算细节，一组模拟评估的准确性和速度，并应用到美国的温度数据。
2021-04-01 stat.ME
Bayesian Smoothing and Feature Selection Using variational Automatic Relevance Determination
本研究提出面向高维稀疏加性回归的变分自动相关性确定（VARD）方法，可独立评估特征平滑度并判定其贡献类型，配套高效坐标下降算法，经模拟与真实数据验证，其变量选择性能优于现有同类方法。
2024-10-31 stat.ME
Mean field variational Bayesian inference for support vector machine classification
提出了一种基于Polson & Scott（2012）的隐变量表示的支持向量机（SVM）均值场变分贝叶斯方法。这种表示允许规避许多与经典支持向量机相关的缺点，包括自动惩罚参数选择，处理相关样本，缺失数据和变量选择的能力。我们在模拟和真实数据集上证明，我们的方法很容易扩展到非标准情况，并且在保持计算效率的同时优于经典的SVM方法。
2013-05-13 stat.ME stat.ML
Fast and Locally Adaptive Bayesian Quantile Smoothing using Calibrated Variational Approximations
提出一种贝叶斯分位数趋势滤波方法，利用收缩先验和校准变分近似实现局部自适应的非平稳分位数趋势快速推断，计算效率优于Gibbs采样器且结果稳定。
2023-10-20 stat.ME
A Bayesian Variational principle for dynamic Self Organizing Maps
NeoInstinct（新本能公司）
我们提出的组织条件，产生一个自适应的邻域半径在变分贝叶斯框架训练SOM的方法。该方法在非平稳环境下进行了验证，并在高维环境下与其他自适应方法进行了比较。
2022-08-24 cs.LG cs.NE stat.ML
Variable Selection in Bayesian Semiparametric Regression Models
本文扩展了现有的用于高斯过程回归中变量选择的贝叶斯方法，以选择空间相关结构中的回归项和活动协变量。然后，我们使用估计的后验概率通过交叉验证在相对较少的模式之间进行选择，从而提高预测。
2014-12-31 stat.ME
Variational Bayesian Sparse Negative Binomial Regression
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德费尔多西大学）
针对高维计数数据回归难题，开发变分贝叶斯框架，用马蹄形和连续收缩先验实现稀疏负二项回归，相比MCMC方法计算量大幅减少，在过度离散和泊松数据中都有良好表现，为高维稀疏计数回归提供实用工具。
2026-07-30 stat.ME
Computational Methods in Bayesian Statistics
本文着重于利用两种不同的贝叶斯方法来处理数据分析中出现的各种玩具问题。特别是，我们实现了变分贝叶斯和嵌套采样方法来解决多项式选择和高斯混合模型的问题，比较算法的处理速度和精度。在这里解决的问题，它是变分贝叶斯算法是更快的，虽然这两个结果给出了类似的结果。
2010-03-22 stat.CO
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Decoupling shrinkage and selection in Bayesian linear models: a posterior summary perspective
为线性模型选择变量子集仍然是一个活跃的研究领域。本文回顾了许多最近的贡献贝叶斯模型选择和收缩先前的文献。提出了一种后验变量选择方法，该方法将回归系数的后验分布提取为稀疏线性预测变量序列。
2014-08-03 stat.ME
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Variational Bayesian Inference for Bipartite Mixed-membership Stochastic Block Model with Applications to Collaborative Filtering
针对推荐系统评分预测，提出二部混合隶属度随机块模型（BM^2）及变分贝叶斯EM算法，模拟和MovieLens实验证明其优于标准SBM和其他协同过滤方法。
2023-05-09 stat.ME
Variational Bayesian Last Layers
Google DeepMind（谷歌DeepMind）；Vector Institute（矢量研究所）
该研究提出变分贝叶斯最后层（VBLL）方法，通过确定性变分公式训练贝叶斯最后层神经网络，无需采样且计算复杂度低，能提升不确定性估计、预测准确率等性能，还可结合特征学习实现低方差塌陷变分推断。
2024-04-17 cs.CV cs.LG stat.ML
A discussion of "Bayesian model selection based on proper scoring rules" by A.P. Dawid and M. Musio
本文是对A.P. Dawid和M. Musio，出现在贝叶斯分析中。虽然赞赏背后的概念使用适当的评分规则，包括不适当的先验知识，我们在这里指出一些可能的实际困难与提倡的方法。
2015-02-26 stat.ME
Bayesian Model Selection via Mean-Field Variational Approximation
本文研究基于平均场变分近似的贝叶斯模型选择，证明其BvM定理，提出基于ELBO的准则并证明其渐近等价于BIC，且近似误差更小，同时展示CAVI算法的几何收敛性，为计算高效模型选择提供理论支撑。
2023-12-17 math.ST stat.CO stat.ME
Variational Bayesian Supertrees
给定一组分类单元（例如物种）的重叠子集，以及每个分类单元集的系统发育树拓扑结构上的后验分布，我们如何推断整个分类单元集的系统发育树拓扑结构上的后验分布？虽然在非贝叶斯情形下的等价问题已经吸引了大量的研究，但贝叶斯情形并没有引起应有的关注。在本文中，我们开发了一个变分贝叶斯方法来解决这个问题，并证明其有效性。
2021-04-22 q-bio.PE stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
Variational Bayesian hierarchical regression for data analysis
用于分析或预测任务的收集的数据通常具有分层结构，例如，来自执行相同任务的各个人的数据。对数据结构进行建模可以提高导出结果的可靠性和新的未观测数据的预测性能。贝叶斯建模为设计层次模型提供了一个工具包。然而，通常用于参数估计的马尔可夫链蒙特卡罗方法在计算上昂贵。这通常使其在许多应用中不适用。然而，变分贝叶斯方法允许以少得多的计算工作量得到近似。本文描述了分层线性贝叶斯回归的变分近似的推导，并演示了其在数据分析中的应用。
2018-11-08 stat.AP
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法，基于混合模型，侧重于引入潜变量，使我们有可能处理模型对离群值的敏感性，并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理，并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的，这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化，允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差，其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法：逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
A Variational Approach to Bayesian Phylogenetic Inference
Peking University（北京大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；University of Washington（华盛顿大学）
本文提出一种变分推断框架用于贝叶斯系统发育分析，结合子分割贝叶斯网络与分支长度摊销，以更少迭代实现与MCMC相当的性能，并在真实数据基准上验证了有效性。
2024-05-22 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
University of Sussex（萨塞克斯大学）；University of Bristol（布里斯托尔大学）
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Harvard University（哈佛大学）
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是，已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时，函数空间后验均值在均值场变分推理下实际上收敛于零，完全忽略数据.这与真正的后验相反，后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer
Uber AI Labs（优步人工智能实验室）
在这篇文章中，我们考虑了贝叶斯神经网络的变分目标可以以封闭形式计算的设置。特别地，我们专注于激活函数是分段多项式的单层网络（例如ReLU）。在这种情况下，我们表明，正常的可能性和结构正常的变分分布，可以计算封闭形式的变分下界。此外，我们计算封闭形式的预测均值和方差。最后，我们还展示了如何计算其他可能性的近似下界（例如softmax分类）。在实验中，我们展示了由此产生的变分目标如何帮助改进训练并提供快速的测试时间预测。
2018-12-02 cs.LG stat.ML
Overpruning in Variational Bayesian Neural Networks
在神经网络中使用变分推断（VI）的动机与潜变量模型中的动机有很大不同。这有一个反直觉的后果;更有表现力的变分近似可以提供显着更差的预测相比，那些表达较少的家庭。在这项工作中，我们做了两个贡献。首先，我们确定了这种性能差距的原因，变分过度修剪。其次，我们介绍了一个理论上的解释，这种现象。我们的观点揭示了几个相关的已发表的结果，并提供了直观的设计有效的变分逼近的神经网络。
2018-01-18 stat.ML
A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods
University of Oxford（牛津大学）；University of Adelaide（阿德莱德大学）；University College London（伦敦大学学院）
本文首次建立了贝叶斯、变分贝叶斯与集成方法的严格数学联系，通过 Wasserstein 梯度流将非凸优化转化为概率测度空间中的凸优化，统一了深度学习不确定性量化理论，并提出了具有收敛保证的交互式深度集成算法。
2023-10-22 cs.AI cs.LG math.ST
Variational Bayesian Monte Carlo with Noisy Likelihoods
Department of Basic Neuroscience, University of Geneva（日内瓦大学基础神经科学系）
变分贝叶斯蒙特卡罗（VBMC）是最近引入的框架，其使用高斯过程代理在具有黑盒、非廉价似然的模型中执行近似贝叶斯推断。在这项工作中，我们扩展VBMC来处理噪声对数似然评估，如那些基于模拟的模型。我们引入了新的“全球”采集功能，如预期的信息增益（EIG）和变分位数范围（VIQR），这是强大的噪声，可以有效地评估内的VBMC设置。在一个新颖的，具有挑战性的，噪声推理基准，包括各种模型与来自计算和认知神经科学的真实数据集，VBMC+VIQR实现了最先进的性能恢复地面真理后验和模型证据。特别是，我们的方法大大优于“本地”采集功能和其他代理为基础的推理方法，同时保持一个小的算法成本。我们的基准测试证实了VBMC作为一种通用的技术，用于样本高效的黑盒贝叶斯推断，也与噪声模型。
2020-10-19 cs.LG q-bio.NC q-bio.QM
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）
估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Tokyo Institute of Technology（东京工业大学）
非负矩阵分解（NMF）是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而，由于变分贝叶斯NMF（VBNMF）中的先验分布不具有统计正则性，变分贝叶斯NMF（VBNMF）中的变分逼近误差存在零点或发散点，因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法，从理论上分析了负对数证据（也称“负对数证据”）的差异。自由能），即，变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数（a.k.a.）的上界。贝叶斯NMF中的实对数典型阈值）。通过使用上界，我们找到了一个下界的近似误差，渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF，其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
Sparse online variational Bayesian regression
这项工作认为变分贝叶斯推断作为一个廉价的和可扩展的替代方案，完全贝叶斯方法的背景下，稀疏促进先验。特别是，考虑的先验产生的正态分布与广义逆高斯混合分布的尺度混合。这包括变分贝叶斯LASSO作为[65]中引入的贝叶斯LASSO的廉价且可扩展的替代方案。它还包括一个家庭的先验更强烈地促进稀疏。对于线性模型，该方法只需要迭代求解确定性最小二乘问题。此外，对于p个未知协变量，该方法可以精确地在线实现，每次迭代的计算成本为$O(p^3)$，存储器成本为$O(p^2)$-换句话说，每次迭代的成本与n无关，并且原则上可以考虑无限的数据。对于大的$p$的近似是能够实现有希望的结果，每次迭代的成本$O(p)$，在计算和存储器。超参数调整的策略也被认为是。该方法是实现真实和模拟数据。结果表明，性能的变量选择和不确定性量化的变贝叶斯LASSO可以媲美贝叶斯LASSO的问题，这是易于处理的方法，并为一小部分的成本。本方法在膝上型计算机上在不到30分钟内舒适地处理$n = 65536$、$p = 131073$，并且在一夜之间处理$n = 10^5$、$p = 2.1 \times 10^6$。
2021-12-22 cs.NA math.NA math.OC
Empirical Bayes for Dynamic Bayesian Networks Using Generalized Variational Inference
本文提出结合广义变分推断的经验贝叶斯方法，从结构与权重点估计构建数据驱动先验，以学习可量化DAG结构及参数后验不确定性的动态贝叶斯网络。
2024-06-28 cs.LG math.ST stat.TH
The Variational Bayesian Inference for Network Autoregression Models
我们开发了一个变分贝叶斯（VB）的方法来估计大规模的动态网络模型的网络自回归框架。VB方法允许自动识别这样的模型的动态结构，并获得后验密度的直接近似。与基于马尔可夫链蒙特卡罗（MCMC）的采样方法相比，VB方法在不牺牲估计精度的情况下实现了提高的计算效率。在这里进行的模拟研究中，建议的VB方法检测各种类型的适当的动态网络模型的活动结构。与其他方法相比，所提出的方法实现了类似或更好的精度，其计算时间减半。在2013年10月至2015年9月期间德国天然气输送网络中51个节点的前一天天然气流量预测的真实数据分析场景中，VB方法提供了有希望的预测准确性以及在动态依赖性方面清晰检测到的结构。
2021-02-18 stat.ME stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
Variational Reformulation of Bayesian Inverse Problems
反问题的经典方法是基于失配函数的优化。尽管其计算吸引力，但这种方法存在许多缺点，例如，非唯一性的解决方案，建模先验知识，等贝叶斯形式主义的逆问题避免了最优化方法遇到的困难，虽然在增加的计算成本。在这项工作中，我们使用信息理论的参数来铸造的贝叶斯推断问题的优化问题。由此产生的计划结合了理论的合理性，充分贝叶斯推断的计算效率的一个简单的优化。
2014-10-21 stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics（数学与统计学院）；University of Melbourne（墨尔本大学）
在这项工作中，我们主张的重要性，奇异学习理论（ESTA），因为它涉及到贝叶斯神经网络（BNN）的变分推断的理论和实践。首先，我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑，这些差异是通过以下方式测量的，测试测井预测密度和变目标。接下来，我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说，我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020}，这是理论上有吸引力，但实际上是棘手的。我们的建议形成了一个规范化的流，其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较，这规范的高斯基分布，并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Adaptive Metropolis Algorithm Using Variational Bayesian Adaptive Kalman Filter
马尔可夫链蒙特卡罗（MCMC）方法是分析复杂统计问题的有力计算工具。然而，它们的计算效率高度依赖于所选择的建议分布，这通常很难找到。解决这个问题的一种方法是使用自适应MCMC算法，该算法在MCMC运行期间自动调整提案分布的统计信息。提出了一种新的自适应MCMC算法--变分贝叶斯自适应Metropolis（VBAM）算法. VBAM算法使用变分贝叶斯自适应卡尔曼滤波器（VB-AKF）来更新提议的协方差阵。证明了VBAM算法的一个强大数律。文中还给出了三个模拟算例和两个实际数据算例的经验收敛结果。
2014-10-01 math.ST stat.TH
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University（奥胡斯大学）
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新，以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布，我们广泛讨论高斯的情况下，更新有一个相当简单的形式。我们的准黑盒变分推断（QBVI）框架是很容易适用于广泛的一类贝叶斯推断问题，是简单的实现，因为更新的变分后不涉及梯度的模型参数，也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下，讨论其强大的和可行的实施细节，并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲，我们将逻辑函数转换为高斯函数，这有助于精确的推断，然后迭代地调整变分参数以提高近似的质量。我们通过实验证明，这种近似比采样更快，可能更准确。我们还介绍了一个简单的新技术来处理证据，这使我们能够处理观察到的节点上的任意分布，以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows
变分贝叶斯系统发育推断（VBPI）提供了一个有前途的通用变分框架，有效地估计系统发育后验。然而，目前的对角对数正态分支长度近似将显着限制近似分布的质量。在本文中，我们提出了一种新型的VBPI，VBPI-NF，作为使用深度学习技术进行系统发育后验估计的第一步。通过使用精心设计的置换等变变换处理系统发育模型的非欧几里德分支长度空间，VBPI-NF使用规范化流来提供丰富的灵活分支长度分布家族，这些分支长度分布可以在不同的树拓扑中进行推广。我们表明，VBPI-NF显着改善香草VBPI的基准挑战真实数据贝叶斯系统发育推理问题。进一步的研究还表明，在这些置换等变变换中的结构化参数化可以提供额外的摊销收益。
2020-12-01 q-bio.PE stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST（韩国科学技术院）
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架，这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后，智能体可能会决定行使她的法律“被遗忘权”，这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理（VI）解决方案，该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Utilizing variational autoencoders in the Bayesian inverse problem of photoacoustic tomography
本研究针对光声层析成像贝叶斯逆问题完整求解研究较少的现状，提出基于变分自编码器的后验分布估计方法，经数值模拟验证并与传统贝叶斯方法对比，为该类逆问题提供机器学习求解思路。
2022-10-24 physics.comp-ph stat.ML
