Variational Bayes: A report on approaches and applications
New York University(纽约大学)
深度神经网络在各种各样的任务上取得了令人印象深刻的成果。然而,量化网络输出的不确定性是一项具有挑战性的任务。贝叶斯模型提供了一个数学框架来推理模型的不确定性。变分方法已经被用于近似在神经网络的贝叶斯推断中出现的难处理的积分。在这份报告中,我们回顾了有关贝叶斯神经网络的主要变分推理概念,并比较了文献中使用的各种近似方法。我们还讨论了变分贝叶斯在强化学习和持续学习中的应用。
2019-05-26 cs.LG stat.ML
Variational Inference for GARCH-family Models
Aarhus University(奥胡斯大学)
本文针对GARCH族模型贝叶斯估计常用蒙特卡洛采样的现状,探讨变分推断的替代可行性,经大规模实验验证其是校准良好且具竞争力的贝叶斯学习方法。
2023-10-05 cs.LG econ.EM stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs(英特尔实验室)
深度神经网络(DNN)为多种应用提供了最先进的结果,但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法,该方法结合了确定性和变化层,以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本,从一个子集的时刻在时间(MiT)数据集显示了一个更可靠的信心措施相比,非贝叶斯基线和蒙特卡罗脱落(MC脱落)近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中,与非贝叶斯基线相比,所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties
Teledyne Scientific & Imaging(泰勒-扬科学与成像)
本文提出一种轻量级贝叶斯神经网络异方差不确定性变分推断框架,通过将异方差aleatoric和epistemic方差嵌入到学习参数的方差中,提升预测性能。
2026-04-30 cs.LG stat.ML
Variational Boosted Soft Trees
University of Tuebingen(图宾根大学);Amazon(亚马逊);Deekard(迪卡德)
基于决策树的梯度提升机器(GBM)始终在表格数据的回归和分类任务上展示最先进的结果,通常优于深度神经网络。然而,这些模型不能提供良好校准的预测不确定性,这妨碍了它们在高风险应用中用于决策。贝叶斯处理是已知的,以提高预测的不确定性校准,但以前提出的贝叶斯GBM方法要么计算昂贵,或诉诸粗糙的近似。变分推理常用于实现贝叶斯神经网络,但很难应用于GBM,因为用作弱学习器的决策树是不可微的。在本文中,我们建议实现贝叶斯GBM使用变分推理软决策树,一个完全可微的替代标准决策树Irsoy等人介绍的。我们的实验表明,变分软树和变分软GBM提供有用的不确定性估计,同时保持良好的预测性能。与最先进的贝叶斯GBM相比,所提出的模型在7/10的表格回归数据集中显示出更高的测试似然性,并且在5/10的数据集中显示出改进的分布外检测。
2023-02-22 cs.LG stat.ML
Variational Bayesian Monte Carlo
University of Geneva(日内瓦大学)
科学计算和机器学习中感兴趣的许多概率模型具有昂贵的黑盒似然性,这阻止了用于贝叶斯推断的标准技术的应用,例如MCMC,这将需要访问梯度或大量似然性评估。我们在这里介绍一种新的样本有效的推理框架,变分贝叶斯蒙特卡罗(VBMC)。VBMC结合了变分推断与基于高斯过程的主动采样贝叶斯求积,使用后者来有效地近似变分目标中的难处理积分。我们的方法产生的后验分布的非参数近似和模型证据的近似下界,有用的模型选择。我们证明VBMC的几个合成的可能性和神经元模型的数据从真正的神经元。在所有测试的问题和维度(直到$D = 10$)中,VBMC在重建后验和模型证据方面的表现一直很好,而不像其他方法只在非常低的维度上工作。我们的框架显示出巨大的潜力,作为一种新的工具,昂贵的,黑箱似然后验和模型推理。
2018-11-29 cs.LG q-bio.NC q-bio.QM
Deterministic Variational Inference for Robust Bayesian Neural Networks
Princeton Neuroscience Institute, Princeton University(普林斯顿大学神经科学研究所);Google AI Berlin(谷歌柏林人工智能研究院);Department of Engineering, University of Cambridge(剑桥大学工程系);Microsoft Research, Cambridge(微软剑桥研究院)
贝叶斯神经网络(BNN)作为一种灵活而有原则的解决方案,在从有限数据中学习时处理不确定性,具有很大的前景。在深度神经网络中实现概率推理的方法中,变分贝叶斯(VB)具有理论基础、普遍适用性和计算效率。随着人们对潜在优势的广泛认识,为什么变分贝叶斯在实际应用中对BNN的实际应用非常有限?我们认为,变分推理神经网络是脆弱的:成功的实现需要仔细的初始化和调整的先验方差,以及控制方差的蒙特卡罗梯度估计。我们提供了两个创新,旨在把VB成为一个强大的推理工具贝叶斯神经网络:首先,我们引入了一种新的确定性方法来近似矩神经网络,消除梯度方差;第二,我们引入了一个分层的参数和一个新的经验贝叶斯程序自动选择先验方差。结合这两个创新,所得到的方法是高效和鲁棒的。在异方差回归的应用中,我们表现出良好的预测性能超过其他方法。
2019-03-07 cs.LG stat.ML
Collapsed Variational Inference for Nonparametric Bayesian Group Factor Analysis
Technische Universität Darmstadt(达姆施塔特工业大学)
群因子分析(Group factor analysis,GFA)方法已被广泛应用于系统生物学和神经影像学等领域的多个相关数据集,以推断其共同结构和群特异性信号。迄今为止,大多数可用的GFA模型需要吉布斯采样或切片采样来执行推断,这阻碍了GFA的实际应用到大规模数据。在本文中,我们提出了一个有效的折叠变分推理(CVI)算法的非参数贝叶斯组因子分析(NGFA)模型建立在一个分层的贝塔伯努利过程。我们的CVI算法通过边缘化特定于组的Beta过程参数,然后使用平均场方法近似塌陷空间中的真实后验来进行。合成和真实世界的数据上的实验结果表明,我们的CVI算法的NGFA相比,国家的最先进的GFA方法的有效性。
2018-09-24 cs.LG stat.ML
Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation
Heidelberg University(海德堡大学);Özyeğin University(厄兹耶因大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们提出了一个新的贝叶斯神经网络制定,提供变分推断的证据下限是分析易处理的紧近似。我们通过(i)将ReLU非线性分解为恒等式和Heaviside阶跃函数的乘积,(ii)引入一个单独的路径,将神经网络期望从其方差中分解出来。我们正式证明,引入单独的潜在的二进制变量的激活允许代表的神经网络的可能性作为一个链的线性操作。执行变分推断上的这种结构,使一个采样自由计算的证据下限,这是一个更有效的近似比广泛应用的蒙特卡罗采样和CLT相关技术。我们评估了一系列回归和分类任务对BNN推理替代模型,表现出竞争力或改进的性能超过目前最先进的。
2019-06-12 cs.LG stat.ML
A Variational Inference method for Bayesian variable selection
变量选择是统计学中的一个经典问题。在本文中,我们考虑了Ročková和George(2014)提出的基于混合正态分布的spike-and-slab先验的贝叶斯变量选择问题。受Ormerod和You(2017,2023)的启发,我们使用变分推断和折叠变分推断方法来解决贝叶斯问题,而不是MCMC。与Ormerod and You(2017,2023)一样,我们也解释了稀疏估计是如何被导出的,并且在某些温和的假设下,我们还证明了一致和渐近的结果。
2023-03-07 stat.ME
Algorithms of the LDA model [REPORT]
Jožef Stefan Institute(约瑟夫·斯特凡研究所)
我们回顾了三种潜在狄利克雷分配算法(LDA)。其中两种是变分推理算法:变分贝叶斯推理和在线变分贝叶斯推理,一种是马尔可夫链蒙特卡罗(MCMC)算法--塌陷吉布斯抽样。我们比较了它们的时间复杂度和性能。我们发现,在线变分贝叶斯推理是最快的算法,仍然返回相当好的结果。
2013-07-01 cs.IR cs.LG stat.ML
Good Initializations of Variational Bayes for Deep Models
EURECOM(欧洲通信学院)
随机变分推断是对深度模型进行近似贝叶斯推断的既定方法。虽然在深度学习中已经有了有效的初始化损失最小化的建议,但对随机变分推断的初始化问题的关注要少得多。我们解决这个问题,提出了一种新的逐层初始化策略的基础上贝叶斯线性模型。所提出的方法在回归和分类任务上得到了广泛的验证,包括贝叶斯DeepNets和ConvNets,与损失最小化初始化文献启发的替代方案相比,显示出更快和更好的收敛性。
2019-01-25 cs.LG stat.ML
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University(哥伦比亚大学)
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗(MCMC)或组合序贯蒙特卡罗(CSMC)等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而,当MCMC用于进化参数学习时,收敛需要长时间运行,状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗(VCSMC),一个强大的框架,建立变分顺序搜索学习分布在复杂的组合结构。然后,我们开发嵌套CSMC,一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似(棘手的)局部最优建议。我们使用嵌套的CSMC定义第二个目标,VNCSMC产生更严格的下限比VCSMC。我们表明,VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction
Institute of Computer Graphics and Vision(计算机图形与视觉研究所);Graz University of Technology(格拉茨理工大学);School of Computer Science(计算机科学学院);University of Auckland(奥克兰大学)
除了在临床医学中的广泛使用外,法医学中的生物年龄(BA)还用于评估身份证明文件不可用的应用中未知的实际年龄(CA)。在文献中提出的年龄估计的自动方法是预测点估计,这可能是误导的预测不确定性的量化。在我们的MRI数据的多因素年龄估计方法中,我们使用变分推理方法来估计贝叶斯CNN模型的不确定性。区分模型不确定性和数据不确定性,我们将数据不确定性解释为生物学变异,即具有相同BA的受试者的可能CA范围。
2020-02-25 cs.LG eess.IV stat.ML
Variational Inference MPC for Bayesian Model-based Reinforcement Learning
Panasonic Corp.(松下公司);Ritsumeikan Univ.(立命馆大学)
在最近关于基于模型的强化学习(MBRL)的研究中,在前向动力学中引入不确定性是提高学习性能的最新策略,使MBRL与尖端的无模型方法竞争,特别是在模拟机器人任务中。轨迹采样概率集成(Probablenessbles with trajectory sampling,PETS)是MBRL的一种主要类型,它将贝叶斯推理应用于动力学建模和模型预测控制(Model Predictive Control,MPC),并通过交叉熵方法(Cross Entropy Method,CEM)进行随机优化。在本文中,我们提出了一种新的扩展不确定性感知MBRL。我们的主要贡献是两方面的:首先,我们引入了变分推理MPC,它重新制定了各种随机方法,包括CEM,在贝叶斯时尚。其次,我们提出了一个新的框架,称为概率动作合奏与轨迹采样(PaETS)的实例。因此,我们的贝叶斯MBRL可以涉及多模态的不确定性,无论是在动态和最佳轨迹。与PETS相比,我们的方法在几个具有挑战性的运动任务上始终提高了渐近性能。
2019-10-07 cs.LG cs.SY eess.SY
Variational Inference for Bayesian Neural Networks under Model and Parameter Uncertainty
University of Oslo(奥斯陆大学);NMBU(挪威生命科学大学);HiOF(东福尔郡大学学院)
针对现有贝叶斯神经网络无法同时处理结构与参数不确定性的问题,提出结合模型不确定性框架与重参数化变分推断的方法,在联合空间推断,实现了与现有模型相当且更稀疏的效果。
2023-05-01 cs.LG stat.ML
Hybrid Variational/Gibbs Collapsed Inference in Topic Models
University of California Irvine(加利福尼亚大学欧文分校);University College London(伦敦大学学院);Radboud University Nijmegen(拉德堡德大学)
变分贝叶斯推理和(塌陷)吉布斯抽样是贝叶斯网络的两类重要的推理算法。两者都有其优点和缺点:塌陷吉布斯采样是无偏的,但对于大计数值也是低效的,并且需要对许多样本进行平均以减少方差。另一方面,变分贝叶斯推理是有效的,准确的大计数值,但遭受小计数的偏见。我们提出了一种混合算法,结合了两个世界的最佳:它的样本非常小的计数和应用变分更新大计数。这种杂交显着提高测试集的困惑相对于变分推理在没有计算成本。
2012-06-13 cs.LG stat.ML
The FMRIB Variational Bayesian Inference Tutorial II: Stochastic Variational Bayes
University of Nottingham(诺丁汉大学);University of Oxford(牛津大学)
贝叶斯方法已被证明是强大的,在许多应用程序中的推理模型参数的数据。这些方法基于贝叶斯定理,该定理本身看似简单。然而,在实践中,即使对于简单的情况,所需的计算也是棘手的。因此,用于贝叶斯推断的方法在历史上要么是显著近似的,例如,拉普拉斯近似,或者以显著的计算代价从精确解获得样本,例如,马尔可夫链蒙特卡罗方法。自2000年左右以来,所谓的变分方法贝叶斯推断已越来越多地部署。在其最一般的形式变分贝叶斯(VB)涉及近似真实的后验概率分布通过另一个更“可管理”的分布,目的是实现尽可能好的近似。在最初的FMRIB变分贝叶斯教程中,我们记录了一种基于VB的方法,该方法采用“平均场”方法来形成近似后验,需要先验和似然的共轭性,并利用变分法来推导一系列迭代更新方程,类似于期望最大化。在本教程中,我们将重新讨论VB,但现在采用一种随机方法来解决问题,这种方法可能会规避早期方法所带来的一些限制。这种新方法与应用于机器学习算法的计算方法有很多相似之处,并从中受益。尽管如此,我们在这里记录的仍然是经典意义上的贝叶斯推断,而不是试图使用机器学习作为黑盒来解决推理问题。
2020-07-09 cs.LG stat.ME
BAR: Bayesian Activity Recognition using variational inference
Intel Labs(英特尔实验室)
深度神经网络中的不确定性估计对于设计可靠和鲁棒的AI系统至关重要。用于识别可疑活动的视频监控等应用程序设计有深度神经网络(DNN),但DNN不提供不确定性估计。在安全和安全关键应用中捕获可靠的不确定性估计将有助于建立对AI系统的信任。我们的贡献是将贝叶斯深度学习框架应用于视觉活动识别应用,并量化模型的不确定性以及原则性置信度。在训练贝叶斯DNN的同时,我们利用随机变分推理技术来推断模型参数的近似后验分布,并对模型参数的后验进行蒙特卡洛采样以获得预测分布。我们表明,贝叶斯推理适用于DNN提供可靠的置信度的视觉活动识别任务相比,传统的DNN。我们还表明,与非贝叶斯基线相比,我们的方法将视觉活动识别精确度-回忆AUC提高了6.2%。我们通过选择分发视频样本的一个子集来评估我们在Moments-In-Time(MiT)活动识别数据集上的模型。
2018-12-01 cs.CV cs.LG cs.NE
Variational Inference over Non-differentiable Cardiac Simulators using Bayesian Optimization
在模拟器上执行推理通常是棘手的,因为它们的运行时间意味着我们无法计算边际可能性。我们开发了一种无似然推理方法来推断心脏模拟器的参数,该心脏模拟器复制通过心脏到体表的电流。我们改进了最先进的模拟器与真实患者记录的心电图(ECG)的拟合。
2017-12-09 stat.ML
Bayesian variational inference for exponential random graph models
指数随机图模型的贝叶斯推断是一个具有挑战性的“双重棘手”问题,因为似然和后验密度的归一化常数都是棘手的。马尔可夫链蒙特卡罗(MCMC)方法,产生贝叶斯推断的ERGM,如交换算法,是渐近精确的,但计算密集,因为网络必须从每一步的可能性,例如,使用“领带不领带”采样器。在这篇文章中,我们发展了各种变分方法的高斯近似的后验密度和模型选择。这些方法包括基于调整后的伪变分和随机变分推断的非共轭变分消息传递。为了克服在每次迭代时从可能性绘制网络的计算障碍,我们提出了随机梯度上升,使用自适应自归一化重要性抽样计算有偏但一致的梯度估计。这些方法提供了有吸引力的快速替代MCMC后验近似。我们说明了变分方法使用真实的网络,并通过MCMC和拉普拉斯近似得到的结果比较其精度。
2019-11-23 stat.CO
Variational Bayes for Merging Noisy Databases
贝叶斯实体解析将多个嘈杂的数据库合并在一起,并返回所表示的唯一个体的最小集合,以及它们的真实潜在记录值。贝叶斯方法允许灵活的生成模型,在数据库之间共享功率,以及对最终解析数据库的查询的不确定性进行原则性量化。然而,现有的贝叶斯实体解析方法使用马尔可夫蒙特卡罗方法(MCMC)近似,运行速度太慢,包含数百万或数十亿条记录的现代数据库。相反,我们建议应用变分近似,使可扩展的贝叶斯推断在这些模型。我们推导出平均场变分贝叶斯的坐标上升近似,定性地比较我们的算法与现有的方法,注意到独特的挑战,推理所产生的预期分布的集群大小在实体分辨率,并讨论在这一领域的未来工作的方向。
2014-10-17 stat.ME stat.ML
Variational Inference for Fully Bayesian Hierarchical Linear Models
Universidad Nacional de Colombia(哥伦比亚国立大学)
本文比较了变分推断与马尔可夫链蒙特卡罗在分层线性模型中的表现,发现变分方法在计算效率上更优,但可能扭曲后验依赖性,需根据具体场景选择方法。
2025-12-14 stat.AP stat.ME
Laplace Variational Inference for Bayesian Envelope Models
Chonnam National University(全南国立大学);Sungkyunkwan University(成均馆大学)
本文提出了一种基于拉普拉斯近似的变分推断方法,用于改进贝叶斯包络模型的推断效率与精度。
2026-03-01 stat.ME
Fast Variational Inference of Latent Space Models for Dynamic Networks Using Bayesian P-Splines
本文针对连续时间动态网络潜在空间模型提出基于贝叶斯P样条的新先验和随机变分推断算法,实现线性于边数的快速估计,并首次给出连续时间LSMs贝叶斯估计的非渐近误差界,成功应用于超440万条国际冲突关系数据。
2024-01-18 stat.CO stat.ME
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.(NTT数据数学系统公司);Tokyo Institute of Technology(东京工业大学)
非负矩阵分解(NMF)是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而,由于变分贝叶斯NMF(VBNMF)中的先验分布不具有统计正则性,变分贝叶斯NMF(VBNMF)中的变分逼近误差存在零点或发散点,因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法,从理论上分析了负对数证据(也称“负对数证据”)的差异。自由能),即,变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数(a.k.a.)的上界。贝叶斯NMF中的实对数典型阈值)。通过使用上界,我们找到了一个下界的近似误差,渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF,其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay(巴黎萨克雷大学);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);Meta AI Research(元人工智能研究部门)
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性,给出了从惩罚计算先验的系统方法,并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School(ESSEC商学院)
本文提出修改后的generalized Rho-后验,通过softmax聚合替代极值,实现PAC-Bayesian分析,提供有限样本Oracle不等式和收敛速率,确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London(帝国理工学院)
在这项工作中,我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明,我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
A Bayesian Variational principle for dynamic Self Organizing Maps
NeoInstinct(新本能公司)
我们提出的组织条件,产生一个自适应的邻域半径在变分贝叶斯框架训练SOM的方法。该方法在非平稳环境下进行了验证,并在高维环境下与其他自适应方法进行了比较。
2022-08-24 cs.LG cs.NE stat.ML
Variational Bayesian Last Layers
Google DeepMind(谷歌DeepMind);Vector Institute(矢量研究所)
该研究提出变分贝叶斯最后层(VBLL)方法,通过确定性变分公式训练贝叶斯最后层神经网络,无需采样且计算复杂度低,能提升不确定性估计、预测准确率等性能,还可结合特征学习实现低方差塌陷变分推断。
2024-04-17 cs.CV cs.LG stat.ML
Learning under Model Misspecification: Applications to Variational and Ensemble methods
University of Almería(阿尔梅里亚大学);University of Copenhagen(哥本哈根大学)
事实上,我们在机器学习中用来进行预测的任何模型都不能完美地代表现实。因此,大多数学习都发生在模型错误指定的情况下。在这项工作中,我们对模型误指定和独立同分布下的贝叶斯模型平均的泛化性能提出了一种新的分析数据使用一个新的家庭的二阶PAC-Bayes界限。该分析以简单直观的方式表明,当模型被错误指定时,贝叶斯模型平均提供了次优的泛化性能。因此,我们提供了强有力的理论论据,表明贝叶斯方法不是学习预测模型的最佳方法,除非模型类是完全指定的。使用新的二阶PAC-Bayes界,我们得到了一个新的家庭的贝叶斯算法,它可以实现为变分和集成方法。这些算法的输出是一个新的后验分布,不同于贝叶斯后验,它导致后验预测分布具有更好的泛化性能。贝叶斯神经网络的实验说明了这些发现。
2020-10-22 cs.LG math.ST stat.ML
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包,用于执行变分贝叶斯推断。它基于变分消息传递框架,支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务,用户可以更快地构建模型,并且不易出错。简单的语法,灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法,如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
A Variational Approach to Bayesian Phylogenetic Inference
Peking University(北京大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所);Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心);University of Washington(华盛顿大学)
本文提出一种变分推断框架用于贝叶斯系统发育分析,结合子分割贝叶斯网络与分支长度摊销,以更少迭代实现与MCMC相当的性能,并在真实数据基准上验证了有效性。
2024-05-22 cs.LG stat.ML
A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods
University of Oxford(牛津大学);University of Adelaide(阿德莱德大学);University College London(伦敦大学学院)
本文首次建立了贝叶斯、变分贝叶斯与集成方法的严格数学联系,通过 Wasserstein 梯度流将非凸优化转化为概率测度空间中的凸优化,统一了深度学习不确定性量化理论,并提出了具有收敛保证的交互式深度集成算法。
2023-10-22 cs.AI cs.LG math.ST
Variational Laplace for Bayesian neural networks
University of Sussex(萨塞克斯大学);University of Bristol(布里斯托尔大学)
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络(BNN),利用局部近似的曲率的可能性估计ELBO,而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估,因为它(本质上)是对数似然,加上权重衰减,加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断,尽管使用相同的变分近似后验。最后,我们强调在基准测试标准VI时需要小心,因为在方差参数收敛之前存在停止的风险。我们表明,提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Harvard University(哈佛大学)
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是,已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时,函数空间后验均值在均值场变分推理下实际上收敛于零,完全忽略数据.这与真正的后验相反,后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer
Uber AI Labs(优步人工智能实验室)
在这篇文章中,我们考虑了贝叶斯神经网络的变分目标可以以封闭形式计算的设置。特别地,我们专注于激活函数是分段多项式的单层网络(例如ReLU)。在这种情况下,我们表明,正常的可能性和结构正常的变分分布,可以计算封闭形式的变分下界。此外,我们计算封闭形式的预测均值和方差。最后,我们还展示了如何计算其他可能性的近似下界(例如softmax分类)。在实验中,我们展示了由此产生的变分目标如何帮助改进训练并提供快速的测试时间预测。
2018-12-02 cs.LG stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research(VinAI研究院);University of Texas, Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科技大学)
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战,该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说,我们重点研究了Dropout后验模型中因子分解结构的可分解性,并提出了一种改进的方法,称为变分结构Dropout(VSD)。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示,从而在近似后验中引入统计依赖性。从理论上讲,VSD成功地解决了以前的变差丢弃方法的病理,从而提供了一个标准的贝叶斯理由。我们进一步表明,VSD诱导自适应正则化项与几个理想的属性,有助于更好的推广。最后,我们进行了广泛的实验,标准的基准测试,以证明VSD的有效性超过国家的最先进的变分方法的预测精度,不确定性估计,和分布外检测。
2021-10-29 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);Canadian Institute For Advanced Research (CIFAR)(加拿大高级研究院)
我们重新解释神经网络中的乘性噪声作为辅助随机变量,增加贝叶斯神经网络的变分设置中的近似后验。我们表明,通过这种解释,它是有效的和简单的,以提高近似采用规范化流,同时仍然允许局部重新参数化和一个听话的下限。在实验中,我们表明,这种新的近似,我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto(多伦多大学);Vector Institute(向量研究所);Tsinghua University(清华大学)
变分贝叶斯神经网络(BNN)对权值进行变分推理,但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络(fBNN),最大化的证据下界(ELBO)直接定义的随机过程,即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上,我们引入了一个实用的训练目标,它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN,我们可以指定包含丰富结构的先验,包括高斯过程和隐式随机过程。根据经验,我们发现fBNN使用各种结构化先验进行外推,提供可靠的不确定性估计,并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);MIT(麻省理工学院)
本文提出了一种新的变分推理框架,推导出一个家庭的贝叶斯稀疏高斯过程回归(SGPR)模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR(VBSGPR)模型共同对待的诱导变量和超参数的分布作为变分参数,这使得变分下限,反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度,以改进我们的VBSGPR模型的诱导变量和超参数(以及预测分布)的最优变分分布的估计,并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计,并且可以在每次迭代的恒定时间内计算,从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University(哥伦比亚大学)
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销,这使得它们在大型网络上不可行,以及实现的困难,这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani,2016]很受欢迎,因为它避开了这些障碍。然而,当在具有批量归一化层的网络中使用时,dropout通常对模型性能有害[Li等人,2018],它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络,包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员,它们与批量归一化层配合良好,同时保留了低参数和编程开销的优点,与非贝叶斯训练相当。我们提出的方法提高了预测精度,并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断,涵盖模型、推导及MATLAB/Octave实现,并作为教程与示例文档,提供免费在线函数。
2019-06-29 stat.ML
Variational bagging: a robust approach for Bayesian uncertainty quantification
变分袋外方法通过整合袋外过程与变分贝叶斯,提升贝叶斯不确定性量化,理论保证后验收缩率和BVM定理,适用于多种模型。
2025-11-25 math.ST stat.ML stat.TH
Variational Bayesian Bow tie Neural Networks with Shrinkage
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学学院和麦克斯韦数学科学研究所,爱丁堡大学)
针对深度模型预测过度自信、易受攻击及现有贝叶斯推理依赖假设、对架构敏感等问题,提出带收缩的变分贝叶斯蝴蝶结神经网络,结合稀疏先验与Polya-Gamma数据增强推导快速推理算法,增强架构鲁棒性并兼顾可扩展性与多模态。
2025-06-17 cs.LG math.ST stat.ME
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics(数学与统计学院);University of Melbourne(墨尔本大学)
在这项工作中,我们主张的重要性,奇异学习理论(ESTA),因为它涉及到贝叶斯神经网络(BNN)的变分推断的理论和实践。首先,我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑,这些差异是通过以下方式测量的,测试测井预测密度和变目标。接下来,我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说,我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020},这是理论上有吸引力,但实际上是棘手的。我们的建议形成了一个规范化的流,其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较,这规范的高斯基分布,并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Variational Bayesian Supertrees
给定一组分类单元(例如物种)的重叠子集,以及每个分类单元集的系统发育树拓扑结构上的后验分布,我们如何推断整个分类单元集的系统发育树拓扑结构上的后验分布?虽然在非贝叶斯情形下的等价问题已经吸引了大量的研究,但贝叶斯情形并没有引起应有的关注。在本文中,我们开发了一个变分贝叶斯方法来解决这个问题,并证明其有效性。
2021-04-22 q-bio.PE stat.ML
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University(奥胡斯大学)
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新,以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布,我们广泛讨论高斯的情况下,更新有一个相当简单的形式。我们的准黑盒变分推断(QBVI)框架是很容易适用于广泛的一类贝叶斯推断问题,是简单的实现,因为更新的变分后不涉及梯度的模型参数,也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下,讨论其强大的和可行的实施细节,并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中,所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中,我们回顾了VL方法的主要变体,这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant,我们还得出了一些新的理论成果,完成现有的变分贝叶斯方法的分析组合,包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法,包括(例如,精度)超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲,我们将逻辑函数转换为高斯函数,这有助于精确的推断,然后迭代地调整变分参数以提高近似的质量。我们通过实验证明,这种近似比采样更快,可能更准确。我们还介绍了一个简单的新技术来处理证据,这使我们能够处理观察到的节点上的任意分布,以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法,基于混合模型,侧重于引入潜变量,使我们有可能处理模型对离群值的敏感性,并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理,并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST(韩国科学技术院)
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架,这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后,智能体可能会决定行使她的法律“被遗忘权”,这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理(VI)解决方案,该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML