Variational Bayesian Last Layers
Google DeepMind（谷歌DeepMind）；Vector Institute（矢量研究所）
该研究提出变分贝叶斯最后层（VBLL）方法，通过确定性变分公式训练贝叶斯最后层神经网络，无需采样且计算复杂度低，能提升不确定性估计、预测准确率等性能，还可结合特征学习实现低方差塌陷变分推断。
2024-04-17 cs.CV cs.LG stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的，这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化，允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差，其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法：逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
A Variational Approach to Bayesian Phylogenetic Inference
Peking University（北京大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Fred Hutchinson Cancer Research Center（弗雷德·哈钦森癌症研究中心）；University of Washington（华盛顿大学）
本文提出一种变分推断框架用于贝叶斯系统发育分析，结合子分割贝叶斯网络与分支长度摊销，以更少迭代实现与MCMC相当的性能，并在真实数据基准上验证了有效性。
2024-05-22 cs.LG stat.ML
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中，所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中，我们回顾了VL方法的主要变体，这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant，我们还得出了一些新的理论成果，完成现有的变分贝叶斯方法的分析组合，包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法，包括（例如，精度）超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
Variational Laplace for Bayesian neural networks
University of Sussex（萨塞克斯大学）；University of Bristol（布里斯托尔大学）
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-08-10 cs.LG stat.ML
Variational Laplace for Bayesian neural networks
我们开发变分拉普拉斯贝叶斯神经网络（BNN），利用局部近似的曲率的可能性估计ELBO，而不需要随机抽样的神经网络的权重。变分拉普拉斯目标很容易评估，因为它（本质上）是对数似然，加上权重衰减，加上平方梯度正则化器。变分拉普拉斯给出了更好的测试性能和预期的校准误差比最大后验推理和基于标准抽样的变分推断，尽管使用相同的变分近似后验。最后，我们强调在基准测试标准VI时需要小心，因为在方差参数收敛之前存在停止的风险。我们表明，提前停止可以避免增加学习率的方差参数。
2021-07-20 cs.LG stat.ML
Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Harvard University（哈佛大学）
变分推理能够对现代机器学习中流行的高度过参数化的神经网络进行近似后验推理。不幸的是，已知这种后验子表现出各种病理行为。我们证明了当单层贝叶斯神经网络的隐层单元数趋于无穷大时，函数空间后验均值在均值场变分推理下实际上收敛于零，完全忽略数据.这与真正的后验相反，后者收敛于高斯过程。我们的工作提供了深入了解的KL分歧变分推理的过度正规化。
2021-06-13 cs.LG stat.ML
Convergence and asymptotic normality of variational Bayesian approximations for exponential family models with missing values
研究了缺失值指数族模型变分Bayes逼近的性质。证明了当样本量变大时，变分贝叶斯估计的迭代算法以概率1局部收敛于真值。证明了变分后验分布是渐近正态的。
2012-07-11 math.ST stat.CO stat.ME
Closed Form Variational Objectives For Bayesian Neural Networks with a Single Hidden Layer
Uber AI Labs（优步人工智能实验室）
在这篇文章中，我们考虑了贝叶斯神经网络的变分目标可以以封闭形式计算的设置。特别地，我们专注于激活函数是分段多项式的单层网络（例如ReLU）。在这种情况下，我们表明，正常的可能性和结构正常的变分分布，可以计算封闭形式的变分下界。此外，我们计算封闭形式的预测均值和方差。最后，我们还展示了如何计算其他可能性的近似下界（例如softmax分类）。在实验中，我们展示了由此产生的变分目标如何帮助改进训练并提供快速的测试时间预测。
2018-12-02 cs.LG stat.ML
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）
估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Mean field variational Bayesian inference for support vector machine classification
提出了一种基于Polson & Scott（2012）的隐变量表示的支持向量机（SVM）均值场变分贝叶斯方法。这种表示允许规避许多与经典支持向量机相关的缺点，包括自动惩罚参数选择，处理相关样本，缺失数据和变量选择的能力。我们在模拟和真实数据集上证明，我们的方法很容易扩展到非标准情况，并且在保持计算效率的同时优于经典的SVM方法。
2013-05-13 stat.ME stat.ML
Black Box Variational Bayesian Model Averaging
几十年来，贝叶斯模型平均（Bayesian Model Averaging，BMA）一直是一个流行的框架，用于系统地解释在多个竞争模型可用于描述相同或相似物理过程的情况下出现的模型不确定性。然而，这一框架的实施带来了许多实际挑战，包括通过马尔可夫链蒙特卡罗和数值积分的后验近似。我们提出了一个变分贝叶斯推断方法BMA作为一个可行的替代标准的解决方案，避免了许多上述的陷阱。所提出的方法是“黑盒”，在这个意义上，它可以很容易地应用到许多模型，很少或没有模型特定的推导。我们说明了我们的变分方法的一套例子的效用，并讨论了所有必要的实施细节。还提供了完整的Python代码和所有示例。
2022-03-28 stat.CO stat.ME
Comment on "A variational Bayesian approach for inverse problems with skew-t error distributions" (Guha et al., Journal of Computational Physics 301 (2015) 377-393)
对具有斜t误差分布的逆问题的变分贝叶斯方法（Guha等人，Journal of Computational Physics 301（2015）377-393）。
2016-11-23 math.PR stat.ME
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics（数学与统计学院）；University of Melbourne（墨尔本大学）
在这项工作中，我们主张的重要性，奇异学习理论（ESTA），因为它涉及到贝叶斯神经网络（BNN）的变分推断的理论和实践。首先，我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑，这些差异是通过以下方式测量的，测试测井预测密度和变目标。接下来，我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说，我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020}，这是理论上有吸引力，但实际上是棘手的。我们的建议形成了一个规范化的流，其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较，这规范的高斯基分布，并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University（奥胡斯大学）
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新，以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布，我们广泛讨论高斯的情况下，更新有一个相当简单的形式。我们的准黑盒变分推断（QBVI）框架是很容易适用于广泛的一类贝叶斯推断问题，是简单的实现，因为更新的变分后不涉及梯度的模型参数，也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下，讨论其强大的和可行的实施细节，并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML
Cluster Variational Approximations for Structure Learning of Continuous-Time Bayesian Networks from Incomplete Data
Technische Universität Darmstadt（达姆施塔特工业大学）
连续时间贝叶斯网络（CTBN）构成了一个通用的和强大的框架，用于建模网络上的连续时间随机过程。这使得它们对于学习交互实体之间的有向结构特别有吸引力。然而，如果可用的数据是不完整的，人们需要模拟的CTBN动力学非常复杂。现有的近似技术，如采样和低阶变分方法，要么规模不利的系统规模，或不满意的精度。受统计物理最新进展的启发，我们提出了一种新的近似方案的基础上集群变分方法显着改善现有的变分近似。我们可以解析地边缘化近似CTBN的参数，因为这些对于结构学习是次要的。这恢复了一个可扩展的计划，直接从不完整和嘈杂的时间序列数据的结构学习。我们的方法在可扩展性方面优于现有的方法。
2018-10-12 cs.LG stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲，我们将逻辑函数转换为高斯函数，这有助于精确的推断，然后迭代地调整变分参数以提高近似的质量。我们通过实验证明，这种近似比采样更快，可能更准确。我们还介绍了一个简单的新技术来处理证据，这使我们能够处理观察到的节点上的任意分布，以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
A Variational View on Bootstrap Ensembles as Bayesian Inference
EURECOM（欧洲通信学院）
在本文中，我们采用变分参数之间建立联系的集成方法神经网络和贝叶斯推理。我们考虑一个基于集合的方案，其中每个模型/粒子对应于通过参数引导和先验扰动的数据的扰动。我们推导出的条件下，任何粒子的优化步骤，使相关的分布减少其发散到模型参数的后验。这些条件不需要任何特定的近似形式，它们纯粹是几何的，可以让我们深入了解一些有趣的模型上的集合行为，例如具有ReLU激活的神经网络。实验证实，集成方法可以是一个有效的替代近似贝叶斯推理的理论发展的文件试图解释这种行为。
2020-06-08 cs.LG stat.ML
Variational Bayesian Monte Carlo with Noisy Likelihoods
Department of Basic Neuroscience, University of Geneva（日内瓦大学基础神经科学系）
变分贝叶斯蒙特卡罗（VBMC）是最近引入的框架，其使用高斯过程代理在具有黑盒、非廉价似然的模型中执行近似贝叶斯推断。在这项工作中，我们扩展VBMC来处理噪声对数似然评估，如那些基于模拟的模型。我们引入了新的“全球”采集功能，如预期的信息增益（EIG）和变分位数范围（VIQR），这是强大的噪声，可以有效地评估内的VBMC设置。在一个新颖的，具有挑战性的，噪声推理基准，包括各种模型与来自计算和认知神经科学的真实数据集，VBMC+VIQR实现了最先进的性能恢复地面真理后验和模型证据。特别是，我们的方法大大优于“本地”采集功能和其他代理为基础的推理方法，同时保持一个小的算法成本。我们的基准测试证实了VBMC作为一种通用的技术，用于样本高效的黑盒贝叶斯推断，也与噪声模型。
2020-10-19 cs.LG q-bio.NC q-bio.QM
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University（阿尔托大学）；University of Tübingen（蒂宾根大学）
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而，早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型，使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强，使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处，预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Tokyo Institute of Technology（东京工业大学）
非负矩阵分解（NMF）是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而，由于变分贝叶斯NMF（VBNMF）中的先验分布不具有统计正则性，变分贝叶斯NMF（VBNMF）中的变分逼近误差存在零点或发散点，因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法，从理论上分析了负对数证据（也称“负对数证据”）的差异。自由能），即，变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数（a.k.a.）的上界。贝叶斯NMF中的实对数典型阈值）。通过使用上界，我们找到了一个下界的近似误差，渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF，其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法，基于混合模型，侧重于引入潜变量，使我们有可能处理模型对离群值的敏感性，并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理，并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Variational Bayesian Decision-making for Continuous Utilities
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯决策理论概述了一个严格的框架，使最佳决策的基础上最大限度地提高预期效用的模型后验。然而，从业者往往没有获得完整的后验和诉诸近似推理策略。在这种情况下，在执行推理时考虑最终的决策任务允许校准后验近似以最大化效用。我们提出了一个自动流水线，co-opts连续效用到变分推断算法，占决策。我们提供了实用的策略，近似和最大化的增益，并根据经验证明一致的改进时，校准近似特定的实用程序。
2019-10-27 cs.LG stat.ML
Variational Bayesian Supertrees
给定一组分类单元（例如物种）的重叠子集，以及每个分类单元集的系统发育树拓扑结构上的后验分布，我们如何推断整个分类单元集的系统发育树拓扑结构上的后验分布？虽然在非贝叶斯情形下的等价问题已经吸引了大量的研究，但贝叶斯情形并没有引起应有的关注。在本文中，我们开发了一个变分贝叶斯方法来解决这个问题，并证明其有效性。
2021-04-22 q-bio.PE stat.ML
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST（韩国科学技术院）
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架，这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后，智能体可能会决定行使她的法律“被遗忘权”，这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理（VI）解决方案，该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
Variational Bayesian Optimistic Sampling
DeepMind
我们考虑在线顺序决策问题，代理必须平衡探索和利用。我们推导出一组贝叶斯“乐观”的政策，其中，在随机多臂土匪的情况下，包括汤普森抽样政策。我们提供了一个新的分析表明，任何算法产生的政策，在乐观的设置享受$\tilde O(\sqrt{AT})$贝叶斯遗憾的问题与$A$行动后，$T$轮。我们扩展的遗憾分析的乐观政策的双线性鞍点问题，其中包括零和矩阵游戏和约束土匪作为特殊情况。在这种情况下，我们表明，汤普森抽样可以产生的乐观集之外的政策，并在某些情况下遭受线性遗憾。在乐观集内找到一个策略相当于解决一个凸优化问题，我们称之为变分贝叶斯乐观采样算法（VBOS）。该过程适用于任何后验，\ie，它不需要后验具有任何特殊属性，如对数，单峰，或光滑。问题的变分视图具有许多有用的属性，包括调整探索-开发权衡、添加正则化、合并约束和线性参数化策略的能力。
2021-10-29 cs.LG stat.ML
Variational Bayesian modelling of mixed-effects
Brain and Spine Institute（脑与脊柱研究所）；ETH（苏黎世联邦理工学院）；INSERM（法国国家健康与医学研究院）
本文讨论混合效应模型的一种精确和计算效率高的变分平衡处理方法。我们专注于组研究，即报告在多个受试者中获得的多个测量的实证研究。当从生物学的角度来看时，这种混合效应模型通常依赖于数据的分层生成模型，其中受试者内和受试者间效应都有助于观察到的总体方差。随后的VB方案可用于评估组水平的统计学显著性和/或捕获个体间差异。或者，它可以被视为自适应正则化过程，其从感兴趣的效应的组分布的估计迭代地学习对应的受试者内先验（cf.所谓的“经验贝叶斯”方法）。我们概述了随后的VB方案的数学推导，其开源实现是可作为的一部分，可在Windows工具箱。
2019-03-21 cs.LG stat.ML
A Variational Algorithm for Bayesian Variable Selection
稀疏回归系数向量的估计问题在统计学、机器学习等领域得到了广泛的研究。在本文中，我们专注于贝叶斯方法来解决这个问题，稀疏性被纳入所谓的尖峰和板前的系数。我们提出了一种基于变分逼近后验分布的快速可扩展算法，而不是用MCMC进行后验推理。我们的算法所采用的更新方案与Carbonetto和Stephens（2012）提出的更新方案不同。这些变化似乎至关重要，我们表明，我们的算法可以实现渐近一致性，即使当特征维数与样本量呈指数快速发散。实验结果证明了该算法的有效性和效率。
2016-02-24 stat.CO stat.ME
Transport meets Variational Inference: Controlled Monte Carlo Diffusions
University of Cambridge（剑桥大学）；KIT Karlsruhe（卡尔斯鲁厄理工学院）；Kings College London（伦敦国王学院）
本文提出受控蒙特卡洛扩散采样器CMCD，通过同时自适应前向和后向动力学并结合路径空间散度，为贝叶斯计算提供了一种优于现有方法的基于分数的退火采样框架。
2025-05-07 cs.LG stat.ML
A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods
University of Oxford（牛津大学）；University of Adelaide（阿德莱德大学）；University College London（伦敦大学学院）
本文首次建立了贝叶斯、变分贝叶斯与集成方法的严格数学联系，通过 Wasserstein 梯度流将非凸优化转化为概率测度空间中的凸优化，统一了深度学习不确定性量化理论，并提出了具有收敛保证的交互式深度集成算法。
2023-10-22 cs.AI cs.LG math.ST
Bayesian and Variational Bayesian approaches for flows in heterogenous random media
本文研究非均质随机介质中的渗流问题。我们提出了一种高效的正演模拟技术，是专为变分贝叶斯反演。作为一个出发点，提出的前向模拟技术分解的解决方案到可分离的函数（相对于随机性和空间），其中每一项计算的基础上变分方法的总和。这类似于适当的广义分解（PGD）。接下来，我们应用多尺度技术来求解每个项，并进一步将随机函数分解为1D字段。因此，我们提出的方法提供了一个近似层次的解决方案，因为我们增加了扩展中的术语数量，也增加了每个术语的空间分辨率。我们使用变分贝叶斯近似的分层解决方案分布进行反问题的不确定性量化。我们进行了详细的数值研究，以探讨所提出的不确定性量化技术的性能，并显示理论后验浓度。
2018-02-09 stat.AP stat.CO
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Learning meets Assessment: On the relation between Item Response Theory and Bayesian Knowledge Tracing
很少有模型比贝叶斯知识追踪和项目反应理论在各自的领域更普遍存在。这两种模型都是为了分析学习者的数据而开发的。然而，本研究的设计，这些模型的目的是不同的，贝叶斯知识追踪的目的是分析纵向数据，而项目反应理论是建立横截面数据。本文阐述了这两种模式之间的基本联系。具体而言，贝叶斯知识追踪中的潜变量和观测响应变量的平稳分布与项目响应理论模型有关。这两种模式之间的这种联系突出了一个关键的缺失部分：教育在这些模式中的作用。一个研究议程的概述，回答如何向前迈进与学习者数据建模。此外，网络心理测量学的最新进展表明，这种关系可以被利用和推广到一个网络模型。
2018-10-12 stat.ME
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Variational Bayesian Methods for Stochastically Constrained System Design Problems
Purdue University（普渡大学）
我们研究的系统设计问题表示为参数化随机规划的机会约束集。我们采用贝叶斯方法，需要计算的后验预测积分，这通常是棘手的。此外，对于一个定义良好的凸规划问题，我们必须保持可行集的凸性。因此，我们提出了一种基于变分贝叶斯的方法来近似计算后验预测积分，确保易处理性和保持凸性的可行集。在一定的正则条件下，我们还表明，使用变分贝叶斯得到的解决方案集收敛到真正的解决方案集的观测数趋于无穷大。我们还提供了一个真正的不可行的点（相对于真正的约束）的概率上的界限，作为可行的VB近似为给定数量的样本。
2020-01-06 cs.LG stat.ML
Overpruning in Variational Bayesian Neural Networks
在神经网络中使用变分推断（VI）的动机与潜变量模型中的动机有很大不同。这有一个反直觉的后果;更有表现力的变分近似可以提供显着更差的预测相比，那些表达较少的家庭。在这项工作中，我们做了两个贡献。首先，我们确定了这种性能差距的原因，变分过度修剪。其次，我们介绍了一个理论上的解释，这种现象。我们的观点揭示了几个相关的已发表的结果，并提供了直观的设计有效的变分逼近的神经网络。
2018-01-18 stat.ML
Bayesian Variational Optimization for Combinatorial Spaces
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文主要研究组合空间中的贝叶斯优化问题。在自然科学的许多应用中。广泛的应用包括分子，蛋白质，DNA，器件结构和量子电路设计的研究，需要在组合分类空间上进行优化以找到最优或帕累托最优解。然而，只有有限数量的方法被提出来解决这个问题。其中许多算法依赖于高斯过程的组合贝叶斯优化。高斯过程遭受大数据大小的可扩展性问题，因为它们的缩放相对于数据点的数量是立方的。这对于优化大的搜索空间通常是不切实际的。在这里，我们介绍了变分贝叶斯优化方法，结合变分优化和连续松弛的贝叶斯优化的采集功能的优化。重要的是，该方法允许基于梯度的优化，并具有优化大数据大小和数据维度的问题的能力。我们已经表明，我们的方法的性能是最先进的方法相媲美，同时保持其可扩展性的优势。我们还将我们的方法应用于分子优化。
2020-11-03 cs.LG math.OC stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology（塞浦路斯理工大学）；University of Patras（帕特雷大学）；Rutgers University（罗格斯大学）
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中，我们介绍了一种设计递归深度网络的范例，其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构，该结构包括：a）用于数据驱动存储压缩的全高斯后验分布和b）用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络，并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College（达特茅斯学院）
我们提出了一个通用的变分推断算法，形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子，以匹配目标分布，通过应用一种形式的函数梯度下降，最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究，在这些模型和数据集上，我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果，连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异，这是独立的利益。
2019-09-09 cs.LG stat.ML
Variational Inference as Iterative Projection in a Bayesian Hilbert Space with Application to Robotic State Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
变分贝叶斯推理是一种重要的机器学习工具，从统计学到机器人技术都有应用。我们的目标是找到一个近似的概率密度函数（PDF）从一个选定的家庭，在某种意义上是“最接近”的完整的贝叶斯后验。接近度通常通过选择适当的损失函数来定义，例如Kullback-Leibler（KL）散度。在本文中，我们探索了一个新的变分推理公式，利用这一事实，即（大多数）PDF是贝叶斯希尔伯特空间的成员下仔细定义的向量加法，标量乘法和内积。我们表明，在适当的条件下，基于KL发散的变分推理可以相当于迭代投影，在欧几里得意义上，贝叶斯后验到对应于所选近似族的子空间上。我们的工作通过高斯近似家庭的具体情况下，这个一般框架的细节，并显示等价于另一个高斯变分推理方法。我们还讨论了系统表现出稀疏性，这是自然的贝叶斯空间中处理的影响，并给出了一个高维机器人状态估计问题，可以处理的结果的例子。我们提供了一些初步的例子，该方法可以应用于非高斯推理，并详细讨论了该方法的局限性，以鼓励沿着这些路线的后续工作。
2022-09-26 cs.LG cs.RO stat.ML
Bayesian Model Selection via Mean-Field Variational Approximation
本文研究基于平均场变分近似的贝叶斯模型选择，证明其BvM定理，提出基于ELBO的准则并证明其渐近等价于BIC，且近似误差更小，同时展示CAVI算法的几何收敛性，为计算高效模型选择提供理论支撑。
2023-12-17 math.ST stat.CO stat.ME
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Scalable Bayesian dynamic covariance modeling with variational Wishart and inverse Wishart processes
我们实现了基于梯度的变分推断例程Wishart和逆Wishart过程，我们适用于贝叶斯模型的动态，异方差协方差阵的多变量时间序列。Wishart过程和逆Wishart过程由i.i.d.高斯过程，现有的变分推断算法，形成我们的方法的基础。这些方法很容易实现为一个黑盒和规模有利的长度的时间序列，但是，他们失败的情况下，Wishart过程，一个问题，我们解决了一个简单的修改成一个加性白噪声参数化的模型。这种修改也是实现构造的因子化变体的关键，允许推断额外扩展到高维协方差阵。通过实验，我们证明了一些（但不是所有）模型变量在预测金融工具收益率的协方差时优于多变量GARCH。
2019-11-04 cs.LG stat.ML
Variational Reformulation of Bayesian Inverse Problems
反问题的经典方法是基于失配函数的优化。尽管其计算吸引力，但这种方法存在许多缺点，例如，非唯一性的解决方案，建模先验知识，等贝叶斯形式主义的逆问题避免了最优化方法遇到的困难，虽然在增加的计算成本。在这项工作中，我们使用信息理论的参数来铸造的贝叶斯推断问题的优化问题。由此产生的计划结合了理论的合理性，充分贝叶斯推断的计算效率的一个简单的优化。
2014-10-21 stat.ML
Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文利用 PAC-Bayesian 理论推导以单样本条件后验为对象的首个界，并据此为 VAE 的重建损失、分布距离及生成分布的 Wasserstein 距离提供统计保证。
2023-12-07 cs.LG stat.ML
