Structured Dropout Variational Inference for Bayesian Neural Networks
VinAI Research（VinAI研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
贝叶斯深度网络中的近似推理表现出如何在保持计算效率和可扩展性的同时产生高保真后验近似的困境。我们通过引入一种新颖的变分结构逼近来应对这一挑战，该逼近的灵感来自Dropout正则化的贝叶斯解释。具体地说，我们重点研究了Dropout后验模型中因子分解结构的可分解性，并提出了一种改进的方法，称为变分结构Dropout（VSD）。VSD采用正交变换来学习具有合理复杂度的变分高斯噪声的结构化表示，从而在近似后验中引入统计依赖性。从理论上讲，VSD成功地解决了以前的变差丢弃方法的病理，从而提供了一个标准的贝叶斯理由。我们进一步表明，VSD诱导自适应正则化项与几个理想的属性，有助于更好的推广。最后，我们进行了广泛的实验，标准的基准测试，以证明VSD的有效性超过国家的最先进的变分方法的预测精度，不确定性估计，和分布外检测。
2021-10-29 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Functional Variational Bayesian Neural Networks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Tsinghua University（清华大学）
变分贝叶斯神经网络（BNN）对权值进行变分推理，但在高维权值空间中很难确定有意义的先验和近似后验。我们介绍了功能变分贝叶斯神经网络（fBNN），最大化的证据下界（ELBO）直接定义的随机过程，即分布函数。我们证明了随机过程之间的KL分歧等于所有有限输入集上的边际KL分歧的上确界。在此基础上，我们引入了一个实用的训练目标，它使用有限的测量集和谱Stein梯度估计近似的功能ELBO。使用fBNN，我们可以指定包含丰富结构的先验，包括高斯过程和隐式随机过程。根据经验，我们发现fBNN使用各种结构化先验进行外推，提供可靠的不确定性估计，并扩展到大型数据集。
2019-03-14 cs.LG stat.ML
Stochastic Variational Inference for Bayesian Sparse Gaussian Process Regression
National University of Singapore（新加坡国立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT（麻省理工学院）
本文提出了一种新的变分推理框架，推导出一个家庭的贝叶斯稀疏高斯过程回归（SGPR）模型的近似是变分最优的满秩GPR模型丰富的各种相应的相关结构的观察噪声。我们的变分贝叶斯SGPR（VBSGPR）模型共同对待的诱导变量和超参数的分布作为变分参数，这使得变分下限，反过来可以利用随机优化的可分解性。这样的随机优化涉及迭代地遵循变分下界的随机梯度，以改进我们的VBSGPR模型的诱导变量和超参数（以及预测分布）的最优变分分布的估计，并保证实现渐近收敛。我们证明了随机梯度是精确梯度的无偏估计，并且可以在每次迭代的恒定时间内计算，从而实现对大数据的可扩展性。我们在两个真实世界的大规模数据集上实证评估了我们提出的框架的性能。
2019-03-22 cs.LG stat.ML
Ensemble Model Patching: A Parameter-Efficient Variational Bayesian Neural Network
Columbia University（哥伦比亚大学）
变分贝叶斯神经网络被广泛采用的两个主要障碍是高参数开销，这使得它们在大型网络上不可行，以及实现的困难，这可以被认为是“编程开销”。“MC dropout [Gal和Ghahramani，2016]很受欢迎，因为它避开了这些障碍。然而，当在具有批量归一化层的网络中使用时，dropout通常对模型性能有害[Li等人，2018]，它们是现代神经网络不可或缺的一部分。我们构建了一个一般的变分家庭的集合为基础的贝叶斯神经网络，包括辍学作为一种特殊情况。我们进一步介绍了这个家族的两个特定成员，它们与批量归一化层配合良好，同时保留了低参数和编程开销的优点，与非贝叶斯训练相当。我们提出的方法提高了预测精度，并在使用ImageNet训练的ResNet-18上实现了几乎完美的校准。
2019-05-23 cs.LG stat.ML
Cluster Variational Approximations for Structure Learning of Continuous-Time Bayesian Networks from Incomplete Data
Technische Universität Darmstadt（达姆施塔特工业大学）
连续时间贝叶斯网络（CTBN）构成了一个通用的和强大的框架，用于建模网络上的连续时间随机过程。这使得它们对于学习交互实体之间的有向结构特别有吸引力。然而，如果可用的数据是不完整的，人们需要模拟的CTBN动力学非常复杂。现有的近似技术，如采样和低阶变分方法，要么规模不利的系统规模，或不满意的精度。受统计物理最新进展的启发，我们提出了一种新的近似方案的基础上集群变分方法显着改善现有的变分近似。我们可以解析地边缘化近似CTBN的参数，因为这些对于结构学习是次要的。这恢复了一个可扩展的计划，直接从不完整和嘈杂的时间序列数据的结构学习。我们的方法在可扩展性方面优于现有的方法。
2018-10-12 cs.LG stat.ML
A Bayesian Variational principle for dynamic Self Organizing Maps
NeoInstinct（新本能公司）
我们提出的组织条件，产生一个自适应的邻域半径在变分贝叶斯框架训练SOM的方法。该方法在非平稳环境下进行了验证，并在高维环境下与其他自适应方法进行了比较。
2022-08-24 cs.LG cs.NE stat.ML
A Variational View on Bootstrap Ensembles as Bayesian Inference
EURECOM（欧洲通信学院）
在本文中，我们采用变分参数之间建立联系的集成方法神经网络和贝叶斯推理。我们考虑一个基于集合的方案，其中每个模型/粒子对应于通过参数引导和先验扰动的数据的扰动。我们推导出的条件下，任何粒子的优化步骤，使相关的分布减少其发散到模型参数的后验。这些条件不需要任何特定的近似形式，它们纯粹是几何的，可以让我们深入了解一些有趣的模型上的集合行为，例如具有ReLU激活的神经网络。实验证实，集成方法可以是一个有效的替代近似贝叶斯推理的理论发展的文件试图解释这种行为。
2020-06-08 cs.LG stat.ML
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University（阿尔托大学）；University of Tübingen（蒂宾根大学）
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而，早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型，使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强，使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处，预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Variational Bayesian Optimistic Sampling
DeepMind
我们考虑在线顺序决策问题，代理必须平衡探索和利用。我们推导出一组贝叶斯“乐观”的政策，其中，在随机多臂土匪的情况下，包括汤普森抽样政策。我们提供了一个新的分析表明，任何算法产生的政策，在乐观的设置享受$\tilde O(\sqrt{AT})$贝叶斯遗憾的问题与$A$行动后，$T$轮。我们扩展的遗憾分析的乐观政策的双线性鞍点问题，其中包括零和矩阵游戏和约束土匪作为特殊情况。在这种情况下，我们表明，汤普森抽样可以产生的乐观集之外的政策，并在某些情况下遭受线性遗憾。在乐观集内找到一个策略相当于解决一个凸优化问题，我们称之为变分贝叶斯乐观采样算法（VBOS）。该过程适用于任何后验，\ie，它不需要后验具有任何特殊属性，如对数，单峰，或光滑。问题的变分视图具有许多有用的属性，包括调整探索-开发权衡、添加正则化、合并约束和线性参数化策略的能力。
2021-10-29 cs.LG stat.ML
Variational Bayesian modelling of mixed-effects
Brain and Spine Institute（脑与脊柱研究所）；ETH（苏黎世联邦理工学院）；INSERM（法国国家健康与医学研究院）
本文讨论混合效应模型的一种精确和计算效率高的变分平衡处理方法。我们专注于组研究，即报告在多个受试者中获得的多个测量的实证研究。当从生物学的角度来看时，这种混合效应模型通常依赖于数据的分层生成模型，其中受试者内和受试者间效应都有助于观察到的总体方差。随后的VB方案可用于评估组水平的统计学显著性和/或捕获个体间差异。或者，它可以被视为自适应正则化过程，其从感兴趣的效应的组分布的估计迭代地学习对应的受试者内先验（cf.所谓的“经验贝叶斯”方法）。我们概述了随后的VB方案的数学推导，其开源实现是可作为的一部分，可在Windows工具箱。
2019-03-21 cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Variational Bayesian Last Layers
Google DeepMind（谷歌DeepMind）；Vector Institute（矢量研究所）
该研究提出变分贝叶斯最后层（VBLL）方法，通过确定性变分公式训练贝叶斯最后层神经网络，无需采样且计算复杂度低，能提升不确定性估计、预测准确率等性能，还可结合特征学习实现低方差塌陷变分推断。
2024-04-17 cs.CV cs.LG stat.ML
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Variational Bayesian Methods for Stochastically Constrained System Design Problems
Purdue University（普渡大学）
我们研究的系统设计问题表示为参数化随机规划的机会约束集。我们采用贝叶斯方法，需要计算的后验预测积分，这通常是棘手的。此外，对于一个定义良好的凸规划问题，我们必须保持可行集的凸性。因此，我们提出了一种基于变分贝叶斯的方法来近似计算后验预测积分，确保易处理性和保持凸性的可行集。在一定的正则条件下，我们还表明，使用变分贝叶斯得到的解决方案集收敛到真正的解决方案集的观测数趋于无穷大。我们还提供了一个真正的不可行的点（相对于真正的约束）的概率上的界限，作为可行的VB近似为给定数量的样本。
2020-01-06 cs.LG stat.ML
Variational Bayesian Sequence-to-Sequence Networks for Memory-Efficient Sign Language Translation
Cyprus University of Technology（塞浦路斯理工大学）；University of Patras（帕特雷大学）；Rutgers University（罗格斯大学）
高效记忆的连续手语翻译是开发实时适用于聋人的辅助技术的一个重大挑战。在这项工作中，我们介绍了一种设计递归深度网络的范例，其中递归层的输出来自非参数统计的适当参数。提出了一种新的变分贝叶斯序列到序列网络结构，该结构包括：a）用于数据驱动存储压缩的全高斯后验分布和b）用于应用于门控递归单元非门权重的正则化的非参数Indian Buffet过程先验。我们将我们的方法称为Stick-Breaking Recurrent网络，并表明它可以在不降低建模性能的情况下实现大幅的权重压缩。
2021-02-11 cs.LG stat.ML
Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm
Dartmouth College（达特茅斯学院）
我们提出了一个通用的变分推断算法，形成了一个自然的梯度下降优化。我们的方法迭代地传输一组粒子，以匹配目标分布，通过应用一种形式的函数梯度下降，最大限度地减少库尔贝克-莱布勒散度。在各种真实世界的模型和数据集上进行了实证研究，在这些模型和数据集上，我们的方法与现有的最先进的方法具有竞争力。我们的方法的推导是基于一个新的理论结果，连接的衍生物的库尔贝克-莱布勒散度光滑变换下的Stein的身份和最近提出的核化Stein差异，这是独立的利益。
2019-09-09 cs.LG stat.ML
Scalable Bayesian dynamic covariance modeling with variational Wishart and inverse Wishart processes
我们实现了基于梯度的变分推断例程Wishart和逆Wishart过程，我们适用于贝叶斯模型的动态，异方差协方差阵的多变量时间序列。Wishart过程和逆Wishart过程由i.i.d.高斯过程，现有的变分推断算法，形成我们的方法的基础。这些方法很容易实现为一个黑盒和规模有利的长度的时间序列，但是，他们失败的情况下，Wishart过程，一个问题，我们解决了一个简单的修改成一个加性白噪声参数化的模型。这种修改也是实现构造的因子化变体的关键，允许推断额外扩展到高维协方差阵。通过实验，我们证明了一些（但不是所有）模型变量在预测金融工具收益率的协方差时优于多变量GARCH。
2019-11-04 cs.LG stat.ML
Statistical Guarantees for Variational Autoencoders using PAC-Bayesian Theory
Université Laval（拉瓦尔大学）；McGill University（麦吉尔大学）
本文利用 PAC-Bayesian 理论推导以单样本条件后验为对象的首个界，并据此为 VAE 的重建损失、分布距离及生成分布的 Wasserstein 距离提供统计保证。
2023-12-07 cs.LG stat.ML
Radial and Directional Posteriors for Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的贝叶斯神经网络变分族。我们将变分后验分解为两个分量，其中径向分量捕获每个神经元的强度，而方向分量捕获权重参数之间的统计依赖关系。与广泛使用的高斯平均场型变分族相比，通过方向密度学习的依赖关系提供了更好的建模性能。此外，通过径向密度学习的输入和输出神经元的强度提供了压缩神经网络的结构化方式。事实上，实验表明，我们的变分家庭提高了预测性能，并同时产生压缩网络。
2019-03-13 cs.LG stat.ML
Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference
University of Cambridge（剑桥大学）
卷积神经网络（CNN）在大型数据集上工作得很好。但是，标记数据很难收集，在某些应用程序中，更大量的数据不可用。接下来的问题是如何将CNN用于小数据--因为CNN很快就会过拟合。我们提出了一种高效的贝叶斯CNN，与传统方法相比，它对小数据的过度拟合具有更好的鲁棒性。这是通过在CNN的内核上放置概率分布。我们近似我们的模型的棘手的后验与伯努利变分分布，不需要额外的模型参数。在理论方面，我们将辍学网络训练作为贝叶斯神经网络的近似推理。这使我们能够使用深度学习中的现有工具来实现我们的模型，而不会增加时间复杂度，同时突出显示该领域的负面结果。与标准技术相比，我们在分类准确性方面有了相当大的提高，并改进了CIFAR-10的最新结果。
2016-01-18 cs.LG stat.ML
A Generalized Stochastic Variational Bayesian Hyperparameter Learning Framework for Sparse Spectrum Gaussian Process Regression
Interactive Digital Media Institute（互动数字媒体研究所）；National University of Singapore（新加坡国立大学）
虽然许多研究工作一直致力于基于大数据的诱导变量来扩展稀疏高斯过程（GP）模型，但很少关注利用GP内核的稀疏谱表示的其他较少探索的低秩GP近似类。本文提出了这样的努力，以推进稀疏谱GP模型的最新技术水平，以实现有竞争力的预测性能的大规模数据集。我们的广义框架的随机变分贝叶斯稀疏谱GP（sVBSSGP）模型解决了它们的缺点，采用贝叶斯处理的频谱频率，以避免过度拟合，建模这些频率联合在其变分分布，使他们的相互作用的后验，并利用本地数据提高预测性能。然而，这样的结构改进导致难以优化的变分下限。为了解决这个问题，我们利用变分参数化技巧，使它服从随机最优化。有趣的是，所得到的随机梯度具有线性可分解的结构，可以利用它来改进我们的随机最优化方法，以使每次迭代的时间恒定，同时保持其作为变分下限的精确梯度的无偏估计量的性质。对真实世界数据集的实证评估表明，sVBSSGP优于最先进的稀疏GP模型的随机实现。
2016-11-18 cs.LG stat.ML
Variational Inference of overparameterized Bayesian Neural Networks: a theoretical and empirical study
Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ENSAE（法国国家统计与经济管理学院）；CREST（经济与统计研究中心）
本文研究了用于训练贝叶斯神经网络（BNN）的变分推断（VI）在过参数化状态下，当神经元的数量趋于无穷大时。更具体地说，我们考虑过参数化的两层BNN，并指出在平均场VI训练的关键问题。这个问题产生于证据下界（ELBO）分解成两个术语：一个对应于模型的似然函数，第二个对应于先验分布和变分后验之间的Kullback-Leibler（KL）发散。特别是，我们从理论上和经验上表明，只有当KL相对于观察和神经元的数量之间的比率进行适当的重新缩放时，在过度参数化的制度中，这两个术语之间才存在权衡。我们还说明了我们的理论结果与数值实验，突出了这个比例的关键选择。
2022-07-08 cs.LG stat.ML
Multi-objective optimisation via the R2 utilities
Imperial College London（伦敦帝国理工学院）；BASF SE（巴斯夫股份有限公司）
本文将多目标优化转化为集合上的单目标优化问题，提出使用单调子模的R2效用函数作为目标，并证明贪心算法在贝叶斯优化框架下可有效求解。
2025-05-08 cs.LG math.OC stat.ML
Variational Bayesian Neural Networks via Resolution of Singularities
School of Mathematics and Statistics（数学与统计学院）；University of Melbourne（墨尔本大学）
在这项工作中，我们主张的重要性，奇异学习理论（ESTA），因为它涉及到贝叶斯神经网络（BNN）的变分推断的理论和实践。首先，我们使用ESTA来消除围绕下游预测性能之间差异的一些困惑，这些差异是通过以下方式测量的，测试测井预测密度和变目标。接下来，我们使用奇异后验分布的SLT校正渐近形式来通知变分族本身的设计。具体来说，我们建立在理想化的变分家庭引入\citet{bhattacharya_evidence_2020}，这是理论上有吸引力，但实际上是棘手的。我们的建议形成了一个规范化的流，其中的基础分布是一个精心初始化的广义伽玛。我们进行实验比较，这规范的高斯基分布，并显示在变分自由能和变分推广误差方面的改进。
2023-02-13 cs.AI cs.LG stat.ML
Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning
Aarhus University（奥胡斯大学）
我们开发了一种适合复杂模型中贝叶斯学习的优化算法。我们的方法依赖于一般黑盒框架内的自然梯度更新，以便在有限的模型特定推导的情况下进行有效的训练。它适用于类指数族变分后验分布，我们广泛讨论高斯的情况下，更新有一个相当简单的形式。我们的准黑盒变分推断（QBVI）框架是很容易适用于广泛的一类贝叶斯推断问题，是简单的实现，因为更新的变分后不涉及梯度的模型参数，也没有规定的费舍尔信息矩阵。我们开发QBVI后协方差阵在不同的假设下，讨论其强大的和可行的实施细节，并提供了一些现实世界的应用程序来证明其有效性。
2022-12-12 cs.LG econ.EM stat.ML
A Variational Approximation for Bayesian Networks with Discrete and Continuous Latent Variables
我们展示了如何使用变分近似的逻辑函数进行近似推理的贝叶斯网络包含连续的父母离散节点。从本质上讲，我们将逻辑函数转换为高斯函数，这有助于精确的推断，然后迭代地调整变分参数以提高近似的质量。我们通过实验证明，这种近似比采样更快，可能更准确。我们还介绍了一个简单的新技术来处理证据，这使我们能够处理观察到的节点上的任意分布，以及在具有大基数离散变量的网络中实现显着的加速。
2013-01-23 cs.AI cs.LG stat.ML
Variational Bayesian inference for linear and logistic regression
本文介绍线性与逻辑回归的变分贝叶斯推断，涵盖模型、推导及MATLAB/Octave实现，并作为教程与示例文档，提供免费在线函数。
2019-06-29 stat.ML
Bayesian Variational Federated Learning and Unlearning in Decentralized Networks
KAIST（韩国科学技术院）
联邦贝叶斯学习为协作训练算法的定义提供了一个原则性的框架，这些算法能够量化认知的不确定性并产生值得信赖的决策。在完成合作训练后，智能体可能会决定行使她的法律“被遗忘权”，这要求她对联合训练模型的贡献被删除和丢弃。本文在贝叶斯框架下研究了分布式网络中的联邦学习和去学习。它专门开发了联邦变分推理（VI）解决方案，该解决方案基于指数族模型中局部自由能最小化问题的分散解决方案和局部流言驱动的通信。所提出的协议被证明产生有效的学习机制。
2021-04-08 cs.DC cs.LG stat.ML
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包，用于执行变分贝叶斯推断。它基于变分消息传递框架，支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务，用户可以更快地构建模型，并且不易出错。简单的语法，灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法，如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
Variational Bayesian Inference For A Scale Mixture Of Normal Distributions Handling Missing Data
本文提出了一种适用于含有异常值和缺失值的数据分类和聚类的正态分布尺度混合模型。分类方法，基于混合模型，侧重于引入潜变量，使我们有可能处理模型对离群值的敏感性，并允许对缺失数据进行限制性较小的建模。通过变分贝叶斯近似进行推理，并采用贝叶斯处理进行模型学习、监督分类和聚类。
2017-11-22 stat.ML
Bayesian Variational Optimization for Combinatorial Spaces
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文主要研究组合空间中的贝叶斯优化问题。在自然科学的许多应用中。广泛的应用包括分子，蛋白质，DNA，器件结构和量子电路设计的研究，需要在组合分类空间上进行优化以找到最优或帕累托最优解。然而，只有有限数量的方法被提出来解决这个问题。其中许多算法依赖于高斯过程的组合贝叶斯优化。高斯过程遭受大数据大小的可扩展性问题，因为它们的缩放相对于数据点的数量是立方的。这对于优化大的搜索空间通常是不切实际的。在这里，我们介绍了变分贝叶斯优化方法，结合变分优化和连续松弛的贝叶斯优化的采集功能的优化。重要的是，该方法允许基于梯度的优化，并具有优化大数据大小和数据维度的问题的能力。我们已经表明，我们的方法的性能是最先进的方法相媲美，同时保持其可扩展性的优势。我们还将我们的方法应用于分子优化。
2020-11-03 cs.LG math.OC stat.ML
Large Scale Variational Bayesian Inference for Structured Scale Mixture Models
自然图像统计在多个尺度上表现出层次依赖性。在非阶乘潜在树模型中表示这样的先验知识可以大大提高图像去噪、修复、去卷积或重建的性能，超越标准阶乘“稀疏”方法。我们推导出一个大规模的近似贝叶斯推理算法的线性模型与非阶乘（潜在树结构）规模的混合先验。一系列去噪和修复问题的实验结果表明，大大提高了性能相比，MAP估计或推断与阶乘先验。
2012-06-27 cs.CV cs.LG stat.ML
Variational Inference as Iterative Projection in a Bayesian Hilbert Space with Application to Robotic State Estimation
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）
变分贝叶斯推理是一种重要的机器学习工具，从统计学到机器人技术都有应用。我们的目标是找到一个近似的概率密度函数（PDF）从一个选定的家庭，在某种意义上是“最接近”的完整的贝叶斯后验。接近度通常通过选择适当的损失函数来定义，例如Kullback-Leibler（KL）散度。在本文中，我们探索了一个新的变分推理公式，利用这一事实，即（大多数）PDF是贝叶斯希尔伯特空间的成员下仔细定义的向量加法，标量乘法和内积。我们表明，在适当的条件下，基于KL发散的变分推理可以相当于迭代投影，在欧几里得意义上，贝叶斯后验到对应于所选近似族的子空间上。我们的工作通过高斯近似家庭的具体情况下，这个一般框架的细节，并显示等价于另一个高斯变分推理方法。我们还讨论了系统表现出稀疏性，这是自然的贝叶斯空间中处理的影响，并给出了一个高维机器人状态估计问题，可以处理的结果的例子。我们提供了一些初步的例子，该方法可以应用于非高斯推理，并详细讨论了该方法的局限性，以鼓励沿着这些路线的后续工作。
2022-09-26 cs.LG cs.RO stat.ML
Overpruning in Variational Bayesian Neural Networks
在神经网络中使用变分推断（VI）的动机与潜变量模型中的动机有很大不同。这有一个反直觉的后果;更有表现力的变分近似可以提供显着更差的预测相比，那些表达较少的家庭。在这项工作中，我们做了两个贡献。首先，我们确定了这种性能差距的原因，变分过度修剪。其次，我们介绍了一个理论上的解释，这种现象。我们的观点揭示了几个相关的已发表的结果，并提供了直观的设计有效的变分逼近的神经网络。
2018-01-18 stat.ML
Bayes Blocks: An Implementation of the Variational Bayesian Building Blocks Framework
Helsinki University of Technology（赫尔辛基理工大学）
提出了一个用于构造和学习概率模型的软件库。该库提供了一组构建块，从中可以构建各种静态和动态模型。这些模型包括其他变量方差的分层模型和许多非线性模型。基本的变分贝叶斯机制，提供快速和鲁棒的估计，但在数学上，而涉及，几乎完全隐藏的用户，从而使它非常容易使用的库。构建块包括高斯、修正高斯和混合高斯变量以及可以相当自由地组合的计算节点。
2012-07-04 cs.LG cs.MS stat.ML
Variational Approximation Error in Bayesian Non-negative Matrix Factorization
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；Tokyo Institute of Technology（东京工业大学）
非负矩阵分解（NMF）是一种应用广泛的知识发现方法。变分推理和吉布斯抽样方法也是众所周知的。然而，由于变分贝叶斯NMF（VBNMF）中的先验分布不具有统计正则性，变分贝叶斯NMF（VBNMF）中的变分逼近误差存在零点或发散点，因此变分贝叶斯NMF的变分逼近误差尚未得到明确的解释。本文利用代数几何的方法，从理论上分析了负对数证据（也称“负对数证据”）的差异。自由能），即，变分后验和真后验之间的Kullback-Leibler分歧。我们推导出学习系数（a.k.a.）的上界。贝叶斯NMF中的实对数典型阈值）。通过使用上界，我们找到了一个下界的近似误差，渐近。结果定量地表明VBNMF算法能够很好地逼近贝叶斯NMF，其下界取决于超参数和真非负秩。数值实验验证了理论结果。
2020-02-20 cs.LG math.ST stat.ML
Variational Bayesian Inference with Stochastic Search
UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
平均场变分推理是一种近似贝叶斯后验推理方法。它通过最大化边缘似然的下限来近似具有分解的分布集的完整后验分布。这需要能够使用该因子分解分布将对数联合似然中的项的总和积分。通常不是所有的积分都是封闭形式的，这通常通过使用下限来处理。我们提出了一种替代算法的基础上随机优化，允许直接优化的变分下限。该方法使用控制变量来减小随机搜索梯度的方差，其中现有的下界可以发挥重要作用。我们证明了两个非共轭模型的方法：逻辑回归和近似的HDP。
2012-06-27 cs.LG stat.CO stat.ML
Variational Reformulation of Bayesian Inverse Problems
反问题的经典方法是基于失配函数的优化。尽管其计算吸引力，但这种方法存在许多缺点，例如，非唯一性的解决方案，建模先验知识，等贝叶斯形式主义的逆问题避免了最优化方法遇到的困难，虽然在增加的计算成本。在这项工作中，我们使用信息理论的参数来铸造的贝叶斯推断问题的优化问题。由此产生的计划结合了理论的合理性，充分贝叶斯推断的计算效率的一个简单的优化。
2014-10-21 stat.ML
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）
估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Bayesian Structural Model Updating with Multimodal Variational Autoencoder
The University of Tokyo（东京大学）
本研究提出基于多模态VAE代理单模态编码器的贝叶斯结构模型更新框架，可处理少观测下的似然近似与高维相关观测，经测试在保证精度的同时比原始VAE计算效率更高。
2024-06-20 cs.LG stat.AP stat.ML
Variational Bayesian Supertrees
给定一组分类单元（例如物种）的重叠子集，以及每个分类单元集的系统发育树拓扑结构上的后验分布，我们如何推断整个分类单元集的系统发育树拓扑结构上的后验分布？虽然在非贝叶斯情形下的等价问题已经吸引了大量的研究，但贝叶斯情形并没有引起应有的关注。在本文中，我们开发了一个变分贝叶斯方法来解决这个问题，并证明其有效性。
2021-04-22 q-bio.PE stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Variational Bayesian Inference for Crowdsourcing Predictions
IBM Research（IBM研究院）
众包已经成为执行许多机器学习任务的有效手段，例如图像和其他数据集的注释和标记。在大多数早期的众包环境中，任务涉及分类，即为每个任务分配一组离散标签中的一个。然而，最近已经尝试了更复杂的任务，包括要求众包工作人员分配连续标签或预测。本质上，这涉及使用众包进行功能估计。我们被这个问题所激励，去推动诸如协作预测之类的应用，也就是说，利用群众的智慧来更准确地预测数量。为此，我们提出了一种贝叶斯方法，专门针对减轻过拟合，一个典型的障碍，在实践中准确的预测模型。特别是，我们开发了一个变分贝叶斯技术两个不同的工人噪声模型-一个假设工人的噪声是独立的，另一个假设工人的噪声具有潜在的低秩结构。我们对合成和真实世界数据集的评估表明，这些贝叶斯方法的性能显着优于现有的非贝叶斯方法，因此可能对这类众包问题有用。
2020-06-02 cs.AI cs.LG stat.ML
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford（牛津大学）；Amazon（亚马逊）
我们开发了一个框架，广义变分推断在无限维函数空间，并使用它来构建一个方法称为高斯Wasserstein推理（GWI）。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离，以便使用易于处理的优化标准来确定变分后验，并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络，将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
Low-Rank Phase Retrieval via Variational Bayesian Learning
University of Electronic Science and Technology of China（电子科技大学）；China Academy of Engineering Physics（中国工程物理研究院）
在本文中，我们考虑的问题，低秩相位恢复的目标是估计一个复杂的低秩矩阵的幅度只有测量。我们提出了一种用于低秩相位恢复的分层先验模型，在该模型中，将高斯-威沙特分层先验放置在底层低秩矩阵上，以促进矩阵的低秩性。基于所提出的分层模型，变分期望最大化（EM）算法的发展。所提出的方法是不敏感的初始化点的选择，并与随机初始化。仿真结果验证了该算法的有效性。
2018-11-05 cs.LG eess.SP stat.ML
VBALD - Variational Bayesian Approximation of Log Determinants
University of Oxford（牛津大学）；Oxford Man Institute（牛津曼学院）
在机器学习中，求正定矩阵的对数行列式是一个普遍存在的问题。其应用范围从高斯过程、最小体积椭圆体、度量学习、核学习、贝叶斯神经网络、确定点过程、马尔可夫随机场到离散图形模型的分区函数。为了避免规范的，但禁止，Cholesky $\mathcal{O}(n^{3})$计算成本，我们提出了一种新的方法，与复杂性$\mathcal{O}(n^{2})$，基于约束变分贝叶斯算法。我们将我们的方法与Taylor，Chebyshev和Lanczos方法进行了比较，并在合成和真实世界的数据集上显示了最先进的性能。
2018-02-21 cs.IT cs.LG math.IT
The variational Laplace approach to approximate Bayesian inference
近似贝叶斯推断的变分方法提供了执行参数估计和模型选择的非常有效的手段。其中，所谓的变分拉普拉斯或VL计划依赖于高斯近似模型参数的后验密度。在这篇文章中，我们回顾了VL方法的主要变体，这些变体来自于考虑连续和/或分类数据的非线性模型。恩passant，我们还得出了一些新的理论成果，完成现有的变分贝叶斯方法的分析组合，包括调查其渐近收敛。我们还提出了将现有VL方法扩展到分层生成模型的实用方法，包括（例如，精度）超参数。
2018-01-16 q-bio.NC stat.ME stat.ML
A particle-based variational approach to Bayesian Non-negative Matrix Factorization
贝叶斯非负矩阵分解（NMF）是一种很有前途的方法来理解矩阵数据的不确定性和结构。然而，大量的应用工作优化了传统的非贝叶斯NMF目标，无法提供一个原则性的理解NMF固有的不可识别性-一个问题，理想地解决了贝叶斯方法。尽管它们的适用性，目前的贝叶斯NMF方法未能获得普及的应用环境中，他们牺牲灵活性建模易于处理的计算，往往陷入局部模式，并需要成千上万的样本有意义的不确定性估计。我们通过贝叶斯NMF的基于粒子的变分方法来解决这些问题，该方法仅需要联合似然可微以实现可处理性，使用新型初始化技术来识别后验中的多个模式，并允许领域专家检查“小”集忠实地代表后验的因子分解。我们引入并采用了一类似然和先验分布的NMF，制定一个贝叶斯模型，使用流行的非贝叶斯NMF目标。在几个真实的数据集上，我们在比基线更短的时间内获得了对贝叶斯NMF后验的更好的粒子近似，并证明了多模态在NMF相关任务中发挥的重要作用。
2018-03-16 stat.ML
Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference
TU Kaiserslautern（凯泽斯劳滕工业大学）；MindGarage；Imperial College London（帝国理工学院）；NeuralSpace；Luleå University of Technology（吕勒奥理工大学）
我们介绍了一种新的不确定性估计贝叶斯卷积神经网络与变分推理的分类任务。通过在最后一层对Softplus函数的输出进行归一化，我们以连贯的方式估计任意和认知的不确定性。权重的后验概率分布由Bayes by Backprop推断。首先，我们展示了这种可靠的变分推理方法可以作为各种网络架构的基本构造。在监督学习设置（MNIST，CIFAR-10，CIFAR-100）的多个数据集上，这种变分推理方法在相同的体系结构中实现了与频率论推理相当的性能，而两个必要的，不确定性和正则化的度量自然地结合在一起。其次，我们研究了我们提出的任意性和认知不确定性的度量是如何推导出来的，并在上述数据集上进行了验证。
2019-05-14 cs.CV cs.LG cs.NE
VarFA: A Variational Factor Analysis Framework For Efficient Bayesian Learning Analytics
Rice University（莱斯大学）；Northwestern University（西北大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；OpenStax
我们提出VarFA，一个变分推断因子分析框架，扩展现有的因子分析模型的教育数据挖掘，有效地输出模型的估计因素的不确定性估计。这样的不确定性信息例如对于自适应测试场景是有用的，其中如果模型对学生的技能水平估计不太确定，则可以管理附加测试。产生这种不确定性信息的传统贝叶斯推断方法在计算上是昂贵的，并且不能扩展到大的数据集。VarFA利用变分推断，这使得即使在非常大的数据集上也可以有效地执行贝叶斯推断。我们使用稀疏因子分析模型作为案例研究，并证明了VarFA在合成和真实数据集上的有效性。VarFA也非常通用，可以应用于各种因子分析模型。
2020-08-14 cs.CY cs.LG stat.AP
Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Statistics, University of Edinburgh（爱丁堡大学统计系）
针对已有大量模型评估却未被传统推断利用的问题，提出后处理贝叶斯推断框架及 VSBQ，通过稀疏 GP 代理、贝叶斯求积与变分推断实现无需额外模型调用的快速高质量后验近似。
2025-07-23 cs.LG stat.CO stat.ME
Variational Bayesian Weighted Complex Network Reconstruction
Xi’an Jiaotong University（西安交通大学）；Henan University（河南大学）
复杂网络重构是当前许多领域的研究热点。目前，最流行的数据驱动重建框架是基于lasso的。然而，它被发现，在噪声的存在下，套索失去了加权网络的效率。本文建立了一个新的框架来处理这个问题。其核心思想是采用一系列的线性回归问题来建模网络节点之间的关系，然后使用一个有效的变分贝叶斯算法来推断未知系数。对合成数据和真实数据进行的数值实验表明，新方法在重建精度和运行速度方面均优于lasso。
2020-02-29 cs.LG cs.SI stat.AP
