Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling
University of Cambridge（剑桥大学）；Google Research（谷歌研究院）
我们介绍reprorisation，一个数据相关的reparameterisation，将贝叶斯神经网络（BNN）后的分布，其库尔贝克-莱布勒散度的BNN前消失层宽度的增长。的reprorisation映射直接作用于参数，其分析的简单性补充了已知的神经网络高斯过程（NNGP）的行为，广泛的BNN在函数空间。利用repriorisation，我们开发了一个马尔可夫链蒙特卡罗（MCMC）后验采样算法，混合更快更广泛的BNN。这与MCMC在高维中通常较差的性能形成对比。我们观察到高达50倍的有效样本量相对于没有重新参数化的完全连接和剩余网络。在所有宽度上都实现了改进，重新参数化和标准BNN之间的裕度随着层宽度的增加而增加。
2022-06-15 cs.LG stat.ML
A Meta-Learning Approach to Bayesian Causal Discovery
Imperial College London（伦敦帝国学院）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）；University of Oxford（牛津大学）
针对现有元学习方法无法编码后验关键属性及采样的局限，提出一种贝叶斯元学习模型，支持从后验采样因果结构并编码边相关性与节点置换等变性，展现了直接学习因果结构后验的优势。
2025-03-04 cs.LG stat.ME stat.ML
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
本文提出用条件流匹配替代MCMC进行贝叶斯逆问题后验采样，实现摊销快速推断，并给出可计算的精度估计及渐近精确的混合采样器，在数值示例中验证了效果。
2026-10-30 cs.LG cs.NA math.NA
Outlier absorbing based on a Bayesian approach
Department of Computer Engineering\ Unievrsity of Mashhad Mashhad, Iran +989358435990 Email；Department of Computer Engineering\ Unievrsity of Mashhad Mashhad, Iran Email
离群值的存在在机器学习应用中很普遍，并且可能产生误导性的结果。本文提出了一种新的处理野值和异常样本的方法。为了克服离群值问题，该方法结合了样本的全局和局部视图。通过结合这些观点，我们的算法以一种稳健的方式执行。实验结果表明了该方法的有效性。
2016-07-02 cs.LG
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
Practical Bayesian optimization in the presence of outliers
Centro Universitario De La Defensa（国防大学中心）；SigOpt
异常值存在时的推理是一个重要的研究领域，因为异常值是普遍存在的，并且可能在各种问题和领域中出现。贝叶斯优化是一种严重依赖概率推理的方法。这允许出色的样本效率，因为概率机制提供了整个优化过程的记忆。然而，当记忆中充满离群值时，这种优点就变成了缺点，从而导致估计中的偏差。在本文中，我们提出了一个经验评估贝叶斯优化方法中存在的离群值。经验证据表明，稳健回归贝叶斯优化往往产生次优结果。然后，我们提出了一个新的算法，结合强大的回归（高斯过程与学生t似然）与离群值诊断分类数据点作为离群值或内点。通过使用调度器对离群值进行分类，我们的方法比标准的鲁棒回归更有效，并且具有更好的收敛性。此外，我们表明，即使在没有预期离群值的受控情况下，我们的方法也能够产生更好的结果。
2017-12-12 cs.LG stat.ML
POEM: Out-of-Distribution Detection with Posterior Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对于部署在开放世界中的机器学习模型，分发外（OOD）检测是必不可少的。最近，在训练过程中使用辅助离群值数据集（也称为离群值暴露）已经显示出有希望的性能。由于潜在OOD数据的样本空间可能非常大，因此采样信息离群值至关重要。在这项工作中，我们提出了一种新的基于后验采样的离群数据挖掘框架，POEM，它有利于有效地利用离群数据，并促进学习ID和OOD数据之间的紧凑决策边界，以提高检测。我们表明，POEM建立国家的最先进的性能，共同的基准。与目前使用贪婪采样策略的最佳方法相比，POEM在CIFAR-10和CIFAR-100上的相对性能分别提高了42.0%和24.2%（FPR 95）。我们进一步提供了理论见解的有效性POEM OOD检测。
2022-06-28 cs.AI cs.CV cs.LG
Walking on the Fiber: A Simple Geometric Approximation for Bayesian Neural Networks
KTH Royal Institute of Technology（皇家理工学院）
本文提出了一种基于几何近似的贝叶斯神经网络后验推断方法，利用参数空间的低维结构实现高效采样，提升了深度学习中的不确定性量化性能。
2025-12-01 cs.LG
Hidden Axis of Uncertainty: Latent-Posterior Alignment in Graph Neural Networks with Bayesian Output Layers
Korea Institute of Science and Technology（韩国科学技术研究院）；Clean Energy Research Center（清洁能源研究中心）
该研究针对带贝叶斯输出层的图神经网络，发现潜在-后验对齐现象，提出对齐引导学习方法，可降低预测不确定性并改善结构校准，为不确定性动力学提供新视角。
2026-08-24 cs.LG
Fast Posterior Estimation of Cardiac Electrophysiological Model Parameters via Bayesian Active Learning
Rochester Institute of Technology（罗切斯特理工学院）；Dalhousie University（达尔豪斯大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
心脏电生理模型参数的概率估计是模型个性化和不确定量化的重要一步。然而，与这些模型模拟相关联的昂贵的计算使得模型参数的后验概率密度函数（pdf）的直接马尔可夫链蒙特卡罗（MCMC）采样计算密集。另一方面，用计算效率高的替代品替换模拟模型所得到的近似后验概率密度函数的准确性有限。本文提出了一种贝叶斯主动学习方法来直接逼近心脏模型参数的后验概率密度函数，该方法智能地选择训练点查询仿真模型，以便使用少量样本学习后验概率密度函数。我们将生成模型集成到贝叶斯主动学习中，以允许在心脏网格的分辨率下近似高维模型参数的后验pdf。我们进一步引入新的采集函数，将训练点的选择集中在更好地近似形状上，而不是感兴趣的后验pdf的模式。我们评估了所提出的方法估计组织兴奋性的三维心脏电生理模型在一系列的合成和真实数据的实验。我们证明了其改进的精度相比，贝叶斯主动学习使用定期采集功能，并大大降低了计算成本相比，现有的标准或加速MCMC采样的后验概率密度函数。
2021-10-13 cs.LG
An Approximate Bayesian Long Short-Term Memory Algorithm for Outlier Detection
University of South Carolina（南卡罗来纳大学）
采用梯度下降和反向传播训练的长短期记忆网络在各种应用中获得了巨大的成功。然而，网络权重的点估计容易出现过拟合问题，并且缺乏与估计相关的重要不确定性信息。然而，精确贝叶斯神经网络方法是棘手的，不适用于现实世界的应用。在这项研究中，我们提出了一个近似估计的权重的不确定性，使用Entrance卡尔曼滤波器，这是很容易扩展到大量的权重。此外，我们优化的协方差的噪声分布在合奏更新步骤中使用最大似然估计。为了评估所提出的算法，我们将其应用于从Twitter平台检索的五个真实事件中的离群值检测。
2019-06-04 cs.LG stat.ML
Offline Bayesian Aleatoric and Epistemic Uncertainty Quantification and Posterior Value Optimisation in Finite-State MDPs
Imperial College London（伦敦帝国学院）；University of Bayreuth（拜罗伊特大学）
针对动态未知的有限状态MDPs，本文提出分离认知与偶然不确定性并利用闭式表达式和随机梯度优化贝叶斯后验期望值的方法，在网格世界与AI Clinician任务中验证了其有效性与可扩展性。
2024-06-04 cs.LG
Flat Posterior Does Matter For Bayesian Model Averaging
KAIST（韩国科学技术院）
该研究针对后验平坦性对贝叶斯模型平均（BMA）泛化能力的影响被忽视的问题，提出FP-BMA训练目标及对应迁移学习方案，实验证明其能捕获平坦后验并提升泛化性能。
2025-06-17 cs.LG stat.ML
Scalable Bayesian Learning with posteriors
Normal Computing
针对现代机器学习模型贝叶斯学习的计算挑战，本文引入可扩展PyTorch库posteriors，提出回火随机梯度马尔可夫链蒙特卡罗框架并改进深度集成以实现渐近无偏，通过实验验证其在冷后验效应研究和大语言模型应用中的效用。
2025-04-14 cs.LG stat.ML
On Cold Posteriors of Probabilistic Neural Networks: Understanding the Cold Posterior Effect and A New Way to Learn Cold Posteriors with Tight Generalization Guarantees
University of Copenhagen（哥本哈根大学）
本文研究概率神经网络中的冷后验效应，提出一种具有紧泛化保证的学习冷后验的新方法，通过温度调整平衡似然与先验以提升预测性能。
2024-10-20 cs.LG stat.ML
$β$-Cores: Robust Large-Scale Bayesian Data Summarization in the Presence of Outliers
University of Cambridge（剑桥大学）
现代机器学习应用程序应该能够解决在大规模真实世界数据集上进行推理所带来的内在挑战，包括可扩展性和对离群值的鲁棒性。尽管贝叶斯方法有许多优点（如不确定性感知预测，专家知识的结合和分层建模），但经典贝叶斯推理的质量关键取决于观察是否符合假设的数据生成模型，这在实践中是不可能保证的。在这项工作中，我们提出了一种变分推理方法，在原则上，可以同时扩展到大型数据集，并鲁棒化推断后验相对于观测数据中的离群值的存在。利用$β$ -散度对贝叶斯定理进行了改进，提出了一种鲁棒伪贝叶斯后验概率作为推理目标。此外，依赖于可扩展贝叶斯推理的黎曼核心集的最新配方，我们提出了一个稀疏变分近似的鲁棒后验和一个高效的随机黑箱算法来构建it. Overall我们的方法允许释放清洗的数据摘要，可以广泛应用于包括结构化数据损坏的场景。我们说明了我们的方法在不同的模拟和真实数据集，各种统计模型，包括高斯均值推断，逻辑和神经线性回归，证明其优越性，现有的贝叶斯摘要方法中存在离群值的适用性。
2020-11-09 cs.AI cs.LG stat.AP
Robust Bayesian Compressed sensing
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（斯蒂文斯理工学院）
我们考虑鲁棒压缩感知的问题，其目标是从被离群值破坏的压缩测量中恢复高维稀疏信号。提出了一种新的稀疏贝叶斯学习方法用于鲁棒压缩感知。该方法的基本思想是识别和去除稀疏信号恢复中的野值。为了自动识别离群值，我们采用了一组二进制指标超参数来指示哪些观测值是离群值。这些指标超参数被视为随机变量，并分配一个beta过程之前，使其值被限制为二进制。此外，高斯逆伽玛先验施加在稀疏信号，以促进稀疏性。基于这种分层先验模型，我们开发了一种变分贝叶斯方法来估计指示超参数以及稀疏信号。仿真结果表明，该方法实现了现有的鲁棒压缩感知技术的性能显着改善。
2016-10-21 cs.LG stat.ML
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
近似贝叶斯计算（ABC）是一种无似然性的推理方法，已在各种应用中采用。然而，如果数据差异度量选择不当，ABC可能对离群值敏感。在本文中，我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明，我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外，我们的估计享有各种理想的属性，如高灵活性，渐近无偏性，几乎必然收敛，线性时间的计算复杂度。通过实验，我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Posterior Consistency for Bayesian Relevance Vector Machines
University of Florida（佛罗里达大学）
样本量远小于可用协变量数量的统计建模和推断问题具有挑战性。Chakraborty等人（2012）使用基于再生核希尔伯特空间（RKHS）的相关向量机对这种情况下的非线性回归进行了全面的分层贝叶斯分析。但他们没有提供任何与他们的程序相关的理论性质。本文重新审视了他们的问题，引入了一类新的全局-局部先验，并给出了后验一致性和后验收缩率的结果
2022-02-11 cs.LG stat.ML
Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言，该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外，作者表明，这种方法在使用学生网络的分类设置中是成功的，该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中，我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明，使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法，通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了一个通用框架，用于提取深度神经网络分类器的贝叶斯后验分布的预期，扩展了贝叶斯暗知识框架的先前工作。建议的框架作为输入“教师”和学生模型架构和一般的后验期望的兴趣。蒸馏方法使用迭代生成的Monte Carlo样本对选定的后验期望进行在线压缩。我们专注于后验预测分布和期望熵作为蒸馏目标。我们调查了这个框架的几个方面，包括不确定性的影响和学生模型架构的选择。我们从速度-存储-准确性的角度研究学生模型架构搜索的方法，并利用熵蒸馏评估下游任务，包括不确定性排名和分布外检测。
2020-05-16 cs.LG stat.ML
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh（爱丁堡大学）
该研究提出无模型感知噪声贝叶斯聚类框架，结合Wasserstein型摘要方法，可避免复杂模型指定与昂贵采样，能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
Data augmentation in Bayesian neural networks and the cold posterior effect
Imperial College London（帝国理工学院）；University of Bristol（布里斯托大学）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
包含数据增强的贝叶斯神经网络隐式地使用“随机扰动对数似然[其]不具有作为有效似然函数的清晰解释"（Izmailov等人，2021）。在这里，我们提供了几种方法来开发原则贝叶斯神经网络纳入数据增强。我们引入了一个“有限轨道”设置，它允许精确计算似然性，并在更常见的“全轨道”设置中给出了严格的多样本界限。这些模型揭示了冷后效应的起源。特别是，我们发现，冷后验效应仍然存在，即使在这些原则性的模型纳入数据增强。这表明，冷后验效应不能被视为使用不正确的可能性进行数据增强的伪影。
2021-12-09 cs.LG stat.ML
A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors
SATIE（SATIE实验室）；Université Paris-Saclay（巴黎萨克雷大学）；U2IS（U2IS实验室）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文首次大规模探索深度贝叶斯神经网络后验，研究近似方法、不确定性量化、模式影响及可视化，揭示权重空间对称性（排列与缩放）的关键作用，并计划发布大规模检查点数据集。
2023-10-12 cs.LG stat.ML
On the Interplay of Priors and Overparametrization in Bayesian Neural Network Posteriors
LMU Munich（慕尼黑大学）；MCML（慕尼黑计算机学院）；HTWG Konstanz（康斯坦茨应用科学大学）
研究探讨了先验与过参数化如何共同塑造贝叶斯神经网络后验，揭示了冗余性引入的平衡性、权重再分配及先验一致性等关键现象，通过实验验证了过参数化对权重后验分布的影响。
2026-03-23 cs.LG stat.ML
Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations
University of Oxford（牛津大学）；OATML, Department of Computer Science（OATML计算机科学系）
我们挑战了长期以来的假设，即贝叶斯神经网络中变分推理的平均场近似是严格限制性的，并表明在深度网络中并非如此。我们证明了几个结果表明，深平均场变权后验子可以诱导类似的分布在函数空间中的浅网络与复杂的权重后验子。我们验证了我们的理论贡献经验，无论是通过检查的重量后，在小模型中使用哈密顿蒙特卡罗和比较对角结构协方差在大的设置。由于复杂的变分后验往往是昂贵和繁琐的实施，我们的研究结果表明，使用平均场变分推理在更深的模型是一个实际的和理论上合理的替代结构化近似。
2021-03-10 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
What Are Bayesian Neural Network Posteriors Really Like?
New York University（纽约大学）；Google Research（谷歌研究院）
贝叶斯神经网络（BNN）参数的后验是非常高维和非凸的。由于计算的原因，研究人员使用廉价的小批量方法，如平均场变分推理或随机梯度马尔可夫链蒙特卡罗（SGMCMC）来近似这个后验。为了研究贝叶斯深度学习中的基础问题，我们转而在现代架构上使用全批汉密尔顿蒙特卡罗（HMC）。我们发现：（1）BNN可以在标准训练和深度集成上实现显着的性能提升;（2）单个长HMC链可以提供与多个短链相当的后验表示;（3）与最近的研究相反，我们发现接近最佳性能不需要后处理，几乎没有证据表明“冷后处理”效应，我们发现这主要是数据增强的产物;（4）BMA性能对先验尺度的选择是鲁棒的，并且对于对角高斯、高斯混合和逻辑斯蒂先验是相对相似的;（5）贝叶斯神经网络在域移位下表现出令人惊讶的差的泛化能力;（6）虽然更便宜的替代方案，如深度集成和SGMCMC方法可以提供良好的泛化，但它们提供了与HMC不同的预测分布。值得注意的是，深度集合预测分布与标准SGLD类似地接近HMC，并且比标准变分推断更接近。
2021-04-29 cs.LG stat.ML
SubTSBR to tackle high noise and outliers for data-driven discovery of differential equations
Purdue University（普渡大学）
数据驱动的微分方程发现是一个新兴的研究课题。提出了一种新的基于子采样的阈值稀疏贝叶斯回归（SubTSBR）算法来处理高噪声和离群值。子采样技术用于提高贝叶斯学习算法的准确性。它有两个参数：子采样大小和子采样数。当二次抽样的大小增加，总样本量固定时，我们的算法的精度先上升后下降。当子样本的数量增加时，我们的算法的精度不断上升。我们演示了如何使用我们的算法一步一步，并比较我们的算法与阈值稀疏贝叶斯回归（TSBR）的发现微分方程。我们表明，我们的算法产生更好的结果。我们还讨论了从数据中发现微分方程的优点，并演示了如何发现具有随机初始和边界条件的模型以及具有分支的模型。数值示例为：（1）带噪声的捕食者-食饵模型，（2）带野值的浅水方程，（3）带随机初边值的热扩散，（4）带分支的捕鱼问题。
2020-10-27 cs.LG stat.ML
Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm
Queensland University of Technology（昆士兰科技大学）；University of Alberta（阿尔伯塔大学）
研究了一类光滑参数化马尔可夫决策问题的贝叶斯最优控制。由于计算的最优控制是计算昂贵的，我们设计了一个算法，权衡性能的计算效率。该算法是一个懒惰的后验抽样方法，保持分布的未知参数。该算法仅在分布的方差充分减小时才改变其策略。重要的是，我们分析了算法，并显示了性能与计算权衡的精确性质。最后，我们在一个Web服务器控件应用程序上展示了该方法的有效性。
2014-06-16 cs.LG stat.ML
The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks
University of Warsaw（华沙大学）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Google Research（谷歌研究院）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）；Microsoft Research（微软研究院）
变分贝叶斯推理是一种用于近似贝叶斯神经网络权重的后验分布的流行方法。最近的工作开发这类方法探索了更丰富的参数化的近似后，希望提高性能。相反，在这里我们分享一个奇怪的实验发现，建议将变分分布限制为更紧凑的参数化。对于使用高斯平均场变分推理训练的各种深度贝叶斯神经网络，我们发现后验标准差在收敛后一致地表现出强的低秩结构。这意味着通过将这些变分参数分解为低秩因子分解，我们可以在不降低模型性能的情况下使变分近似更加紧凑。此外，我们发现，这样的因子化参数化提高了变分下界的随机梯度估计的信噪比，从而加快收敛速度。
2020-07-05 cs.LG stat.ML
Distributed Bayesian Learning with Stochastic Natural-gradient Expectation Propagation and the Posterior Server
University of Oxford（牛津大学）；DeepMind
本文对贝叶斯机器学习算法做了两个贡献。首先，我们提出了随机自然梯度期望传播（SNEP），一种新的替代期望传播（EP），一个流行的变分推理算法。SNEP是一种黑盒变分算法，因为它不需要对感兴趣的分布进行任何简化假设，除了用于估计EP倾斜分布的矩的一些Monte Carlo采样器的存在之外。此外，相对于EP没有收敛保证，SNEP可以被证明是收敛的，即使使用蒙特卡罗矩估计。其次，我们提出了一种新的分布式贝叶斯学习架构，我们称之为后验服务器。后验服务器允许在数据集以分布式方式存储在集群中的情况下进行可扩展和鲁棒的贝叶斯学习，每个计算节点包含不相交的数据子集。在每个计算节点上运行一个独立的Monte Carlo采样器，仅直接存取局部数据子集，但其目标是在给定整个集群的所有数据的情况下近似全局后验分布。这是通过使用SNEP的分布式异步实现跨集群传递消息来实现的。我们证明了SNEP和分布式贝叶斯学习的逻辑回归和神经网络后服务器。保留字：分布式学习，大规模学习，深度学习，贝叶斯学习，变分推理，期望传播，随机近似，自然梯度，马尔可夫链蒙特卡罗，参数服务器，后验服务器。
2017-09-07 cs.LG stat.ML
Bayesian posterior approximation with stochastic ensembles
Stockholm University（斯德哥尔摩大学）；University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
提出将 dropout 等随机方法与深度集成的随机神经网络集成，通过变分推断近似 Bayesian 后验，在玩具问题和 CIFAR 上比常用基线提供更准确的后验估计。
2024-01-03 cs.CV cs.LG stat.ML
Radial and Directional Posteriors for Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
提出了一种新的贝叶斯神经网络变分族。我们将变分后验分解为两个分量，其中径向分量捕获每个神经元的强度，而方向分量捕获权重参数之间的统计依赖关系。与广泛使用的高斯平均场型变分族相比，通过方向密度学习的依赖关系提供了更好的建模性能。此外，通过径向密度学习的输入和输出神经元的强度提供了压缩神经网络的结构化方式。事实上，实验表明，我们的变分家庭提高了预测性能，并同时产生压缩网络。
2019-03-13 cs.LG stat.ML
Computing Posterior Probabilities of Structural Features in Bayesian Networks
Iowa State University（爱荷华州立大学）
我们研究了从数据中学习贝叶斯网络结构的问题。Koivisto和Sood（2004）和Koivisto（2006）提出了可以计算子网的精确边缘后验概率的算法，例如，在O（n2 n）的时间内，计算出所有n（n-1）条潜在边的后验概率，时间复杂度为O（n2 n）。他们的算法的一个主要缺点是需要一个特殊的结构之前，是不均匀的，不尊重马尔可夫等价。在本文中，我们开发了一个算法，可以在O（3 n）时间内计算一个子网络的精确后验概率和所有n（n-1）潜在的边缘在O（n3 n）总时间的后验概率。我们的算法也假设一个有界的入度，但允许一般的结构先验。我们证明了该算法的适用性在几个数据集上，多达20个变量。
2012-05-09 cs.LG stat.ML
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
我们提出了一种新的方法来执行近似贝叶斯推断在复杂的模型，如贝叶斯神经网络。该方法比马尔可夫链蒙特卡罗更适合大数据，它比变分推断包含更多表达模型，并且它不依赖于对抗训练（或密度比估计）。我们采用最近的方法构建两个模型：（1）主要模型，负责执行回归或分类;（2）次要的，表达（例如隐式）模型，定义了主要模型参数的近似后验分布。然而，我们根据后验预测分布的蒙特卡罗估计通过梯度下降来优化后验模型的参数-这是我们唯一的近似值（后验模型除外）。只需要指定可能性，它可以采取各种形式，如损失函数和合成可能性，从而提供一种形式的无可能性方法。此外，我们制定的方法，使后验样本可以是独立的，或有条件地依赖于主模型的输入。后一种方法被证明是能够增加的主要模型的明显的复杂性。我们认为这在诸如代理和基于物理的模型等应用中很有用。为了促进贝叶斯范式提供的不仅仅是不确定性量化，我们展示了：不确定性量化，多模态，以及最近的深度预测神经网络架构的应用。
2022-09-06 cs.LG stat.ML
Function Space Bayesian Pseudocoreset for Bayesian Neural Networks
KAIST AI（韩国科学技术院人工智能学院）；AITRICS
本文提出在函数空间而非权重空间中构建贝叶斯伪核心集，通过匹配函数空间上的变分后验来绕过权重空间中的可扩展性和多模态问题，实验表明该方法能提升不确定性量化和鲁棒性。
2023-10-27 cs.AI cs.LG
Variational Inference Failures Under Model Symmetries: Permutation Invariant Posteriors for Bayesian Neural Networks
University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本研究针对神经网络权重空间置换对称性导致贝叶斯神经网络变分推断后验多模态偏差的问题，提出置换不变变分后验的对称化机制，经理论与实验验证可提升后验拟合效果、预测性能及ELBO值。
2024-08-10 cs.LG stat.ML
Robust Bayesian Optimization with Student-t Likelihood
SigOpt Inc.（SigOpt公司）；Centro Universitario de la Defensa, Zaragoza（萨拉戈萨国防大学中心）
贝叶斯优化最近吸引了自动机器学习社区的注意，因为它在超参数调整方面的出色结果。BO的特点是样本效率，它可以优化昂贵的黑盒功能。效率是以类似于学习学习方法的方式实现的：代理模型（通常以高斯过程的形式）学习目标函数并执行智能采样。这种代理模型甚至可以在存在噪声的情况下应用;然而，与大多数回归方法一样，它对离群数据非常敏感。这可能会导致错误的预测，在BO的情况下，会导致有偏见和效率低下的探索。在这项工作中，我们提出了一个GP模型，是强大的离群值，使用学生t似然隔离离群值和强大的贝叶斯优化。我们提出的数值结果评估所提出的方法在人工函数和真正的问题。
2017-07-18 cs.AI cs.LG stat.ML
Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring
UC Irvine（加州大学尔湾分校）
在本文中，我们解决了以下问题：如果我们只允许接触我们生成的每个样本的一小部分数据项，我们可以近似地从贝叶斯后验分布中采样吗？以前提出了一种基于随机梯度的Langevin方程（SGLD）的算法来解决这个问题，但其混合速度很慢。通过利用贝叶斯中心极限定理，我们扩展了SGLD算法，以便在高混合速率下，它将从后验的正态近似进行采样，而对于低混合速率，它将用预处理矩阵模仿SGLD的行为。作为奖励，所提出的算法是让人想起费舍尔评分（随机梯度），并作为这样一个有效的优化器在老化。
2012-06-27 cs.LG stat.CO stat.ML
SPDE Methods for Nonparametric Bayesian Posterior Contraction and Laplace Approximation
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）
本文通过扩展Mou等人的扩散框架，推导了非参数贝叶斯模型的后验收缩率和有限样本伯恩斯坦-冯-米塞斯结果，并在希尔伯特空间上建立了拉普拉斯近似理论。
2026-03-23 cs.LG math.ST stat.ML
A Bayesian sparse factor model with adaptive posterior concentration
Inha University（仁荷大学）；The University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
本文提出一种新的高维稀疏因子模型贝叶斯推断方法，通过引入稀疏水平与因子维数之间的依赖关系，在保持计算可处理性的同时实现自适应后验收缩，并证明其在因子维数检测和协方差矩阵估计上具有最优或近似最优的理论性质与数值优势。
2023-05-29 cs.LG stat.ME stat.ML
Bayesian Inference with Posterior Regularization and applications to Infinite Latent SVMs
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
现有的贝叶斯模型，特别是非参数贝叶斯方法，依赖于专门构思的先验知识，以发现改进的潜在表示。虽然先验可以通过贝叶斯规则影响后验分布，但施加后验正则化可以说更直接，在某些情况下更自然和一般。在本文中，我们提出了正则化贝叶斯推理（RegBayes），一种新的计算框架，执行后验推理与信息理论公式下所需的后验数据分布的正则化项。RegBayes比通过先验知识来推断专家知识的过程更灵活，并且它涵盖了有向贝叶斯网络和无向马尔可夫网络，其贝叶斯公式导致混合链图模型。当正则化是由后验分布上的线性算子（如期望算子）诱导时，我们给出了一个一般的凸分析定理来刻画RegBayes的解。此外，我们提出了两个具体的例子，RegBayes，无限潜在的支持向量机（iLSVM）和多任务无限潜在的支持向量机（MT-iLSVM），探索大利润的想法结合非参数贝叶斯模型发现预测的潜在特征分类和多任务学习，分别。我们提出了有效的推理方法，并报告了几个基准数据集的实证研究，这似乎证明了继承大利润率学习和贝叶斯nonparametrics的优点。这些结果直到现在才出现，并有助于推动这两个重要子领域之间的接口，这两个子领域在社区中基本上被视为孤立的。
2014-02-12 cs.AI cs.LG stat.ME
Robust Bayesian Inference via Variational Approximations of Generalized Rho-Posteriors
ESSEC Business School（ESSEC商学院）
本文提出修改后的generalized Rho-后验，通过softmax聚合替代极值，实现PAC-Bayesian分析，提供有限样本Oracle不等式和收敛速率，确保鲁棒性。变分近似在指数族、回归和实际数据集上验证了鲁棒性。
2026-03-26 cs.LG math.ST stat.ML
How Good is the Bayes Posterior in Deep Neural Networks Really?
Google Research（谷歌研究院）；ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Warsaw（华沙大学）；Imperial College London（帝国理工学院）；University of California, Irvine（加利福尼亚大学欧文分校）；Microsoft Research（微软研究院）
在过去的五年中，贝叶斯深度学习社区开发了越来越准确和高效的近似推理程序，允许在深度神经网络中进行贝叶斯推断。然而，尽管有这种算法的进步以及改进不确定性量化和样本效率的承诺，但截至2020年初，贝叶斯神经网络在工业实践中没有公开的部署。在这项工作中，我们对目前流行的深度神经网络中贝叶斯后验的理解提出了质疑：我们通过仔细的MCMC采样证明，与包括从SGD获得的点估计在内的更简单的方法相比，贝叶斯后验诱导的后验预测产生了系统性更差的预测。此外，我们证明，预测性能显着提高，通过使用“冷后验”，高估的证据。这种冷后验严重偏离贝叶斯范式，但通常在贝叶斯深度学习论文中用作启发式。本文提出了几个可以解释冷后验的假设，并通过实验对这些假设进行了评价。我们的工作质疑贝叶斯深度学习中精确后验近似的目标：如果真正的贝叶斯后验很差，那么更精确的近似有什么用？相反，我们认为，现在是时候把重点放在了解冷后验的性能改善的起源。
2020-07-02 cs.LG stat.CO stat.ML
Regional summaries of Bayesian model uncertainty
Department of Mathematics and Statistics（数学与统计学系）；University of Calgary（卡尔加里大学）；Eastern Kentucky University（东部 Kentucky 大学）
针对预测变量冗余导致后验质量分散的问题，提出通过密度比后验压缩生成硬或软支持区域报告，提供可计算的失真度量、诊断指标和误差界，实现用少量区域替代大量单个支持并保持主要后验信息。
2026-10-20 cs.LG stat.ME stat.ML
Bayesian Coreset Construction via Greedy Iterative Geodesic Ascent
Massachusetts Institute of Technology（麻省理工学院）
一致性不确定性量化是贝叶斯方法的一个关键优势。但现代近似贝叶斯后验推理算法往往牺牲准确的后验不确定性估计的可扩展性的追求。这项工作表明，以前的贝叶斯核心集构建算法-构建一个小的，加权的数据子集，近似于完整的数据集-也不例外。我们证明，这些算法规模的coreset对数似然次优，导致低估后验不确定性。为了解决这个缺点，我们开发了贪婪迭代测地线上升（GIGA），贝叶斯coreset建设的规模coreset对数似然优化的一种新算法。GIGA提供了几何衰减后验近似误差作为coreset大小的函数，并保持其前任的快速运行时间。本文的结论与GIGA的合成和真实数据集上的验证，表明它减少了后验近似误差的数量级相比，以前的coreset建设。
2018-05-28 cs.LG stat.CO stat.ML
Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers
EURECOM（欧洲通信学院）；King’s College London（伦敦国王学院）
本文提出鲁棒 PAC$^m$ 自由能训练准则，将广义对数得分与集成 PAC-Bayes 界结合，以同时应对似然、先验误设及异常值影响。
2023-04-23 cs.IT cs.LG math.IT
Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling
Columbia University（哥伦比亚大学）
本文针对贝叶斯最后一层模型高斯先验表达能力受限的问题，提出结合扩散技术与隐式先验的变分学习方法，通过扩散采样近似后验预测，在保证计算效率的同时提升模型精度、校准和分布外检测性能。
2024-08-07 cs.AI cs.LG stat.ML
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent（腾讯）；University College Dublin（都柏林大学学院）；Trinity College Dublin（都柏林圣三一学院）
针对贝叶斯层次混合聚类（BHMC）高层节点分离度弱的问题，提出对各层节点施加最大间隔约束的后验正则化方法，有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Flat Seeking Bayesian Neural Networks
Monash University（莫纳什大学）；VinAI（VinAI人工智能研究院）；New York University（纽约大学）
本文提出锐度感知后验及其变分推断方法，使贝叶斯神经网络采样的模型具有更好平坦性，从而提升泛化能力，实验验证其优于基线。
2023-11-06 cs.IT cs.LG math.IT
