We Know Where We Don't Know: 3D Bayesian CNNs for Credible Geometric Uncertainty
Sandia National Laboratories（桑迪亚国家实验室）；University of Southern California（南加州大学）
深度学习已成功应用于3D计算机断层扫描（CT）扫描的分割。建立这些分割的可信度需要不确定性量化（UQ）来识别不可信的预测。最近的UQ架构包括近似深度高斯过程的蒙特卡罗丢弃网络（MCDN）和学习权重空间分布的贝叶斯神经网络（BNN）。BNN在UQ方面优于MCDN，但被认为在高维计算上是不可行的，并且这两种架构都没有产生可解释的几何不确定性图。我们提出了一种新的3D贝叶斯卷积神经网络（BCNN），这是第一种深度学习方法，可以生成统计上可信的几何不确定性图和尺度，以应用于3D数据。我们提出了石墨电极和激光焊接金属的CT扫描的实验结果，并表明我们的BCNN优于MCDN在最近的不确定性度量。我们的BCNN生成的几何不确定性图捕获了可解释为置信区间的sigmoid值的分布，这对于依赖深度学习进行高后果决策的应用程序至关重要。代码可在https://github.com/sandialabs/bcnn获得。
2020-04-02 cs.CV cs.LG eess.IV
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
Constraint-Aware Neurosymbolic Uncertainty Quantification with Bayesian Deep Learning for Scientific Discovery
Department of Computer Science and Engineering Muffakham Jah College of Engineering and Technology (MJCET)（计算机科学与工程系穆法卡姆·贾赫工程与技术学院）
CANUF通过结合贝叶斯深度学习与可微符号推理，首次实现科学预测中的不确定性量化、约束满足和可解释性解释。
2026-01-18 cs.AI cs.CV cs.LG
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich（慕尼黑大学统计系）
本文从优化视角质疑贝叶斯不确定性量化的有效性，提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Ensemble-based Uncertainty Quantification: Bayesian versus Credal Inference
Paderborn University（帕德博恩大学）；University of Munich (LMU)（慕尼黑大学）
区分和量化两种重要类型的不确定性（通常称为任意性和认知性）的想法在过去几年的机器学习研究中受到了越来越多的关注。在本文中，我们考虑基于集成的方法来量化不确定性。区分不同类型的不确定性感知的学习算法，我们特别关注贝叶斯方法和基于所谓的信任集的方法，这自然会从集成学习的角度提出自己。对于这两种方法，我们都解决了如何量化任意和认识不确定性的问题。在一个带有拒绝选项的分类问题的实证研究中，对相应措施的有效性进行了评估和比较。
2021-12-10 cs.LG
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
A Bit More Bayesian: Domain-Invariant Learning with Uncertainty
University of Amsterdam（阿姆斯特丹大学）；Inception Institute of Artificial Intelligence（Inception人工智能研究院）
由于领域迁移和目标领域数据的不可访问性所引起的不确定性，领域泛化具有挑战性。在本文中，我们解决这两个挑战的概率框架的基础上变分贝叶斯推理，通过将不确定性纳入神经网络的权重。将概率公式中的域不变性与变分贝叶斯推理相结合。这使我们能够以原则性的方式探索域不变学习。具体来说，我们推导出域不变的表示和分类器，这是共同建立在一个两层贝叶斯神经网络。我们实证证明了我们的建议的有效性，广泛使用的跨域视觉识别基准。消融研究验证了我们的贝叶斯治疗的协同效益时，共同学习领域不变的表示和分类器的领域泛化。此外，我们的方法在所有基准测试中始终提供最先进的平均精度。
2021-07-14 cs.LG
A Deep Bayesian Convolutional Spiking Neural Network-based CAD system with Uncertainty Quantification for Medical Images Classification
Tarbiat Modares University（塔比亚特·莫达雷斯大学）
针对深度SNN在医学图像分类中缺乏不确定性量化导致的不可靠问题，提出一种基于贝叶斯卷积SNN的CAD系统，采用蒙特卡洛Dropout量化不确定性，实验证明其准确可靠，可替代传统深度学习方法。
2025-04-23 cs.CV cs.LG eess.IV
Hidden Axis of Uncertainty: Latent-Posterior Alignment in Graph Neural Networks with Bayesian Output Layers
Korea Institute of Science and Technology（韩国科学技术研究院）；Clean Energy Research Center（清洁能源研究中心）
该研究针对带贝叶斯输出层的图神经网络，发现潜在-后验对齐现象，提出对齐引导学习方法，可降低预测不确定性并改善结构校准，为不确定性动力学提供新视角。
2026-08-24 cs.LG
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中，我们实验比较的分类不确定性的随机决策树（DT）集成技术和贝叶斯DT技术与重新启动策略上的合成数据集，以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估，我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果，这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术，我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
Bayesian Neural Networks for Uncertainty Estimation of Imaging Biomarkers
LMU München（慕尼黑大学）；University of Tübingen（图宾根大学）；University Freiburg（弗莱堡大学）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）
图像分割能够从扫描中提取定量测量，这些测量可以用作疾病的成像生物标志物。然而，分割质量在扫描之间可能会有很大差异，因此在生物标志物的后续统计分析中产生不忠实的估计。核心问题是分割和生物标志物分析是独立进行的。我们建议将分割不确定性传播到统计分析中，以考虑分割置信度的变化。为此，我们评估了四个贝叶斯神经网络，从后验分布中采样并估计不确定性。然后，我们分配置信度的生物标志物，并提出统计模型，其整合在组分析和疾病分类。我们对糖尿病患者肝脏分割的结果清楚地表明了在统计推断中整合生物标志物不确定性的改进。
2020-09-01 cs.CV cs.LG eess.IV
Quantifying Model Uncertainty in Inverse Problems via Bayesian Deep Gradient Descent
University College London（伦敦大学学院）
逆问题重建方法的最新进展利用了强大的数据驱动模型，例如，深度神经网络。这些技术已经证明了几个成像任务的最先进的性能，但他们往往不提供所获得的重建的不确定性。在这项工作中，我们开发了一个可扩展的，数据驱动的，知识辅助的计算框架，通过贝叶斯神经网络来量化模型的不确定性。该方法建立在深度梯度下降（最近开发的贪婪迭代训练方案）的基础上，并对其进行了扩展，并在概率框架内对其进行了重铸。可扩展性是通过混合架构实现的：只有每个块的最后一层是贝叶斯的，而其他层仍然是确定性的，并且在训练中是贪婪的。该框架在一种代表性的医学成像模式上展示，即具有稀疏视图或有限视图数据的计算机断层扫描，并且相对于最先进的基准表现出有竞争力的性能，例如，全变分、深度梯度下降和学习的原始-对偶。
2020-10-19 cs.CV cs.LG eess.IV
Efficient RF Passive Components Modeling with Bayesian Online Learning and Uncertainty Aware Sampling
ShanghaiTech University（上海科技大学）
针对传统射频无源元件机器学习建模计算量大的问题，提出带可重构头贝叶斯神经网络与不确定性引导自适应采样的贝叶斯在线学习框架，在保证精度的同时将电磁仿真时间降至原流程的2.86%，提速35倍。
2025-11-19 cs.LG
Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction
Graz University of Technology（格拉茨技术大学）；Silicon Austria Labs（奥地利硅谷实验室）；University of Bonn（波恩大学）；Johannes Kepler University（约翰·开普勒大学）；Technical University of Munich（慕尼黑工业大学）；Imperial College London（伦敦帝国理工学院）；NYU School of Medicine（纽约大学医学院）
最近的深度学习方法专注于提高专用基准的定量分数，因此只减少与观察相关的（任意的）不确定性。然而，模型内在（认识）不确定性不太经常被系统地分析。在这项工作中，我们引入了贝叶斯变分框架来量化认知不确定性。为此，我们解决了变分设置中的欠采样MRI重建的线性逆问题。相关的能量泛函由数据保真度项和作为学习参数正则化的总深度变差（TDV）组成。为了估计认识不确定性，我们从多元高斯分布中提取TDV正则化子的参数，其均值和协方差矩阵是在随机最优控制问题中学习的。在几个数值实验中，我们证明了我们的方法产生了有竞争力的结果欠采样的MRI重建。此外，我们可以准确地量化像素的认知不确定性，这可以为放射科医生作为一个额外的资源，可视化重建的可靠性。
2021-10-22 cs.CV cs.LG eess.IV
Bayesian BiLO: Bilevel Local Operator Learning for Efficient Uncertainty Quantification of Bayesian PDE Inverse Problems with Low-Rank Adaptation
本研究提出B-BiLO框架，通过低秩适应和双层局部算子学习实现PDE反问题的高效不确定性量化。
2026-11-04 cs.LG math-ph math.MP
Logit Disagreement: OoD Detection with Bayesian Neural Networks
University of Ottawa（渥太华大学）
针对贝叶斯神经网络中互信息分数用于OoD检测表现不佳的问题，本文提出基于修正logits不一致性的认知不确定性度量，在多个实验中性能优于互信息、与预测熵基准相当。
2025-02-21 cs.CV cs.LG stat.ML
Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications
Earth Science Analytics（地球科学分析公司）
深度神经网络在地球科学中提供了许多潜在的应用，例如，人们可以说它们是预测地震数据集中断层的最先进方法。在定量储层表征工作流程中，通常合并预测的不确定性，因此此类地下模型应在其预测中提供校准的概率和相关的不确定性。研究表明，流行的基于深度学习的模型经常被错误校准，并且由于其确定性，无法解释其预测的不确定性。我们比较了三种不同的方法来获得概率模型的基础上卷积神经网络在贝叶斯形式主义，即深度集成，混凝土辍学，和随机加权平均高斯（SWAG）。这些方法始终适用于故障检测案例研究，其中Deep Ensembles使用独立训练的模型来提供故障概率，Concrete Dropout代表了对流行的Dropout技术的扩展，以近似贝叶斯神经网络，最后，我们应用SWAG，这是一种基于小批量随机梯度下降的贝叶斯推理等价性的最新方法。我们提供定量结果的模型校准和不确定性表示，以及定性结果的合成和真实的地震数据集。我们的研究结果表明，近似贝叶斯方法，混凝土辍学和SWAG，都提供了良好的校准的预测和不确定性属性在较低的计算成本相比，基线深度包围的方法。由此产生的不确定性也提供了进一步提高模型性能以及增强模型可解释性的可能性。
2021-05-25 cs.CV cs.LG physics.geo-ph
Bayesian Neural Networks for Reversible Steganography
University of Warwick（华威大学）
深度学习的最新进展导致可逆隐写术领域的范式转变。可逆隐写术的一个基本支柱是预测建模，它可以通过深度神经网络实现。然而，非平凡的错误存在于一些分布和噪声数据的推断。鉴于这个问题，我们建议考虑基于贝叶斯深度学习理论框架的预测模型中的不确定性，从而创建自适应隐写系统。大多数现代深度学习模型被认为是确定性的，因为它们只提供预测，而不能提供不确定性测量。贝叶斯神经网络为深度学习带来了概率视角，可以被视为具有自我意识的智能机器;也就是说，一台知道自己局限性的机器。为了量化不确定性，我们应用贝叶斯统计对预测分布进行建模，并通过随机向前传递的蒙特卡罗抽样对其进行近似。我们进一步表明，预测的不确定性可以分解为任意和认知的不确定性，这些量可以在无监督的情况下学习。实验结果表明，贝叶斯不确定性分析对隐写率失真性能的改善。
2023-03-07 cs.CV cs.LG cs.MM
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University（纽约大学）
随机不确定性捕获数据的固有随机性，例如测量噪声。在贝叶斯回归中，我们经常使用高斯观测模型，其中我们用噪声方差参数控制任意不确定性的水平。相比之下，对于贝叶斯分类，我们使用分类分布，没有机制来表示我们对任意不确定性的信念。我们的工作表明，明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准，例如CIFAR，基本上没有任意的不确定性。此外，我们表明，近似推理中的数据增强具有软化可能性的效果，导致信心不足，并深刻地歪曲了我们对任意不确定性的诚实信念。因此，我们发现，一个冷后验，由一个权力大于1，往往更诚实地反映了我们的信念，任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明，我们可以匹配或超过后回火的性能，通过使用狄利克雷观测模型，在那里我们明确地控制任意的不确定性的水平，而不需要任何回火。
2022-03-30 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University（哈佛大学）
传统的深度分类器训练会产生过度自信的模型，这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架，以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”，用于使用位于训练数据边界上的额外一类点来增强数据，然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Explicitly Bayesian Regularizations in Deep Learning
University of Delaware（特拉华大学）
泛化对于深度学习至关重要。与之前声称深度神经网络（DNN）具有由随机梯度下降实现的隐式正则化的作品相比，我们明确展示了特定类别DNN中的贝叶斯正则化，即，卷积神经网络（CNN）。首先，我们介绍了一种新的概率表示的CNN的隐藏层，并证明CNN对应于贝叶斯网络的串行连接。此外，我们还证明了接近输入的隐藏层形成先验分布，因此CNN具有基于贝叶斯正则化理论的显式贝叶斯正则化。此外，我们澄清了两个最近观察到的经验现象，是不符合传统的理论的泛化。最后，我们在一个合成数据集上验证了所提出的理论
2019-10-22 cs.LG stat.ML
Bayesian Deep Convolutional Encoder-Decoder Networks for Surrogate Modeling and Uncertainty Quantification
University of Notre Dame（圣母大学）
我们感兴趣的是开发代理模型，用于不确定性量化和随机偏微分方程控制的问题的传播，使用深度卷积编码器-解码器网络，其方式与深度学习中考虑的图像到图像回归任务的方法类似。由于普通神经网络是数据密集型的，不能提供预测的不确定性，我们提出了一种卷积神经网络的贝叶斯方法。最近引入的基于Stein方法的变分梯度下降算法被扩展到深度卷积网络，以对数百万个不确定的网络参数执行近似贝叶斯推断。与贝叶斯神经网络中的其他方法以及包括高斯过程和集成方法的技术相比，即使当训练数据大小相对较小时，该方法也在预测准确性和不确定性量化方面实现了最先进的性能。为了评估这种方法的性能，我们考虑标准的不确定性量化基准问题，包括在有限的数据驱动的渗透率实现方面定义的非均匀介质中的流动。代理模型开发的性能是非常好的，即使有没有基本的结构之间共享的输入（渗透率）和输出（流量/压力）字段，通常是在计算机视觉问题中使用的图像到图像的回归模型的情况下。研究的基础随机输入维数高达$4,225$，其中大多数其他不确定性量化方法失败。不确定性传播任务被认为是预测输出贝叶斯统计相比，与蒙特卡洛估计。
2018-01-21 cs.CV cs.LG physics.comp-ph
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University（麦考瑞大学）；Northeastern University（东北大学）
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题，提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed，加入先验持续更新机制，并提供理论分析与实验验证。
2023-10-03 cs.LG
Error-Aware B-PINNs: Improving Uncertainty Quantification in Bayesian Physics-Informed Neural Networks
Technical University of Munich（慕尼黑工业大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；Harvard University（哈佛大学）
物理信息神经网络（PINN）作为一种求解微分方程的方法越来越受欢迎。虽然在某些情况下比经典的数值技术更可行，但PINN仍然缺乏可信度。对此的补救措施可以在不确定性量化（UQ）中找到，它刚刚开始出现在PINN的上下文中。评估训练后的PINN如何符合强加的微分方程是解决不确定性的关键，但缺乏全面的方法来完成这项任务。我们提出了一个框架UQ贝叶斯PINN（B-PINN），结合B-PINN解决方案和未知的真实解决方案之间的差异。我们利用最近的结果的误差界的PINNs的线性动力系统，并证明了预测的不确定性的一类线性常微分方程。
2022-12-14 cs.LG
Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart（斯图加特大学）；Heidelberg University（海德堡大学）
贝叶斯模型比较（BMC）提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中，我们在可能的模型集合上构造离散概率分布，条件是观察到的感兴趣的数据。这些后验模型概率（PMP）是不确定性的度量，但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中，我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架，量化元不确定性，从而在一个应用的方法，以提高任何BMC的工作流程。利用贝叶斯和频率论技术，我们通过元模型表示不确定PMP的不确定性，该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归，似然推理与马尔可夫链蒙特卡罗，和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs（英特尔实验室）
深度神经网络（DNN）为多种应用提供了最先进的结果，但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法，该方法结合了确定性和变化层，以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本，从一个子集的时刻在时间（MiT）数据集显示了一个更可靠的信心措施相比，非贝叶斯基线和蒙特卡罗脱落（MC脱落）近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中，与非贝叶斯基线相比，所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference
TU Kaiserslautern（凯泽斯劳滕工业大学）；MindGarage；Imperial College London（帝国理工学院）；NeuralSpace；Luleå University of Technology（吕勒奥理工大学）
我们介绍了一种新的不确定性估计贝叶斯卷积神经网络与变分推理的分类任务。通过在最后一层对Softplus函数的输出进行归一化，我们以连贯的方式估计任意和认知的不确定性。权重的后验概率分布由Bayes by Backprop推断。首先，我们展示了这种可靠的变分推理方法可以作为各种网络架构的基本构造。在监督学习设置（MNIST，CIFAR-10，CIFAR-100）的多个数据集上，这种变分推理方法在相同的体系结构中实现了与频率论推理相当的性能，而两个必要的，不确定性和正则化的度量自然地结合在一起。其次，我们研究了我们提出的任意性和认知不确定性的度量是如何推导出来的，并在上述数据集上进行了验证。
2019-05-14 cs.CV cs.LG cs.NE
Bayesian Scattering: A Principled Baseline for Uncertainty on Image Data
University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
本文提出贝叶斯散射作为图像数据不确定性的基准方法，结合波let散射变换与概率头，避免过拟合，适用于分布偏移下的不确定性估计。
2026-03-21 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge（剑桥大学）
尽管针对无监督异常检测的深度自动编码器（AE）进行了大量研究，但AE仍然缺乏表达其预测不确定性的方法，这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此，在这项工作中，贝叶斯自动编码器（BAE）的制定采用量化的总异常的不确定性，包括认知和任意的不确定性。为了评估不确定性的质量，我们考虑了异常分类的任务，并附加了拒绝高不确定性预测的选项。此外，我们使用的精度拒绝曲线，并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性：一个用于状态监测，另一个用于质量检测。
2022-02-25 cs.LG stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
由于可扩展的近似贝叶斯推断技术的发展，贝叶斯神经网络（BNN）最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点：参数和预测的不确定性变得容易获得，便于严格的统计分析。此外，还可以纳入先前的知识。然而，到目前为止，还没有可扩展的技术能够结合模型（结构）和参数的不确定性。本文在BNN中引入模型不确定性的概念，从而在模型和参数的联合空间中进行推理。此外，我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率，将模型空间的约束。最后，我们表明，通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性，允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
Bayesian Neural Hawkes Process for Event Uncertainty Prediction
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；TCS Research（塔塔咨询服务研究部）
由事件发生的时间组成的事件数据出现在几个现实世界的应用中。最近的工作介绍了神经网络为基础的点过程建模的事件时间，并被证明提供国家的最先进的性能预测事件时间。然而，神经点过程模型缺乏良好的不确定性量化能力的预测。对事件建模的不确定性进行适当的量化将有助于在许多实际应用中做出更好的决策。因此，我们提出了一种新的点过程模型，贝叶斯神经霍克斯过程（BNHP），它利用贝叶斯模型的不确定性建模能力和泛化能力的神经网络模型事件发生时间。我们增加了模型的时空建模能力，它可以考虑预测的时间和位置的事件的不确定性。模拟和真实世界的数据集上的实验表明，BNHP显着提高预测性能和建模事件的不确定性量化。
2022-01-19 cs.LG cs.SI
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences（数据科学系，挪威生命科学大学）；SINTEF AS, Department of Mathematics and Cybernetics（SINTEF公司，数学与自动化系）
本文指出蒙特卡洛滴落在估计不确定性时不可靠，尤其在插值和外推区域表现不佳，不如传统贝叶斯方法可靠。
2025-12-16 cs.LG
Be Bayesian by Attachments to Catch More Uncertainty
Nankai University（南开大学）；Beihang University（北京航空航天大学）
针对贝叶斯神经网络不确定性捕捉能力不足的问题，提出带附加贝叶斯结构的ABNN，整合分布外数据不确定性，经理论与实验验证优于现有前沿方法。
2024-04-12 cs.AI cs.LG
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
Bayesian Metaplasticity from Synaptic Uncertainty
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CEA（法国原子能和替代能源委员会）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
针对神经网络终身学习中的灾难性遗忘难题，受元可塑性与贝叶斯推理启发提出MESU方法，利用突触不确定性保留信息，更新规则近似对角牛顿法，实验证明其在100项排列MNIST任务中无需明确任务边界即可维持学习性能。
2023-12-15 cs.AI cs.LG
Deep Bayesian Active Learning, A Brief Survey on Recent Advances
West Virginia University（西弗吉尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
主动学习框架提供了有效的数据注释，而没有显著的准确性降低。换句话说，主动学习开始用少量的标记数据训练模型，同时探索未标记数据的空间，以便选择要标记的信息量最大的样本。一般来说，表示不确定性在任何主动学习框架中都是至关重要的，然而，深度学习方法不能表示或操纵模型的不确定性。另一方面，从现实世界的应用角度看，不确定性表示在机器学习界越来越受到关注。深度贝叶斯主动学习框架和通常任何贝叶斯主动学习设置在模型中提供实际考虑，其允许使用小数据进行训练，同时表示模型不确定性以用于进一步有效训练。在本文中，我们简要介绍了贝叶斯主动学习，特别是深度贝叶斯主动学习框架的最新进展。
2022-04-21 cs.LG
Uncertainty-Preserving QBNNs: Multi-Level Quantization of SVI-Based Bayesian Neural Networks for Image Classification
本文提出一种多级量化框架，用于基于SVI的贝叶斯神经网络，实现4位精度下的高精度不确定性估计和高效部署。
2025-12-11 cs.LG
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一个机器学习框架，用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展，通过常微分方程求解器传播梯度信息，并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型，而稀疏促进先验的使用，使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明，所提出的方法的有效性，包括非线性振子，捕食-食饵系统，混沌动力学和系统生物学。总之，我们的研究结果提出了一个新的，灵活的和强大的工作流程，数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML
Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction
Institute of Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨理工大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
除了在临床医学中的广泛使用外，法医学中的生物年龄（BA）还用于评估身份证明文件不可用的应用中未知的实际年龄（CA）。在文献中提出的年龄估计的自动方法是预测点估计，这可能是误导的预测不确定性的量化。在我们的MRI数据的多因素年龄估计方法中，我们使用变分推理方法来估计贝叶斯CNN模型的不确定性。区分模型不确定性和数据不确定性，我们将数据不确定性解释为生物学变异，即具有相同BA的受试者的可能CA范围。
2020-02-25 cs.LG eess.IV stat.ML
