Hidden Axis of Uncertainty: Latent-Posterior Alignment in Graph Neural Networks with Bayesian Output Layers
Korea Institute of Science and Technology（韩国科学技术研究院）；Clean Energy Research Center（清洁能源研究中心）
该研究针对带贝叶斯输出层的图神经网络，发现潜在-后验对齐现象，提出对齐引导学习方法，可降低预测不确定性并改善结构校准，为不确定性动力学提供新视角。
2026-08-24 cs.LG
Efficient RF Passive Components Modeling with Bayesian Online Learning and Uncertainty Aware Sampling
ShanghaiTech University（上海科技大学）
针对传统射频无源元件机器学习建模计算量大的问题，提出带可重构头贝叶斯神经网络与不确定性引导自适应采样的贝叶斯在线学习框架，在保证精度的同时将电磁仿真时间降至原流程的2.86%，提速35倍。
2025-11-19 cs.LG
Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
ReLU分类网络的点估计--可以说是最广泛使用的神经网络架构--已经被证明可以产生远离训练数据的任意高置信度。这种架构，结合最大后验估计方案，因此没有校准，也没有鲁棒性。近似贝叶斯推断已被经验证明，以改善神经网络中的预测不确定性，虽然这种贝叶斯近似的理论分析是有限的。我们从理论上分析了ReLU网络权重的近似高斯分布，并表明它们解决了过度自信问题。此外，我们表明，即使是一个简单的，因此便宜，贝叶斯近似，也解决了这些问题。这表明ReLU网络上校准不确定性的充分条件是“有点贝叶斯”。这些理论结果验证了最后一层贝叶斯近似的使用，并激发了一系列的可靠性成本权衡。我们通过使用常见的深度ReLU网络和拉普拉斯近似的各种标准实验进一步验证了这些发现。
2020-07-17 cs.LG stat.ML
Bayesian Personalized Federated Learning with Shared and Personalized Uncertainty Representations
Macquarie University（麦考瑞大学）；Northeastern University（东北大学）
针对现有个性化联邦学习未充分处理客户端不确定性与异质性、表征解耦依赖特设方法的问题，提出含共享与个性化不确定性表征的通用贝叶斯个性化联邦学习框架及其实例BPFed，加入先验持续更新机制，并提供理论分析与实验验证。
2023-10-03 cs.LG
Error-Aware B-PINNs: Improving Uncertainty Quantification in Bayesian Physics-Informed Neural Networks
Technical University of Munich（慕尼黑工业大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；Harvard University（哈佛大学）
物理信息神经网络（PINN）作为一种求解微分方程的方法越来越受欢迎。虽然在某些情况下比经典的数值技术更可行，但PINN仍然缺乏可信度。对此的补救措施可以在不确定性量化（UQ）中找到，它刚刚开始出现在PINN的上下文中。评估训练后的PINN如何符合强加的微分方程是解决不确定性的关键，但缺乏全面的方法来完成这项任务。我们提出了一个框架UQ贝叶斯PINN（B-PINN），结合B-PINN解决方案和未知的真实解决方案之间的差异。我们利用最近的结果的误差界的PINNs的线性动力系统，并证明了预测的不确定性的一类线性常微分方程。
2022-12-14 cs.LG
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
Being a Bit Frequentist Improves Bayesian Neural Networks
University of Tübingen（图宾根大学）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）
尽管贝叶斯神经网络（BNN）具有令人信服的理论特性，但在基于分类的不确定性量化（UQ）任务（如分布外（OOD）检测）中，BNN往往比频率论方法表现更差。在本文中，基于先前工作中的实证研究结果，我们假设这个问题是因为即使是最近的贝叶斯方法也从未在其训练过程中考虑过OOD数据，即使这种“OOD训练”技术是最先进的频率论UQ方法的一个组成部分。为了验证这一点，我们将OOD数据作为BNN训练中的一等公民，通过探索四种不同的方式将OOD数据纳入贝叶斯推理。我们在大量的实验中表明，OOD训练的BNN与最近的频率主义基线相比具有竞争力。因此，这项工作为贝叶斯UQ的未来工作提供了强有力的基线。
2022-02-02 cs.LG stat.ML
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences（数据科学系，挪威生命科学大学）；SINTEF AS, Department of Mathematics and Cybernetics（SINTEF公司，数学与自动化系）
本文指出蒙特卡洛滴落在估计不确定性时不可靠，尤其在插值和外推区域表现不佳，不如传统贝叶斯方法可靠。
2025-12-16 cs.LG
Bayesian OOD detection with aleatoric uncertainty and outlier exposure
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
OOD检测的典型贝叶斯方法使用认知不确定性。令人惊讶的是，从贝叶斯的角度来看，有许多方法成功地使用任意不确定性来检测OOD点（例如Hendryks等人。此外，很难使用离群暴露来改进贝叶斯OOD检测模型，因为不清楚是否可能或期望增加离群点处的后验（认识）不确定性。我们表明，生成模型的数据策展提供了一个原则性的帐户任意的不确定性OOD检测。特别是，任意的不确定性信号一个特定类型的OOD点：一个没有定义良好的类标签，我们的数据策展模型给出了这些点的可能性，为我们提供了一个机制，用于调节离群点，从而执行原则性贝叶斯离群暴露。我们的原则贝叶斯方法，结合任意性和认识的不确定性与离群值暴露比单独使用任意性或认识的方法更好。
2021-10-28 cs.LG stat.ML
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich（慕尼黑大学统计系）
本文从优化视角质疑贝叶斯不确定性量化的有效性，提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Can Bayesian Neural Networks Explicitly Model Input Uncertainty?
University of Groningen（格罗宁根大学）
针对机器学习输入不确定性常被忽略的问题，构建双输入贝叶斯神经网络，测试多种近似方法后发现仅Ensembles、Flipout等部分方法可有效建模输入不确定性。
2025-01-14 cs.CV cs.LG
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Experimental Comparison of Classification Uncertainty for Randomised and Bayesian Decision Tree Ensembles
在本文中，我们实验比较的分类不确定性的随机决策树（DT）集成技术和贝叶斯DT技术与重新启动策略上的合成数据集，以及在机器学习社区常用的一些数据集。对于分类不确定性的定量评估，我们使用不确定性包络处理类后验分布和给定的置信概率。计数的分类器的结果，这种技术产生的分类不确定性的可行的评估。在我们的实验中使用这种技术，我们发现贝叶斯DT技术优于随机DT集成技术。
2005-04-11 cs.AI cs.LG
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University（纽约大学）
随机不确定性捕获数据的固有随机性，例如测量噪声。在贝叶斯回归中，我们经常使用高斯观测模型，其中我们用噪声方差参数控制任意不确定性的水平。相比之下，对于贝叶斯分类，我们使用分类分布，没有机制来表示我们对任意不确定性的信念。我们的工作表明，明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准，例如CIFAR，基本上没有任意的不确定性。此外，我们表明，近似推理中的数据增强具有软化可能性的效果，导致信心不足，并深刻地歪曲了我们对任意不确定性的诚实信念。因此，我们发现，一个冷后验，由一个权力大于1，往往更诚实地反映了我们的信念，任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明，我们可以匹配或超过后回火的性能，通过使用狄利克雷观测模型，在那里我们明确地控制任意的不确定性的水平，而不需要任何回火。
2022-03-30 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University（哈佛大学）
传统的深度分类器训练会产生过度自信的模型，这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架，以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”，用于使用位于训练数据边界上的额外一类点来增强数据，然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart（斯图加特大学）；Heidelberg University（海德堡大学）
贝叶斯模型比较（BMC）提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中，我们在可能的模型集合上构造离散概率分布，条件是观察到的感兴趣的数据。这些后验模型概率（PMP）是不确定性的度量，但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中，我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架，量化元不确定性，从而在一个应用的方法，以提高任何BMC的工作流程。利用贝叶斯和频率论技术，我们通过元模型表示不确定PMP的不确定性，该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归，似然推理与马尔可夫链蒙特卡罗，和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Bayesian Scattering: A Principled Baseline for Uncertainty on Image Data
University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
本文提出贝叶斯散射作为图像数据不确定性的基准方法，结合波let散射变换与概率头，避免过拟合，适用于分布偏移下的不确定性估计。
2026-03-21 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge（剑桥大学）
尽管针对无监督异常检测的深度自动编码器（AE）进行了大量研究，但AE仍然缺乏表达其预测不确定性的方法，这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此，在这项工作中，贝叶斯自动编码器（BAE）的制定采用量化的总异常的不确定性，包括认知和任意的不确定性。为了评估不确定性的质量，我们考虑了异常分类的任务，并附加了拒绝高不确定性预测的选项。此外，我们使用的精度拒绝曲线，并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性：一个用于状态监测，另一个用于质量检测。
2022-02-25 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
Bayesian Neural Hawkes Process for Event Uncertainty Prediction
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；TCS Research（塔塔咨询服务研究部）
由事件发生的时间组成的事件数据出现在几个现实世界的应用中。最近的工作介绍了神经网络为基础的点过程建模的事件时间，并被证明提供国家的最先进的性能预测事件时间。然而，神经点过程模型缺乏良好的不确定性量化能力的预测。对事件建模的不确定性进行适当的量化将有助于在许多实际应用中做出更好的决策。因此，我们提出了一种新的点过程模型，贝叶斯神经霍克斯过程（BNHP），它利用贝叶斯模型的不确定性建模能力和泛化能力的神经网络模型事件发生时间。我们增加了模型的时空建模能力，它可以考虑预测的时间和位置的事件的不确定性。模拟和真实世界的数据集上的实验表明，BNHP显着提高预测性能和建模事件的不确定性量化。
2022-01-19 cs.LG cs.SI
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Be Bayesian by Attachments to Catch More Uncertainty
Nankai University（南开大学）；Beihang University（北京航空航天大学）
针对贝叶斯神经网络不确定性捕捉能力不足的问题，提出带附加贝叶斯结构的ABNN，整合分布外数据不确定性，经理论与实验验证优于现有前沿方法。
2024-04-12 cs.AI cs.LG
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Uncertainty aware audiovisual activity recognition using deep Bayesian variational inference
Intel Labs（英特尔实验室）
深度神经网络（DNN）为多种应用提供了最先进的结果，但是将DNN用于多模态视听应用的方法不考虑与各个模态相关联的预测不确定性。贝叶斯深度学习方法提供原则性的置信度并量化预测的不确定性。我们在这项工作中的贡献是提出了一个不确定性感知的多模态贝叶斯融合框架的活动识别。我们展示了一种新的方法，该方法结合了确定性和变化层，以将贝叶斯DNN扩展到更深的架构。我们的实验使用的分布内和分布外的样本，从一个子集的时刻在时间（MiT）数据集显示了一个更可靠的信心措施相比，非贝叶斯基线和蒙特卡罗脱落（MC脱落）近似贝叶斯推断。我们还证明了从所提出的框架中获得的不确定性估计可以识别UCF101和MiT数据集上的分布外数据。在多模态设置中，与非贝叶斯基线相比，所提出的框架在MiT数据集的子集上将精确召回AUC提高了10.2%。
2019-09-20 cs.LG cs.NE stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一个机器学习框架，用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展，通过常微分方程求解器传播梯度信息，并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型，而稀疏促进先验的使用，使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明，所提出的方法的有效性，包括非线性振子，捕食-食饵系统，混沌动力学和系统生物学。总之，我们的研究结果提出了一个新的，灵活的和强大的工作流程，数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University（广岛大学）；Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一种新的方法，该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量，以便将不确定性估计反馈给系统，从而在不确定性较高的区域更密集地重新采样训练数据。我们表明，在具体设置的语义分割任务（iPS细胞集落分割），该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Bayesian Policy Optimization for Model Uncertainty
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
解决不确定性对于自主系统稳健地适应现实世界至关重要。我们将模型不确定性问题表述为连续贝叶斯-自适应马尔可夫决策过程（BAMDP），其中代理在给定观测历史的情况下保持潜在模型参数的后验分布，并最大化其相对于此信念分布的预期长期回报。我们的算法，贝叶斯策略优化，建立在最近的策略优化算法，学习一个通用的政策，导航的勘探开发权衡，以最大限度地提高贝叶斯价值函数。为了解决连续潜在参数空间离散化的挑战，我们提出了一种新的策略网络架构，该架构独立于可观察状态对信念分布进行编码。我们的方法显着优于算法，解决模型的不确定性，而不显式推理的信念分布，是最先进的部分可观察马尔可夫决策过程求解器的竞争力。
2019-05-08 cs.LG cs.RO
BITS for GAPS: Bayesian Information-Theoretic Sampling for hierarchical GAussian Process Surrogates
Department of Chemical and Biomolecular Engineering, University of Notre Dame, Notre Dame, IN 46556, USA（化学与生物分子工程系，诺特大学）
提出BITS for GAPS框架，通过贝叶斯层次建模将超参数不确定性传播到采样准则中，实现基于高斯过程代理模型的信息论实验设计，并在汽液平衡案例中验证其提升预测精度和信息增益的效果。
2026-03-23 cs.LG stat.ML
Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning
Siemens AG（西门子股份公司）；TU Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
具有潜在变量的贝叶斯神经网络是可扩展且灵活的概率模型：它们考虑了网络权重估计中的不确定性，并且通过利用潜在变量，可以捕获数据中的复杂噪声模式。我们展示了如何提取和分解的不确定性为决策目的的认知和任意组件。这使我们能够成功地识别信息点的功能与异方差和双峰噪声的主动学习。使用分解，我们进一步定义了一个新的风险敏感的强化学习标准，以确定平衡预期成本，模型偏差和噪音厌恶的政策。
2018-06-15 cs.LG stat.ML
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
University of Cambridge（剑桥大学）
深度学习工具在应用机器学习中获得了极大的关注。然而，这种回归和分类工具并不能捕捉模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来高昂的计算成本。在本文中，我们开发了一个新的理论框架，将深度神经网络（NN）中的辍学训练作为深度高斯过程中的近似贝叶斯推断。这一理论的直接结果为我们提供了使用dropout NN对不确定性建模的工具-从迄今为止被丢弃的现有模型中提取信息。这缓解了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试准确性。我们进行了广泛的研究辍学的不确定性的性质。以MNIST为例，对回归和分类任务进行了各种网络架构和非线性评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面有了相当大的改进，并通过在深度强化学习中使用dropout的不确定性来完成。
2016-10-04 cs.LG stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records
Deep Medicine（深度医学）；University of Oxford（牛津大学）
更广泛地使用深度学习进行临床决策的一个主要障碍是难以为模型预测分配置信度。目前，深度贝叶斯神经网络和稀疏高斯过程是两种主要的可扩展不确定性估计方法。然而，深度贝叶斯神经网络缺乏表现力，更有表现力的模型，如深度核学习，它是稀疏高斯过程的扩展，只捕捉来自更高级别潜在空间的不确定性。因此，其下的深度学习模型缺乏可解释性，忽略了来自原始数据的不确定性。在本文中，我们将深度贝叶斯学习框架的功能与深度内核学习相结合，以利用这两种方法的优势进行更全面的不确定性估计。通过一系列应用于大规模电子病历的心力衰竭，糖尿病和抑郁症首次发病率预测实验，我们证明了我们的方法比高斯过程和深度贝叶斯神经网络在指示数据不足和区分真阳性和假阳性预测方面更好地捕捉不确定性，具有相当的泛化性能。此外，通过评估预测概率的准确性和受试者工作特征曲线下的面积，我们表明，我们的方法不太容易做出过度自信的预测，特别是对于不平衡数据集中的少数类。最后，我们展示了如何由模型得出的不确定性信息可以告知风险因素分析模型的可解释性。
2020-03-23 cs.LG stat.ML
The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks
LORIA（洛里亚计算机科学与应用实验室）；CentraleSupélec（中央高等电力学院）
本文通过实验揭示贝叶斯深度学习中认知不确定性随模型增大或数据稀少而异常坍缩的“认知不确定性漏洞”，并评估其对分布外样本检测的影响。
2024-07-02 cs.LG stat.ML
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London（帝国学院伦敦分校）；University of Copenhagen（哥本哈根大学）
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能，结合新颖的数据增强方案和高效变分算法，在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Adaptive Conformal Prediction via Bayesian Uncertainty Weighting for Hierarchical Healthcare Data
Rochester Institute of Technology（罗切斯特理工学院）
本文提出一种结合贝叶斯不确定性加权与置信校准的混合框架，用于提升医疗数据中的不确定性量化精度与覆盖保证。
2026-01-03 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Improve Uncertainty Estimation for Unknown Classes in Bayesian Neural Networks with Semi-Supervised /One Set Classification
虽然深度神经网络（DNN）已经取得了许多最先进的结果，估计DNN模型和数据中存在的不确定性是一项具有挑战性的任务。与不确定性相关的问题，例如将未知类别（未出现在训练数据中的类别）数据分类为具有高置信度的已知类别，在安全域领域（例如，自动驾驶、医疗诊断）中受到严重关注。在本文中，我们表明，单独应用当前的贝叶斯神经网络（BNN）技术不能有效地捕捉不确定性。为了解决这个问题，我们引入了一种简单的方法来改进BNN，通过使用一个类分类（在本文中，我们使用术语“集合分类”代替）。我们经验性地显示了我们的方法在实验上的结果，该实验涉及三个数据集：MNIST，notMNIST和FMNIST。
2018-05-16 cs.LG stat.ML
Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言，该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外，作者表明，这种方法在使用学生网络的分类设置中是成功的，该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中，我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明，使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法，通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
由于可扩展的近似贝叶斯推断技术的发展，贝叶斯神经网络（BNN）最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点：参数和预测的不确定性变得容易获得，便于严格的统计分析。此外，还可以纳入先前的知识。然而，到目前为止，还没有可扩展的技术能够结合模型（结构）和参数的不确定性。本文在BNN中引入模型不确定性的概念，从而在模型和参数的联合空间中进行推理。此外，我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率，将模型空间的约束。最后，我们表明，通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性，允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Uncertainty in Neural Networks: Approximately Bayesian Ensembling
University of Cambridge（剑桥大学）
理解神经网络（NN）预测的不确定性对于许多目的都是至关重要的。贝叶斯框架为此提供了一种原则性的方法，但是由于大量的参数和数据，将其应用于NN是具有挑战性的。集成神经网络提供了一种易于实现的，可扩展的不确定性量化方法，然而，它被批评为不是贝叶斯。这项工作提出了一个修改通常的过程中，我们认为确实会导致近似贝叶斯推断;正则化参数的值从一个分布，可以设置为等于先验。在一个简化的设置程序的理论分析表明，恢复后的中心是正确的，但往往有一个低估的边际方差，高估的相关性。然而，有两个条件可以导致准确的恢复。我们认为，这些条件是部分存在于NN。实验结果表明，它具有优于标准集成，并与变分方法的竞争力。
2020-02-26 cs.LG stat.ML
Natural Posterior Network: Deep Bayesian Uncertainty for Exponential Family Distributions
Munich Data Science Institute（慕尼黑数据科学研究所）；Technical University of Munich（慕尼黑工业大学）
不确定性意识对于开发可靠的机器学习模型至关重要。在这项工作中，我们提出了自然后验网络（NatPN）的快速和高质量的不确定性估计的目标分布属于指数族的任何任务。因此，NatPN适用于分类和一般回归设置。与许多以前的方法不同，NatPN在训练时不需要分布外（OOD）数据。相反，它利用Normalizing Flows在学习的低维和任务相关的潜在空间上拟合单一密度。对于任何输入样本，NatPN使用预测的可能性对目标分布执行贝叶斯更新。理论上，NatPN分配远离训练数据的高不确定性。从经验上讲，我们在校准和OOD检测方面的广泛实验表明，NatPN在分类、回归和计数预测任务方面具有极强的竞争力。
2022-03-16 cs.LG stat.ML
