Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University（哈佛大学）
传统的深度分类器训练会产生过度自信的模型，这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架，以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”，用于使用位于训练数据边界上的额外一类点来增强数据，然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification
New York University（纽约大学）
随机不确定性捕获数据的固有随机性，例如测量噪声。在贝叶斯回归中，我们经常使用高斯观测模型，其中我们用噪声方差参数控制任意不确定性的水平。相比之下，对于贝叶斯分类，我们使用分类分布，没有机制来表示我们对任意不确定性的信念。我们的工作表明，明确说明任意的不确定性显着提高贝叶斯神经网络的性能。我们注意到许多标准基准，例如CIFAR，基本上没有任意的不确定性。此外，我们表明，近似推理中的数据增强具有软化可能性的效果，导致信心不足，并深刻地歪曲了我们对任意不确定性的诚实信念。因此，我们发现，一个冷后验，由一个权力大于1，往往更诚实地反映了我们的信念，任意的不确定性比没有回火-提供了一个明确的联系之间的数据增强和冷后验。我们表明，我们可以匹配或超过后回火的性能，通过使用狄利克雷观测模型，在那里我们明确地控制任意的不确定性的水平，而不需要任何回火。
2022-03-30 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge（剑桥大学）
尽管针对无监督异常检测的深度自动编码器（AE）进行了大量研究，但AE仍然缺乏表达其预测不确定性的方法，这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此，在这项工作中，贝叶斯自动编码器（BAE）的制定采用量化的总异常的不确定性，包括认知和任意的不确定性。为了评估不确定性的质量，我们考虑了异常分类的任务，并附加了拒绝高不确定性预测的选项。此外，我们使用的精度拒绝曲线，并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性：一个用于状态监测，另一个用于质量检测。
2022-02-25 cs.LG stat.ML
Bayesian Scattering: A Principled Baseline for Uncertainty on Image Data
University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
本文提出贝叶斯散射作为图像数据不确定性的基准方法，结合波let散射变换与概率头，避免过拟合，适用于分布偏移下的不确定性估计。
2026-03-21 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Adaptive Conformal Prediction via Bayesian Uncertainty Weighting for Hierarchical Healthcare Data
Rochester Institute of Technology（罗切斯特理工学院）
本文提出一种结合贝叶斯不确定性加权与置信校准的混合框架，用于提升医疗数据中的不确定性量化精度与覆盖保证。
2026-01-03 cs.LG stat.ML
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology（美国国家标准与技术研究院）
优化在科学和工程领域变得越来越普遍。通常，这些问题涉及各种程度的随机性或不确定性，在产生建议的解决方案。因此，在这些情况下的优化必须考虑这种随机性，以正确指导未来实验的设计。在这里，我们适应贝叶斯优化来处理不确定的结果，提出了一个新的框架，称为随机抽样贝叶斯优化（SSBO）。我们发现，在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法，由于随机生成的输入增加了处罚。此外，我们适应现有的批处理优化技术，以适当地限制近视决策时，可能会出现选择多个实例反馈之前。最后，我们表明，SSBO技术适当地优化了一组标准的优化问题，以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties
Faculty of Mechanical Engineering, Delft University of Technology, Mekelweg 2, Delft, 2628 CD, The Netherlands（代尔夫特理工大学机械工程学院）；School of Engineering, Brown University, 184 Hope St., Providence, RI 02912, USA（布朗大学工程学院）
提出通过合作训练方差估计网络与贝叶斯神经网络，实现偶然不确定性与认知不确定性的分离，并提升均值估计性能。
2026-08-03 cs.LG stat.ML
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一个机器学习框架，用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展，通过常微分方程求解器传播梯度信息，并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型，而稀疏促进先验的使用，使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明，所提出的方法的有效性，包括非线性振子，捕食-食饵系统，混沌动力学和系统生物学。总之，我们的研究结果提出了一个新的，灵活的和强大的工作流程，数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML
Uncertainty quantification of molecular property prediction with Bayesian neural networks
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
深度神经网络在各种分子应用中的表现优于现有的机器学习模型。在实际应用中，由于训练数据的质量和数量不足，导致预测的不确定性，仍然很难做出有信心的决策。在这里，我们表明，贝叶斯神经网络是有用的量化的分子性质预测的不确定性与三个数值实验。特别是，它使我们能够将预测方差分解为模型和数据驱动的不确定性，这有助于阐明错误的来源。在logP预测中，我们发现数据噪声对数据驱动的不确定性的影响比模型驱动的更显著。基于这种分析，我们能够在哈佛清洁能源项目数据集中发现意想不到的错误。最后，我们通过对生物活性和毒性分类问题的研究表明，预测的置信度与预测的不确定性密切相关。
2019-03-20 cs.LG stat.ML
Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Romanian Institute of Science and Technology（罗马尼亚科学技术研究院）
贝叶斯神经网络（BNN）在训练后往往会导致未校准，通常倾向于过度自信。因此，设计在计算复杂性方面具有低影响的有效校准方法是中心兴趣。在本文中，我们提出了校准方法的BNN的基础上的α发散信息几何。我们比较了在训练和校准中使用alpha发散，并展示了如何在校准中使用alpha发散为特定的alpha选择提供更好的校准不确定性估计，并且特别是对于复杂的网络架构更有效。我们经验证明的优势，阿尔法校准回归问题，涉及参数估计和推断输出不确定性之间的相关性。
2020-08-15 cs.LG stat.ML
Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning
Siemens AG（西门子股份公司）；TU Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
具有潜在变量的贝叶斯神经网络是可扩展且灵活的概率模型：它们考虑了网络权重估计中的不确定性，并且通过利用潜在变量，可以捕获数据中的复杂噪声模式。我们展示了如何提取和分解的不确定性为决策目的的认知和任意组件。这使我们能够成功地识别信息点的功能与异方差和双峰噪声的主动学习。使用分解，我们进一步定义了一个新的风险敏感的强化学习标准，以确定平衡预期成本，模型偏差和噪音厌恶的政策。
2018-06-15 cs.LG stat.ML
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
University of Cambridge（剑桥大学）
深度学习工具在应用机器学习中获得了极大的关注。然而，这种回归和分类工具并不能捕捉模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来高昂的计算成本。在本文中，我们开发了一个新的理论框架，将深度神经网络（NN）中的辍学训练作为深度高斯过程中的近似贝叶斯推断。这一理论的直接结果为我们提供了使用dropout NN对不确定性建模的工具-从迄今为止被丢弃的现有模型中提取信息。这缓解了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试准确性。我们进行了广泛的研究辍学的不确定性的性质。以MNIST为例，对回归和分类任务进行了各种网络架构和非线性评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面有了相当大的改进，并通过在深度强化学习中使用dropout的不确定性来完成。
2016-10-04 cs.LG stat.ML
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London（帝国学院伦敦分校）；University of Copenhagen（哥本哈根大学）
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能，结合新颖的数据增强方案和高效变分算法，在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records
Deep Medicine（深度医学）；University of Oxford（牛津大学）
更广泛地使用深度学习进行临床决策的一个主要障碍是难以为模型预测分配置信度。目前，深度贝叶斯神经网络和稀疏高斯过程是两种主要的可扩展不确定性估计方法。然而，深度贝叶斯神经网络缺乏表现力，更有表现力的模型，如深度核学习，它是稀疏高斯过程的扩展，只捕捉来自更高级别潜在空间的不确定性。因此，其下的深度学习模型缺乏可解释性，忽略了来自原始数据的不确定性。在本文中，我们将深度贝叶斯学习框架的功能与深度内核学习相结合，以利用这两种方法的优势进行更全面的不确定性估计。通过一系列应用于大规模电子病历的心力衰竭，糖尿病和抑郁症首次发病率预测实验，我们证明了我们的方法比高斯过程和深度贝叶斯神经网络在指示数据不足和区分真阳性和假阳性预测方面更好地捕捉不确定性，具有相当的泛化性能。此外，通过评估预测概率的准确性和受试者工作特征曲线下的面积，我们表明，我们的方法不太容易做出过度自信的预测，特别是对于不平衡数据集中的少数类。最后，我们展示了如何由模型得出的不确定性信息可以告知风险因素分析模型的可解释性。
2020-03-23 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言，该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外，作者表明，这种方法在使用学生网络的分类设置中是成功的，该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中，我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明，使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法，通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Uncertainty in Neural Networks: Approximately Bayesian Ensembling
University of Cambridge（剑桥大学）
理解神经网络（NN）预测的不确定性对于许多目的都是至关重要的。贝叶斯框架为此提供了一种原则性的方法，但是由于大量的参数和数据，将其应用于NN是具有挑战性的。集成神经网络提供了一种易于实现的，可扩展的不确定性量化方法，然而，它被批评为不是贝叶斯。这项工作提出了一个修改通常的过程中，我们认为确实会导致近似贝叶斯推断;正则化参数的值从一个分布，可以设置为等于先验。在一个简化的设置程序的理论分析表明，恢复后的中心是正确的，但往往有一个低估的边际方差，高估的相关性。然而，有两个条件可以导致准确的恢复。我们认为，这些条件是部分存在于NN。实验结果表明，它具有优于标准集成，并与变分方法的竞争力。
2020-02-26 cs.LG stat.ML
Improve Uncertainty Estimation for Unknown Classes in Bayesian Neural Networks with Semi-Supervised /One Set Classification
虽然深度神经网络（DNN）已经取得了许多最先进的结果，估计DNN模型和数据中存在的不确定性是一项具有挑战性的任务。与不确定性相关的问题，例如将未知类别（未出现在训练数据中的类别）数据分类为具有高置信度的已知类别，在安全域领域（例如，自动驾驶、医疗诊断）中受到严重关注。在本文中，我们表明，单独应用当前的贝叶斯神经网络（BNN）技术不能有效地捕捉不确定性。为了解决这个问题，我们引入了一种简单的方法来改进BNN，通过使用一个类分类（在本文中，我们使用术语“集合分类”代替）。我们经验性地显示了我们的方法在实验上的结果，该实验涉及三个数据集：MNIST，notMNIST和FMNIST。
2018-05-16 cs.LG stat.ML
The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks
LORIA（洛里亚计算机科学与应用实验室）；CentraleSupélec（中央高等电力学院）
本文通过实验揭示贝叶斯深度学习中认知不确定性随模型增大或数据稀少而异常坍缩的“认知不确定性漏洞”，并评估其对分布外样本检测的影响。
2024-07-02 cs.LG stat.ML
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
虽然不确定性估计是深度学习中一个研究得很好的主题，但大多数此类工作都集中在边际不确定性估计上，即各个输入位置的预测均值和方差。但是，估计不同输入位置处的函数值之间的预测相关性通常更有用。在本文中，我们考虑的问题，基准如何准确贝叶斯模型可以估计预测相关性。我们首先考虑一个依赖于后验预测相关性的下游任务：转导主动学习（TAL）。我们发现TAL比普通的主动学习更好地利用了模型的不确定性估计，并推荐将其作为评估贝叶斯模型的基准。由于TAL太昂贵和间接的指导算法的开发，我们引入了两个指标，更直接地评估预测相关性，可以有效地计算：元相关性（即模型相关性估计和真实值之间的相关性），和交叉归一化似然（XLL）。我们通过证明它们与TAL性能的一致性来验证这些指标，并了解当前贝叶斯神经网络和高斯过程模型的相对性能。
2021-03-01 cs.LG stat.ML
Mean-Variance Analysis in Bayesian Optimization under Uncertainty
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
我们认为主动学习（AL）在一个不确定的环境中，需要考虑多种风险措施之间的权衡。作为一个在这样一个不确定环境中的AL问题，我们研究的均值方差分析在贝叶斯优化（MVA-BO）设置。均值-方差分析是在金融工程领域发展起来的，用于考虑投资不确定性的平均值和方差之间的权衡来做出决策。在本文中，我们特别关注BO设置与不确定的组件，并考虑多任务，多目标和约束优化方案的均值方差权衡的不确定组件。当目标黑盒函数用高斯过程（GP）建模时，我们推导了两个风险测度的界，并基于风险测度界分别提出了上述三个问题的AL算法。我们通过理论分析和数值实验证明了所提出的AL算法的有效性。
2020-09-17 cs.LG stat.ML
Natural Posterior Network: Deep Bayesian Uncertainty for Exponential Family Distributions
Munich Data Science Institute（慕尼黑数据科学研究所）；Technical University of Munich（慕尼黑工业大学）
不确定性意识对于开发可靠的机器学习模型至关重要。在这项工作中，我们提出了自然后验网络（NatPN）的快速和高质量的不确定性估计的目标分布属于指数族的任何任务。因此，NatPN适用于分类和一般回归设置。与许多以前的方法不同，NatPN在训练时不需要分布外（OOD）数据。相反，它利用Normalizing Flows在学习的低维和任务相关的潜在空间上拟合单一密度。对于任何输入样本，NatPN使用预测的可能性对目标分布执行贝叶斯更新。理论上，NatPN分配远离训练数据的高不确定性。从经验上讲，我们在校准和OOD检测方面的广泛实验表明，NatPN在分类、回归和计数预测任务方面具有极强的竞争力。
2022-03-16 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
On the underestimation of model uncertainty by Bayesian K-nearest neighbors
当使用K-最近邻方法时，人们经常忽略K的选择中的不确定性。为了解释这种不确定性，Holmes和Adams（2002）提出了一个贝叶斯框架，用于K-最近邻（KNN）。他们的贝叶斯KNN（BKNN）方法使用伪似然函数和标准的马尔可夫链蒙特卡罗（MCMC）技术来绘制后验样本。Holmes和Adams（2002）关注BKNN在误分类错误方面的性能，但没有评估其量化不确定性的能力。我们提出了一些证据表明，BKNN仍然显着低估了模型的不确定性。
2008-04-08 stat.ML
SOLBP: Second-Order Loopy Belief Propagation for Inference in Uncertain Bayesian Networks
University of Michigan（密歇根大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；BI Norwegian Business School（BI挪威商学院）；University of Brescia（布雷西亚大学）
在二阶不确定贝叶斯网络中，条件概率仅在分布内已知，即，概率大于概率Delta方法已被应用于扩展精确的一阶推理方法，通过贝叶斯网络派生的和-积网络传播均值和方差，从而表征认知不确定性或模型本身的不确定性。或者，二阶信念传播已被证明为多树，但不是一般的有向无环图结构。在这项工作中，我们将Loopy Belief Propagation扩展到二阶贝叶斯网络的设置，从而产生二阶Loopy Belief Propagation（SOLBP）。对于二阶贝叶斯网络，SOLBP生成的推理与和积网络生成的推理一致，同时计算效率更高，可扩展性更强。
2022-08-16 cs.AI cs.LG stat.ML
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
提出了一种基于贝叶斯神经网络（BNN）和哈密顿蒙特卡罗（HMC）的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样，以量化系统中的不确定性。数值算例表明，在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果，计算成本几乎是独立的维度的问题，展示了潜在的方法，用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks
我们推导出一种新的敏感性分析的输入变量预测认知和任意的不确定性。我们使用贝叶斯神经网络作为一个模型类的潜在变量，并说明我们的敏感性分析对现实世界的数据集的有用性。我们的方法增加了复杂的黑盒概率模型的可解释性。
2017-12-10 stat.ML
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications
University of Amsterdam（阿姆斯特丹大学）；Pacmed BV（帕克梅德公司）
本研究提出利用贝叶斯建模的预测不确定性来降低ICU临床决策中的预测风险并检测分布外样本，理论推导与MIMIC-III数据集实验证明其能有效防止错误并提升模型可信度。
2024-07-25 cs.AI cs.LG stat.ML
Uncertain Bayesian Networks: Learning from Incomplete Data
Univ. of Michigan（密歇根大学）；US Army DEVCOM ARL（美国陆军作战能力发展司令部陆军研究实验室）；Univ. of Brescia（布雷西亚大学）
在历史数据有限的情况下，贝叶斯网络节点的条件概率是不确定的，可以通过经验估计得到。二阶估计方法为估计概率和量化这些估计中的不确定性提供了一个框架。我们将这些情况称为不确定或二阶贝叶斯网络。当这些数据完整时，即，对于每个实例化观察所有变量值，已知条件概率是狄利克雷分布的。本文改进了当前处理不确定贝叶斯网络的最新方法，使它们能够学习其参数的分布，即，条件概率，数据不完整。我们广泛地评估各种方法来学习后验的参数，通过所需的和经验得出的各种查询的置信区间的强度。
2022-08-08 cs.AI cs.LG stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
由于可扩展的近似贝叶斯推断技术的发展，贝叶斯神经网络（BNN）最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点：参数和预测的不确定性变得容易获得，便于严格的统计分析。此外，还可以纳入先前的知识。然而，到目前为止，还没有可扩展的技术能够结合模型（结构）和参数的不确定性。本文在BNN中引入模型不确定性的概念，从而在模型和参数的联合空间中进行推理。此外，我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率，将模型空间的约束。最后，我们表明，通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性，允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge（剑桥大学）
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法，但迄今为止的研究都集中在平均准确度作为主要指标。然而，要用模型取代昂贵的关键任务实验，高平均精度是不够的：离群值可能会破坏发现活动，因此模型需要可靠地预测何时会失败，即使训练数据有偏差;实验是昂贵的，因此模型需要数据高效，并使用主动学习建议信息丰富的训练集。我们表明，不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样，以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离，在低数据限制下保持不确定性估计的准确性，并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
A deep-learning based Bayesian approach to seismic imaging and uncertainty quantification
Georgia Institute of Technology（佐治亚理工学院）
不确定性量化是必不可少的，当处理病态的反问题，由于固有的非唯一性的解决方案。贝叶斯方法允许我们通过公式化后验分布来确定未知参数的估计的可能性。不幸的是，通常不可能用公式表示一个先验分布，它精确地编码了我们关于未知的先验知识。此外，坚持手工制作的先验可能会极大地偏倚贝叶斯分析的结果。为了解决这个问题，我们建议使用随机初始化的卷积神经网络的函数形式作为隐式结构化先验，这被证明可以促进自然图像并排除具有非自然噪声的图像。为了将模型的不确定性纳入最终估计，我们使用随机梯度Langevin动力学对后验分布进行采样，并对获得的样本进行贝叶斯模型平均。我们的合成数值实验验证了深度先验与贝叶斯模型平均相结合能够部分规避成像伪影并降低极端噪声存在下过拟合的风险。最后，我们提出了逐点方差的估计作为衡量的不确定性，这与更难以成像的区域相吻合。
2020-01-15 cs.LG physics.geo-ph stat.ML
Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University（莫纳什大学）
来自神经网络的概率预测在分类期间解释预测不确定性，这在许多现实世界和高影响决策制定设置中是至关重要的。然而，在实践中，大多数数据集都是在非概率神经网络上训练的，默认情况下，这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展，例如普拉特缩放（逻辑），等渗和β校准，将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络，它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集，但它们在表格和小数据领域的应用有限。在本文中，我们证明了贝叶斯神经网络产生竞争力的性能相比，校准的神经网络，并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
Hey Human, If your Facial Emotions are Uncertain, You Should Use Bayesian Neural Networks!
Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
人脸情感识别是对人脸图像中的人类情感进行分类的任务。这是一个困难的任务，由于高度任意的不确定性和视觉模糊性。很大一部分文献旨在通过提高这项任务的准确性来显示进展，但这忽略了任务中固有的不确定性和模糊性。在本文中，我们表明，贝叶斯神经网络，近似使用MC-Dropout，MC-DropConnect，或一个包围，能够模拟任意的不确定性在面部表情识别，并产生输出概率，更接近人类的期望。我们还表明，校准指标显示奇怪的行为，这项任务，由于多个类，可以被认为是正确的，这激励了未来的工作。我们相信我们的工作将激励其他研究人员从经典转向贝叶斯神经网络。
2020-08-17 cs.CV cs.LG stat.ML
Deep Ensembles from a Bayesian Perspective
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）
深度集成可以被认为是深度学习中不确定性量化的当前最先进技术。虽然这种方法最初是作为一种非贝叶斯技术提出的，但也提出了支持其贝叶斯基础的论点。我们表明，深合奏可以被看作是一个近似的贝叶斯方法，通过指定相应的假设。我们的研究结果导致一个改进的近似结果在扩大的认知部分的不确定性。数值算例表明，改进的近似可以导致更可靠的不确定性。分析推导确保结果的简单计算。
2021-11-18 cs.AI cs.LG stat.ML
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech（弗吉尼亚理工大学）
本文研究具有可信不确定性量化的贝叶斯回归问题，提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes，刻画了概率下界与样本复杂度，并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
Uncertainty quantification of molecular property prediction using Bayesian neural network models
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）；KAIST Institute for Artificial Intelligence（韩国科学技术院人工智能研究所）
在化学领域，深度神经网络模型越来越多地用于各种应用，如分子性质预测、新型分子设计和规划化学反应。尽管最先进的模型和算法的使用迅速增加，但深度神经网络模型在实际应用中的预测效果往往很差，因为模型性能高度依赖于训练数据的质量。在分子分析领域，数据大多来自复杂的化学实验或近似的数学方程，数据的质量可能受到质疑，本文将贝叶斯神经网络用于分子性质预测，量化预测的不确定性。我们估计模型驱动和数据驱动的不确定性，证明了有用的不确定性量化作为质量检查和置信度指标与三个实验。我们的研究结果表明，不确定性量化是必要的，更可靠的分子应用和贝叶斯神经网络模型可以是一个实用的方法。
2018-11-19 cs.LG physics.chem-ph stat.ML
Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty
Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
我们提供了简单的方案来构建贝叶斯神经网络（BNN），逐块，最近的想法计算骨架的启发。我们展示了如何通过调整计算框架中使用的块的类型，我们可以识别与深度高斯过程（DGP），深度内核学习（DKL），随机特征类型近似和其他主题的有趣关系。我们给出了通过双随机变分推断来近似后验的策略，这些模型产生不确定性估计。我们给出了详细的理论分析，并指出可能是独立的利益扩展。作为一个特殊的情况下，我们实例化我们的程序来定义贝叶斯{ \em添加剂}神经网络-一个有前途的策略，以确定统计相互作用，并获得可解释的模型有直接的好处。
2018-06-10 cs.AI cs.LG stat.ML
Sampling-based Bayesian Inference with gradient uncertainty
Seoul National University（首尔国立大学）
深度神经网络（NN）已经取得了令人印象深刻的性能，在许多计算机视觉任务上往往超过人类的性能。然而，仍然存在的最具挑战性的问题之一是，神经网络对它们的预测过于自信，当这在安全关键应用中出现时，这可能是非常有害的。在本文中，我们表明，预测的不确定性，可以有效地估计时，我们将梯度不确定性的概念后验抽样。该方法在两个不同的数据集上进行了测试，MNIST用于分布中混淆的示例，notMNIST用于分布外的数据。我们表明，我们的方法能够有效地表示两个数据集上的预测不确定性。
2019-12-27 cs.AI cs.LG stat.ML
