BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University（哈佛大学）
传统的深度分类器训练会产生过度自信的模型，这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架，以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”，用于使用位于训练数据边界上的额外一类点来增强数据，然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
On the Validity of Bayesian Neural Networks for Uncertainty Estimation
University College Dublin（都柏林大学学院）
深度神经网络（DNN）是一种通用的参数模型，已成功应用于各种任务和领域。然而，他们有局限性-特别是从他们缺乏鲁棒性和过度敏感的分布样本。贝叶斯神经网络由于其在贝叶斯框架下的公式化，提供了构建解决这些限制的神经网络的原则性方法。本文描述了一项研究，经验评估和比较贝叶斯神经网络，他们的等效点估计深度神经网络量化的预测不确定性引起的参数，以及他们的表现，鉴于这种不确定性。在这项研究中，我们评估和比较了三点估计深度神经网络对可比贝叶斯神经网络替代品使用两个著名的基准图像分类数据集（CIFAR-10和SVHN）。
2019-12-29 cs.LG stat.ML
Meta-Uncertainty in Bayesian Model Comparison
University of Stuttgart（斯图加特大学）；Heidelberg University（海德堡大学）
贝叶斯模型比较（BMC）提供了一种原则性的概率方法来研究和排名竞争模型。在标准BMC中，我们在可能的模型集合上构造离散概率分布，条件是观察到的感兴趣的数据。这些后验模型概率（PMP）是不确定性的度量，但是-当从有限数量的观察中得出时-本身也是不确定的。在本文中，我们概念化的BMC中出现的不同层次的不确定性。我们探索了一个完全概率的框架，量化元不确定性，从而在一个应用的方法，以提高任何BMC的工作流程。利用贝叶斯和频率论技术，我们通过元模型表示不确定PMP的不确定性，该元模型将模拟和观察数据结合到新数据上PMP的预测分布中。我们证明了所提出的方法在共轭贝叶斯回归，似然推理与马尔可夫链蒙特卡罗，和基于模拟的推理与神经网络的背景下的效用。
2023-02-21 cs.LG stat.ML
Bayesian Scattering: A Principled Baseline for Uncertainty on Image Data
University of Tübingen（图宾根大学）；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
本文提出贝叶斯散射作为图像数据不确定性的基准方法，结合波let散射变换与概率头，避免过拟合，适用于分布偏移下的不确定性估计。
2026-03-21 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Bayesian autoencoders with uncertainty quantification: Towards trustworthy anomaly detection
University of Cambridge（剑桥大学）
尽管针对无监督异常检测的深度自动编码器（AE）进行了大量研究，但AE仍然缺乏表达其预测不确定性的方法，这对于确保高风险应用中安全可靠的机器学习系统至关重要。因此，在这项工作中，贝叶斯自动编码器（BAE）的制定采用量化的总异常的不确定性，包括认知和任意的不确定性。为了评估不确定性的质量，我们考虑了异常分类的任务，并附加了拒绝高不确定性预测的选项。此外，我们使用的精度拒绝曲线，并提出加权平均精度作为性能指标。我们的实验证明了BAE和总异常不确定性对一组基准数据集和两个真实的制造数据集的有效性：一个用于状态监测，另一个用于质量检测。
2022-02-25 cs.LG stat.ML
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系，通过模运算任务分析训练过程中预测不确定性演变，发现模型理解后不确定性骤降，为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
Using Bayesian deep learning approaches for uncertainty-aware building energy surrogate models
University of Victoria（维多利亚大学）；Department of Civil Engineering（土木工程系）；Energy and Cities Group（能源与城市小组）
基于快速机器学习的代理模型经过训练，可模拟慢速、高保真的工程仿真模型，从而加快工程设计任务。这引入了不确定性，因为替代模型只是原始模型的近似值。贝叶斯方法可以量化这种不确定性，并且存在遵循贝叶斯范式的深度学习模型。这些模型，即贝叶斯神经网络和高斯过程模型，使我们能够给出预测与模型的不确定性的估计。因此，我们可以得到不确定性感知代理模型，可以自动怀疑看不见的设计样本，导致大的仿真错误。对于这些样本，可以改为查询高保真模型。这概述了贝叶斯范式如何让我们混合快速，但近似，缓慢，但准确的模型。本文针对复杂的高维建筑能耗模拟问题，训练了两类贝叶斯模型：丢弃神经网络和随机变分高斯过程模型。代理模型处理35个建筑设计参数（输入）以估计12个不同的性能度量（输出）。我们对这两种方法进行了基准测试，证明了它们的准确性是有竞争力的，并表明当将具有最高不确定性的10%的样本转移到高保真模型时，误差可以减少30%。
2020-10-05 cs.LG stat.ML
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系，提出蒙特卡洛噪声注入方法，在训练时注入噪声、推断时多次前向传播，实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Quality of Uncertainty Quantification for Bayesian Neural Network Inference
Harvard University（哈佛大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
贝叶斯神经网络（BNN）在神经网络中的参数上放置先验。然而，BNN的推理是困难的; BNN的所有推理方法都是近似的。在这项工作中，我们经验比较的质量预测不确定性估计的10个常见的推理方法回归和分类任务。我们的实验表明，常用的指标（例如测试对数似然）可能会产生误导。我们的实验还表明，设计用于捕获后验结构的推理创新不一定会产生高质量的后验近似。
2019-06-24 cs.LG stat.ML
Bayesian differential programming for robust systems identification under uncertainty
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一个机器学习框架，用于从噪声、稀疏和不规则的非线性动态系统的观测中识别贝叶斯系统。该方法利用微分编程的最新发展，通过常微分方程求解器传播梯度信息，并使用Hamilton Monte Carlo对未知模型参数进行贝叶斯推断。这使我们能够有效地推断后验分布与量化的不确定性的似是而非的模型，而稀疏促进先验的使用，使潜在的潜在动态的可解释的和简约的表示发现。一系列的数值研究表明，所提出的方法的有效性，包括非线性振子，捕食-食饵系统，混沌动力学和系统生物学。总之，我们的研究结果提出了一个新的，灵活的和强大的工作流程，数据驱动的模型发现下的不确定性。
2020-04-18 cs.LG stat.ML
Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning
Siemens AG（西门子股份公司）；TU Munich（慕尼黑工业大学）；University of Cambridge（剑桥大学）；Harvard University（哈佛大学）
具有潜在变量的贝叶斯神经网络是可扩展且灵活的概率模型：它们考虑了网络权重估计中的不确定性，并且通过利用潜在变量，可以捕获数据中的复杂噪声模式。我们展示了如何提取和分解的不确定性为决策目的的认知和任意组件。这使我们能够成功地识别信息点的功能与异方差和双峰噪声的主动学习。使用分解，我们进一步定义了一个新的风险敏感的强化学习标准，以确定平衡预期成本，模型偏差和噪音厌恶的政策。
2018-06-15 cs.LG stat.ML
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
University of Cambridge（剑桥大学）
深度学习工具在应用机器学习中获得了极大的关注。然而，这种回归和分类工具并不能捕捉模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来高昂的计算成本。在本文中，我们开发了一个新的理论框架，将深度神经网络（NN）中的辍学训练作为深度高斯过程中的近似贝叶斯推断。这一理论的直接结果为我们提供了使用dropout NN对不确定性建模的工具-从迄今为止被丢弃的现有模型中提取信息。这缓解了在深度学习中表示不确定性的问题，而不会牺牲计算复杂性或测试准确性。我们进行了广泛的研究辍学的不确定性的性质。以MNIST为例，对回归和分类任务进行了各种网络架构和非线性评估。与现有的最先进的方法相比，我们在预测对数似然和RMSE方面有了相当大的改进，并通过在深度强化学习中使用dropout的不确定性来完成。
2016-10-04 cs.LG stat.ML
Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records
Deep Medicine（深度医学）；University of Oxford（牛津大学）
更广泛地使用深度学习进行临床决策的一个主要障碍是难以为模型预测分配置信度。目前，深度贝叶斯神经网络和稀疏高斯过程是两种主要的可扩展不确定性估计方法。然而，深度贝叶斯神经网络缺乏表现力，更有表现力的模型，如深度核学习，它是稀疏高斯过程的扩展，只捕捉来自更高级别潜在空间的不确定性。因此，其下的深度学习模型缺乏可解释性，忽略了来自原始数据的不确定性。在本文中，我们将深度贝叶斯学习框架的功能与深度内核学习相结合，以利用这两种方法的优势进行更全面的不确定性估计。通过一系列应用于大规模电子病历的心力衰竭，糖尿病和抑郁症首次发病率预测实验，我们证明了我们的方法比高斯过程和深度贝叶斯神经网络在指示数据不足和区分真阳性和假阳性预测方面更好地捕捉不确定性，具有相当的泛化性能。此外，通过评估预测概率的准确性和受试者工作特征曲线下的面积，我们表明，我们的方法不太容易做出过度自信的预测，特别是对于不平衡数据集中的少数类。最后，我们展示了如何由模型得出的不确定性信息可以告知风险因素分析模型的可解释性。
2020-03-23 cs.LG stat.ML
The Epistemic Uncertainty Hole: an issue of Bayesian Neural Networks
LORIA（洛里亚计算机科学与应用实验室）；CentraleSupélec（中央高等电力学院）
本文通过实验揭示贝叶斯深度学习中认知不确定性随模型增大或数据稀少而异常坍缩的“认知不确定性漏洞”，并评估其对分布外样本检测的影响。
2024-07-02 cs.LG stat.ML
NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification
Imperial College London（帝国学院伦敦分校）；University of Copenhagen（哥本哈根大学）
NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能，结合新颖的数据增强方案和高效变分算法，在合成和真实数据中均表现出优越的模型性能。
2025-11-05 cs.LG stat.ML
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Adaptive Conformal Prediction via Bayesian Uncertainty Weighting for Hierarchical Healthcare Data
Rochester Institute of Technology（罗切斯特理工学院）
本文提出一种结合贝叶斯不确定性加权与置信校准的混合框架，用于提升医疗数据中的不确定性量化精度与覆盖保证。
2026-01-03 cs.LG stat.ML
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Amazon Alexa AI（亚马逊Alexa AI）
提出生成式后验网络（GPNs），利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验，从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Improve Uncertainty Estimation for Unknown Classes in Bayesian Neural Networks with Semi-Supervised /One Set Classification
虽然深度神经网络（DNN）已经取得了许多最先进的结果，估计DNN模型和数据中存在的不确定性是一项具有挑战性的任务。与不确定性相关的问题，例如将未知类别（未出现在训练数据中的类别）数据分类为具有高置信度的已知类别，在安全域领域（例如，自动驾驶、医疗诊断）中受到严重关注。在本文中，我们表明，单独应用当前的贝叶斯神经网络（BNN）技术不能有效地捕捉不确定性。为了解决这个问题，我们引入了一种简单的方法来改进BNN，通过使用一个类分类（在本文中，我们使用术语“集合分类”代替）。我们经验性地显示了我们的方法在实验上的结果，该实验涉及三个数据集：MNIST，notMNIST和FMNIST。
2018-05-16 cs.LG stat.ML
Assessing the Robustness of Bayesian Dark Knowledge to Posterior Uncertainty
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
贝叶斯暗知识是一种用于将神经网络模型的后验预测分布压缩成更紧凑形式的方法。具体而言，该方法试图将参数后验的Monte Carlo近似压缩到表示后验预测分布的单个网络中。此外，作者表明，这种方法在使用学生网络的分类设置中是成功的，该学生网络的架构与教师集成中的单个网络相匹配。在这项工作中，我们研究了贝叶斯暗知识对更高水平的后验不确定性的鲁棒性。我们表明，使用与教师架构相匹配的学生网络可能无法产生可接受的性能。我们研究了一种方法，通过增加学生模型容量来缩小由此产生的性能差距。
2019-06-10 cs.LG stat.ML
Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index
Cornell University（康奈尔大学）；Caltech（加州理工学院）
本研究建立成本感知贝叶斯优化与潘多拉魔盒问题的关联，将Gittins指数作为采集函数，实验证明其在中高维场景表现优异，且可迁移至经典贝叶斯优化，为融合两类理论技术迈出第一步。
2026-10-27 cs.LG stat.ML
Bayesian Layers: A Module for Neural Network Uncertainty
Google Brain（谷歌大脑）
我们描述了贝叶斯层，一个模块设计的快速实验与神经网络的不确定性。它扩展了神经网络库，并为公共层提供了直接替换。这使得通过确定性和随机函数的统一抽象来实现组合，并允许通过底层系统进行可扩展性。这些层捕获权重（贝叶斯神经网络），预激活单元（dropout），激活（“随机输出层”）或函数本身（高斯过程）的不确定性。它们也可以是可逆的，将不确定性从输入传播到输出。我们包括常见架构的代码示例，如贝叶斯LSTM，深度GP和基于流的模型。作为演示，我们在512个TPUv2内核上安装了50亿个参数“贝叶斯Transformer”，用于机器翻译中的不确定性，并使用贝叶斯动力学模型进行基于模型的规划。最后，我们展示了如何贝叶斯层可以使用在爱德华2概率程序设计语言的概率程序与随机过程。
2019-03-05 cs.LG cs.PL stat.ML
Uncertainty in Neural Networks: Approximately Bayesian Ensembling
University of Cambridge（剑桥大学）
理解神经网络（NN）预测的不确定性对于许多目的都是至关重要的。贝叶斯框架为此提供了一种原则性的方法，但是由于大量的参数和数据，将其应用于NN是具有挑战性的。集成神经网络提供了一种易于实现的，可扩展的不确定性量化方法，然而，它被批评为不是贝叶斯。这项工作提出了一个修改通常的过程中，我们认为确实会导致近似贝叶斯推断;正则化参数的值从一个分布，可以设置为等于先验。在一个简化的设置程序的理论分析表明，恢复后的中心是正确的，但往往有一个低估的边际方差，高估的相关性。然而，有两个条件可以导致准确的恢复。我们认为，这些条件是部分存在于NN。实验结果表明，它具有优于标准集成，并与变分方法的竞争力。
2020-02-26 cs.LG stat.ML
Natural Posterior Network: Deep Bayesian Uncertainty for Exponential Family Distributions
Munich Data Science Institute（慕尼黑数据科学研究所）；Technical University of Munich（慕尼黑工业大学）
不确定性意识对于开发可靠的机器学习模型至关重要。在这项工作中，我们提出了自然后验网络（NatPN）的快速和高质量的不确定性估计的目标分布属于指数族的任何任务。因此，NatPN适用于分类和一般回归设置。与许多以前的方法不同，NatPN在训练时不需要分布外（OOD）数据。相反，它利用Normalizing Flows在学习的低维和任务相关的潜在空间上拟合单一密度。对于任何输入样本，NatPN使用预测的可能性对目标分布执行贝叶斯更新。理论上，NatPN分配远离训练数据的高不确定性。从经验上讲，我们在校准和OOD检测方面的广泛实验表明，NatPN在分类、回归和计数预测任务方面具有极强的竞争力。
2022-03-16 cs.LG stat.ML
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
虽然不确定性估计是深度学习中一个研究得很好的主题，但大多数此类工作都集中在边际不确定性估计上，即各个输入位置的预测均值和方差。但是，估计不同输入位置处的函数值之间的预测相关性通常更有用。在本文中，我们考虑的问题，基准如何准确贝叶斯模型可以估计预测相关性。我们首先考虑一个依赖于后验预测相关性的下游任务：转导主动学习（TAL）。我们发现TAL比普通的主动学习更好地利用了模型的不确定性估计，并推荐将其作为评估贝叶斯模型的基准。由于TAL太昂贵和间接的指导算法的开发，我们引入了两个指标，更直接地评估预测相关性，可以有效地计算：元相关性（即模型相关性估计和真实值之间的相关性），和交叉归一化似然（XLL）。我们通过证明它们与TAL性能的一致性来验证这些指标，并了解当前贝叶斯神经网络和高斯过程模型的相对性能。
2021-03-01 cs.LG stat.ML
Uncertainty quantification of molecular property prediction with Bayesian neural networks
KAIST（韩国科学技术院）；Seoul National University（首尔国立大学）
深度神经网络在各种分子应用中的表现优于现有的机器学习模型。在实际应用中，由于训练数据的质量和数量不足，导致预测的不确定性，仍然很难做出有信心的决策。在这里，我们表明，贝叶斯神经网络是有用的量化的分子性质预测的不确定性与三个数值实验。特别是，它使我们能够将预测方差分解为模型和数据驱动的不确定性，这有助于阐明错误的来源。在logP预测中，我们发现数据噪声对数据驱动的不确定性的影响比模型驱动的更显著。基于这种分析，我们能够在哈佛清洁能源项目数据集中发现意想不到的错误。最后，我们通过对生物活性和毒性分类问题的研究表明，预测的置信度与预测的不确定性密切相关。
2019-03-20 cs.LG stat.ML
Uncertainty Quantification and Propagation in Surrogate-based Bayesian Inference
University of Stuttgart（斯图加特大学）；TU Dortmund University（多特蒙德工业大学）
本文提出了一种可扩展的贝叶斯框架，用于代理建模中的不确定性量化与传播，通过三种方法提升对现实世界建模任务中参数估计的可靠性。
2025-02-05 cs.LG stat.ML
Bayesian Parametric Matrix Models: Principled Uncertainty Quantification for Spectral Learning
提出贝叶斯参数矩阵模型（B-PMMs），通过自适应谱分解和流形感知变分推断解决标准贝叶斯方法在矩阵特征值问题中的失效问题，在保持计算效率的同时实现了卓越的不确定性校准。
2025-09-15 cs.LG stat.ML
Modeling the Uncertainty in Electronic Health Records: a Bayesian Deep Learning Approach
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
随着电子健康记录（EHR）的爆炸性增长，深度学习模型在预测任务中表现出了卓越的性能。然而，由于缺乏透明度，深度学习模型的行为很难解释。没有可信度，深度学习模型将无法帮助医疗保健问题的现实决策过程。我们提出了一种基于贝叶斯神经网络（BNN）的深度学习模型来预测由数据噪声引起的不确定性。引入不确定性是为了提供具有额外置信度的模型预测。我们的实验验证了具有高不确定性的实例对模型性能是有害的。此外，通过研究模型预测和不确定性的分布，我们发现有可能识别出一组患者进行及时干预，从而降低数据噪声将更有利于这些患者的预测准确性。
2019-07-14 cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
我们介绍了隐式贝叶斯神经网络，这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反，我们建议通过用潜变量增加每层的输入来诱导一个分布，该分布捕获神经网络上的不确定性。我们提出了适当的输入分布，并展示了最先进的性能，在大规模，数百万参数的图像分类任务的校准，鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）
我们描述了平均场变分推理（MFVI），贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是，MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时，测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反，我们发现，一个经典的技术，线性化的拉普拉斯近似，可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Uncertainty in Graph Contrastive Learning with Bayesian Neural Networks
TU Delft（代尔夫特理工大学）；ETH Zürich（苏黎世联邦理工学院）；Helmholtz AI（亥姆霍兹人工智能中心）
本文提出用变分贝叶斯神经网络改进图对比学习的不确定性估计与半监督节点分类性能，并基于不同正样本的似然不一致性设计了一种新的对比学习不确定性度量。
2023-11-30 cs.AI cs.LG stat.ML
On the underestimation of model uncertainty by Bayesian K-nearest neighbors
当使用K-最近邻方法时，人们经常忽略K的选择中的不确定性。为了解释这种不确定性，Holmes和Adams（2002）提出了一个贝叶斯框架，用于K-最近邻（KNN）。他们的贝叶斯KNN（BKNN）方法使用伪似然函数和标准的马尔可夫链蒙特卡罗（MCMC）技术来绘制后验样本。Holmes和Adams（2002）关注BKNN在误分类错误方面的性能，但没有评估其量化不确定性的能力。我们提出了一些证据表明，BKNN仍然显着低估了模型的不确定性。
2008-04-08 stat.ML
Sensitivity Analysis for Predictive Uncertainty in Bayesian Neural Networks
我们推导出一种新的敏感性分析的输入变量预测认知和任意的不确定性。我们使用贝叶斯神经网络作为一个模型类的潜在变量，并说明我们的敏感性分析对现实世界的数据集的有用性。我们的方法增加了复杂的黑盒概率模型的可解释性。
2017-12-10 stat.ML
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
提出了一种基于贝叶斯神经网络（BNN）和哈密顿蒙特卡罗（HMC）的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样，以量化系统中的不确定性。数值算例表明，在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果，计算成本几乎是独立的维度的问题，展示了潜在的方法，用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Bayesian Modelling in Practice: Using Uncertainty to Improve Trustworthiness in Medical Applications
University of Amsterdam（阿姆斯特丹大学）；Pacmed BV（帕克梅德公司）
本研究提出利用贝叶斯建模的预测不确定性来降低ICU临床决策中的预测风险并检测分布外样本，理论推导与MIMIC-III数据集实验证明其能有效防止错误并提升模型可信度。
2024-07-25 cs.AI cs.LG stat.ML
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而，在某些情况下，黑盒目标函数的评估成本是不均匀的，因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束，我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组，其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛，结合这种成本意识的约束，同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）
由于可扩展的近似贝叶斯推断技术的发展，贝叶斯神经网络（BNN）最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点：参数和预测的不确定性变得容易获得，便于严格的统计分析。此外，还可以纳入先前的知识。然而，到目前为止，还没有可扩展的技术能够结合模型（结构）和参数的不确定性。本文在BNN中引入模型不确定性的概念，从而在模型和参数的联合空间中进行推理。此外，我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率，将模型空间的约束。最后，我们表明，通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性，允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge（剑桥大学）
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法，但迄今为止的研究都集中在平均准确度作为主要指标。然而，要用模型取代昂贵的关键任务实验，高平均精度是不够的：离群值可能会破坏发现活动，因此模型需要可靠地预测何时会失败，即使训练数据有偏差;实验是昂贵的，因此模型需要数据高效，并使用主动学习建议信息丰富的训练集。我们表明，不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样，以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离，在低数据限制下保持不确定性估计的准确性，并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
A deep-learning based Bayesian approach to seismic imaging and uncertainty quantification
Georgia Institute of Technology（佐治亚理工学院）
不确定性量化是必不可少的，当处理病态的反问题，由于固有的非唯一性的解决方案。贝叶斯方法允许我们通过公式化后验分布来确定未知参数的估计的可能性。不幸的是，通常不可能用公式表示一个先验分布，它精确地编码了我们关于未知的先验知识。此外，坚持手工制作的先验可能会极大地偏倚贝叶斯分析的结果。为了解决这个问题，我们建议使用随机初始化的卷积神经网络的函数形式作为隐式结构化先验，这被证明可以促进自然图像并排除具有非自然噪声的图像。为了将模型的不确定性纳入最终估计，我们使用随机梯度Langevin动力学对后验分布进行采样，并对获得的样本进行贝叶斯模型平均。我们的合成数值实验验证了深度先验与贝叶斯模型平均相结合能够部分规避成像伪影并降低极端噪声存在下过拟合的风险。最后，我们提出了逐点方差的估计作为衡量的不确定性，这与更难以成像的区域相吻合。
2020-01-15 cs.LG physics.geo-ph stat.ML
Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University（莫纳什大学）
来自神经网络的概率预测在分类期间解释预测不确定性，这在许多现实世界和高影响决策制定设置中是至关重要的。然而，在实践中，大多数数据集都是在非概率神经网络上训练的，默认情况下，这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展，例如普拉特缩放（逻辑），等渗和β校准，将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络，它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集，但它们在表格和小数据领域的应用有限。在本文中，我们证明了贝叶斯神经网络产生竞争力的性能相比，校准的神经网络，并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
A Privacy-Aware Bayesian Approach for Combining Classifier and Cluster Ensembles
University of Texas (UT) at Austin（德克萨斯大学奥斯汀分校）；University of Sao Paulo (USP)（圣保罗大学）
本文介绍了一种隐私感知贝叶斯方法，它结合了分类器和聚类器的集成来执行半监督和直推学习。我们考虑的情况下，实例及其分类/聚类结果分布在不同的数据站点，并有共享限制。作为一种特殊情况，当目标数据的实例分布在不同的数据站点时，模型的隐私感知计算也进行了讨论。实验结果表明，该方法可以提供良好的分类精度，同时坚持数据/模型共享的限制。
2012-04-20 cs.CV cs.LG stat.ML
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech（弗吉尼亚理工大学）
本文研究具有可信不确定性量化的贝叶斯回归问题，提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes，刻画了概率下界与样本复杂度，并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
Sampling-based Bayesian Inference with gradient uncertainty
Seoul National University（首尔国立大学）
深度神经网络（NN）已经取得了令人印象深刻的性能，在许多计算机视觉任务上往往超过人类的性能。然而，仍然存在的最具挑战性的问题之一是，神经网络对它们的预测过于自信，当这在安全关键应用中出现时，这可能是非常有害的。在本文中，我们表明，预测的不确定性，可以有效地估计时，我们将梯度不确定性的概念后验抽样。该方法在两个不同的数据集上进行了测试，MNIST用于分布中混淆的示例，notMNIST用于分布外的数据。我们表明，我们的方法能够有效地表示两个数据集上的预测不确定性。
2019-12-27 cs.AI cs.LG stat.ML
Building Bayesian Neural Networks with Blocks: On Structure, Interpretability and Uncertainty
Department of Statistics, University of Wisconsin-Madison（威斯康星大学麦迪逊分校统计系）；Department of Computer Sciences, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
我们提供了简单的方案来构建贝叶斯神经网络（BNN），逐块，最近的想法计算骨架的启发。我们展示了如何通过调整计算框架中使用的块的类型，我们可以识别与深度高斯过程（DGP），深度内核学习（DKL），随机特征类型近似和其他主题的有趣关系。我们给出了通过双随机变分推断来近似后验的策略，这些模型产生不确定性估计。我们给出了详细的理论分析，并指出可能是独立的利益扩展。作为一个特殊的情况下，我们实例化我们的程序来定义贝叶斯{ \em添加剂}神经网络-一个有前途的策略，以确定统计相互作用，并获得可解释的模型有直接的好处。
2018-06-10 cs.AI cs.LG stat.ML
Uncertainty Calibration in Bayesian Neural Networks via Distance-Aware Priors
AWS（亚马逊云科技）；Amazon（亚马逊）
当我们远离数据时，预测的不确定性应该增加，因为各种各样的解释与很少的可用信息是一致的。我们引入了距离感知先验（DAP）校准，这是一种在训练域之外纠正贝叶斯深度学习模型过度自信的方法。我们将DAP定义为模型参数的先验分布，这些参数通过测量输入与训练集的距离来依赖于输入。DAP校准对于后验推断方法是不可知的，并且它可以作为后处理步骤来执行。我们在各种分类和回归问题中证明了它对几个基线的有效性，包括旨在测试远离数据的预测分布质量的基准。
2022-07-17 cs.AI cs.LG stat.ML
Logit Disagreement: OoD Detection with Bayesian Neural Networks
University of Ottawa（渥太华大学）
针对贝叶斯神经网络中互信息分数用于OoD检测表现不佳的问题，本文提出基于修正logits不一致性的认知不确定性度量，在多个实验中性能优于互信息、与预测熵基准相当。
2025-02-21 cs.CV cs.LG stat.ML
