Uncertainty Estimations by Softplus normalization in Bayesian Convolutional Neural Networks with Variational Inference
TU Kaiserslautern（凯泽斯劳滕工业大学）；MindGarage；Imperial College London（帝国理工学院）；NeuralSpace；Luleå University of Technology（吕勒奥理工大学）
我们介绍了一种新的不确定性估计贝叶斯卷积神经网络与变分推理的分类任务。通过在最后一层对Softplus函数的输出进行归一化，我们以连贯的方式估计任意和认知的不确定性。权重的后验概率分布由Bayes by Backprop推断。首先，我们展示了这种可靠的变分推理方法可以作为各种网络架构的基本构造。在监督学习设置（MNIST，CIFAR-10，CIFAR-100）的多个数据集上，这种变分推理方法在相同的体系结构中实现了与频率论推理相当的性能，而两个必要的，不确定性和正则化的度量自然地结合在一起。其次，我们研究了我们提出的任意性和认知不确定性的度量是如何推导出来的，并在上述数据集上进行了验证。
2019-05-14 cs.CV cs.LG cs.NE
Uncertainty in Neural Relational Inference Trajectory Reconstruction
University of Cambridge（剑桥大学）
用于多交互轨迹重构的神经网络缺乏估计其输出中的不确定性的能力，这将有助于更好地分析和理解它们所建模的系统。在本文中，我们扩展了因子化神经关系推理模型输出的相空间向量的每个组成部分的平均值和标准差，这与一个适当的损失函数，可以考虑到不确定性。各种损失函数的研究，包括凸化和贝叶斯处理的问题的想法。我们表明，当考虑不确定性时，变量的物理意义是重要的，并证明了在训练过程中难以避免的病态局部极小值的存在。
2020-06-25 cs.LG stat.ML
UncertaintyPlayground: A Fast and Simplified Python Library for Uncertainty Estimation
University of Lausanne（洛桑大学）
本文介绍了基于PyTorch和GPyTorch的Python库UncertaintyPlayground，通过SVGPRs和MDN实现监督学习中的快速不确定性估计与预测区间可视化，并提供跨平台持续集成与完善文档。
2023-10-23 cs.LG stat.ML
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）
虽然深度神经网络为一系列具有挑战性的任务提供了良好的性能，但校准和不确定性估计仍然是主要的挑战，特别是在分布偏移的情况下。在本文中，我们提出了摊销条件归一化最大似然（ACNML）方法，作为一种可扩展的通用方法，用于深度网络的不确定性估计、校准和分布外鲁棒性。我们的算法建立在条件归一化最大似然（CNML）编码方案，它具有极大极小最优属性根据最小描述长度的原则，但计算上难以准确评估，但最简单的模型类。我们建议使用近似贝叶斯推理技术产生一个易于处理的近似CNML分布。我们的方法可以与任何近似推理算法相结合，提供了易于处理的模型参数的后验密度。我们证明，ACNML相比有利的不确定性估计的分布输入的校准方面的一些现有技术。
2021-03-01 cs.LG stat.ML
Density Uncertainty Layers for Reliable Uncertainty Estimation
Columbia University（哥伦比亚大学）
针对现有贝叶斯深度学习方法难以可靠估计预测不确定性的问题，提出基于输入经验密度的不确定性准则及密度不确定性层架构，在基准测试中实现了更可靠的不确定性估计与鲁棒的分布外检测。
2024-03-04 cs.LG stat.ML
Dropout Inference in Bayesian Neural Networks with Alpha-divergences
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
为了使用真实世界的贝叶斯深度学习模型获得不确定性估计，需要实际的推理近似。例如，丢弃变分推理（VI）已用于机器视觉和医学应用，但VI可能严重低估模型的不确定性。α-发散是VI KL目标的替代发散，它能够避免VI的不确定性低估。但这些方法在实际应用中存在一定的困难：现有的方法只能使用高斯近似分布，并且需要对现有模型进行根本性的修改，因此对实践者的应用受到限制。我们提出了一个重新参数化的α发散目标，推导出一个简单的推理技术，连同辍学，可以很容易地实现与现有的模型，只需改变损失的模型。我们证明了改进的不确定性估计和精度相比，VI在辍学网络。我们研究我们的模型的认知不确定性远离使用对抗图像的数据，表明这些可以通过检查我们的模型的不确定性从非对抗图像区分。
2017-03-08 cs.LG stat.ML
Uncertainty Quantification and Propagation in Surrogate-based Bayesian Inference
University of Stuttgart（斯图加特大学）；TU Dortmund University（多特蒙德工业大学）
本文提出了一种可扩展的贝叶斯框架，用于代理建模中的不确定性量化与传播，通过三种方法提升对现实世界建模任务中参数估计的可靠性。
2025-02-05 cs.LG stat.ML
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
最近有一个共同的努力，以获得视觉和机器学习系统中的机制，以提供他们所做的预测的不确定性估计。显然，一个不仅准确，而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的，但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点，得到门控递归单位（GRU）的不确定性估计。我们的建议直接量化的不确定性确定性，而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知，这是第一个结果描述无采样不确定性估计的强大的序列模型，如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Information Aware Max-Norm Dirichlet Networks for Predictive Uncertainty Estimation
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
准确估计人工智能系统预测的不确定性是确保信任和安全的关键因素。用传统方法训练的深度神经网络容易产生过度自信的预测。与贝叶斯神经网络学习权重的近似分布来推断预测置信度相比，我们提出了一种新的方法，信息感知Dirichlet网络，通过最小化预测误差的预期最大范数的界限和惩罚与不正确结果相关的信息来学习预测分布的显式Dirichlet先验分布。新的成本函数的属性导出，以指示如何实现改进的不确定性估计。使用真实数据集的实验表明，我们的技术在估计分布内和分布外的不确定性以及检测对抗性示例方面远远优于最先进的神经网络。
2021-01-04 cs.LG stat.ML
Sampling-based Bayesian Inference with gradient uncertainty
Seoul National University（首尔国立大学）
深度神经网络（NN）已经取得了令人印象深刻的性能，在许多计算机视觉任务上往往超过人类的性能。然而，仍然存在的最具挑战性的问题之一是，神经网络对它们的预测过于自信，当这在安全关键应用中出现时，这可能是非常有害的。在本文中，我们表明，预测的不确定性，可以有效地估计时，我们将梯度不确定性的概念后验抽样。该方法在两个不同的数据集上进行了测试，MNIST用于分布中混淆的示例，notMNIST用于分布外的数据。我们表明，我们的方法能够有效地表示两个数据集上的预测不确定性。
2019-12-27 cs.AI cs.LG stat.ML
Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
我们证明了使用批量归一化训练深度网络相当于贝叶斯模型中的近似推理。我们进一步证明，这一发现使我们能够使用传统架构对模型的不确定性进行有意义的估计，而无需修改网络或训练过程。通过在一系列不同任务的实证实验中测量不确定性的质量，我们的方法得到了彻底验证。它的表现优于基线，具有很强的统计意义，并显示出与最近的贝叶斯方法的竞争力。
2018-07-16 stat.ML
Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning
Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
虽然深度神经网络（DNN）在各种应用中达到了最先进的精度，但它们通常无法准确估计其预测的不确定性，进而无法识别这些预测何时可能是错误的。在文献中已经提出了几种不确定性感知模型，例如贝叶斯神经网络（BNN）和深度集成，用于量化预测不确定性。然而，这一领域的研究主要局限于大数据领域。在这项工作中，我们表明，当训练数据的量很小时，最先进的BNN和深度包围模型的不确定性估计能力显着下降。为了解决小数据下精确不确定性估计的问题，我们提出了一种流行的样本有效的非参数kNN方法的概率推广。我们的方法使深度kNN分类器能够准确量化其预测中的潜在不确定性。我们证明了所提出的方法的有用性，通过实现优越的不确定性量化相比，最先进的COVID-19诊断的胸部X射线的现实世界中的应用。我们的代码可在https://github.com/ankurmallick/sample-efficient-uq上获得
2020-07-18 cs.CV cs.LG eess.IV
Seismic Bayesian evidential learning: Estimation and uncertainty quantification of sub-resolution reservoir properties
我们提出了一个框架，使估计低维次分辨率储层属性直接从地震资料，而不需要解决一个高维地震逆问题。我们的工作流程基于贝叶斯证据学习方法，并利用学习地震资料和储层性质之间的直接关系来有效地估计储层性质。我们开发的理论框架允许将非线性统计模型用于地震估计问题。使用近似贝叶斯计算进行不确定性量化。借助一个估算次分辨率薄砂岩储层中储层净总饱和度和平均流体饱和度的综合实例，展望了无监督和监督学习方法在地震估算问题中的适用性。最后，我们通过使用三维叠前地震资料估计来自海上三角洲数据集的亚分辨率薄砂岩储层中储层净对总的后验不确定性来证明我们的方法的有效性。
2019-05-14 physics.geo-ph stat.ML
Estimation and uncertainty quantification for extreme quantile regions
极端分位数区域的估计是极端分析中的一项重要任务，极端分位数区域是未来极端事件可能以给定的低概率发生的空间，甚至超出了观测数据的范围。现有的方法来估计这些区域是可用的，但不提供任何估计不确定性的措施。我们开发了单变量和双变量方案估计极端分位数区域下的贝叶斯范式，优于现有的方法，并提供自然的措施分位数区域估计的不确定性。我们检查的方法的性能在控制模拟研究。我们说明了所提出的方法的适用性，通过分析高双变量分位数对污染物，有条件地在不同的温度梯度，记录在意大利米兰。
2020-10-27 stat.ME
A practical guide to estimation and uncertainty quantification of aerodynamic flows
University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种气动流动估计与不确定性量化的方法指南，涵盖贝叶斯推断、集合卡尔曼滤波器及神经网络近似技术，探讨低维潜在空间对不确定性的影响。
2026-01-05 physics.flu-dyn stat.AP
Uncertainty Estimation of the Optimal Decision with Application to Cure Process Optimization
针对制造业决策中代理模型最优决策存在固有不确定性的问题，提出一种基于代理模型的不确定性估计与目标函数敏感性分析框架，并应用于复合材料固化工艺仿真。
2025-07-29 stat.AP
Traffic State Estimation and Uncertainty Quantification at Signalized Intersections with Low Penetration Rate Vehicle Trajectory Data
针对低渗透率轨迹数据下信号交叉口交通状态估计缺乏不确定性量化的问题，本文结合PTS模型构建HMM框架，通过贝叶斯递归估计实现状态与参数的分布估计及不确定性量化，经仿真和真实数据验证有效。
2024-04-02 cs.SY eess.SY stat.AP
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中，对模型的不确定性进行重新校正。期望不确定度校准误差（UCE）被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明，通过UCE，logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off
University of Notre Dame（圣母大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
准确估计神经网络预测中的不确定性对于构建可信的基于DNN的模型非常重要，并且人们越来越关注在许多任务（例如安全摄像头和自动驾驶车辆）上提供准确的不确定性估计。在本文中，我们专注于不确定性估计的两个主要用例，即选择性预测和置信度校准。我们首先揭示了两种用例中不确定性估计常用质量度量的潜在问题，并提出了我们的新度量来缓解这些问题。然后，我们应用这些新的指标来探索模型复杂性和不确定性估计质量之间的权衡，在文献中严重缺失的工作。我们的实证实验结果验证了所提出的指标的优越性，并观察到一些有趣的趋势的复杂性不确定性权衡。
2020-07-12 cs.LG stat.ML
Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference
Institute of Mechatronic Systems（机电系统研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。不确定度不能很好地代表模型误差。本文将温度标度法推广到丢弃变分推断中，以校正模型的不确定性。提出了期望不确定度校准误差（UCE）作为度量不确定度误校准的指标。这种方法的有效性进行评估CIFAR-10/100最近的CNN架构。实验结果表明，温度定标大大减少了UCE的误校准，并使不确定的预测鲁棒拒绝。所提出的方法可以很容易地从频率论的温度标度，并产生良好的校准模型的不确定性。该方法实现简单，不影响模型精度。
2019-11-18 cs.LG stat.ML
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex（扬德克斯）；Higher School of Economics（高等经济学院）；University of Cambridge（剑桥大学）
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务，有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此，这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为：在令牌级和完整的序列级序列数据的不确定性估计;解释，和应用，各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
A Geometric Method for Improved Uncertainty Estimation in Real-time
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
机器学习分类器本质上是概率性的，因此不可避免地涉及不确定性。预测特定输入正确的概率称为不确定性（或置信度）估计，对于风险管理至关重要。事后模型校准可以改善模型的不确定性估计，而不需要重新训练，也不需要改变模型。本文提出了一种基于几何的不确定性估计方法。粗略地说，我们使用当前输入与现有训练输入的几何距离作为估计不确定性的信号，然后使用标准的事后校准技术校准该信号（而不是模型的估计）。我们表明，我们的方法产生更好的不确定性估计比最近提出的方法，通过广泛评估多个数据集和模型。此外，我们还证明了我们的方法在近实时的【形】应用的可能性。我们的代码可以在我们的Github https://github.com/NoSleepDeveloper/Geometric-Calibrator上找到。
2022-06-23 cs.AI cs.LG stat.ML
Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
不确定性估计和集成方法齐头并进。不确定度估计是评价集成性能的主要基准之一。与此同时，深度学习集成在不确定性估计方面提供了最先进的结果。在这项工作中，我们专注于域内不确定性的图像分类。我们探讨了其量化的标准，并指出现有的指标的陷阱。为了避免这些陷阱，我们对不同的集成技术进行了广泛的研究。为了在这项研究中提供更多的见解，我们引入了深度集成等效分数（DEE），并表明许多复杂的集成技术在测试性能方面相当于只有少数独立训练的网络的集成。
2021-07-18 cs.LG stat.ML
Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation
Samsung Inc（三星公司）；Cornell University（康奈尔大学）
不确定性的校准估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然有几种广泛使用的不确定性估计方法，辍学推断突出其简单性和有效性。然而，这种技术在推理期间需要通过网络的多次前向传递，因此可能过于资源密集而不能部署在实时的【形】应用中。我们提出了一种简单，易于优化的蒸馏方法，用于学习预训练的辍学模型的条件预测分布，用于计算机视觉任务中的快速，无样本不确定性估计。我们经验性地测试了所提出的方法在语义分割和深度估计任务上的有效性，并证明了我们的方法可以显着减少推理时间，实现实时的【形】不确定性量化，同时实现了比常规辍学模型更高质量的不确定性估计和预测性能。
2020-11-06 cs.CV cs.LG stat.ML
Inhibited Softmax for Uncertainty Estimation in Neural Networks
Sigmoidal
提出了一种新的不确定性估计和softmax输出的神经网络的分布外检测方法。我们扩展了softmax层，增加了一个常数输入。相应的附加输出能够表示网络的不确定性。所提出的方法既不需要额外的参数，也不需要多次向前传递，也不需要输入预处理，也不需要分布外的数据集。我们表明，我们的方法执行更昂贵的计算方法，并优于我们的实验基线从图像识别和情感分析域。
2019-04-07 cs.LG stat.ML
Frustratingly Easy Uncertainty Estimation for Distribution Shift
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；UBC Okanagan（不列颠哥伦比亚大学奥卡那根分校）
分布偏移是深度图像分类中的一个重要问题，由源图像的损坏或完全改变产生，解决方案涉及域自适应。虽然主要目标是提高分布偏移下的准确性，但一个重要的次要目标是不确定性估计：评估模型预测正确的概率。虽然提高精度很难，但不确定性估计却容易得令人沮丧。先前的工作已经以各种方式将不确定性估计附加到模型和训练范例中。相反，我们表明，我们可以通过简单地将原始模型暴露于损坏的图像，并对图像输出进行简单的统计校准来估计不确定性。我们令人沮丧的简单方法在广泛的分布变化以及无监督域适应任务上表现出卓越的性能，通过广泛的实验进行测量。
2021-10-17 cs.LG stat.ML
Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑（非贝叶斯）深度神经分类背景下的不确定性估计问题。在这种情况下，所有已知的方法都是基于从经过优化的训练网络中提取不确定性信号，以解决当前的分类问题。我们证明，这种技术往往会引入有偏估计的情况下，其预测应该是高度自信的。我们认为，这种缺陷是SGD类优化器训练动态的产物，它具有一些类似于过拟合的性质。基于这一观察，我们开发了一种不确定性估计算法，该算法使用训练模型的早期快照选择性地估计高度置信点的不确定性，然后再进行抖动估计（并且在它们准备好进行实际分类之前）。我们提出了广泛的实验表明，该算法提供的不确定性估计，始终优于所有已知的方法。
2019-04-24 cs.LG stat.ML
Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts
Johns Hopkins University（约翰斯·霍普金斯大学）
针对深度集成方法不确定性估计存在的存储高、推理慢问题，提出单次前向传播的Density-Regression方法，证明其具备距离感知能力，实验验证其在多任务分布偏移场景下性能相当且更高效。
2024-03-07 cs.LG stat.ML
Towards calibrated and scalable uncertainty representations for neural networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Shutterstock（Shutterstock公司）；Rochester Institute of Technology（罗切斯特理工学院）
对于许多应用来说，了解神经网络预测的不确定性是至关重要的。虽然已经提出了各种神经网络参数估计方法用于不确定性估计，但是它们没有在不确定性度量之间进行严格的比较。我们评估这些参数估计方法校准不确定性估计使用四种不同的不确定性度量：熵，互信息，任意的不确定性和认知的不确定性。我们评估这些参数估计方法的校准使用预期的校准误差。此外，我们提出了一种新的神经网络参数估计方法，称为RECST，它结合了余弦退火与热重启与随机梯度Langevin动力学，捕捉更多样化的参数分布。当基准对残缺的图像数据，我们表明，RECAST是良好的校准和预测熵和认知不确定性相结合时，它提供了最好的校准措施的不确定性相比，最近的方法。
2019-12-04 cs.CV cs.LG stat.ML
Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction
Institute of Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨理工大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
除了在临床医学中的广泛使用外，法医学中的生物年龄（BA）还用于评估身份证明文件不可用的应用中未知的实际年龄（CA）。在文献中提出的年龄估计的自动方法是预测点估计，这可能是误导的预测不确定性的量化。在我们的MRI数据的多因素年龄估计方法中，我们使用变分推理方法来估计贝叶斯CNN模型的不确定性。区分模型不确定性和数据不确定性，我们将数据不确定性解释为生物学变异，即具有相同BA的受试者的可能CA范围。
2020-02-25 cs.LG eess.IV stat.ML
Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科技学院（Skoltech））；Yandex（Yandex（扬德克斯））
机器学习模型的不确定性估计在许多场景中非常重要，例如构建模型预测的置信区间和检测分布外或不利生成的点。在这项工作中，我们表明，修改神经网络中的辍学层的采样分布，提高了不确定性估计的质量。我们的主要思想包括两个主要步骤：计算神经元之间的数据驱动相关性和生成样本，其中包括最大限度地多样化的神经元。在模拟和真实世界的数据上进行的一系列实验中，我们证明了通过基于决定点过程的采样的多样化在回归和分类任务的不确定性估计中实现了最先进的结果。我们的方法的一个重要特征是，它不需要对模型或训练过程进行任何修改，可以直接应用于任何具有dropout层的深度学习模型。
2022-05-04 cs.LG stat.ML
Efficient Evaluation-Time Uncertainty Estimation by Improved Distillation
KTH（瑞典皇家理工学院）
在这项工作中，我们的目标是通过深度网络获得计算效率高的不确定性估计。为此，我们提出了一个修改后的知识蒸馏程序，实现国家的最先进的不确定性估计的分布样本。我们的贡献包括：a）证明和适应蒸馏的正则化效应b）提出一种新型的目标教师分布c）一种简单的增强程序，以改善分布外不确定性估计d）通过一组全面的实验揭示蒸馏过程。
2019-06-12 cs.LG stat.ML
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
Multi-Loss Sub-Ensembles for Accurate Classification with Uncertainty Estimation
Intel（英特尔）；Mobileye（莫比尔眼）；DermaDetect Ltd.（DermaDetect有限公司）
深度神经网络（DNN）在过去十年中在许多领域都发生了革命。然而，在具有高安全要求的任务中，例如医疗或自动驾驶应用，提供模型可靠性的评估可能至关重要。DNN的不确定性估计已经使用贝叶斯方法解决，为可靠性评估提供数学上建立的模型。这些模型在计算上是昂贵的，并且对于许多实时用例通常是不切实际的。近年来，非贝叶斯方法被提出来更有效地处理不确定性估计。我们提出了一种有效的方法，在DNN实现高精度的不确定性估计。我们模拟的概念，多任务学习单任务的问题，从类似的模型产生并行预测不同的损失。这种多损失方法允许单任务学习的单阶段训练与不确定性估计。我们保持我们的推理时间相对较低，利用深度子集成方法提出的优势。这项工作的新颖之处在于提出了一个简单方便的训练过程的准确变分推理，同时在计算时间方面保持竞争力。我们使用不同的架构在SVHN、CIFAR 10、CIFAR 100以及Imager-Net上进行了实验。我们的研究结果表明，提高了准确性的分类任务和竞争力的结果上的几个不确定性措施。
2020-11-11 cs.LG stat.ML
On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation
Ecole Polytechnique（巴黎综合理工学院）；Google Brain（谷歌大脑）；Google Brain Zürich（苏黎世谷歌大脑）
深度学习的不确定性量化是一个具有挑战性的开放问题。贝叶斯统计提供了一个数学基础的框架，原因的不确定性;然而，现代神经网络的近似后验仍然需要高昂的计算成本。我们提出了一个家庭的算法分为两个阶段：表示学习和不确定性估计的分类任务。我们比较了四个具体的情况下，不确定性估计是通过一个合奏的随机梯度下降或随机梯度朗之万动力学快照，一个合奏的自举逻辑斯谛回归，或通过一些蒙特卡罗辍学通过。我们评估了它们在\emph{selective}分类（风险覆盖率）方面的性能，以及它们检测分布外样本的能力。我们的实验表明，在深度分类器中添加多个不确定性层的价值有限，我们观察到这些简单的方法在一些复杂的基准测试中（如ImageNet）远远优于普通点估计SGD。
2020-01-22 cs.LG stat.ML
Uncertainty estimation for classification and risk prediction on medical tabular data
Pacmed（帕克医疗）
在医疗保健等数据稀缺的领域，模型通常会对罕见疾病的患者进行预测，测量模型预测的不确定性的能力可能会提高决策支持工具的有效性并增加用户的信任。这项工作推进了医疗表格数据的分类和风险预测的不确定性估计的理解，在一个双重的方式。首先，我们扩展和完善了一套诊断学，以选择一种不确定性估计技术，引入临床相关场景的测试，如推广到不常见的病理，临床协议的变化和模拟损坏的数据。我们还根据临床用例对这些药物进行了区分。其次，我们观察到，合奏和相关技术表现不佳，当涉及到检测域外的例子，一个关键的任务，这是更成功地进行自动编码器。这些评论丰富的考虑类不平衡，建模后校准和其他建模程序的不确定性估计的相互作用。我们的研究结果得到了一系列玩具和现实数据实验的支持。
2020-05-23 cs.LG stat.ML
One step closer to unbiased aleatoric uncertainty estimation
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of California（加利福尼亚大学）
本文指出现有方差衰减方法高估偶然不确定性，提出主动去噪观测数据的新估计方法，实验证明其更接近真实数据不确定性。
2023-12-20 cs.LG stat.ML
A Simple Probabilistic Model for Uncertainty Estimation
本文以单导联心电图检测心房颤动为例，重点研究了模型的预测不确定性。为此，该模型预测贝塔分布在类概率上的参数，而不是这些概率本身。结果表明，所描述的方法允许检测非典型记录，并显着提高算法的质量，对置信度的预测。
2018-07-24 cs.CV cs.LG stat.ML
Density estimation in representation space to predict model uncertainty
Cogent Labs；Apple Inc.（苹果公司）
深度学习模型在使用训练数据集中没有很好表示的测试示例时，经常会做出高置信度的错误预测。我们提出了一种新的和直接的方法来估计预测的不确定性在一个预先训练好的神经网络模型。我们的方法估计的训练数据密度表示空间的一个新的输入。然后，神经网络模型使用这些信息来确定我们是否期望预先训练的模型做出正确的预测。这个不确定性模型是通过预测分布内误差来训练的，但是可以在没有看到任何这样的例子的情况下检测分布外数据。我们测试我们的方法的国家的最先进的图像分类模型中的分布不确定性估计以及分布外检测的设置。
2019-10-03 cs.LG stat.ML
Disrupting Deep Uncertainty Estimation Without Harming Accuracy
Technion（以色列理工学院）
深度神经网络（DNN）已被证明是强大的预测器，并广泛用于各种任务。然而，对它们的预测进行可信的不确定性估计，对于它们在许多风险敏感应用中的部署至关重要。在本文中，我们提出了一种新颖而简单的攻击，与对抗攻击不同，它不会导致不正确的预测，而是削弱了网络的不确定性估计的能力。结果是，在攻击之后，DNN对其错误预测的信心比其正确预测的信心更大，而其准确性不会降低。我们提出了两个版本的攻击。第一种情况集中在黑盒机制（攻击者不知道目标网络），第二种情况攻击白盒设置。所提出的攻击只需要很小的幅度，其扰动造成严重的不确定性估计的损害，与更大的幅度导致完全不可用的不确定性估计。我们展示了对三种最流行的不确定性估计方法的成功攻击：vanilla softmax score，Deep Ensembles和MC-Dropout。此外，我们展示了对选择性分类架构SelectiveNet的攻击。我们在几个当代架构上测试了所提出的攻击，例如MobileNetV 2和EfficientNetB 0，所有这些架构都经过训练以分类ImageNet。
2021-10-26 cs.CR cs.LG stat.ML
Position: Epistemic uncertainty estimation methods are fundamentally incomplete
Department of Data Analysis and Mathematical Modeling, Ghent University, Ghent, Belgium（数据分析与数学建模系，根特大学，根特，比利时）
本文指出epistemic不确定性估计方法存在固有缺陷，导致不确定性量化不准确且难以解释，需在高风险决策中谨慎使用。
2026-02-06 cs.LG stat.ML
Functional Space Variational Inference for Uncertainty Estimation in Computer Aided Diagnosis
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
深度神经网络彻底改变了医学图像分析和疾病诊断。尽管它们的性能令人印象深刻，但很难为这些网络生成校准良好的概率输出，这使得它们成为不可解释的黑匣子。贝叶斯神经网络提供了一种用于对不确定性进行建模并提高患者安全性的原则性方法，但是它们具有较大的计算开销并且在校准中提供有限的改进。在这项工作中，通过以皮肤病变分类为例的任务，我们表明，通过将贝叶斯推理转移到功能空间，我们可以制作有意义的先验，以更低的计算成本提供更好的校准不确定性估计。
2020-05-28 cs.AI cs.LG stat.ML
Calibrated Decomposition of Aleatoric and Epistemic Uncertainty in Deep Features for Inference-Time Adaptation
University of Illinois at Chicago（伊利诺伊大学香槟分校）；Intel Labs（英特尔实验室）
针对现有估计器将不确定性压缩为单一置信度分数的问题，提出轻量级Uncertainty-Guided Inference-Time Selection框架，在深度特征空间解耦随机与认知不确定性，实现推理时自适应，减少计算量且精度损失小。
2025-11-15 cs.CV stat.ML
Diffusion Model Guided Sampling with Pixel-Wise Aleatoric Uncertainty Estimation
针对扩散模型缺乏图像质量定量评估的问题，提出在采样阶段利用扰动去噪分数方差估计逐像素任意不确定性，并以此引导采样，在 ImageNet 和 CIFAR-10 上改善低质样本过滤与 FID。
2024-11-29 cs.CV cs.LG stat.ML
Modal Uncertainty Estimation via Discrete Latent Representation
The Chinese University of Hong Kong（香港中文大学）
现实世界中的许多重要问题并没有独特的解决方案。因此，重要的是机器学习模型能够提出不同的合理的解决方案与有意义的概率措施。在这项工作中，我们引入了这样一个深度学习框架，它学习输入和输出之间的一对多映射，以及忠实的不确定性度量。我们称我们的框架为{ \it模态不确定性估计}，因为我们对通过一组离散潜变量生成的一对多映射进行建模，每个潜变量表示解释相应类型的输入-输出关系的潜模式假设。因此，潜在表示的离散性质使我们能够非常有效地估计任何输入的输出的条件概率分布。离散潜在空间及其不确定性估计在训练期间联合学习。我们通过当前条件生成模型中的多模态后验崩溃问题来激励我们使用离散潜在空间，然后发展理论背景，并在合成和现实任务上广泛验证我们的方法。我们的框架展示了更准确的不确定性估计比目前最先进的方法，是翔实的，方便的实际使用。
2020-07-25 cs.CV cs.LG stat.ML
