Detecting Out-of-distribution Samples via Variational Auto-encoder with Reliable Uncertainty Estimation
Southern University of Science and Technology（南方科技大学）；Chongqing Jiaotong University（重庆交通大学）；Tsinghua University（清华大学）；China Automotive Engineering Research Institute（中国汽车工程研究院股份有限公司）；Dalian University of Technology（大连理工大学）；Zhejiang University（浙江大学）
变分自编码器（Variational autoencoder，VAE）是一种基于深度神经网络结构和贝叶斯方法的具有丰富表示能力的生成模型。然而，VAE模型有一个弱点，即分配更高的可能性外的分布（OOD）的输入比分布（ID）的输入。为了解决这个问题，一个可靠的不确定性估计被认为是深入了解面向对象设计输入的关键。在这项研究中，我们提出了一种改进的噪声对比先验（INCP），能够集成到编码器的VAE，称为INCPVAE。INCP具有可扩展性、可训练性和与VAE的兼容性，并且在不确定性估计中吸收了INCP的优点。在不同数据集上的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面具有优势，并且在异常检测任务中具有鲁棒性。INCPVAE模型获得了OOD输入的可靠的不确定性估计，解决了VAE模型中的OOD问题。
2021-11-01 cs.LG stat.ML
Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科技学院（Skoltech））；Yandex（Yandex（扬德克斯））
机器学习模型的不确定性估计在许多场景中非常重要，例如构建模型预测的置信区间和检测分布外或不利生成的点。在这项工作中，我们表明，修改神经网络中的辍学层的采样分布，提高了不确定性估计的质量。我们的主要思想包括两个主要步骤：计算神经元之间的数据驱动相关性和生成样本，其中包括最大限度地多样化的神经元。在模拟和真实世界的数据上进行的一系列实验中，我们证明了通过基于决定点过程的采样的多样化在回归和分类任务的不确定性估计中实现了最先进的结果。我们的方法的一个重要特征是，它不需要对模型或训练过程进行任何修改，可以直接应用于任何具有dropout层的深度学习模型。
2022-05-04 cs.LG stat.ML
Efficient Evaluation-Time Uncertainty Estimation by Improved Distillation
KTH（瑞典皇家理工学院）
在这项工作中，我们的目标是通过深度网络获得计算效率高的不确定性估计。为此，我们提出了一个修改后的知识蒸馏程序，实现国家的最先进的不确定性估计的分布样本。我们的贡献包括：a）证明和适应蒸馏的正则化效应b）提出一种新型的目标教师分布c）一种简单的增强程序，以改善分布外不确定性估计d）通过一组全面的实验揭示蒸馏过程。
2019-06-12 cs.LG stat.ML
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）
虽然深度神经网络为一系列具有挑战性的任务提供了良好的性能，但校准和不确定性估计仍然是主要的挑战，特别是在分布偏移的情况下。在本文中，我们提出了摊销条件归一化最大似然（ACNML）方法，作为一种可扩展的通用方法，用于深度网络的不确定性估计、校准和分布外鲁棒性。我们的算法建立在条件归一化最大似然（CNML）编码方案，它具有极大极小最优属性根据最小描述长度的原则，但计算上难以准确评估，但最简单的模型类。我们建议使用近似贝叶斯推理技术产生一个易于处理的近似CNML分布。我们的方法可以与任何近似推理算法相结合，提供了易于处理的模型参数的后验密度。我们证明，ACNML相比有利的不确定性估计的分布输入的校准方面的一些现有技术。
2021-03-01 cs.LG stat.ML
On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation
Ecole Polytechnique（巴黎综合理工学院）；Google Brain（谷歌大脑）；Google Brain Zürich（苏黎世谷歌大脑）
深度学习的不确定性量化是一个具有挑战性的开放问题。贝叶斯统计提供了一个数学基础的框架，原因的不确定性;然而，现代神经网络的近似后验仍然需要高昂的计算成本。我们提出了一个家庭的算法分为两个阶段：表示学习和不确定性估计的分类任务。我们比较了四个具体的情况下，不确定性估计是通过一个合奏的随机梯度下降或随机梯度朗之万动力学快照，一个合奏的自举逻辑斯谛回归，或通过一些蒙特卡罗辍学通过。我们评估了它们在\emph{selective}分类（风险覆盖率）方面的性能，以及它们检测分布外样本的能力。我们的实验表明，在深度分类器中添加多个不确定性层的价值有限，我们观察到这些简单的方法在一些复杂的基准测试中（如ImageNet）远远优于普通点估计SGD。
2020-01-22 cs.LG stat.ML
Density Uncertainty Layers for Reliable Uncertainty Estimation
Columbia University（哥伦比亚大学）
针对现有贝叶斯深度学习方法难以可靠估计预测不确定性的问题，提出基于输入经验密度的不确定性准则及密度不确定性层架构，在基准测试中实现了更可靠的不确定性估计与鲁棒的分布外检测。
2024-03-04 cs.LG stat.ML
Information Aware Max-Norm Dirichlet Networks for Predictive Uncertainty Estimation
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
准确估计人工智能系统预测的不确定性是确保信任和安全的关键因素。用传统方法训练的深度神经网络容易产生过度自信的预测。与贝叶斯神经网络学习权重的近似分布来推断预测置信度相比，我们提出了一种新的方法，信息感知Dirichlet网络，通过最小化预测误差的预期最大范数的界限和惩罚与不正确结果相关的信息来学习预测分布的显式Dirichlet先验分布。新的成本函数的属性导出，以指示如何实现改进的不确定性估计。使用真实数据集的实验表明，我们的技术在估计分布内和分布外的不确定性以及检测对抗性示例方面远远优于最先进的神经网络。
2021-01-04 cs.LG stat.ML
Position: Epistemic uncertainty estimation methods are fundamentally incomplete
Department of Data Analysis and Mathematical Modeling, Ghent University, Ghent, Belgium（数据分析与数学建模系，根特大学，根特，比利时）
本文指出epistemic不确定性估计方法存在固有缺陷，导致不确定性量化不准确且难以解释，需在高风险决策中谨慎使用。
2026-02-06 cs.LG stat.ML
Predictive Uncertainty Estimation via Prior Networks
University of Cambridge（剑桥大学）
估计人工智能系统在预测中的不确定性对于提高此类系统的安全性非常重要。预测中的不确定性可能来自模型参数的不确定性、不可约数据的不确定性以及由于测试和训练数据分布之间的分布失配而导致的不确定性。根据不确定性的来源，可能会采取不同的行动，因此能够区分它们是很重要的。最近，基线任务和度量标准已被定义，并开发了几种实用的方法来估计不确定性。然而，这些方法试图通过模型不确定性或数据不确定性来隐含地模拟由于分布不匹配而导致的不确定性。这项工作提出了一个新的框架，称为先验网络（PNs），明确模型分布的不确定性建模预测的不确定性。PN通过在预测分布上参数化先验分布来实现这一点。这项工作的重点是分类的不确定性，并评估PN的任务，识别出的分布（OOD）样本和检测错误分类的MNIST数据集，在那里他们被发现优于以前的方法。合成和MNIST和CIFAR-10数据上的实验表明，与以前的非贝叶斯方法不同，PN能够区分数据和分布不确定性。
2018-11-29 cs.LG stat.ML
Data-driven Prognostics with Predictive Uncertainty Estimation using Ensemble of Deep Ordinal Regression Models
TCS Research（塔塔咨询服务研究中心）
预测或剩余使用寿命（RUL）估计从多传感器时间序列数据是有用的，使基于条件的维护，并确保设备的高操作可用性。我们提出了一种新的基于深度学习的方法，用于预测不确定性量化，这在以下情况下是有用的：（i）由于故障的罕见性，对标记的故障数据的访问是稀缺的（ii）未来的操作条件是不可观察的（iii）传感器读数中存在固有的噪声。上述三种情况都是RUL估计过程中不可避免的不确定性来源，通常会导致不可靠的RUL估计。为了解决（i），我们将RUL估计公式化为有序回归（OR）问题，并提出LSTM-OR：基于深度长短期记忆（LSTM）网络的方法来学习OR函数。我们表明，LSTM-OR自然允许在训练中结合审查的操作实例以及失败的实例，从而实现更强大的学习。为了解决（ii），我们提出了一个简单而有效的方法来量化预测的不确定性，在RUL估计模型的训练LSTM-OR模型的合奏。通过对C-MAPSS涡扇发动机基准数据集的实证评估，我们证明了LSTM-OR明显优于常用的基于深度度量回归的RUL估计方法，特别是当失败的训练实例很少时。此外，我们的不确定性量化方法产生高质量的预测不确定性估计，同时也导致改进的RUL估计相比，单一的最佳LSTM-OR模型。
2021-03-04 cs.LG stat.ML
The Peril of Popular Deep Learning Uncertainty Estimation Methods
EPFL（洛桑联邦理工学院）；UC Berkeley（加州大学伯克利分校）；CISPA（亥姆霍兹信息安全中心）
不确定性估计（UE）技术--如高斯过程（GP）、贝叶斯神经网络（BNN）、蒙特卡罗丢弃（MCDropout）--旨在通过为每个预测输出分配估计的不确定性值来提高机器学习模型的可解释性。然而，由于过高的不确定性估计在实践中可能会产生致命的后果，本文分析了上述技术。首先，我们证明了GP方法总是对分布外（OOD）数据产生高不确定性估计。其次，我们在一个2D玩具例子中表明，BNN和MCDropout都不会对OOD样本给出高不确定性估计。最后，我们通过经验证明，BNN和MCDropout的这种陷阱也适用于现实世界的数据集。我们的见解（i）提高了人们对在深度学习中更谨慎地使用当前流行的UE方法的认识，（ii）鼓励开发近似基于GP的方法的UE方法-而不是BNN和MCDropout，（iii）我们的经验设置可用于验证任何其他UE方法的OOD性能。源代码可在www.example.com上获得。
2021-12-09 cs.LG stat.ML
Accurate Prediction and Uncertainty Estimation using Decoupled Prediction Interval Networks
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
我们提出了一种网络架构，能够可靠地估计基于回归的预测的不确定性，而不牺牲准确性。目前最先进的不确定性算法要么达不到与均方误差优化相媲美的预测精度，要么低估了网络预测的方差。我们提出了一个解耦的网络架构，能够同时实现这两个。我们通过将预测和预测区间（PI）估计的学习分解为两个阶段的训练过程来实现这一点。我们使用自定义的损失函数来学习优化均值估计周围的PI范围，其中PI范围内的目标标签的比例具有期望的覆盖率。我们将所提出的方法与当前最先进的不确定性量化算法在合成数据集和UCI基准上进行了比较，将预测误差降低了23%至34%，同时保持95%的预测区间覆盖概率（PICP）。我们还通过评估主动学习来检查我们的预测不确定性的质量，并在UCI基准测试中展示了17%至36%的误差减少。
2022-02-19 cs.LG stat.ML
A Geometric Method for Improved Uncertainty Estimation in Real-time
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
机器学习分类器本质上是概率性的，因此不可避免地涉及不确定性。预测特定输入正确的概率称为不确定性（或置信度）估计，对于风险管理至关重要。事后模型校准可以改善模型的不确定性估计，而不需要重新训练，也不需要改变模型。本文提出了一种基于几何的不确定性估计方法。粗略地说，我们使用当前输入与现有训练输入的几何距离作为估计不确定性的信号，然后使用标准的事后校准技术校准该信号（而不是模型的估计）。我们表明，我们的方法产生更好的不确定性估计比最近提出的方法，通过广泛评估多个数据集和模型。此外，我们还证明了我们的方法在近实时的【形】应用的可能性。我们的代码可以在我们的Github https://github.com/NoSleepDeveloper/Geometric-Calibrator上找到。
2022-06-23 cs.AI cs.LG stat.ML
Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation
Samsung Inc（三星公司）；Cornell University（康奈尔大学）
不确定性的校准估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然有几种广泛使用的不确定性估计方法，辍学推断突出其简单性和有效性。然而，这种技术在推理期间需要通过网络的多次前向传递，因此可能过于资源密集而不能部署在实时的【形】应用中。我们提出了一种简单，易于优化的蒸馏方法，用于学习预训练的辍学模型的条件预测分布，用于计算机视觉任务中的快速，无样本不确定性估计。我们经验性地测试了所提出的方法在语义分割和深度估计任务上的有效性，并证明了我们的方法可以显着减少推理时间，实现实时的【形】不确定性量化，同时实现了比常规辍学模型更高质量的不确定性估计和预测性能。
2020-11-06 cs.CV cs.LG stat.ML
Decomposing Representations for Deterministic Uncertainty Estimation
University of Oxford（牛津大学）
不确定性估计是任何部署的机器学习系统中的关键组件。评估不确定性估计的一种方法是使用“分布外”（OoD）检测，即使用不确定性区分训练数据分布和看不见的不同数据分布。在这项工作中，我们表明，目前的特征密度为基础的不确定性估计不能在不同的OoD检测设置一致地执行。为了解决这个问题，我们建议分解学习的表示，并分别整合对它们的不确定性估计。通过实验，我们证明我们可以大大提高性能和解释的不确定性估计。
2021-12-01 cs.LG
Towards calibrated and scalable uncertainty representations for neural networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔理工学院）；Shutterstock（Shutterstock公司）；Rochester Institute of Technology（罗切斯特理工学院）
对于许多应用来说，了解神经网络预测的不确定性是至关重要的。虽然已经提出了各种神经网络参数估计方法用于不确定性估计，但是它们没有在不确定性度量之间进行严格的比较。我们评估这些参数估计方法校准不确定性估计使用四种不同的不确定性度量：熵，互信息，任意的不确定性和认知的不确定性。我们评估这些参数估计方法的校准使用预期的校准误差。此外，我们提出了一种新的神经网络参数估计方法，称为RECST，它结合了余弦退火与热重启与随机梯度Langevin动力学，捕捉更多样化的参数分布。当基准对残缺的图像数据，我们表明，RECAST是良好的校准和预测熵和认知不确定性相结合时，它提供了最好的校准措施的不确定性相比，最近的方法。
2019-12-04 cs.CV cs.LG stat.ML
Variational Inference and Bayesian CNNs for Uncertainty Estimation in Multi-Factorial Bone Age Prediction
Institute of Computer Graphics and Vision（计算机图形与视觉研究所）；Graz University of Technology（格拉茨理工大学）；School of Computer Science（计算机科学学院）；University of Auckland（奥克兰大学）
除了在临床医学中的广泛使用外，法医学中的生物年龄（BA）还用于评估身份证明文件不可用的应用中未知的实际年龄（CA）。在文献中提出的年龄估计的自动方法是预测点估计，这可能是误导的预测不确定性的量化。在我们的MRI数据的多因素年龄估计方法中，我们使用变分推理方法来估计贝叶斯CNN模型的不确定性。区分模型不确定性和数据不确定性，我们将数据不确定性解释为生物学变异，即具有相同BA的受试者的可能CA范围。
2020-02-25 cs.LG eess.IV stat.ML
A Simple Probabilistic Model for Uncertainty Estimation
本文以单导联心电图检测心房颤动为例，重点研究了模型的预测不确定性。为此，该模型预测贝塔分布在类概率上的参数，而不是这些概率本身。结果表明，所描述的方法允许检测非典型记录，并显着提高算法的质量，对置信度的预测。
2018-07-24 cs.CV cs.LG stat.ML
Tailored Uncertainty Estimation for Deep Learning Systems
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Volkswagen AG（大众汽车集团）；University of Bonn（波恩大学）
不确定性估计有可能使深度学习（DL）系统更加可靠。然而，用于不确定性估计的标准技术伴随着优点和缺点的特定组合，例如，关于估计质量、泛化能力和计算复杂性。为了实际利用不确定性量化的潜力，需要其属性与给定用例的需求紧密匹配的估计器。在这项工作中，我们提出了一个框架，首先，结构和形状这些要求，其次，指导选择一个合适的不确定性估计方法，第三，提供策略，以验证这种选择，并发现结构上的弱点。通过贡献量身定制的不确定性估计，在这个意义上，我们的框架有助于培养值得信赖的DL系统。此外，它还预测了未来的机器学习法规，例如，在欧盟，机器学习系统技术适用性的证据。我们的框架提供了这样的证据系统组件建模的不确定性。
2022-04-29 cs.LG
Disrupting Deep Uncertainty Estimation Without Harming Accuracy
Technion（以色列理工学院）
深度神经网络（DNN）已被证明是强大的预测器，并广泛用于各种任务。然而，对它们的预测进行可信的不确定性估计，对于它们在许多风险敏感应用中的部署至关重要。在本文中，我们提出了一种新颖而简单的攻击，与对抗攻击不同，它不会导致不正确的预测，而是削弱了网络的不确定性估计的能力。结果是，在攻击之后，DNN对其错误预测的信心比其正确预测的信心更大，而其准确性不会降低。我们提出了两个版本的攻击。第一种情况集中在黑盒机制（攻击者不知道目标网络），第二种情况攻击白盒设置。所提出的攻击只需要很小的幅度，其扰动造成严重的不确定性估计的损害，与更大的幅度导致完全不可用的不确定性估计。我们展示了对三种最流行的不确定性估计方法的成功攻击：vanilla softmax score，Deep Ensembles和MC-Dropout。此外，我们展示了对选择性分类架构SelectiveNet的攻击。我们在几个当代架构上测试了所提出的攻击，例如MobileNetV 2和EfficientNetB 0，所有这些架构都经过训练以分类ImageNet。
2021-10-26 cs.CR cs.LG stat.ML
Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture
Monash University（莫纳什大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）
不确定性估计是使神经网络在现实世界中值得信赖的关键。已经进行了广泛的研究努力来量化和减少预测的不确定性。然而，大多数现有的工作是专为单峰数据，而多视图不确定性估计还没有得到充分的研究。因此，我们提出了一个新的多视图分类框架，更好的不确定性估计和域外样本检测，在那里我们将每个视图与一个不确定性感知分类器，并结合所有的意见，在一个原则性的方式预测。与真实世界的数据集的实验结果表明，我们提出的方法是一个准确，可靠，校准良好的分类器，主要优于多视图基线测试的预期校准误差，噪声的鲁棒性，以及准确性的域内样本分类和域外样本检测任务。
2022-10-06 cs.LG
On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks
University of Notre Dame（圣母大学）
在许多具有现实后果的应用中，为人工智能决策系统所做的预测开发可靠的不确定性估计至关重要。针对估计不确定性的目标，已经提出了各种基于深度神经网络（DNN）的不确定性估计算法。然而，这些算法返回的不确定性的鲁棒性还没有被系统地探讨。在这项工作中，为了提高研究界对鲁棒不确定性估计的认识，我们表明，最先进的不确定性估计算法可能会在我们提出的对抗攻击下发生灾难性失败，尽管它们在不确定性估计方面表现出色。特别是，我们的目标是攻击域外不确定性估计：在我们的攻击下，不确定性模型将被愚弄，对域外数据进行高置信度的预测，而这些数据最初会被拒绝。在各种基准图像数据集上的大量实验结果表明，最先进的方法估计的不确定性很容易被我们的攻击破坏。
2022-10-12 cs.AI cs.CV cs.LG
Beyond Unimodal: Generalising Neural Processes for Multimodal Uncertainty Estimation
Monash University（莫纳什大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）
针对多模态数据不确定性估计的挑战，本文提出多模态神经过程（MNPs），通过泛化NPs并设计针对多模态特征的新机制，实现了更优的估计性能、抗噪鲁棒性、分布外检测可靠性及更快的计算速度。
2023-10-23 cs.AI cs.LG
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach
University of North Carolina（北卡罗来纳大学）；Tsinghua University（清华大学）；HKUST(GZ)（香港科技大学（广州））；Imperial College London（伦敦帝国学院）
本文提出一种利用隐藏激活和带标签数据的监督方法，用于LLM不确定性估计，并证明其能提升校准性能且适用于黑盒、灰盒和白盒场景。
2024-10-23 cs.CL cs.LG
Which models are innately best at uncertainty estimation?
Technion（以色列理工学院）；Amazon（亚马逊）
由于本文的综合性，它已被更新并分为两个单独的论文：“一个基准类的框架-分布外检测及其在ImageNet中的应用”和“我们可以从523个ImageNet分类器的选择性预测和不确定性估计性能中学到什么”。我们建议阅读它们。深度神经网络在部署用于风险敏感型任务时，必须配备不确定性估计机制。本文研究了深度架构及其训练机制与其相应的选择性预测和不确定性估计性能之间的关系。我们考虑了分布内的不确定性和分布外的不确定性。此外，我们考虑了一些最流行的估计性能指标，包括AUROC，ECE，AURC，和覆盖率的选择性精度约束。我们提出了一个新的和全面的研究选择性预测和不确定性估计性能的484个现有的预训练的深度ImageNet分类器，可在流行的存储库。我们确定了许多以前未知的因素，影响不确定性估计，并检查不同的度量之间的关系。我们发现，基于蒸馏的训练方案始终比其他训练方案（如香草训练，更大数据集上的预训练和对抗训练）产生更好的不确定性估计。我们还提供了强有力的经验证据表明，ViT是迄今为止最优越的架构方面的不确定性估计性能，从任何方面来看，在分布和类的分布情况。
2023-02-23 cs.LG
Revisiting Neural Activation Coverage for Uncertainty Estimation
DLR Institute for AI Safety and Security（德意志航天中心人工智能安全与保密研究所）；Ruhr University Bochum（博德姆鲁尔大学）
本文重新审视神经激活覆盖率技术，将其扩展为已训练神经网络的不确定性估计方法，在回归领域验证其优于其他技术。
2026-04-24 cs.LG
Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs
NEC Laboratories Europe（NEC欧洲实验室）
不确定性量化对于构建可靠和可信的机器学习系统至关重要。我们建议通过递归时间步上的随机离散状态转换来估计递归神经网络（RNN）中的不确定性。模型的不确定性可以通过多次运行预测来量化，每次从经常性状态转换分布中采样，如果模型不确定，则可能导致不同的结果。除了不确定性量化，我们提出的方法在不同的设置提供了几个优点。所提出的方法可以（1）从数据中学习确定性和概率自动机，（2）在真实世界的分类任务中学习校准良好的模型，（3）提高分布外检测的性能，（4）控制强化学习中的探索-利用权衡。
2020-11-24 cs.LG
Uncertainty estimation for out-of-distribution detection in computational histopathology
GSK（葛兰素史克）
在计算组织病理学中，算法现在在一系列任务上优于人类，但到目前为止，还没有一种算法用于临床自动诊断。在算法可以参与这样的高风险决策之前，它们需要“知道它们什么时候不知道”，即，他们需要估计他们的预测不确定性。这使得他们能够将潜在的错误预测推迟给人类病理学家，从而提高了他们的安全性。在这里，我们评估的预测性能和校准的几个不确定性估计方法对临床组织病理学数据。我们表明，距离感知的不确定性估计方法优于常用的方法，如蒙特卡罗丢弃和深度集成。然而，我们观察到在所有测试的不确定性估计方法中，新样本的预测性能和校准都有所下降。我们还研究了使用不确定性阈值来拒绝选择性预测的分布外样本。我们证明了这种方法的局限性，并建议未来的研究领域。
2022-10-18 cs.CV cs.LG
Towards OOD Detection in Graph Classification from Uncertainty Estimation Perspective
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Criteo AI（Criteo人工智能公司）；Technology Innovation Institute（技术创新研究院）
图分类的分布外检测问题远未解决。现有的模型往往是过度自信的面向对象的例子或完全忽略了检测任务。在这项工作中，我们考虑这个问题，从不确定性估计的角度来看，并执行最近提出的几种方法的比较。在我们的实验中，我们发现没有通用的方法来检测OOD，重要的是要考虑图表示和预测分类分布。
2022-06-21 cs.LG
On Efficient Uncertainty Estimation for Resource-Constrained Mobile Applications
Arm ML Research Lab（Arm机器学习研究实验室）
深度神经网络在预测质量方面取得了巨大成功，但可靠和鲁棒的不确定性估计仍然是一个挑战。预测不确定性补充了模型预测，并实现了下游任务的改进功能，包括嵌入式和移动应用，如虚拟现实、增强现实、传感器融合和感知。由于内存和计算资源非常有限，这些应用程序通常需要在复杂性上做出妥协，以获得不确定性估计。我们通过使用蝾螈框架构建蒙特卡洛辍学（MCDO）模型来解决这个问题;具体来说，我们使采样子网络多样化，利用辍学模式，并使用分支技术来提高预测性能，同时保持快速计算。我们对（1）使用CIFAR 10数据集的多类分类任务和（2）更复杂的人体分割任务进行了实验。我们的研究结果表明，我们的方法的有效性，达到接近深度包围预测质量和不确定性估计，同时仍然实现资源有限的移动平台上更快的推理。
2021-12-01 cs.LG
Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning
Carnegie Mellon University（卡内基梅隆大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
虽然深度神经网络（DNN）在各种应用中达到了最先进的精度，但它们通常无法准确估计其预测的不确定性，进而无法识别这些预测何时可能是错误的。在文献中已经提出了几种不确定性感知模型，例如贝叶斯神经网络（BNN）和深度集成，用于量化预测不确定性。然而，这一领域的研究主要局限于大数据领域。在这项工作中，我们表明，当训练数据的量很小时，最先进的BNN和深度包围模型的不确定性估计能力显着下降。为了解决小数据下精确不确定性估计的问题，我们提出了一种流行的样本有效的非参数kNN方法的概率推广。我们的方法使深度kNN分类器能够准确量化其预测中的潜在不确定性。我们证明了所提出的方法的有用性，通过实现优越的不确定性量化相比，最先进的COVID-19诊断的胸部X射线的现实世界中的应用。我们的代码可在https://github.com/ankurmallick/sample-efficient-uq上获得
2020-07-18 cs.CV cs.LG eess.IV
Maximum Likelihood Uncertainty Estimation: Robustness to Outliers
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；German Aerospace Center (DLR)（德国航空航天中心）；University of Luxembourg（卢森堡大学）
我们基准的鲁棒性最大似然为基础的不确定性估计方法的离群值在训练数据回归任务。训练数据中的异常值或噪声标签会导致性能下降以及不确定性的不正确估计。我们建议使用重尾分布（拉普拉斯分布），以提高对离群值的鲁棒性。使用标准回归基准和单目深度估计的高维回归任务来评估此属性，两者都包含离群值。特别地，基于重尾分布的最大似然提供了更好的不确定性估计，更好地分离分布外数据的不确定性，以及在存在离群值的情况下更好地检测对抗攻击。
2022-02-03 cs.AI cs.LG
What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers
Technion（以色列理工学院）；Amazon（亚马逊）
当部署用于风险敏感型任务时，深度神经网络必须包含不确定性估计机制。在这里，我们研究了深度架构与其各自的训练机制之间的关系，以及相应的选择性预测和不确定性估计性能。我们考虑了一些最流行的估计性能指标，包括AUROC，ECE，AURC以及覆盖率的选择性精度约束。我们提出了一个新的和全面的研究选择性预测和不确定性估计性能的523个现有的预训练的深度ImageNet分类器，可在流行的存储库。我们确定了许多以前未知的因素，影响不确定性估计，并检查不同的度量之间的关系。我们发现，基于蒸馏的训练方案始终比其他训练方案（如香草训练，更大数据集上的预训练和对抗训练）产生更好的不确定性估计。此外，我们发现一个子集的ViT模型，优于任何其他模型的不确定性估计性能。例如，我们发现ImageNet上的ViT模型在47%的覆盖率下获得了前所未有的99%的top-1选择准确率（在80%的覆盖率下获得了95%的top-1准确率），而竞争对手EfficientNet-V2-XL在任何覆盖率水平下都无法获得这些准确率约束。我们的配套论文也发表在ICLR 2023（A framework for benchmarking class-分布外检测and its application to ImageNet）上，研究了这些分类器在class-out-of-distribution设置中的性能。
2023-02-23 cs.CV cs.LG
Dense Uncertainty Estimation
School of Computing, the Australian National University（澳大利亚国立大学计算学院）；School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子信息学院）；CS, Nankai University（南开大学计算机学院）；CSIRO（澳大利亚联邦科学与工业研究组织）；Monash University（莫纳什大学）
深度神经网络大致可以分为确定性神经网络和随机性神经网络，前者通常通过训练权值的最大似然估计实现从输入空间到输出空间的映射，从而导致测试时的确定性预测。以这种方式，在忽略可能发生在适当权重空间中的任何不确定性的同时估计特定权重集合。后者将随机性引入到框架中，通过假设模型参数的先验分布（即贝叶斯神经网络）或包括潜变量（即生成模型）来探索潜变量对模型预测的贡献，从而导致测试期间的随机预测。与前者实现点估计不同，后者旨在估计预测分布，从而可以估计不确定性，表示模型对其预测的无知。我们认为传统的基于确定性神经网络的密集预测任务容易过拟合，导致过度自信的预测，这是不可取的决策。在本文中，我们研究随机神经网络和不确定性估计技术，以实现准确的确定性预测和可靠的不确定性估计。具体来说，我们工作在两种类型的不确定性估计的解决方案，即集成为基础的方法和生成模型为基础的方法，并解释他们的优点和缺点，而使用它们在完全/半/弱监督的框架。由于不确定性估计与模型校准之间的密切联系，我们还介绍了如何将不确定性估计用于深度模型校准，以实现良好校准的模型，即密集模型校准。代码和数据可在https://github.com/JingZhang617/UncertaintyEstimation上获得。
2021-10-13 cs.CV cs.LG
On Monocular Depth Estimation and Uncertainty Quantification using Classification Approaches for Regression
Paris-Saclay University（巴黎萨克雷大学）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
单目深度在许多任务中都很重要，例如3D重建和自动驾驶。基于深度学习的模型在该领域实现了最先进的性能。一组新的方法来估计单眼深度包括将回归任务转换为分类任务。然而，在社区中缺乏对回归分类方法（CAR）的详细描述和比较，并且没有深入探索其不确定性估计的潜力。为此，本文将介绍CAR方法的分类和总结，CAR的一种新的不确定性估计解决方案，并在KITTI数据集上对基于CAR的模型的深度精度和不确定性量化进行了一系列实验。实验反映了两个主干上的各种CAR方法的可移植性的差异。同时，新提出的不确定性估计的方法可以优于集成方法，只有一个前向传播。
2022-06-29 cs.CV cs.LG
Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations
The University of Hong Kong（香港大学）；TCL AI Lab（TCL人工智能实验室）；Imperial College London（帝国理工学院）
针对现有不确定性估计方法受限于低维假设且依赖训练时分布外数据的问题，提出一种基于潜在表示的数据自适应高维假设检验框架，无需重训编码器即可提升OOD检测与不确定性估计的准确性。
2023-10-25 cs.AI cs.CV cs.LG
Layer Ensembles: A Single-Pass Uncertainty Estimation in Deep Learning for Segmentation
University of Barcelona（巴塞罗那大学）
深度学习中的不确定性估计已经成为医学图像分析的一个领先研究领域，因为需要在临床实践中安全使用AI算法。大多数不确定性估计方法需要在测试或训练多个网络期间多次对网络权重进行采样。这导致在时间和计算资源方面的更高的训练和测试成本。在本文中，我们提出了层集成，一种新的不确定性估计方法，使用一个单一的网络，只需要一个单一的通道来估计网络的预测不确定性。此外，我们引入了一个图像级的不确定性度量，这是更有益的分割任务相比，常用的像素的度量，如熵和方差。我们评估我们的方法在2D和3D，二进制和多类医学图像分割任务。我们的方法显示了与最先进的Deep Ensembles竞争的结果，只需要一个网络和一个通道。
2022-03-16 cs.CV cs.LG eess.IV
Elucidating Robust Learning with Uncertainty-Aware Corruption Pattern Estimation
Korea University（高丽大学）；Dongguk University（东国大学）；Seoul National University of Science and Technology（首尔国立科技大学）
鲁棒学习方法旨在从噪声和损坏的训练数据中学习干净的目标分布，其中通常先验地假设特定的损坏模式。我们提出的方法不仅可以成功地从脏数据集学习干净的目标分布，而且可以估计潜在的噪声模式。为此，我们利用混合专家模型，可以区分两种不同类型的预测不确定性，任意和认知不确定性。我们表明，估计不确定性的能力在阐明腐败模式方面发挥着重要作用，因为这两个目标紧密相关。我们还提出了一种新的验证方案，用于评估腐败模式估计的性能。我们提出的方法是广泛评估的鲁棒性和腐败模式估计通过一些领域，包括计算机视觉和自然语言处理。
2023-02-07 cs.AI cs.LG
RDeepSense: Reliable Deep Mobile Computing Models with Uncertainty Estimations
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
深度学习的最新进展使各种应用取得了前所未有的成就，这可能会为广泛的移动和无处不在的应用带来更高的智能。尽管现有的研究已经证明了在移动和嵌入式设备上运行深度神经网络推理操作的有效性和可行性，但它们忽略了移动计算模型的可靠性。可靠性测量，如预测性不确定性估计，是提高决策准确性和用户体验的关键因素。在这项工作中，我们提出了RDeepSense，这是第一个深度学习模型，为资源受限的移动和嵌入式设备提供了校准良好的不确定性估计。RDeepSense通过采用可调的适当评分规则作为训练准则，dropout作为隐式贝叶斯近似，使预测不确定性成为可能，理论上证明了其正确性;为了降低计算复杂性，RDeepSense采用高效的dropout和预测分布估计代替模型集成或基于采样的方法进行推理操作。我们使用英特尔Edison设备评估了四个移动传感应用程序的RDeepSense。结果表明，与其他最先进的方法相比，RDeepSense可以减少约90%的能耗，同时产生卓越的不确定性估计，并至少保持相同的模型精度。
2017-09-09 cs.LG cs.NI
Evidential Transformation Network: Turning Pretrained Models into Evidential Models for Post-hoc Uncertainty Estimation
Korea University（高丽大学）；Konkuk University（建国大学）
本文提出ETN，一种轻量级模块，将预训练模型转换为证据模型，以提升不确定性估计，同时保持精度并增加极小计算开销。
2026-04-09 cs.AI cs.LG
Quantum parameter estimation with uncertainty quantification from continuous measurement data using neural network ensembles
Department of Physics, University of Virginia, 382 McCormick Rd, Charlottesville, VA 22903, USA（弗吉尼亚大学物理系）
本文提出利用深度神经网络集合进行量子参数估计，同时实现不确定性量化，具有更快的推理速度和更好的不确定性校准能力。
2026-10-05 cs.LG quant-ph
CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model
Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore（南洋理工大学李科钦医学院，新加坡）；College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院，新加坡）；Centre for Medical Technologies & Innovations, National Health Group, Singapore（国家健康集团医学技术与创新中心，新加坡）
CUPID是一种无需修改基础模型即可联合估计自然和本质不确定性的插件框架，适用于多种任务，提供透明且可解释的不确定性分析。
2026-03-11 cs.AI cs.LG
CreINNs: Credal-Set Interval Neural Networks for Uncertainty Estimation in Classification Tasks
KU Leuven（鲁汶大学）；Oxford Brookes University（牛津布鲁克斯大学）
提出信誉集区间神经网络（CreINNs），通过预测类别概率区间定义信誉集，在分类任务中实现优于或媲美变分贝叶斯网络和深度集成的不确定性估计，并大幅降低推理计算复杂度。
2025-01-25 cs.AI cs.LG
Efficient Uncertainty Estimation in Spiking Neural Networks via MC-dropout
CWI（荷兰数学与计算机科学研究所）；Rijksuniversiteit Groningen（格罗宁根大学）；University of Amsterdam（阿姆斯特丹大学）
针对 SNNs 难以直接采用 ANN 不确定性估计方法的问题，本文利用其时间步机制提出高效 MC-dropout，在低训练与推理开销下实现高准确率和高质量不确定性估计。
2023-04-20 cs.AI cs.CV cs.LG
GENUINE: Graph Enhanced Multi-level Uncertainty Estimation for Large Language Models
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院和州立大学）；Ball State University（巴尔的摩州立大学）；Dartmouth College（达特茅斯学院）
提出GENUINE框架，利用依存句法树和图池化建模语义结构，提升LLM不确定性估计，AUROC最高提升29%，校准误差降低超15%。
2025-09-09 cs.AI cs.CL cs.LG
EDUE: Expert Disagreement-Guided One-Pass Uncertainty Estimation for Medical Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Applied Sciences Western Switzerland (HES-SO)（瑞士西部应用科学大学（HES-SO））
本文提出EDUE方法，利用多评分者标注变异性引导模型训练并结合随机采样策略，仅需一次前向传播即可在医学图像分割中实现与专家分歧高度相关的不确定性估计及优异校准。
2024-03-25 cs.CV cs.LG eess.IV
Parameter estimation and uncertainty quantification using information geometry
在这项工作中，我们：（1）回顾参数估计和置信区域的构造的基于似然的推断;以及（2）探索使用来自信息几何的技术，包括测地线曲线和黎曼标量曲率，以补充用于不确定性量化的典型技术，例如贝叶斯方法、轮廓似然、渐近分析和自举。这些来自信息几何的技术提供了对不确定性和可识别性的独立于数据的见解，并可用于为数据收集决策提供信息。本工作中用于实现推理和信息几何技术的所有代码都可以在GitHub上获得。
2022-03-31 stat.AP stat.ME
Uncertainty Estimation in Functional Linear Models
函数数据分析在许多科学应用中被证明是有用的。物理过程被观察为曲线，并且通常由于多个受试者而观察到多个曲线，从而提供统计意义上的重复。最近的文献发展了几种技术，用于记录曲线和相关的模型估计。然而，很少有研究统计推断，特别是不确定性估计。在这篇文章中，我们考虑函数线性混合建模方法来组合几个曲线。当使用泛函线性混合模型进行预测时，我们集中测量不确定度。虽然测量的不确定性是最重要的兴趣在任何统计预测，有没有封闭的形式表达功能混合效应模型。在许多实际应用中，只能观察到有限数量的曲线。在这种情况下，重要的是要评估任何有效的统计报表的错误率。我们推导出理论上有效的近似的不确定性测量是合适的，随着修改后的估计技术。我们通过数值例子说明我们的方法，并与其他现有文献进行适当的比较。我们的方法是计算简单，往往优于其他方法。
2018-01-29 stat.ME
On the density estimation problem for uncertainty propagation with unknown input distributions
在这篇文章中，我们研究的问题，量化的不确定度在实验中的技术系统。我们提出了新的密度估计相结合的技术系统的观测数据和模拟数据从（不完美的）模拟模型的基础上估计的输入分布。我们分析了这些估计的收敛速度收敛速率。有限的样本量的估计性能说明将它们应用到模拟数据。新提出的估计的实际用途证明，通过使用它们来预测的不确定性的横向振动衰减系统与压电弹性支持。
2020-12-18 math.ST stat.TH
Uncertainty in Lung Cancer Stage for Outcome Estimation via Set-Valued Classification
在医疗索赔数据中识别癌症分期的困难限制了肿瘤学护理质量和健康结局研究。我们适合预测算法分类肺癌阶段分为三类（阶段I/II，阶段III，阶段IV）使用索赔数据，然后展示了一种方法，将分类不确定性的结果估计。利用集值分类和分裂共形推理，我们展示了如何在一组数据中开发的固定算法可以部署在另一组数据中，同时严格考虑初始分类步骤的不确定性。我们使用SEER癌症登记数据与医疗保险索赔数据相关联来证明这一过程。
2021-07-02 stat.AP
Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off
University of Notre Dame（圣母大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
准确估计神经网络预测中的不确定性对于构建可信的基于DNN的模型非常重要，并且人们越来越关注在许多任务（例如安全摄像头和自动驾驶车辆）上提供准确的不确定性估计。在本文中，我们专注于不确定性估计的两个主要用例，即选择性预测和置信度校准。我们首先揭示了两种用例中不确定性估计常用质量度量的潜在问题，并提出了我们的新度量来缓解这些问题。然后，我们应用这些新的指标来探索模型复杂性和不确定性估计质量之间的权衡，在文献中严重缺失的工作。我们的实证实验结果验证了所提出的指标的优越性，并观察到一些有趣的趋势的复杂性不确定性权衡。
2020-07-12 cs.LG stat.ML
Towards Principled Uncertainty Estimation for Deep Neural Networks
Sophos PLC（Sophos PLC（索福斯公司））
当错误分类样本的成本很高时，对该样本的预测中的不确定性进行准确估计是有用的。还有多种类型的不确定性，它们以不同的方式进行最佳估计，例如，训练集固有的不确定性可以通过贝叶斯方法很好地处理，而由训练和查询分布之间的偏移引入的不确定性可以通过密度/支持估计更好地解决。在本文中，我们研究了三种类型的不确定性：模型容量的不确定性，内在的数据不确定性，和开放集的不确定性，并审查技术，已得出解决每一个。然后，我们引入了一个统一的分层模型，该模型将贝叶斯推理，可逆潜在密度推理和判别分类的方法结合在一个端到端的深度神经网络拓扑结构中，以在检测环境中产生有效的每样本不确定性估计。这种方法解决了所有三种不确定性类型，可以很容易地适应二进制检测的先验/基本速率。然后，我们将讨论如何将此模型扩展到更通用的多类识别环境。
2019-03-14 cs.LG stat.ML
Do you understand epistemic uncertainty? Think again! Rigorous frequentist epistemic uncertainty estimation in regression
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文将分类中的频率学派不确定性估计扩展到回归，通过把模型初始输出反馈为条件输入并观察预测变化，提出可严格区分认知与偶然不确定性的理论框架，且对原架构改动极小。
2025-03-17 cs.LG stat.ML
