Robustness Quantification and Uncertainty Quantification: Comparing Two Methods for Assessing the Reliability of Classifier Predictions
Foundations Lab for imprecise probabilities(不精确概率基础实验室);Ghent University(根特大学)
本文比较了鲁棒性量化和不确定性量化两种方法,发现鲁棒性量化在标准设置和分布偏移下均优于不确定性量化,并展示两者的互补性。
2026-03-24 cs.LG
Optimal strategies for reject option classifiers
Czech Technical University in Prague(捷克布拉格技术大学)
在具有拒绝选项的分类中,允许分类器在不确定的情况下放弃预测。拒绝选项分类器的经典基于成本的模型需要显式定义拒绝的成本。另一种有界改进模型,避免了拒绝成本的概念,寻求一个有保证的选择性风险和最大覆盖的分类器。我们硬币的对称定义,有界覆盖模型,它寻求一个分类器具有最小的选择性风险和保证覆盖。我们证明,尽管他们的不同配方的三个拒绝模型导致相同的预测策略:贝叶斯分类器赋予随机贝叶斯选择函数。我们定义了一个适当的不确定性分数的概念,作为一个标量的预测不确定性的总结足以构建随机贝叶斯选择函数。我们提出了两种算法来学习适当的不确定性得分从任意的黑盒分类器的例子。我们证明了这两种算法提供Fisher一致的估计适当的不确定性得分,我们证明了他们的效率不同的预测问题,包括分类,有序回归和结构化输出分类。
2021-01-29 cs.LG
From Uncertainty to Precision: Enhancing Binary Classifier Performance through Calibration
Université du Québec à Montréal(蒙特利尔大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);AMSE(马赛经济与管理科学研究院);Université de Montréal(蒙特利尔大学)
本文提出Local Calibration Score改进指标,通过局部回归方法提升二分类器校准,并在信用违约预测中验证其有效性。
2024-02-12 cs.LG
Instance-Level Costs for Nuanced Classifier Evaluation
针对传统分类等错权重不合理问题,从上下文摇臂框架提出归一化超额代价NEC指标,可基于多源单样本代价加权错误,揭示多数错误集中于低代价模糊样本。
2026-07-07 cs.LG
Conditional Uncertainty-Aware Political Deepfake Detection with Stochastic Convolutional Neural Networks
本文提出基于随机卷积神经网络的条件不确定性政治深度伪造检测方法,通过校准概率输出和不确定性估计,提升高风险政治场景下的检测可靠性。
2026-02-10 cs.CV cs.LG
DBCal: Density Based Calibration of classifier predictions for uncertainty quantification
Pacific Northwest National Laboratory(太平洋西北国家实验室)
测量来自机器学习方法的预测的不确定性在科学领域和应用中是重要的。我们目前,据我们所知,第一个这样的技术,量化的不确定性的预测从一个分类器和帐户的分类器的信念和性能。我们证明,我们的方法提供了一个准确的估计的概率,两个神经网络的输出是正确的,通过显示一个预期的校准误差小于0.2%的二进制分类器,和小于3%的语义分割网络与极端的类不平衡。我们的经验表明,我们的方法返回的不确定性是分类器的预测是正确的概率的准确测量,因此在不确定性传播具有广泛的实用性。
2022-04-01 cs.LG stat.ML
Leveraging Uncertainty Estimates To Improve Classifier Performance
Amazon(亚马逊)
本文分析了模型分数估计偏差对不确定性的依赖,提出基于动态规划和保序回归的决策边界选择算法,在高精确率约束下召回率提升25%-40%。
2023-11-20 cs.LG
Measuring Uncertainty Calibration
Spotify
本文提出了一种非渐近的校准误差上界方法,通过修改分类器以高效限制校准误差,同时保持性能,适用于实际数据集。
2026-03-05 cs.LG
SLOVA: Uncertainty Estimation Using Single Label One-Vs-All Classifier
Jagiellonian University(雅盖隆大学)
深度神经网络表现出令人印象深刻的性能,但它们无法可靠地估计其预测置信度,限制了它们在高风险领域的适用性。我们发现,应用多标签的一对所有损失揭示了分类模糊性,并降低了模型的过度自信。引入的SLOVA(单标签一对所有)模型将典型的一对所有预测概率重新定义为单标签情况,其中只有一个类别是正确答案。建议的分类是有信心的,只有当一个单一的类有很高的概率和其他概率可以忽略不计。与典型的softmax函数不同,如果所有其他类的概率都很小,SLOVA自然会检测出分布外的样本。该模型还通过指数校准进行了微调,这使我们能够精确地将置信度得分与模型准确度进行对齐。我们在三个任务上验证我们的方法。首先,我们证明了SLOVA与最先进的分布校准具有竞争力。其次,SLOVA的性能在数据集移动下是鲁棒的。最后,我们的方法在检测分布外样本方面表现非常好。因此,SLOVA是一种工具,可用于需要不确定性建模的各种应用中。
2022-06-28 cs.LG
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft(微软);IIT Kanpur(印度理工学院坎普尔分校);Oracle(甲骨文公司);University of Bath(巴斯大学)
理解无监督领域自适应一直是一个重要的任务,已经很好地探索。然而,各种各样的方法都没有详细分析分类器的性能的作用。在本文中,我们彻底研究的作用,一个分类匹配的源和目标分布。我们通过匹配a)特征分布,b)样本的概率不确定性和c)确定性激活映射来专门研究分类器的能力。我们的分析表明,使用这三种分布确实可以在所有数据集上持续提高性能。因此,我们的工作扩展了目前的知识,从分类器获得的各种分布的作用,解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Anomaly Detection using Ensemble Classification and Evidence Theory
Ruhr-Universität Bochum(鲁尔大学波鸿分校);South Westphalia University of Applied Sciences(南威斯特法伦应用技术大学)
本文提出结合集成分类、证据理论与不确定性量化的异常检测方法,通过分类器池选择和多类集成架构提升未知条件识别能力,并在 Tennessee Eastman 基准上验证。
2022-12-23 cs.LG
Whose Preferences? Differences in Fairness Preferences and Their Impact on the Fairness of AI Utilizing Human Feedback
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Oxford(牛津大学)
本文通过新数据集揭示不同人口统计学群体在内容审核公平偏好上的显著差异,并提出对不同群体分类器等权集成的方案以改善不同人口统计学交叉群体的公平性表现。
2024-06-09 cs.AI cs.CL cs.CY
Post-Hoc Uncertainty-Aware Explanations for Deployed Power Quality Disturbance Classifiers via Laplace Approximation
School of Engineering, Deakin University(德肯大学工程学院);ARC Training Centre in Energy Technologies for Future Grids, School of Engineering, University of Wollongong(未来电网能源技术培训中心,沃尔灵宗大学工程学院)
本文提出一种贝叶斯解释框架,通过生成相关性归因分布来建模解释不确定性,提升电力质量问题分类器的透明度和可靠性。
2026-08-14 cs.LG
An Uncertainty Framework for Classification
我们定义了一个广义似然函数的不确定性措施的基础上,并表明,最大限度地提高这样的似然函数不同的措施,诱导不同类型的分类。在概率框架中,我们获得了优化交叉熵函数的分类器。在可能性框架中,我们得到的分类器,最大限度地提高类间的利润。此外,我们表明,支持向量机是这些最大间距分类器的子类。
2013-01-16 cs.LG stat.ML
On the Calibration of Probabilistic Classifier Sets
Ghent University(根特大学);LMU Munich(慕尼黑大学)
本文将校准概念从单个概率分类器扩展到概率分类器集合,提出新的非参数校准检验方法,并通过实验揭示深度神经网络集成普遍校准不佳的问题。
2023-04-19 cs.LG stat.ML
Boundary-Aware Uncertainty for Feature Attribution Explainers
Northeastern University(东北大学)
本文提出 GPEC 框架,通过融合决策边界感知与解释函数逼近的不确定性,并引入测地线核,量化任意黑盒分类器特征归因解释的可信度。
2024-03-04 cs.LG
Classifier uncertainty: evidence, potential impact, and probabilistic treatment
Universität Duisburg-Essen(杜伊斯堡-埃森大学)
分类器通常在相对较小的数据集上进行测试,这会导致不确定的性能指标。然而,这些指标通常是按面值计算的。我们提出了一种方法来量化分类性能指标的不确定性,基于混淆矩阵的概率模型。我们的方法从科学文献和分类竞争的分类器的应用表明,不确定性可以令人惊讶的大,限制性能评估。事实上,一些已公布的分类器可能会产生误导。我们的方法的应用是简单的,只需要混淆矩阵。它与底层分类器无关。我们的方法也可以用于估计样本量,达到所需的精度的性能指标。
2020-06-19 cs.LG stat.ML
Quantifying the Uncertainty of Precision Estimates for Rule based Text Classifiers
Oak Ridge National Laboratory(橡树岭国家实验室)
基于规则的分类器使用关键子串的存在和不存在来进行分类决策,具有用于量化其精度的不确定性的自然机制。对于二元分类器,关键的见解是将由文档引起的子串集合的分区视为伯努利随机变量。每个随机变量的平均值是分类器的精度的估计,当呈现诱导该分区的文档时。可以使用标准统计测试将这些平均值与期望或预期的分类器精度进行比较。一组二进制分类器可以通过应用Dempster-Shafer证据理论组合成单个多标签分类器。这种方法的实用性证明了一个基准问题。
2020-05-19 cs.AI cs.CL cs.LG
What classifiers know what they don't?
Facebook AI Research(脸书人工智能研究院)
面对未知时的不确定性是智能决策的关键。然而,机器学习算法缺乏关于其预测不确定性的可靠估计。这会导致在训练过程中遇到看不见的类时做出错误和过于自信的决定。尽管为分类器配备为现实世界准备的不确定性估计很重要,但之前的工作主要集中在小数据集上,并且训练和测试数据之间几乎没有类别差异。为了缩小这一差距,我们引入了UIMNET:一个现实的、ImageNet规模的测试平台,用于评估深度图像分类器的预测不确定性估计。我们的基准测试提供了八种最先进的算法,六种不确定性度量,四种域内度量,三种域外度量的实现,以及一个全自动的管道来训练,校准,集成,选择和评估模型。我们的测试台是开源的,我们所有的结果都可以从我们存储库中的固定提交中重现。添加新的数据集、算法、度量或指标只需要几行代码,因此希望UIMNET成为不确定性估计中现实、严格和可重复研究的垫脚石。我们的研究结果表明,合奏的ERM分类器,以及单一的MIMO分类器是两个最好的替代品,目前可用于测量的不确定性域和域外类。
2021-07-13 cs.AI cs.LG
Bias-Reduced Uncertainty Estimation for Deep Neural Classifiers
Technion – Israel Institute of Technology(以色列理工学院)
我们考虑(非贝叶斯)深度神经分类背景下的不确定性估计问题。在这种情况下,所有已知的方法都是基于从经过优化的训练网络中提取不确定性信号,以解决当前的分类问题。我们证明,这种技术往往会引入有偏估计的情况下,其预测应该是高度自信的。我们认为,这种缺陷是SGD类优化器训练动态的产物,它具有一些类似于过拟合的性质。基于这一观察,我们开发了一种不确定性估计算法,该算法使用训练模型的早期快照选择性地估计高度置信点的不确定性,然后再进行抖动估计(并且在它们准备好进行实际分类之前)。我们提出了广泛的实验表明,该算法提供的不确定性估计,始终优于所有已知的方法。
2019-04-24 cs.LG stat.ML
Open Set Recognition Through Deep Neural Network Uncertainty: Does Out-of-Distribution Detection Require Generative Classifiers?
Goethe University(歌德大学)
我们提出了一个基于预测不确定性的分析分布外检测的不同方法来估计各种模型的认知不确定性,并将其与基于极值理论的开集识别。虽然前者似乎不足以克服这一挑战,我们证明,不确定性与后者的方法齐头并进。这似乎特别反映在生成模型方法中,我们表明基于后验的开集识别优于判别模型和基于预测不确定性的离群值拒绝,提出了一个问题,即分类器是否需要生成,以便知道他们没有看到什么。
2019-08-26 cs.CV cs.LG stat.ML
ELC: Evidential Lifelong Classifier for Uncertainty Aware Radar Pulse Classification
Wolfson School of Mechanical, Electri- cal;Manufacturing Engineering Loughborough University, U.K.
本文提出ELC,通过证据理论建模epistemic不确定性,结合终身学习解决雷达脉冲分类中的不确定性问题,实验显示其在低信噪比条件下提升召回率46%。
2026-04-08 cs.LG eess.SP
Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks
Google Research, Brain Team(谷歌研究院,Brain团队)
现代神经网络中预测不确定性的准确估计对于实现良好校准的预测和检测分布外(OOD)输入至关重要。最有前途的方法主要集中在改善模型不确定性(例如深度集合和贝叶斯神经网络)和OOD检测的后处理技术(例如ODIN和Mahalanobis距离)。然而,有相对较少的调查如何参数化的概率在判别分类器影响的不确定性估计,和占主导地位的方法,softmax交叉熵,导致误导性的高置信度OOD数据和下协变量偏移。我们研究了使用(1)一对一的公式来捕捉“以上都没有”的概念,以及(2)基于距离的logit表示来将不确定性编码为到训练流形的距离的函数来制定概率的替代方法。我们表明,一对多的公式可以提高图像分类任务的校准,同时匹配softmax的预测性能,而不会产生任何额外的训练或测试时间复杂度。
2020-07-10 cs.LG stat.ML
Structure of Classifier Boundaries: Case Study for a Naive Bayes Classifier
Temple University, Department of Statistics, Operations, and Data Science(特拉华大学统计学、运营与数据科学系);Fraunhofer USA Center Mid-Atlantic(弗劳恩霍夫美国中大西洋中心);University of Maryland, Department of Computer Science(马里兰大学计算机科学系);University of Pennsylvania, Computational Social Science Laboratory(宾夕法尼亚大学计算社会科学实验室)
研究贝叶斯分类器在输入空间为图时的边界结构,通过邻域相似性度量分类不确定性,并应用于DNA读段分配问题。
2026-05-27 cs.LG stat.ML
Training Uncertainty-Aware Classifiers with Conformalized Deep Learning
Technion(以色列理工学院);University of Southern California(南加州大学)
深度神经网络是检测数据中隐藏模式并利用它们进行预测的强大工具,但它们并不是为了理解不确定性和估计可靠的概率而设计的。特别是,他们往往过于自信。我们开始在多类分类的背景下解决这个问题,通过开发一种新的训练算法来产生具有更可靠的不确定性估计的模型,而不牺牲预测能力。这个想法是通过最小化损失函数来减轻过度自信,该损失函数受到共形推理的启发,通过仔细利用保持数据来量化模型的不确定性。合成和真实数据的实验表明,该方法可以导致更小的共形预测集具有更高的条件覆盖率,与保持数据的精确校准后,与国家的最先进的替代品。
2022-11-09 cs.LG stat.ML
Feature uncertainty bounding schemes for large robust nonlinear SVM classifiers
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université Paul Sabatier(保尔·萨巴蒂埃大学)
我们考虑的二进制分类问题时,数据是大的,未知的,但有界的不确定性。我们解决这个问题,制定非线性支持向量机训练问题的鲁棒优化。要做到这一点,我们分析并提出了两个边界计划的不确定性相关的随机近似功能在低维空间。所提出的技术是基于随机傅立叶特征和Nyström方法。所得到的配方可以解决有效的随机逼近技术,如随机(子)梯度,随机近端梯度技术或其变体。
2017-06-29 cs.LG stat.ML
Scalable Optimal Classifiers for Adversarial Settings under Uncertainty
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
我们考虑在对抗环境中找到最佳分类器的问题,其中第1类数据是由攻击者生成的,其目标是防御者不知道的-这是现实应用的关键,但迄今为止在文献中被忽视的一个方面。为了模拟这种情况,我们提出了一个贝叶斯博弈框架,防守者选择一个分类器,没有先验限制的一组可能的分类。所提出的框架中的关键困难在于,可能的分类器的集合在可能的数据的集合中是指数的,而可能的数据的集合本身在用于分类的特征的数量上是指数的。为了解决这个问题,我们首先表明,贝叶斯纳什均衡可以完全通过功能阈值分类器的参数少的特点。然后,我们表明,这种低维表征,使开发一种训练方法来计算可证明的近似最优分类器在一个可扩展的方式,并开发一个学习算法的在线设置与低遗憾(都独立于可能的数据集的维度)。我们通过模拟来说明我们的结果。
2021-10-25 cs.GT cs.LG
Uncertainty Calibration for Deep Audio Classifiers
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);University of Science and Technology of China(中国科学技术大学)
尽管深度神经网络(DNN)在音频分类任务中取得了巨大的成功,但其不确定性校准仍处于探索阶段。一个经过良好校准的模型在确定其预测时应该是准确的,而在可能不准确时应该显示出高度的不确定性。在这项工作中,我们研究了深度音频分类器的不确定性校准。特别是,我们经验性地研究了流行的校准方法的性能:(i)Monte Carlo Dropout,(ii)合奏,(iii)焦点损失和(iv)频谱归一化高斯过程(SNGP),在音频分类数据集上。为此,我们评估(i-iv)的环境声音和音乐流派分类的任务。结果表明,未校准的深度音频分类器可能过于自信,SNGP表现最好,在本文的两个数据集上非常有效。
2022-06-27 cs.LG cs.SD eess.AS
Linear Maximum Margin Classifier for Learning from Uncertain Data
Queen Mary University of London(伦敦玛丽女王大学);Information Technologies Institute/Centre for Research and Technology Hellas (CERTH)(希腊信息技术研究所/希腊研究与技术中心)
在本文中,我们提出了一个最大间距分类器,处理数据输入中的不确定性。更具体地说,我们重新制定了SVM框架,使每个训练样本可以模拟由其平均向量和协方差矩阵描述的多维高斯分布-后者建模的不确定性。我们解决的分类问题,并定义了一个成本函数,这是期望值的经典SVM成本时,数据样本是从多维高斯分布,形成一组的训练样本。当训练样本是方差趋于零的各向同性高斯时,我们的公式近似于经典的SVM公式。我们到达一个凸优化问题,我们有效地解决了原始形式使用随机梯度下降的方法。由此产生的分类器,我们命名为支持向量机与高斯样本不确定性(SVM-GSU),测试合成数据和五个公开和流行的数据集,即MNIST,WDBC,DEAP,电视新闻频道商业检测,和TRECVID MED数据集。实验结果验证了该方法的有效性。
2017-11-19 cs.LG
Robust Classification via Support Vector Machines
City, University of London(伦敦城市大学);Bayes Business School(贝叶斯商学院);University of Naples “Parthenope”(那不勒斯帕泰诺佩大学)
分类模型对数据的不确定性非常敏感,寻找对数据不确定性不太敏感的鲁棒分类器在机器学习文献中引起了极大的兴趣。本文的目的是通过两个概率参数构造鲁棒的\emph{Support Vector Machine}分类器的特征数据的不确定性。第一分类器\emph{Single Perturbation}减少了关于一个给定特征的数据不确定性的局部影响,并且充当可以确认或反驳该特定特征的显著数据不确定性的存在的局部测试。第二个分类器,\emph{Extreme Empirical Loss},旨在减少数据的不确定性相对于所有功能,这是可能的,通过预测模型违规的数量和这些违规的大小之间的权衡的聚合效果。这两种方法都是计算效率高,我们广泛的数值研究突出了两个强大的分类器的合成和现实生活中的数据的优势和可能的局限性。
2022-02-28 cs.LG stat.ML
What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers
Technion(以色列理工学院);Amazon(亚马逊)
当部署用于风险敏感型任务时,深度神经网络必须包含不确定性估计机制。在这里,我们研究了深度架构与其各自的训练机制之间的关系,以及相应的选择性预测和不确定性估计性能。我们考虑了一些最流行的估计性能指标,包括AUROC,ECE,AURC以及覆盖率的选择性精度约束。我们提出了一个新的和全面的研究选择性预测和不确定性估计性能的523个现有的预训练的深度ImageNet分类器,可在流行的存储库。我们确定了许多以前未知的因素,影响不确定性估计,并检查不同的度量之间的关系。我们发现,基于蒸馏的训练方案始终比其他训练方案(如香草训练,更大数据集上的预训练和对抗训练)产生更好的不确定性估计。此外,我们发现一个子集的ViT模型,优于任何其他模型的不确定性估计性能。例如,我们发现ImageNet上的ViT模型在47%的覆盖率下获得了前所未有的99%的top-1选择准确率(在80%的覆盖率下获得了95%的top-1准确率),而竞争对手EfficientNet-V2-XL在任何覆盖率水平下都无法获得这些准确率约束。我们的配套论文也发表在ICLR 2023(A framework for benchmarking class-分布外检测and its application to ImageNet)上,研究了这些分类器在class-out-of-distribution设置中的性能。
2023-02-23 cs.CV cs.LG
Uncertainty quantification in neural network classifiers -- a local linear approach
Uppsala University(乌普萨拉大学)
针对神经网络分类器缺乏预测不确定性度量的问题,本文提出基于局部线性的参数协方差递归估计与传播方法,并通过 MC 估计类别 PMF、协方差及风险评估,在 MNIST 和 CFAR10 上验证效率。
2023-03-10 cs.LG eess.SP
The Certainty Ratio $C_ρ$: a novel metric for assessing the reliability of classifier predictions
School of Engineering(工程学院);Pablo de Olavide University(巴勃罗·德·奥拉维德大学)
本文提出确定性比率 $C_ρ$,通过整合概率混淆矩阵分解预测的确定性与不确定性,在21个数据集上证明其能揭示传统指标忽略的分类器可靠性关键见解。
2024-12-18 cs.LG
Uncertainty Quantification for Motor Imagery BCI -- Machine Learning vs. Deep Learning
Bernoulli Institute, University of Groningen, The Netherlands(格罗宁根大学伯努利研究所)
本研究对比了运动想象BCI中机器学习(CSP-LDA、MDRM)与深度学习(Deep Ensembles、CNNs)的不确定性量化能力,发现通过改进MDRM的置信度并拒绝模糊样本,能有效提升系统准确率。
2025-07-16 cs.LG
Conditional Diffusion Models are Medical Image Classifiers that Provide Explainability and Uncertainty for Free
McGill University(麦吉尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所)
首次探索类别条件扩散模型在二维医学图像分类中的应用,提出多数投票方案提升性能,在CheXpert和ISIC数据集上无需显式监督即可媲美SOTA判别式分类器,且本质可解释并能量化预测不确定性。
2025-08-08 cs.CV cs.LG
Improving Uncertainty Quantification of Deep Classifiers via Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis
Washington State University(华盛顿州立大学)
在高风险的现实世界应用中安全部署深度神经网络需要理论上合理的不确定性量化。共形预测(CP)是用于深度模型的不确定性量化的原则性框架,其形式为具有用户指定的覆盖率的分类任务的预测集(即,真类标签以高概率被包含)。本文提出了一种新的算法,称为邻域共形预测(NCP),以提高深度分类器(即,减小预测集大小)。NCP背后的关键思想是使用神经网络的学习表示来识别给定测试输入的k个最近邻校准示例,并为它们分配与它们的距离成比例的重要性权重,以创建自适应预测集。我们从理论上证明,如果神经网络的学习数据表示满足一些温和的条件,NCP将产生更小的预测集比传统的CP算法。我们使用不同的深度神经网络对CIFAR-10、CIFAR-100和ImageNet数据集进行的综合实验强烈表明,与先前的CP方法相比,NCP导致预测集大小显著减少。
2023-03-19 cs.LG stat.ML
Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection
ITU Copenhagen(哥本哈根信息技术大学);Pacmed BV
可靠部署安全关键型应用程序的深度学习模型的一个关键要求是能够识别分布外(OOD)数据点,即与训练数据不同的样本,以及模型可能表现不佳的样本。以前的工作试图解决这个问题,使用不确定性估计技术。然而,有经验证据表明,一个大家庭的这些技术不检测OOD可靠的分类任务。本文对上述实验结果给出了理论解释,并用合成数据加以说明。我们证明,这样的技术是不能够可靠地识别OOD样本的分类设置,因为他们的信心水平是广义的特征空间看不见的领域。这一结果源于ReLU网络作为分段仿射变换的表示,softmax等激活函数的饱和性质以及最广泛使用的不确定性度量之间的相互作用。
2021-06-10 cs.AI cs.LG
UnfoldML: Cost-Aware and Uncertainty-Based Dynamic 2D Prediction for Multi-Stage Classification
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
机器学习(ML)研究的重点是最大限度地提高预测任务的准确性。然而,ML模型越来越复杂,资源密集型,并且在资源受限的环境中部署成本更高。这些问题加剧了预测任务的顺序分类逐步过渡阶段与“之前发生”的关系。我们认为,这是可能的“展开”一个单一的多类分类器,通常训练的所有阶段使用所有数据,到一系列的单阶段分类器。每个单级分类器可以从更便宜的二进制分类器逐渐级联到更昂贵的二进制分类器,这些二进制分类器仅使用该阶段所需的必要数据模态或特征进行训练。UnfoldML是一种用于多阶段分类的成本感知和基于不确定性的动态2D预测管道,能够实现(1)准确度/成本权衡空间的导航,(2)按数量级降低推理的时空成本,以及(3)对后续阶段进行早期预测。UnfoldML在临床环境中实现了数量级的成本优势,同时实时的检测多阶段疾病发展。它实现了从最高性能的多类基线到0.1%的准确度,同时节省了近20倍的时空推理成本和更早(3.5小时)的疾病发作预测。我们还表明,UnfoldML推广到图像分类,它可以预测不同级别的标签(从粗到细)给定不同级别的抽象的图像,节省近5倍的成本,只有0.4%的准确性降低。
2022-10-28 cs.LG
Evidential Uncertainty Sets in Deep Classifiers Using Conformal Prediction
Toronto Metropolitan University(多伦多都会大学);Vector Institute(向量研究所)
本文提出证据共形预测(ECP)方法,利用证据深度学习量化DNN分类器认知不确定性,基于logit值计算非一致性评分函数生成预测集合,在保持真实标签覆盖率的同时显著减小了集合大小并提升了自适应性。
2024-07-30 cs.AI cs.CV cs.LG
Uncertainty Calibration of Multi-Label Bird Sound Classifiers
INS, Kiel University, Germany(基尔大学);Tilburg University, Netherlands(蒂尔堡大学);Naturalis Biodiversity Center, Netherlands(自然史生物多样性中心);IES, University of Kassel, Germany(卡塞尔大学)
本文研究了多标签鸟类声音分类器的不确定性校准问题,发现不同模型在不同数据集和类别上的校准效果差异显著,提出通过简单后处理方法提升校准性能。
2026-02-24 cs.LG cs.SD
Ensembling Uncertainty Measures to Improve Safety of Black-Box Classifiers
University of Florence(佛罗伦萨大学)
针对机器学习分类器误分类可能引发系统严重故障的问题,提出名为SPROUT的安全包装器,通过集成不确定性度量检测黑盒分类器的误分类并阻断输出,适配多类任务与数据集,检测效果优异且易部署。
2023-08-23 cs.AI cs.LG cs.SE
A method for classification of data with uncertainty using hypothesis testing
Fukuoka University(福冈大学)
本文提出一种基于两类假设检验的决策方法,利用训练数据特征值经验分布量化不确定性,并以α分位数确定阈值,从而在二分类中有效识别重叠区域的模糊数据和分布外数据,避免传统分类器的过度自信预测。
2025-03-12 cs.LG
Deep Classifiers with Label Noise Modeling and Distance Awareness
ETH Zürich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);Google Research(谷歌研究院)
深度学习中的不确定性估计最近已经成为一个重要的兴趣领域,以提高安全关键应用程序的可靠性和鲁棒性。虽然已经提出了许多方法,无论是集中在距离感知模型的不确定性分布外检测或输入依赖的标签不确定性分布内校准,这两种类型的不确定性往往是必要的。在这项工作中,我们提出了HetSNGP方法联合建模的模型和数据的不确定性。我们表明,我们提出的模型在这两种类型的不确定性之间提供了有利的组合,因此在一些具有挑战性的分布外数据集(包括CIFAR-100C,ImageNet-C和ImageNet-A)上优于基线方法。此外,我们提出了HetSNGP Ensemble,这是我们方法的一个集成版本,它还对网络参数的不确定性进行了建模,并且优于其他集成基线。
2022-08-08 cs.LG stat.ML
Scene Uncertainty and the Wellington Posterior of Deterministic Image Classifiers
UCLA(加州大学洛杉矶分校)
我们提出了一种方法来估计的不确定性的图像分类器的结果在一个给定的输入数据。通常用于图像分类的深度神经网络是从输入图像到输出类的确定性映射。因此,他们在给定数据上的结果不涉及不确定性,因此我们必须在定义、测量和解释不确定性时指定我们所指的可变性,并将“信心”归因于结果。为此,我们引入了惠灵顿后验,这是响应于可能由产生给定图像的相同场景生成的数据而获得的结果的分布。由于有无限多的场景可以产生任何给定的图像,惠灵顿后节涉及从描绘的场景以外的其他场景的感应转移。我们探讨了使用数据增强,辍学,ensembling,单视图重建,模型线性化计算惠灵顿后。附加方法包括使用条件生成模型,诸如生成对抗网络、神经辐射场和条件先验网络。我们测试这些方法对经验的后验通过执行相同的底层场景的多个图像上的推理。这些发展只是朝着以与安全关键应用和人类解释兼容的方式评估深度网络分类器的可靠性迈出的一小步。
2023-03-24 cs.CV cs.LG stat.ML
Uncertainty-Aware Deep Classifiers using Generative Models
Blue Prism AI Labs(蓝棱镜人工智能实验室);Ozyegin University(奥兹耶金大学);US Army Research Lab(美国陆军研究实验室);University of Brescia(布雷西亚大学);Cardiff University(卡迪夫大学)
深度神经网络通常对他们不知道的事情一无所知,并且在做出不知情的预测时过于自信。最近的一些方法通过训练模型来直接量化分类不确定性,以输出接近类边界或来自训练分布外部的数据样本的高不确定性。这些方法在训练期间使用辅助数据集来表示分布外的样本。然而,这种辅助数据集的选择或创建是不平凡的,特别是对于诸如图像的高维数据。在这项工作中,我们开发了一种新的神经网络模型,能够表达任意和认知的不确定性,区分决策边界和分布区域的特征空间。为此,将变分自编码器和生成对抗网络结合起来,自动生成用于训练的分布外样本。通过广泛的分析,我们证明了所提出的方法提供了更好的估计的不确定性的分布样本,和对抗的例子对国家的最先进的方法,包括最近的贝叶斯方法神经网络和异常检测方法的知名数据集。
2020-06-07 cs.LG stat.ML
Is Your Classifier Actually Biased? Measuring Fairness under Uncertainty with Bernstein Bounds
Stanford University(斯坦福大学)
大多数NLP数据集都没有使用受保护的属性(如性别)进行注释,因此很难使用标准的公平性度量(例如,机会均等)。但是,手动注释具有受保护属性的大型数据集是缓慢且昂贵的。我们能不能不标注所有的例子,而是标注其中的一个子集,并使用该样本来估计偏差?虽然有可能这样做,但注释样本越小,我们就越不确定估计值是否接近真实偏倚。在这项工作中,我们建议使用伯恩斯坦界来表示这种不确定性的偏差估计的置信区间。我们提供的经验证据表明,以这种方式得出的95%置信区间始终是真实偏倚的界限。在量化这种不确定性时,我们称之为伯恩斯坦有界不公平的方法有助于防止分类器在没有足够的证据做出任何声明时被认为是有偏见或无偏见的。我们的研究结果表明,目前用于测量特定偏差的数据集太小,无法最终确定偏差,除非在最严重的情况下。例如,考虑一个共指消解系统,它在性别刻板印象句子上的准确率要高出5%--要声称它有95%的置信度,我们需要一个比WinoBias大3.8倍的特定于偏见的数据集。
2020-04-26 cs.CL cs.LG
Improving Uncertainty of Deep Learning-based Object Classification on Radar Spectra using Label Smoothing
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Stuttgart(斯图加特大学)
最近的深度学习(DL)解决方案极大地改善了汽车雷达的对象类型分类,但这些发展主要集中在分类精度上。在自动驾驶等安全关键型应用中使用DL解决方案之前,一个不可或缺的先决条件是准确量化分类器的可靠性。不幸的是,DL分类器的特点是黑箱系统输出严重过度自信的预测,导致下游决策系统错误的结论,可能造成灾难性的后果。我们发现,无论预测的正确性如何,深度雷达分类器都能对模糊、困难的样本(例如,在大距离处测量的小物体)保持高置信度。本文的重点是学习深度雷达谱分类器,这些分类器在训练期间使用标签平滑提供鲁棒的实时不确定性估计。标签平滑是一种细化或软化分类数据集中通常可用的硬标签的技术。在这篇文章中,我们利用雷达特有的知识来定义软标签,鼓励分类器学习输出高质量的校准不确定性估计,从而部分解决过度自信的问题。我们的调查表明,简单的雷达知识可以很容易地与复杂的数据驱动的学习算法相结合,以产生安全的汽车雷达感知。
2021-09-27 cs.LG eess.SP
BaCOUn: Bayesian Classifers with Out-of-Distribution Uncertainty
Harvard University(哈佛大学)
传统的深度分类器训练会产生过度自信的模型,这些模型在数据集移位的情况下不可靠。我们提出了一个贝叶斯框架,以获得可靠的深度分类器的不确定性估计。我们的方法包括一个插件“生成器”,用于使用位于训练数据边界上的额外一类点来增强数据,然后在经过训练以区分这些“分布外”点的特征之上进行贝叶斯推断。
2020-07-12 cs.LG stat.ML
A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty
Loughborough University(拉夫堡大学);Defence Medical Rehabilitation Centre(国防医疗康复中心)
针对分类器不确定性解释缺乏模型无关且易理解方法的问题,提出类别无关的元启发式复杂度度量,并通过元学习框架估计误分类风险,效果优于预测概率。
2023-04-20 cs.AI cs.LG
Reduction of detection limit and quantification uncertainty due to interferent by neural classification with abstention
Pacific Northwest National Laboratory(太平洋西北国家实验室)
物理科学中的许多测量可以被视为计数实验,其中物理现象发生的次数表明了现象来源的普遍性。通常,物理现象(称为信号)的检测难以与自然发生的现象(称为背景)区分开。在这种情况下,可以使用分类器来执行信号事件与背景的区分,并且它们的范围可以从简单的基于阈值的分类器到复杂的神经网络。这些分类器通常经过训练和验证,以获得最佳的准确性,但是我们表明,最佳的准确性分类器通常不符合分类器,提供最低的检测限,也没有最低的量化不确定性。我们给出了基于分类器的计数实验案例中检测限和量化不确定度的推导。我们还提出了一种新的预防机制,以尽量减少检测限或定量不确定度\emph{a posteriori}。我们说明了两个数据集的方法,从物理科学,区分Ar-37和Ar-39的放射性衰变从非放射性事件的气体正比计数器,并区分中子从光子在无机闪烁体和报告结果。
2022-04-22 cs.LG hep-ex physics.data-an
Augmentation by Counterfactual Explanation -- Fixing an Overconfident Classifier
University of Pittsburgh(匹兹堡大学);Meta AI;University of Crete(克里特大学)
高度准确但过于自信的模型不适合部署在医疗保健和自动驾驶等关键应用中。分类结果应反映接近决策边界的模糊分布内样本的高度不确定性。模型还应该避免对远离其训练分布、远离分布(far-OOD)的样本或来自靠近其训练分布(near-OOD)的新类别的未见过样本做出过度自信的决策。本文提出了反事实解释在确定一个过于自信的分类器中的应用。具体来说,我们建议使用反事实解释器(ACE)的增强来微调给定的预训练分类器,以修复其不确定性特征,同时保留其预测性能。我们进行了大量的实验,检测远OOD,近OOD,和模糊的样本。我们的实证结果表明,修正后的模型有改进的不确定性措施,其性能是有竞争力的国家的最先进的方法。
2022-10-21 cs.CV cs.LG
Localized Uncertainty Attacks
Facebook(脸书)
深度学习模型对对抗性扰动的敏感性在对抗性示例中引起了新的关注,导致了许多攻击。然而,这些攻击中的大多数未能涵盖人类无法察觉的大范围对抗性扰动。在本文中,我们提出了本地化的不确定性攻击,一类新的威胁模型对确定性和随机分类。在这种威胁模型下,我们通过只扰动分类器不确定的输入区域来创建对抗性示例。为了找到这样的区域,当分类器是随机的时,我们利用分类器的预测不确定性,或者当分类器是确定性的时,我们学习代理模型来摊销不确定性。不像$\ell_p$球攻击或函数攻击那样不加区别地干扰输入,我们的目标变化可能不太明显。当在我们的威胁模型下考虑时,这些攻击仍然会产生强大的对抗性示例;这些示例与输入保持更大程度的相似性。
2021-06-17 cs.CR cs.CV cs.LG
Addressing Strategic Manipulation Disparities in Fair Classification
Yale University(耶鲁大学)
本文针对公平分类中少数群体策略性操纵成本更高的问题,提出约束优化框架以降低其操纵成本,并通过理论分析和多数据集实验验证了方法的有效性。
2023-09-15 cs.CY cs.LG stat.ML
Gaussian Latent Representations for Uncertainty Estimation using Mahalanobis Distance in Deep Classifiers
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Georgia Tech Europe(佐治亚理工学院欧洲校区);Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与控制论研究所);Czech Technical University in Prague(布拉格捷克理工大学)
针对基于马氏距离的不确定性与 OOD 检测,本文提出自监督多高斯潜在表示正则化方法,以极小架构和推理开销取得最先进 OOD 检测及有竞争力的校准效果。
2023-09-29 cs.CV cs.LG