Accurate Uncertainties for Deep Learning Using Calibrated Regression
Stanford University(斯坦福大学)
在不确定性条件下进行推理的方法是准确可靠的机器学习系统的关键组成部分。贝叶斯方法提供了一个量化不确定性的一般框架。然而,由于模型错误指定和近似推理的使用,贝叶斯不确定性估计通常是不准确的-例如,90%的可信区间可能不包含90%的真实结果。在这里,我们提出了一个校准任何回归算法的简单过程;当应用于贝叶斯和概率模型时,它保证在给定足够数据的情况下产生校准的不确定性估计。我们的程序的灵感来自普拉特缩放和扩展以前的工作分类。我们在贝叶斯线性回归、前馈和递归神经网络上评估了这种方法,发现它始终输出校准良好的可信区间,同时提高了时间序列预测和基于基于模型的强化学习任务的性能。
2018-07-01 cs.LG stat.ML
Building Calibrated Deep Models via Uncertainty Matching with Auxiliary Interval Predictors
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Arizona State University(亚利桑那州立大学);IBM Research AI(IBM研究院人工智能部门)
随着深度学习在关键应用中的快速采用,经常会出现何时以及在多大程度上信任这些模型的问题,这就需要量化固有的不确定性。虽然识别解释模型随机性的所有来源具有挑战性,但通常使用置信区间来增强预测,以传达模型行为的预期变化。我们要求预测区间经过很好的校准,反映真实的不确定性,并且要尖锐。然而,已知用于获得预测区间的现有技术在这些标准中的至少一个中产生不令人满意的结果。为了应对这一挑战,我们开发了一种构建校准估计器的新方法。更具体地说,我们使用单独的模型进行预测和区间估计,并提出了一个双层优化问题,允许前者通过\textit{uncertainty matching}策略利用后者的估计。使用回归,时间序列预测和对象定位的实验,我们表明,我们的方法实现了显着改善现有的不确定性量化方法,无论是在模型保真度和校准误差。
2019-11-21 cs.LG stat.ML
Calibrated Top-1 Uncertainty estimates for classification by score based models
McGill University(麦吉尔大学);University of Michigan(密歇根大学)
虽然现代深度学习模型的准确性近年来有了显著提高,但这些模型生成不确定性估计的能力并没有达到同样的程度。不确定性方法的目的是在预测类分配时提供类概率的估计。虽然有许多估计不确定性的方法,但它们都缺乏校准:预测概率可能与经验概率相差百分之几或更多。通过将我们的预测范围限制在Top-1错误的概率,我们可以将现有方法的校准误差降低到不到1%。因此,这些方法的得分也大大高于基准。
2020-06-16 cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University(统计系,维萨-巴哈蒂大学);S. N. Bose National Centre for Basic Sciences(S. N. Bose基础科学国家中心)
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题,本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架,经多数据集验证可输出校准风险、优化模型性能,支撑流行病学决策。
2025-11-15 cs.LG stat.ML
Calibrated Reliable Regression using Maximum Mean Discrepancy
Tsinghua University(清华大学);RealAI(瑞莱智慧)
不确定性的准确量化对于机器学习的实际应用至关重要。然而,现代深度神经网络仍然会产生不可靠的预测不确定性,通常会产生过于自信的预测。在本文中,我们关注的是在回归任务中获得校准良好的预测。通过最小化核嵌入测度,我们提出了使用最大均值偏差的校准回归方法。理论上,当样本量足够大时,该方法的标定误差渐近收敛于零。在非平凡真实数据集上的实验表明,我们的方法可以产生校准良好和尖锐的预测区间,这优于相关的最先进的方法。
2020-10-28 cs.LG stat.ML
Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty Quantification
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
在回归设置中量化不确定性的许多方法中,指定完整的分位数函数是有吸引力的,因为分位数可以解释和评估。在所有分位数水平上预测每个输入的真实条件分位数的模型可以正确有效地表示潜在的不确定性。为了实现这一点,目前许多基于分位数的方法专注于优化所谓的弹球损失。然而,这种损失限制了适用回归模型的范围,限制了针对许多期望属性(例如校准,锐度,中心间隔)的能力,并且可能产生不良的条件分位数。在这项工作中,我们开发了新的分位数方法来解决这些缺点。特别是,我们提出的方法,可以适用于任何类别的回归模型,允许选择校准和锐度之间的权衡,优化校准的中心间隔,并产生更准确的条件分位数。我们提供了一个彻底的实验评估,我们的方法,其中包括一个高维的不确定性量化任务,在核聚变。
2021-12-09 cs.LG stat.ML
Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds
Visva-Bharati University(维萨瓦巴拉蒂大学);S. N. Bose National Centre for Basic Sciences(S.N. 玻色基础科学国立中心)
BCPO通过贝叶斯方法构建可信下界,将不确定性转化为保守策略改进,提升离线强化学习的鲁棒性和稳定性。
2026-03-06 stat.ME stat.ML
Calibrated Decomposition of Aleatoric and Epistemic Uncertainty in Deep Features for Inference-Time Adaptation
University of Illinois at Chicago(伊利诺伊大学香槟分校);Intel Labs(英特尔实验室)
针对现有估计器将不确定性压缩为单一置信度分数的问题,提出轻量级Uncertainty-Guided Inference-Time Selection框架,在深度特征空间解耦随机与认知不确定性,实现推理时自适应,减少计算量且精度损失小。
2025-11-15 cs.CV stat.ML
A Confidence-Calibrated MOBA Game Winner Predictor
Hanyang University(汉阳大学)
在本文中,我们提出了一个信心校准方法预测的一个著名的多人在线战斗竞技场(MOBA)游戏,英雄联盟的赢家。在MOBA游戏中,数据集可能包含大量依赖于输入的噪声;并非所有这些噪声都是可观察的。因此,期望尝试置信度校准预测。不幸的是,大多数现有的置信度校准方法是关于图像和文档分类任务的不确定性的考虑是不重要的。在本文中,我们提出了一种新的校准方法,考虑到数据的不确定性。所提出的方法实现了突出的预期校准误差(ECE)(0.57%),主要是由于数据的不确定性考虑,相比,传统的温度定标方法,其中ECE值为1.11%。
2020-06-28 cs.LG stat.ML
CAMul: Calibrated and Accurate Multi-view Time-Series Forecasting
Georgia Institute of Technology(佐治亚理工学院);College of Computing(计算学院)
概率时间序列预测可以在许多领域做出可靠的决策。大多数预测问题都有不同的数据来源,包含多种模式和结构。利用这些数据来源的信息和不确定性进行校准良好和准确的预测是一个重要的挑战性问题。以前大多数关于多模态学习和预测的工作只是通过简单的求和或级联方法从每个数据视图中聚合中间表示,并且没有明确地为每个数据视图建模不确定性。我们提出了一个通用的概率多视图预测框架CAMul,它可以从不同的数据源中学习表示和不确定性。它以动态的特定于上下文的方式集成来自每个数据视图的知识和不确定性,为有用的视图分配更多的重要性,以模拟校准良好的预测分布。我们将CAMul用于具有不同来源和形式的多个域,并表明CAMul在准确性和校准方面优于其他最先进的概率预测模型25%以上。
2022-02-25 cs.AI cs.LG stat.ML
Uncertainty-Calibrated Prediction of Randomly-Timed Biomarker Trajectories with Conformal Bands
针对生物标志物轨迹预测的不确定性限制临床应用的问题,本文提出扩展共形预测的随机时间轨迹不确定性校准方法,可生成紧致且覆盖率达标的预测带,能更有效识别阿尔茨海默病高风险人群。
2025-11-17 cs.LG stat.AP stat.ML
Enhanced Route Planning with Calibrated Uncertainty Set
City University of Hong Kong(香港城市大学);Alpha Benito Research(阿尔法贝尼托研究所);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
提出 CQR-GAE,通过保形预测构建具有覆盖保证的不确定性集合,并在鲁棒优化框架下改进道路网络路径规划,真实交通实验显示其显著优于基线。
2025-03-13 cs.LG stat.ML
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge(剑桥大学)
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法,但迄今为止的研究都集中在平均准确度作为主要指标。然而,要用模型取代昂贵的关键任务实验,高平均精度是不够的:离群值可能会破坏发现活动,因此模型需要可靠地预测何时会失败,即使训练数据有偏差;实验是昂贵的,因此模型需要数据高效,并使用主动学习建议信息丰富的训练集。我们表明,不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样,以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离,在低数据限制下保持不确定性估计的准确性,并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness
New York University(纽约大学)
本文提出 FairlyUncertain 公理化基准,系统评估公平性中的不确定性估计,发现二分类中简单方法更一致且校准良好、弃权(不执行)无法缓解群体结果不平衡,而回归中纳入校准不确定性可无需显式干预即改善公平性。
2024-10-02 cs.LG stat.ML
Dirichlet-based Gaussian Processes for Large-scale Calibrated Classification
EURECOM(欧洲通信学院);University of Genoa(热那亚大学);IIT(意大利理工学院);MIT(麻省理工学院)
在本文中,我们研究的问题,得出快速和准确的分类算法与不确定性量化。高斯过程分类提供了一种原则性的方法,但相应的计算负担在大规模问题中几乎是不可持续的,并且设计有效的替代方案是一个挑战。在这项工作中,我们研究了直接应用于分类标签的高斯过程回归是否以及如何用于解决这个问题。虽然在这种情况下,训练时间明显更快,但预测需要针对分类和不确定性估计进行校准。为此,我们提出了一种新的方法的基础上解释的Dirichlet分布的输出标签。大量的实验结果表明,所提出的方法提供了基本相同的精度和不确定性量化的高斯过程分类,而只需要一小部分的计算资源。
2018-05-28 cs.LG stat.ML
Calibrated and uncertain? Evaluating uncertainty estimates in binary classification models
Department of Computer science, Electrical engineering and Mathematical sciences Western Norway University of Applied Sciences(计算机科学、电气工程和数学科学系西部挪威应用科学大学);Department of Informatics University of Bergen(信息学院卑尔根大学)
本研究评估了六种二分类模型在不确定性估计上的表现,发现所有算法在合成数据上校准良好,但深度学习方法在分布外数据点上的不确定性估计不一致。
2026-02-17 cs.LG stat.ML
Decision-Calibrated Conformal Uncertainty for Pacing Decisions in Streaming Advertising
Department of Mathematics, Embry-Riddle Aeronautical University(数学系,埃姆伯里-瑞德航空大学)
提出一种决策校准共形框架,通过衡量预测误差对实际部署策略的最大影响来校准不确定性,理论证明该分数是保护所有可部署节奏控制策略的最小有效不确定性度量,并在公开数据集上显著降低不确定性半径。
2026-06-08 cs.LG stat.ML
Physics-Informed Learning for Robust Acoustic Localization with Calibrated Uncertainty
Duke University(杜克大学)
针对经典声学定位方法在户外声景中易受干扰的问题,提出基于物理信息声学特征的学习模型修正双曲求解器,并提供校准不确定性估计,实现鲁棒的声学定位,助力自动化野生动物监测。
2026-08-11 cs.LG cs.SD stat.ML
Exact Stiefel Optimization for Probabilistic PLS: Closed-Form Updates, Error Bounds, and Calibrated Uncertainty
School of Artificial Intelligence, Beijing Normal University(人工智能学院,北京师范大学)
提出一种基于Stiefel流形精确优化的概率偏最小二乘框架,通过噪声预估计、约束似然优化和预测校准,实现闭式更新、误差界和校准不确定性。
2026-06-02 cs.AI cs.LG stat.ML
CLEAR: Calibrated Learning for Epistemic and Aleatoric Risk
Department of Operations, HEC, University of Lausanne(洛桑大学运营管理系);Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计系);Department of Electrical Engineering and Computer Science, University of California, Berkeley(加州大学伯克利分校电气工程与计算机科学系);BegooAI
提出校准方法CLEAR,用两个参数结合测量噪声偶然不确定性与数据有限认知不确定性,提升回归任务预测区间条件覆盖率,与多种估计器兼容,在多数据集上效果良好。
2026-07-07 cs.LG stat.ME stat.ML
Density-Informed Pseudo-Counts for Calibrated Evidential Deep Learning
Department of Statistics and Data Sciences(统计与数据科学系)
针对证据深度学习在分布外输入上过度自信的问题,提出密度信息伪计数EDL(DIP-EDL),通过分离条件标签分布和边际协变量密度来解耦认知不确定性和偶然不确定性,实现校准的不确定性估计。
2026-07-20 cs.LG stat.ML
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
Department of Computing, Imperial College London(伦敦帝国理工学院计算机系)
提出变分混合专家路由(VMoER),通过将贝叶斯推断限制在专家选择阶段,实现大规模模型的不确定性校准,在微调基础模型上显著提升路由稳定性、降低校准误差并提高分布外检测AUROC,且额外计算开销极小。
2026-05-28 cs.AI cs.LG stat.ML
Decision-calibrated prediction sets for robust power system operations
UCL Energy Institute, University College London(伦敦大学学院能源研究所);Department of Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电气工程系);Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院电气与电子工程系);Dyson School of Design Engineering, Imperial College London(帝国理工学院戴森设计工程学院)
提出决策校准预测集作为鲁棒优化中的不确定集,通过部分输入凸神经网络学习条件预测集,并基于共形风险控制校准阈值,以控制下游运行约束的期望违反,实现比传统覆盖校准更优的约束满足精度和成本效率。
2026-06-01 math.OC stat.ML
Heteroscedastic Calibration of Uncertainty Estimators in Deep Learning
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
随着预测模型在高风险应用中的使用越来越多,不确定性量化(UQ)在深度学习中的作用变得至关重要。虽然存在大量用于测量深度不确定性的方法,但在实践中,发现由此产生的估计值校准不良,因此将其转化为可操作的见解具有挑战性。一种常见的解决方法是使用单独的重新校准步骤,该步骤调整估计值以补偿误校准。相反,我们建议将异方差回归目标重新用作校准的替代品,并使任何现有的不确定性估计器都能够进行固有校准。除了消除重新校准的需要外,这还使训练过程正规化。使用回归实验,我们证明了建议的异方差校准与两个流行的不确定性估计的有效性。
2019-10-30 cs.LG stat.ML
Think Short, Defer Smart, Act, and Repeat: Calibrated Reasoning and Uncertainty-Aware Deferral for Edge LLM Agents
Institute for Intelligent Networked Systems (INSI)(智能网络系统研究所);Northeastern University London(伦敦东北大学)
该研究提出TSDS框架,结合收敛探测器与困惑度延迟规则,经LTT流程校准后,可在边缘LLM智能体上减少43%-73%的思考计算量,同时保证奖励与云端调用率,在多类基准任务上表现优异。
2026-09-28 cs.AI cs.IT cs.LG
CRUDE: Calibrating Regression Uncertainty Distributions Empirically
Stanford University(斯坦福大学)
机器学习中校准的不确定性估计对自动驾驶汽车、医学以及天气和气候预测等许多领域至关重要。虽然有大量的文献不确定性校准分类,分类结果并不总是转化为回归。因此,在回归设置中预测不确定性的现代模型通常会产生未经校准和过度自信的估计。为了解决这些差距,我们提出了一种回归设置的校准方法,该方法不假设误差上的特定不确定性分布:经验校准回归不确定性分布(CRUDE)。CRUDE假设误差分布在整个输出空间中具有恒定的任意形状,由预测的平均值移动,并由预测的标准差缩放。我们详细介绍了CRUDE和共形推理之间的理论联系。在一系列广泛的回归任务中,CRUDE始终表现出比最先进的技术更清晰,更好的校准和更准确的不确定性估计。
2021-03-15 cs.LG stat.ML
On the Calibration of Probabilistic Classifier Sets
Ghent University(根特大学);LMU Munich(慕尼黑大学)
本文将校准概念从单个概率分类器扩展到概率分类器集合,提出新的非参数校准检验方法,并通过实验揭示深度神经网络集成普遍校准不佳的问题。
2023-04-19 cs.LG stat.ML
A Bayesian latent Gaussian process framework for aerodynamic uncertainty quantification
Aerospace Engineering, The Pennsylvania State University, University Park, PA 16802(航空工程,宾夕法尼亚州立大学,University Park分校,PA 16802);Aerospace Engineering and the Institute of Computational and Data Science (ICDS), The Pennsylvania State University, University Park, PA 16802(航空工程和计算与数据科学研究所(ICDS),宾夕法尼亚州立大学,University Park分校,PA 16802)
提出基于贝叶斯潜在高斯过程的校准方法,利用廉价低保真数据和稀疏测量数据预测气动系数不确定性,验证显示94.2-95.8%预测样本落在真实95%区间内。
2026-06-27 cs.LG physics.comp-ph stat.ML
Functional Space Variational Inference for Uncertainty Estimation in Computer Aided Diagnosis
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
深度神经网络彻底改变了医学图像分析和疾病诊断。尽管它们的性能令人印象深刻,但很难为这些网络生成校准良好的概率输出,这使得它们成为不可解释的黑匣子。贝叶斯神经网络提供了一种用于对不确定性进行建模并提高患者安全性的原则性方法,但是它们具有较大的计算开销并且在校准中提供有限的改进。在这项工作中,通过以皮肤病变分类为例的任务,我们表明,通过将贝叶斯推理转移到功能空间,我们可以制作有意义的先验,以更低的计算成本提供更好的校准不确定性估计。
2020-05-28 cs.AI cs.LG stat.ML
Uncertainty-Aware Calibrated Clinical Text Classification with Large Language Models
Faculty of Dental Medicine and Oral Health Sciences, McGill University(牙医学院与口腔健康科学学院,麦吉尔大学);McGill University(麦吉尔大学);Mila–Quebec Artificial Intelligence Institute(魁北克人工智能研究所);School of Computer Science, McGill University(计算机科学学院,麦吉尔大学)
本研究提出基于似然自由后验推断的临床文本分类方法,利用LLM作为模拟器结合SMC-ABC,在多个基准上优于黑盒置信度,并支持临床先验,发布OLB-300基准。
2026-09-15 cs.AI cs.LG stat.ML
Randomised Postiterations for Calibrated BayesCG
University of Southampton, United Kingdom(南安普顿大学,英国)
针对BayesCG方法校准差的问题,提出随机后迭代策略,在保持收敛特性的同时增强后验校准,并通过理论保证与数值实验验证其在不确定性量化中的有效性。
2025-08-12 cs.LG cs.NA math.NA
Algorithms with Calibrated Machine Learning Predictions
Department of Management Science \& Engineering, Stanford University, Stanford, CA, USA;Department of Computer Science, Stanford University, Stanford, CA, USA
本文提出校准作为连接预测信任与算法性能的桥梁,通过滑雪租赁和在线任务调度案例,展示校准预测在高方差环境下提升性能的效果。
2026-03-25 cs.DS cs.LG stat.ML
Adaptive and Calibrated Ensemble Learning with Dependent Tail-free Process
Harvard University(哈佛大学);Columbia University(哥伦比亚大学)
包围学习是现代数据科学实践的中流砥柱。传统的集成算法为基础模型分配一组确定性的恒定模型权重,其(1)不完全考虑跨子组的基础模型准确性的变化,也不(2)提供集成预测的不确定性估计,这可能导致错误校准(即精确但有偏差)的预测,这反过来可能对实际应用中的算法性能产生负面影响。在这项工作中,我们提出了一种自适应的,概率的集成学习方法,使用依赖的无尾过程作为集成权重先验。给定输入特征$\mathbf{x}$,我们的方法根据基础模型在特征空间$\mathbf{x} \in \mathcal{X}$中的预测准确性进行最佳组合,并在模型选择和集合预测中提供可解释的不确定性估计。为了鼓励可扩展和校准的推理,我们推导出一种结构化变分推理算法,该算法联合最小化KL目标和模型的校准得分(即连续排序概率得分(CRPS))。我们说明了我们的方法的实用性的合成非线性函数回归任务,并在新英格兰的颗粒物污染预测模型的时空一体化的实际应用。
2018-12-19 cs.LG stat.ML
Multi-Class Gaussian Process Classification Made Conjugate: Efficient Inference via Data Augmentation
TU Berlin(柏林工业大学);TU Kaiserslautern(凯泽斯劳滕工业大学)
我们提出了一种新的可扩展的多类高斯过程分类方法,建立在一个新的修改的softmax似然函数。新的可能性有两个好处:它导致校准良好的不确定性估计,并允许一个有效的潜变量增强。增广模型的优点在于它是有条件共轭的,从而通过块坐标上升更新产生快速变分推断方法。以前的方法遭受不确定性校准和速度之间的权衡。我们的实验表明,我们的方法导致校准良好的不确定性估计和有竞争力的预测性能,同时比最先进的方法快两个数量级。
2019-05-23 cs.LG stat.ML
Concrete Dropout
Dropout是一种实用的工具,用于在大型视觉模型和强化学习(RL)任务中获得不确定性估计。但是,为了获得校准良好的不确定性估计,在丢弃概率上进行网格搜索是必要的-对于大型模型,这是一个禁止的操作,而对于RL则是不可能的。我们提出了一个新的辍学的变种,提供了更好的性能和校准的不确定性。依靠贝叶斯深度学习的最新发展,我们使用dropout离散掩码的连续松弛。结合原则性优化目标,这允许在大型模型中自动调整丢失概率,从而加快实验周期。在RL中,这允许代理随着观察到更多数据而动态地适应其不确定性。我们在一系列任务上广泛分析了所提出的变体,并深入了解了在更深的模型层中经常使用更大的辍学概率的领域中的常见做法。
2017-05-22 stat.ML
Noise-Calibrated Inference from Differentially Private Sufficient Statistics in Exponential Families
Department of Biostatistics, Vanderbilt University Medical Center(生物统计学系,范德比尔特大学医学中心)
本文提出通过发布差分隐私充分统计量并进行噪声校准推断,解决DP数据发布中的校准问题,提供理论支持和实际应用验证。
2026-03-02 cs.LG stat.ML
Marginally calibrated response distributions for end-to-end learning in autonomous driving
自动驾驶的端到端学习器是深度神经网络,它直接从前方街道的图像中预测瞬时转向角。这些学习者必须为他们的预测提供可靠的不确定性估计,以满足安全要求,并在高度不确定的区域启动手动控制的切换。然而,端到端学习器通常只提供点预测,因为分布预测与预测期间训练时间或额外计算资源的大幅增加相关。为了解决这个缺点,我们研究了Klein,Nott和Smith(2021)的隐式copula神经线性模型的有效和可扩展的近似推理,以量化端到端学习器预测的不确定性。结果是转向角的密度,其被边缘校准,即~估计密度的平均值等于转向角的经验分布。为了确保大$n$制度的可扩展性,我们开发了高效的估计变分推理的基础上,作为一个快速的替代计算密集型,精确的推理通过哈密顿蒙特卡罗。我们证明了变分方法的准确性和速度相比,哈密顿蒙特卡罗的两个端到端的学习者训练的高速公路驾驶使用comma2k19数据集。隐式copula神经线性模型提供精确的校准,高质量的预测区间,并允许识别过度自信的学习者。我们的方法还有助于黑箱端到端学习者的可解释性,因为预测密度可以用来理解端到端学习者认为哪些转向动作是有效的。
2021-10-03 cs.CV cs.LG stat.ML
Verified Uncertainty Calibration
Stanford University(斯坦福大学)
天气预报和个性化医疗需求模型等应用程序,这些应用程序输出校准的概率估计值--代表预测的真实可能性。大多数模型不是开箱即用的,而是通过后处理模型输出进行重新校准。在这项工作中,我们发现流行的重新校准方法,如普拉特缩放和温度缩放(i)校准比报告的少,(ii)目前的技术无法估计它们的校准误差。另一种方法,直方图分箱,具有可测量的校准误差,但样本效率低--与缩放方法的$O(1/ε^2)$相比,它需要$O(B/ε^2)$样本,其中$B$是模型可以输出的不同概率的数量。为了两全其美,我们引入了缩放分箱校准器,它首先拟合参数函数以减少方差,然后对函数值进行分箱以实际确保校准。这只需要$O(1/ε^2 + B)$样本。接下来,我们展示了我们可以使用气象界的估计器更准确地估计模型的校准误差-或者等效地用更少的样本测量其校准误差($O(\sqrt{B})$而不是$O(B)$)。我们通过CIFAR-10和ImageNet上的多类校准实验验证了我们的方法,在那里我们获得了比直方图分箱低35%的校准误差,并且与缩放方法不同,保证了真正的校准。在这些实验中,我们还估计校准误差和ECE比常用的插件估计更准确。我们在Python库中实现所有这些方法:https://pypi.org/project/uncertainty-calibration
2020-01-31 cs.LG stat.ML
Sharp Calibrated Gaussian Processes
Technical University of Munich(慕尼黑工业大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究院)
针对高斯过程不确定性校准不佳的问题,提出一种基于不同超参数满足经验校准约束的灵活校准方法,生成更紧凑的预测分位数,在合理假设下实现校准并在锐利性上优于现有方法。
2023-11-16 cs.LG stat.ML
Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit
Google Brain(谷歌大脑(Google Brain))
现代深度学习模型在许多数据模式的预测准确性方面取得了巨大成功。然而,他们的应用到许多现实世界的任务是限制了穷人的不确定性估计,如过度自信的分布外(OOD)数据和不优雅的失败下分布的转变。以前的基准测试已经发现,神经网络(NN)的集合通常是OOD数据的最佳校准模型。受此启发,我们利用最新的理论进展,其特征的功能空间前的合奏无限宽的神经网络作为一个高斯过程,称为神经网络高斯过程(NNGP)。我们使用带有softmax链接函数的NNGP来构建多类分类的概率模型,并对潜在高斯输出进行边缘化以从后验中采样。这使我们更好地理解了函数空间上的隐式先验NN,并允许直接比较NNGP及其有限宽度模拟的校准。我们还研究了以前的方法与NNGP分类的校准,将分类问题视为回归到一个热标签。在这种情况下,贝叶斯后验是精确的,我们比较了几个分类来生成类的分类分布。我们发现这些方法在分布偏移下得到了很好的校准。最后,我们考虑一个无限宽度的最终层与一个预先训练好的嵌入。这复制了迁移学习的重要实际用例,并允许扩展到更大的数据集。除了实现有竞争力的预测精度外,这种方法比其有限宽度模拟更好地校准。
2020-10-14 cs.LG stat.ML
Conformal Robustness in Prediction-Driven Decision-Making
Tsinghua University(清华大学);University of Toronto(多伦多大学);McGill University(麦吉尔大学)
本文提出基于共形分数的鲁棒性框架,将黑箱预测器转化为决策相关的不确定性表示,统一可靠性与目标导向优化,实现可靠性保证和脆弱性分析。
2026-09-22 cs.LG math.OC stat.ML
Geometric Calibration and Neutral Zones for Uncertainty-Aware Multi-Class Classification
Washington State University(华盛顿州立大学)
本文提出几何校准与中性区方法,用于多类分类中的不确定性感知,通过可靠性评分机制减少错误率,提升决策准确性。
2025-11-29 cs.LG math.ST stat.ME