Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University(莫纳什大学)
来自神经网络的概率预测在分类期间解释预测不确定性,这在许多现实世界和高影响决策制定设置中是至关重要的。然而,在实践中,大多数数据集都是在非概率神经网络上训练的,默认情况下,这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展,例如普拉特缩放(逻辑),等渗和β校准,将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络,它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集,但它们在表格和小数据领域的应用有限。在本文中,我们证明了贝叶斯神经网络产生竞争力的性能相比,校准的神经网络,并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
On Mixup Training: Improved Calibration and Predictive Uncertainty for Deep Neural Networks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Washington(华盛顿大学)
Mixup~ \cite{zhang2017mixup}是最近提出的一种用于训练深度神经网络的方法,其中在训练期间通过凸组合随机图像对及其相关标签来生成额外的样本。虽然实现简单,但它已被证明是一种令人惊讶的有效的图像分类数据增强方法:使用mixup训练的DNN在许多图像分类基准上显示出明显的分类性能增益。在这项工作中,我们讨论了mixup训练的一个迄今为止尚未触及的方面-使用mixup训练的模型的校准和预测不确定性。我们发现,用mixup训练的DNN的校准效果要好得多,也就是说,预测的softmax分数是正确预测的实际可能性的更好指标-比以常规方式训练的DNN更好。我们对许多图像分类架构和数据集进行了实验-包括像ImageNet这样的大规模数据集-并发现情况确实如此。此外,我们发现,仅仅混合特征并不会产生相同的校准益处,并且混合训练中的标签平滑在改善校准方面起着重要作用。最后,我们还观察到,混合训练的DNN不太容易对分布外和随机噪声数据进行过度自信的预测。我们的结论是,在神经网络中看到的典型过度自信,即使是在分布数据上,也可能是使用硬标签训练的结果,这表明混合可以用于预测不确定性是一个重要问题的分类任务。
2020-01-07 cs.LG stat.ML
Calibration of Neural Networks using Splines
Australian National University(澳大利亚国立大学);Data61, CSIRO(联邦科学与工业研究组织 Data61);Google Research(谷歌研究院)
校准神经网络是最重要的,当采用它们在安全关键的应用程序,下游决策取决于预测的概率。测量校准误差相当于比较两个经验分布。在这项工作中,我们引入了一个免费的binning校准措施的灵感来自经典的Kolmogorov-Smirnov(KS)统计检验,其主要思想是比较各自的累积概率分布。由此,通过使用样条函数的可微函数来近似经验累积分布,我们获得了一个重新校准函数,该函数将网络输出映射到实际(校准)的类分配概率。使用保持的校准集进行脊柱拟合,并在看不见的测试集上评估所获得的重新校准函数。我们在各种图像分类数据集上测试了我们的方法与现有的校准方法,并且我们基于样条的重新校准方法在KS误差以及其他常用校准措施上始终优于现有方法。我们的代码可在https://github.com/kartikgupta-at-anu/spline-calibration上获得。
2021-12-29 cs.CV cs.LG stat.ML
Taking a Step Back with KCal: Multi-Class Kernel-Based Calibration for Deep Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度神经网络(DNN)分类器通常过于自信,产生错误校准的类概率。在医疗保健等高风险应用中,从业人员需要$\textit{fully calibrated}$概率预测来进行决策。也就是说,以预测$\textit{vector}$为条件,$\textit{every}$类的概率应该接近预测值。大多数现有的校准方法要么缺乏产生校准输出的理论保证,降低分类精度的过程中,或只校准预测类。本文提出了一种新的基于核的校准方法KCal。与现有的校准程序不同,KCal不直接对DNN的logits或softmax输出进行操作。相反,KCal在倒数第二层潜在嵌入上学习度量空间,并使用校准集上的核密度估计生成预测。我们首先从理论上分析KCal,表明它享有可证明的$\textit{full}$校准保证。然后,通过在各种数据集上进行广泛的实验,我们表明KCal始终优于基线,这是通过校准误差和适当的评分规则(如Brier Score)来衡量的。
2022-12-08 cs.LG stat.ME stat.ML
Learn-By-Calibrating: Using Calibration as a Training Objective
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
校准误差通常用于评估深度神经网络中不确定度估计量的质量。在本文中,我们认为这样的度量对于训练预测模型非常有益,即使我们没有明确测量不确定性。这在概念上类似于异方差神经网络,它为每个预测生成方差估计,关键区别在于我们没有在预测上放置高斯先验。我们提出了一种新的算法,同时执行不同的校准水平的区间估计,并有效地利用间隔,以改善平均估计。我们的结果表明,我们的方法始终优于深度回归模型中现有的正则化策略。最后,我们建议增加部分依赖图,一个模型不可知的可解释性工具,与预期的预测区间,以揭示数据和目标之间有趣的依赖关系。
2019-10-30 cs.LG stat.ML
Confidence Calibration for Convolutional Neural Networks Using Structured Dropout
Cornell University(康奈尔大学);MIT(麻省理工学院);MGH(麻省总医院)
在分类应用中,我们通常希望概率预测反映置信度或不确定性。Dropout是一种常用的训练技术,最近已与贝叶斯推理联系起来,产生了一种有效的方法来量化神经网络模型中的不确定性。然而,如前所述,使用dropout的天真实现计算的置信度估计可能校准不良,特别是在使用卷积网络时。在本文中,通过集成学习的镜头,我们关联的校准误差与模型之间的相关性与辍学。受此启发,我们探索使用结构化的辍学,以促进模型的多样性和提高置信度校准。我们使用SVHN,CIFAR-10和CIFAR-100数据集,从经验上比较使用各种dropout技术获得的模型多样性和置信误差。我们还展示了贝叶斯主动学习应用中结构化辍学的优点。
2019-06-23 cs.CV cs.LG stat.ML
Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks
Technical University of Denmark(丹麦技术大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出通过解耦特征提取层与分类层的训练,并在分类阶段引入高斯先验和变分训练,在保持准确率的同时显著改善过度参数化深度神经网络的校准性能。
2024-05-06 cs.LG stat.ML
Uncertainty Calibration in Bayesian Neural Networks via Distance-Aware Priors
AWS(亚马逊云科技);Amazon(亚马逊)
当我们远离数据时,预测的不确定性应该增加,因为各种各样的解释与很少的可用信息是一致的。我们引入了距离感知先验(DAP)校准,这是一种在训练域之外纠正贝叶斯深度学习模型过度自信的方法。我们将DAP定义为模型参数的先验分布,这些参数通过测量输入与训练集的距离来依赖于输入。DAP校准对于后验推断方法是不可知的,并且它可以作为后处理步骤来执行。我们在各种分类和回归问题中证明了它对几个基线的有效性,包括旨在测试远离数据的预测分布质量的基准。
2022-07-17 cs.AI cs.LG stat.ML
Newton-Puiseux Analysis for Interpretability and Calibration of Complex-Valued Neural Networks
提出Newton-Puiseux框架分析复值神经网络的局部决策几何,通过多项式代理和分支描述符实现可解释性并改进校准,在ECG和无线调制数据集上提升期望校准误差。
2025-10-13 cs.LG stat.ML
Assessing the Probabilistic Fit of Neural Regressors via Conditional Congruence
Brigham Young University(Brigham Young 大学)
本文提出条件一致性及其度量CCE,用于评估神经回归器在任意输入点的概率拟合,弥补校准指标仅能边际评估的不足,并在高维回归中验证了其正确性、单调性、可靠性和鲁棒性。
2025-10-22 cs.LG stat.ML
Beyond Overconfidence: Foundation Models Redefine Calibration in Deep Neural Networks
Goethe University Frankfurt(弗赖堡歌德大学);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Frankfurt Cancer Institute(法兰克福癌症研究所)
本文系统研究 ConvNeXt、EVA、BEiT 等基础模型的校准行为,发现其分布内易自信不足、分布偏移下校准更优,并评估事后校准方法的效果与局限。
2025-06-11 cs.LG
Beyond calibration: estimating the grouping loss of modern neural networks
Inria(法国国家信息与自动化研究所)
本文针对校准无法刻画的分组损失问题,提出一种分组损失估计器,并揭示现代视觉与NLP神经网络在分布漂移下存在显著分组损失。
2023-04-27 cs.AI cs.LG stat.ML
Revisiting the Calibration of Modern Neural Networks
Google Research(谷歌研究院)
预测不确定性的准确估计(模型校准)对于神经网络的安全应用是必不可少的。现代神经网络中的许多错误校准的例子已经被报道,这表明一种趋势,即更新,更准确的模型产生校准不良的预测。在这里,我们重新审视这个问题的最新国家的最先进的图像分类模型。我们系统地将模型校准和准确性联系起来,并发现最近的模型,特别是那些不使用卷积的模型,是最好的校准模型之一。在前几代模型中观察到的趋势,如校准随分布偏移或模型大小的衰减,在最近的架构中不太明显。我们还表明,模型大小和预训练量不能完全解释这些差异,这表明架构是校准属性的主要决定因素。
2021-10-26 cs.CV cs.LG
Deep Neural Network Calibration by Reducing Classifier Shift with Stochastic Masking
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);CSIRO's Data61 and Monash University (adjunct)(CSIRO的数据61与墨尔本大学(兼职));King Abdullah University of Science and Technology(国王阿卜杜勒阿齐兹科技大学)
针对DNNs校准不良及现有方法忽略信心不足误差的问题,提出基于掩码的分类器校准方法MaC-Cal,利用随机稀疏性动态调整掩码保留率,实现卓越的校准性能与鲁棒性。
2025-08-12 cs.LG
Annealing Double-Head: An Architecture for Online Calibration of Deep Neural Networks
University of California, Santa Cruz(加州大学圣克鲁兹分校);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);National University of Singapore(新加坡国立大学)
模型校正是关于模型正确预测的频率,它不仅在统计模型设计中起着重要的作用,而且在实际应用中也有着重要的意义,如现实世界中的最优决策。但人们发现,现代深度神经网络由于预测置信度的高估(或低估),通常校准较差,这与过拟合密切相关。在本文中,我们提出了Annealing Double-Head,这是一种易于实现但非常有效的架构,用于在训练期间校准DNN。准确地说,我们在正态模型中的最后一个潜在层之上构建了一个额外的校准头(一个通常具有一个潜在层的浅层神经网络),以将logits映射到对齐的置信度。此外,一个简单的退火技术,动态缩放的logits校准头在训练过程中,以提高其性能。在分布式和分布式移位的情况下,我们在多对当代DNN架构以及视觉和语音数据集上详尽地评估了我们的退火双头架构。我们证明,我们的方法实现了最先进的模型校准性能,而无需后处理,同时提供了可比的预测精度相比,其他最近提出的校准方法在一系列的学习任务。
2023-01-16 cs.AI cs.CV cs.LG
Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration
Siemens AG(西门子股份公司);Technical University of Munich(慕尼黑工业大学)
为了促进人工智能系统在现实应用中指导决策的广泛接受,部署模型的可信度是关键。也就是说,预测模型必须具有不确定性意识,并对域内样本以及域偏移下的样本进行良好校准(因此值得信赖)的预测。最近考虑预测不确定性的努力包括用于训练的神经网络、贝叶斯神经网络以及替代的非贝叶斯方法(诸如集成方法和证据深度学习)的后处理步骤。在这里,我们提出了一个有效的,但一般的建模方法,获得良好的校准,值得信赖的概率域转移后获得的样本。我们引入了一种新的训练策略,将熵鼓励损失项与对抗性校准损失项相结合,并证明这会导致对广泛的域漂移进行良好校准和技术上值得信赖的预测。我们全面评估以前提出的方法在不同的数据模式,大范围的数据集,包括序列数据,网络架构和扰动策略。我们观察到,我们的建模方法大大优于现有的最先进的方法,在域漂移下产生校准良好的预测。
2021-03-02 cs.AI cs.LG stat.ML
When does distribution shift break graph neural networks calibration?
Computer Science and Applied Mathematics Laboratory (LIMA), Faculty of Science and Technology, Chadli Bendjedid University(计算机科学与应用数学实验室(LIMA),科学与技术学院,查德利·本杰迪德大学)
研究分布偏移对图神经网络校准的影响,给出校准的闭式理论表征,据此提出无源无标签校准方法STAC,实验证明其在校准上有改进,但无目标标签时可靠校准仍具挑战。
2026-07-14 cs.LG
On Deep Neural Network Calibration by Regularization and its Impact on Refinement
深度神经网络已经被证明是高度错误的。他们往往对自己的预测过于自信。它对安全关键系统提出了一个重大挑战,即可靠地利用深度神经网络(DNN)。许多最近提出的缓解这种情况的方法已经证明在改进DNN校准方面取得了实质性进展。然而,他们几乎没有触及细化,这在历史上一直是校准的一个重要方面。细化表示网络正确和不正确预测的可分性。本文提出了一个理论和实证支持的论述,审查校准模型的完善。首先,我们将预期校准误差(ECE)分解为预测置信度和过度自信预测假设下的细化。其次,与此结果相联系,我们强调基于正则化的校准只关注于天真地降低模型的置信度。从逻辑上讲,这对模型的改进有严重的不利影响,因为正确和不正确的预测变得紧密耦合。最后,连接细化与ECE也提供了支持现有的细化为基础的方法,提高校准,但不解释背后的推理it. We支持我们的主张,通过严格的经验评估,许多国家的最先进的校准方法广泛使用的数据集和神经网络。我们发现,许多校准方法,如标签平滑,混合等,通过降低DNN的精度来降低其有用性。即使在自然数据偏移下,这种校准-细化权衡也适用于大多数校准方法。
2022-05-04 cs.CV cs.LG
Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification
University of Kentucky(肯塔基大学)
最近的工作表明,深度神经网络可以在医学成像领域的广泛图像分类任务中实现超人的性能。然而,这些工作主要集中在分类精度,忽略了不确定性量化的重要作用。从经验上讲,神经网络经常在预测中被错误校准和过度自信。这种误校准在任何自动决策系统中都可能存在问题,但我们专注于医学领域,其中神经网络误校准有可能导致重大的治疗错误。我们提出了一种新的校准方法,保持整体分类精度,同时显着提高模型校准。所提出的方法是基于预期的校准误差,这是一个共同的度量量化误校准。我们的方法可以很容易地集成到任何分类任务中作为辅助损失项,因此不需要明确的训练轮进行校准。我们表明,我们的方法在各种架构和数据集上显着降低了校准误差。
2020-09-09 cs.CV cs.LG eess.IV
Soft Calibration Objectives for Neural Networks
Google Research(谷歌研究院)
最优决策要求分类器产生与其经验准确性一致的不确定性估计。然而,深度神经网络往往对自己的预测信心不足或过度自信。因此,已经开发了方法来改进训练期间和事后的预测不确定性的校准。在这项工作中,我们提出了可微的损失,以改善校准的基础上的软(连续)版本的分仓操作流行的校准误差估计。当纳入训练时,这些软校准损失在多个数据集上实现了最先进的单模型ECE,准确度下降不到1%。例如,我们观察到ECE降低了82%(相对于事后重新缩放的ECE为70%),以换取相对于CIFAR-100上的交叉熵基线的准确性相对降低了0.7%。当结合后训练时,基于软分箱的校准误差目标改进了温度缩放,这是一种流行的重新校准方法。总的来说,跨损失和数据集的实验表明,使用校准敏感的程序产生更好的不确定性估计下的数据集移位比使用交叉熵损失和事后重新校准方法的标准实践。
2021-12-07 cs.AI cs.LG
Navigating Noise: A Study of How Noise Influences Generalisation and Calibration of Neural Networks
University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学);Samsung AI Center Cambridge(三星剑桥人工智能中心)
本文系统比较不同噪声来源、类型和放置位置对神经网络在分布内与分布外场景下泛化及校准的影响,发现组合噪声和域内超参数迁移有效,但跨域迁移及联合优化仍具挑战。
2024-04-03 cs.LG
On Calibration of Modern Quantized Efficient Neural Networks
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
本文评估 ShuffleNetv2、GhostNet-VGG 和 MobileOne 在 CIFAR-100、PathMNIST 上不同量化精度的校准表现,发现低精度尤其 4 位激活会恶化校准,并验证温度缩放的改善作用与局限。
2023-09-26 cs.CV cs.LG
CLUE: Neural Networks Calibration via Learning Uncertainty-Error alignment
Software and Societal Systems Department, Carnegie Mellon University(卡内基梅隆大学软件与社会系统部门);INESC-ID and Instituto Superior Técnico, Universidade de Lisboa(里斯本大学INESC-ID和理工学院)
提出CLUE方法,通过在训练中显式对齐预测不确定性与观测误差并联合优化预测与校准,实现了跨领域、低开销且校准质量优越的神经网络不确定性估计。
2025-05-28 cs.AI cs.LG
Calibrating a Deep Neural Network with Its Predecessors
University of Sydney(悉尼大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
针对早停法无法有效校准网络的问题,提出前驱组合搜索(PCS)正则化方法,通过搜索早期训练阶段的模块前驱组合来改善校准,在多数据集上实现SOTA性能并提升模型鲁棒性。
2023-05-23 cs.LG
Confidence Calibration with Bounded Error Using Transformations
University of Pennsylvania(宾夕法尼亚大学)
随着机器学习技术在新的领域中被广泛采用,特别是在安全关键系统(如自动驾驶汽车)中,提供准确的输出不确定性估计至关重要。因此,已经提出了许多方法来校准神经网络以准确地估计误分类的可能性。然而,虽然这些方法实现了低校准误差,但仍有进一步改进的空间,特别是在ImageNet等高维设置中。在本文中,我们介绍了一种校准算法,名为Hoki,它的工作原理是通过应用随机变换的神经网络logits。我们提供了一个充分条件,完美的校准的基础上应用变换后观察到的标签预测变化的数量。我们在多个数据集上进行了实验,结果表明,该方法在多个数据集和模型上的性能通常优于最先进的校准算法,特别是在具有挑战性的ImageNet数据集上。最后,Hoki也是可扩展的,因为它需要与温度缩放相当的执行时间。
2021-12-23 cs.LG
A Geometric Perspective towards Neural Calibration via Sensitivity Decomposition
Georgia Institute of Technology(佐治亚理工学院);Samsung Research America(三星美国研究院)
众所周知,视觉分类模型在面对数据分布偏移时会遭受较差的校准。在本文中,我们采取几何方法来解决这个问题。我们提出了几何敏感性分解(GSD),它分解样本特征嵌入的范数和与目标分类器的角度相似性为实例相关和实例无关的分量。实例相关组件捕获关于输入中的变化的敏感信息,而实例无关组件表示仅用于最小化训练数据集上的损失的不敏感信息。受分解的启发,我们通过分析推导出对当前softmax线性模型的简单扩展,该模型在训练过程中学习将两个分量分开。在几种常见的视觉模型上,解纠缠模型在标准校准指标上优于其他校准方法,面对分布外(OOD)数据和腐败,复杂性明显降低。具体来说,我们超过了30.8%的相对改善损坏的CIFAR100在预期的校准误差的最新技术水平。代码可在https://github.com/GT-RIPL/Geometric-Sensitivity-Decomposition.git获得。
2021-11-21 cs.CV cs.LG
Neighborhood Smoothing for Calibration
Faculty of Data and Decision Sciences(数据与决策科学学院);Technion(以色列理工学院)
本文提出图平滑作为训练时校准的一般原则,通过惩罚相邻样本预测分布的Jensen-Shannon散度来改善神经网络校准,并在多个基准上验证了其与事后校准互补的有效性。
2026-10-08 cs.LG
Towards Unbiased Calibration using Meta-Regularization
Amazon(亚马逊公司)
针对深度神经网络校准偏差问题,提出元正则化方法,结合gamma网络输出连续样本级gamma值与基于高斯核的无偏可微SECE代理,在三个数据集上实现最优校准性能并保持预测竞争力。
2024-06-25 cs.LG
Beyond Probability Partitions: Calibrating Neural Networks with Semantic Aware Grouping
Nanjing University(南京大学)
提出广义的划分校准误差(PCE),通过联合学习基于深度模型特征和 logits 的语义感知分组函数划分数据空间并为各子集单独学习校准函数,显著提升了多个数据集和网络架构的校准性能。
2023-10-21 cs.LG
What is Your Metric Telling You? Evaluating Classifier Calibration under Context-Specific Definitions of Reliability
University of Maryland, College Park(马里兰大学帕克分校);Software Engineering Institute(软件工程研究所);Carnegie Mellon University(卡内基梅隆大学)
分类器校准最近受到了机器学习团体的关注,这是由于其在促进决策制定方面的实际效用,以及观察到现代神经网络分类器校准不良。这种关注的大部分已经朝向学习分类器的目标,使得它们的输出具有最大幅度(“预测类”)被校准。然而,这种对分类器输出的狭义解释并不能充分捕捉分类器可以帮助决策的各种实际用例。在这项工作中,我们认为,更有表现力的指标,必须制定准确地测量校准误差的具体情况下,将部署一个分类器。为此,我们得出了一些不同的指标,使用概括的预期校准误差(ECE),测量校准误差下的不同定义的可靠性。然后,我们提供了一个广泛的经验评估常用的神经网络架构和校准技术相对于这些指标。我们发现:1)仅关注预测类的ECE定义在选择实际有用的可靠性定义的情况下不能准确地测量校准误差,以及2)许多常见的校准技术不能在从这些不同的可靠性定义导出的ECE度量上均匀地改进校准性能。
2022-05-23 cs.LG
A Stitch in Time Saves Nine: A Train-Time Regularizing Loss for Improved Neural Network Calibration
Indian Institute of Technology Delhi(印度理工学院德里分校);TCS Research(塔塔咨询服务公司研究院)
众所周知,深度神经网络(DNN)会犯过度自信的错误,这使得它们在安全关键型应用中的使用存在问题。最先进的(SOTA)校准技术提高了预测标签的置信度,而非最大类(例如,前2名,前5名)的置信度未校准。这样的校准不适合于使用后处理的标记细化。此外,大多数SOTA技术事后学习一些超参数,从而排除了图像或像素特定校准的范围。这使得它们不适合在域偏移下进行校准,或用于密集预测任务,如语义分割。在本文中,我们主张干预在训练时间本身,以便直接产生校准DNN模型。我们提出了一种新的辅助损失函数:多类置信度和准确度差异(MDCA),以实现相同的MDCA可以与其他应用程序/任务特定的损失函数。我们表明,MDCA训练导致更好的校准模型的预期校准误差(ECE),静态校准误差(SCE)的图像分类,和分割任务。我们在CIFAR 100数据集上报告ECE(SCE)评分为0.72(1.60),而SOTA为1.90(1.71)。在域转移下,使用MDCA在PACS数据集上训练的ResNet-18模型在所有域中的平均ECE(SCE)得分为19.7(9.7),而SOTA为24.2(11.8)。对于分割任务,我们报告了与病灶丢失相比PASCAL-VOC数据集上校准误差减少2倍。最后,MDCA训练改进了校准,即使是在不平衡的数据上,以及自然语言分类任务。我们已经在这里发布了代码:代码可以在https://github.com…
2022-03-25 cs.AI cs.CV cs.LG
A neural network-based framework for financial model calibration
Delft University of Technology(代尔夫特理工大学);Centrum Wiskunde & Informatica(数学与计算机科学中心)
提出了一种数据驱动的校准神经网络(Calibration Neural Network,CaNN)方法,利用人工神经网络(Artificial Neural Network,ANN)对金融资产价格模型进行校准。确定模型参数的最优值被公式化为基于可用的金融期权价格在机器学习框架内训练隐藏神经元。该框架由两部分组成:一个向前通过,其中我们训练的权重的人工神经网络离线,评估许多不同的资产模型参数设置下的选项;和一个向后通过,其中我们在线评估训练的人工神经网络求解器,旨在找到输入层中的神经元的权重。人工神经网络的快速在线学习隐含波动率,结合使用一个适应的并行全局优化方法,解决了计算瓶颈,并提供了一个快速和可靠的技术校准模型参数,同时避免,尽可能多地,陷入局部极小值。数值实验表明,该机器学习框架可以有效、准确地校正高维随机波动率模型的参数。
2019-04-23 cs.LG q-fin.CP q-fin.MF
Quantifying Calibration Error in Neural Networks Through Evidence-Based Theory
Huawei Technologies Munich, Germany(华为技术(慕尼黑,德国));Ulm University, Institute of Distributed Systems(乌尔姆大学分布式系统研究所)
针对传统性能指标无法体现神经网络可信性、易出现过自信的问题,本文将主观逻辑引入ECE评估,提出新的可信性量化框架,经MNIST和CIFAR-10实验验证可提升模型可信性,适用于敏感领域。
2025-09-04 cs.AI cs.LG math.LO
Proximity-Informed Calibration for Deep Neural Networks
National University of Singapore(新加坡国立大学);University of Washington(华盛顿大学);Google(谷歌公司)
本文发现深度神经网络存在邻近偏差,即低邻近样本更易过度自信,并提出即插即用的ProCal算法及PIECE指标,有效缓解偏差并提升校准效果。
2024-03-17 cs.AI cs.LG
FedLAS: Feature-Modulated Bidirectional Label Smoothing for Neural Network Calibration
The University of Melbourne(墨尔本大学)
提出FedLAS算法,通过特征范数置信度指标和双向校准门控模块,动态调整每个样本的标签平滑程度,同时解决过自信和欠自信问题,提升神经网络校准性能。
2026-06-26 cs.AI cs.CV cs.LG
Calibration Prediction Interval for Non-parametric Regression and Neural Networks
针对经典回归预测区间依赖正态性与线性性假设的局限,提出结合深度神经网络或核方法的校准预测区间cPI,可捕捉估计变异性,理论与实验均验证其在不同样本场景下的有效覆盖性能。
2025-09-02 stat.ME stat.ML
On Uncertainty Calibration and Selective Generation in Probabilistic Neural Summarization: A Benchmark Study
Google Research(谷歌研究院)
本文在三个大规模基准上系统评估多种概率方法对神经摘要模型不确定性校准的改善效果,发现其能提升生成质量与选择性生成性能,并揭示了Deep Ensemble等方法在特定数据设置下的失败模式。
2023-04-17 cs.CL cs.LG
Calibration Error Estimation Using Fuzzy Binning
Purdue University(普渡大学)
针对硬分箱校准误差指标受概率偏斜影响的问题,提出基于模糊分箱的 FCE 指标,并证明其在多类别场景下比 ECE 估计更准确。
2023-05-08 cs.AI cs.LG cs.NE
Neural parameter calibration and uncertainty quantification for epidemic forecasting
本文提出用神经网络校准流行病ODE模型并量化预测不确定性,在柏林COVID-19数据上比MCMC更准确且速度更快,并在简化SIR模型和缩减数据集上验证了方法的收敛性与学习能力。
2023-12-05 cs.LG math.OC physics.soc-ph
Calibration in Deep Learning: A Survey of the State-of-the-Art
Amazon(亚马逊)
本文综述了深度学习模型校准的前沿方法,从定义、成因、度量指标到四大类校准技术及大模型应用,为构建可靠AI系统提供了全面指导。
2025-09-14 cs.AI cs.LG
Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks
School of Computer Science, University College Dublin(都柏林大学计算机科学学院);School of Mathematical Sciences, Dublin City University(都柏林城市大学数学科学学院)
本文提出基于双层优化的神经网络校准方法,通过玩具数据集和模拟数据集验证其在提升预测置信度和减少校准误差方面的有效性,优于等价回归方法。
2025-03-17 cs.LG math.OC
Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications
Earth Science Analytics(地球科学分析公司)
深度神经网络在地球科学中提供了许多潜在的应用,例如,人们可以说它们是预测地震数据集中断层的最先进方法。在定量储层表征工作流程中,通常合并预测的不确定性,因此此类地下模型应在其预测中提供校准的概率和相关的不确定性。研究表明,流行的基于深度学习的模型经常被错误校准,并且由于其确定性,无法解释其预测的不确定性。我们比较了三种不同的方法来获得概率模型的基础上卷积神经网络在贝叶斯形式主义,即深度集成,混凝土辍学,和随机加权平均高斯(SWAG)。这些方法始终适用于故障检测案例研究,其中Deep Ensembles使用独立训练的模型来提供故障概率,Concrete Dropout代表了对流行的Dropout技术的扩展,以近似贝叶斯神经网络,最后,我们应用SWAG,这是一种基于小批量随机梯度下降的贝叶斯推理等价性的最新方法。我们提供定量结果的模型校准和不确定性表示,以及定性结果的合成和真实的地震数据集。我们的研究结果表明,近似贝叶斯方法,混凝土辍学和SWAG,都提供了良好的校准的预测和不确定性属性在较低的计算成本相比,基线深度包围的方法。由此产生的不确定性也提供了进一步提高模型性能以及增强模型可解释性的可能性。
2021-05-25 cs.CV cs.LG physics.geo-ph
RegNet: Multimodal Sensor Registration Using Deep Neural Networks
Daimler AG, R&D(戴姆勒股份公司研发部门);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了RegNet,这是第一个深度卷积神经网络(CNN),用于推断多模态传感器之间的6个自由度(DOF)外部校准,例如使用扫描激光雷达和单目相机。与现有的方法相比,RegNet将所有三个传统的校准步骤(特征提取,特征匹配和全局回归)转换为一个具有实时能力的CNN。我们的方法不需要任何人为交互,并且弥合了经典离线和无目标在线校准方法之间的差距,因为它提供了稳定的初始估计以及对外部参数的连续在线校正。在训练过程中,我们随机去校准我们的系统,以便训练RegNet推断投影深度测量和RGB图像之间的对应关系,并最终回归外部校准。此外,通过迭代执行多个CNN,这些CNN在不同程度的失准上进行训练,我们的方法与最先进的方法相比,即使对于高达1.5 m和20度的大失准,旋转分量的平均校准误差为0.28度,平移分量的平均校准误差为6 cm。
2017-07-11 cs.AI cs.CV cs.LG
Calibration of Deep Probabilistic Models with Decoupled Bayesian Neural Networks
Universitat Politècnica de València(瓦伦西亚理工大学);Universidad Autónoma de Madrid(马德里自治大学)
深度神经网络(DNN)在许多任务中已经实现了最先进的准确性性能。然而,最近的工作指出,这些模型提供的输出没有得到很好的校准,严重限制了它们在关键决策场景中的使用。在这项工作中,我们建议使用一个解耦的贝叶斯阶段,实现了贝叶斯神经网络(BNN),映射由DNN提供的未校准的概率校准,不断提高校准。我们的研究结果表明,纳入不确定性提供了更可靠的概率模型,实现良好的校准的关键条件。我们报告了在标准化图像分类基准测试中使用高精度DNN的大量实验结果,显示了我们的方法相对于几种最先进的校准方法的良好性能,灵活性和鲁棒性。提供了再现性代码。
2020-02-28 cs.LG stat.ML
Reliable Uncertainties for Bayesian Neural Networks using Alpha-divergences
Romanian Institute of Science and Technology(罗马尼亚科学技术研究院)
贝叶斯神经网络(BNN)在训练后往往会导致未校准,通常倾向于过度自信。因此,设计在计算复杂性方面具有低影响的有效校准方法是中心兴趣。在本文中,我们提出了校准方法的BNN的基础上的α发散信息几何。我们比较了在训练和校准中使用alpha发散,并展示了如何在校准中使用alpha发散为特定的alpha选择提供更好的校准不确定性估计,并且特别是对于复杂的网络架构更有效。我们经验证明的优势,阿尔法校准回归问题,涉及参数估计和推断输出不确定性之间的相关性。
2020-08-15 cs.LG stat.ML
Probabilistic Calibration by Design for Neural Network Regression
University of Mons(蒙斯大学)
针对神经网络回归的校准问题,提出端到端的分位数重校准训练方法,在57个数据集上提升预测精度并保持校准。
2024-03-18 cs.LG stat.ML
Achieving Well-Informed Decision-Making in Drug Discovery: A Comprehensive Calibration Study using Neural Network-Based Structure-Activity Models
KU Leuven(鲁汶大学);AstraZeneca(阿斯利康);Chalmers University of Technology(查尔姆斯理工大学)
本研究针对药物发现中神经网络预测模型校准不良的问题,提出贝叶斯线性探测(BLP)方法,结合事后校准与不确定性量化,提升模型校准和准确性,实现明智决策。
2024-07-19 cs.LG stat.ML
Beyond temperature scaling: Obtaining well-calibrated multiclass probabilities with Dirichlet calibration
University of Tartu(塔尔图大学);University of Bristol(布里斯托尔大学);Universidade Federal da Paraíba(帕拉伊巴联邦大学);The Alan Turing Institute(艾伦·图灵研究所)
大多数多类分类器预测的类概率是未经校准的,往往倾向于过度自信。使用神经网络,可以通过温度缩放来改进校准,这是一种学习最后softmax层输入的单个校正乘法因子的方法。在非神经模型上,现有方法以成对或一对一的方式应用二进制校准。我们提出了一种适用于任何模型类的分类器的原生多类校准方法,该方法来自Dirichlet分布,并从二进制分类中推广了Beta校准方法。它很容易用神经网络实现,因为它相当于对未校准的概率进行对数变换,然后是一个线性层和softmax。实验表明,改进的概率预测,根据多种措施(置信ECE,classwise-ECE,日志损失,Brier分数)在广泛的数据集和分类。学习的狄利克雷校准图的参数提供了对未校准模型中的偏差的见解。
2019-10-28 cs.LG stat.ML
Instance-Wise Monotonic Calibration by Constrained Transformation
School of Computer Science and Engineering(计算机科学与工程学院);University of New South Wales(新南威尔士大学)
本文提出一类基于约束变换的实例级单调事后校准方法,在保持概率排序的同时实现高表达力、鲁棒性与可解释性,并在多个数据集上取得最优性能。
2025-07-09 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时,易于处理的后验分布。然而,现代贝叶斯模型通常涉及难以处理的后验,这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术,旨在学习有利于高效用决策的后验近似。在本文中,专注于贝叶斯神经网络,我们开发的方法来纠正近似后验预测分布,鼓励他们喜欢高效用的决定。与以前的工作相比,我们的方法是不可知的近似推理算法的选择,允许有效的测试时间决策,通过摊销,并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Calibration of Encoder Decoder Models for Neural Machine Translation
University of California Berkeley(加州大学伯克利分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
我们研究了几个国家的最先进的神经机器翻译(NMT)系统的基于注意力的编码器-解码器模型的校准。对于像NMT中的结构化输出,校准不仅对于预测的可靠置信度很重要,而且对于波束搜索推理的正确功能也很重要。我们发现,大多数现代NMT模型是令人惊讶的错误校准,即使在真正的以前的令牌的条件。我们的调查导致两个主要原因-EOS(序列结束标记)的严重误校准和抑制的注意不确定性。我们根据这些信号设计了重新校准方法,并证明了更高的准确性,更好的序列级校准,以及更直观的波束搜索结果。
2019-03-03 cs.CL cs.LG stat.ML
Improving Post Training Neural Quantization: Layer-wise Calibration and Integer Programming
Habana Labs – An Intel company(Habana Labs——英特尔旗下公司);Technion(以色列理工学院)
最近,后训练量化方法得到了相当大的关注,因为它们使用简单,只需要一个小的未标记的校准集。这个小数据集不能用于微调模型,而不会出现显著的过度拟合。相反,这些方法仅使用校准集来设置激活的动态范围。然而,当使用低于8位时,这些方法总是导致显著的准确性降低(除了在小数据集上)。在这里,我们的目标是打破8位的障碍。为此,我们通过在校准集上优化其参数来分别最小化每层的量化误差。我们凭经验证明,这种方法是:(1)比标准的微调方法更不容易过度拟合,甚至可以在非常小的校准集上使用;(2)比以前的方法更强大,它只设置激活的动态范围。此外,我们演示了如何最佳地分配每一层的位宽,同时约束精度下降或模型压缩,提出了一种新的整数规划制定。最后,我们建议模型全局统计调整,以纠正量化过程中引入的偏差。总之,这些方法为视觉和文本模型产生了最先进的结果。例如,在ResNet 50上,我们获得了不到1%的准确性下降-在所有层中使用4位权重和激活,但最小的两个。我们开源了我们的代码。
2020-12-14 cs.LG stat.ML
Calibration of Neural Networks
Lomonosov Moscow State University(莫斯科国立大学)
解决现实问题的神经网络通常不仅需要做出准确的预测,而且还需要在预测中提供置信度。模型的校准表明估计的置信度与真实概率的接近程度。本文提出了一个调查的背景下,神经网络的置信度校准问题,并提供了一个实证比较校准方法。我们分析问题陈述,校准定义和不同的评估方法:可视化和标量测量,估计模型是否校准良好。我们回顾现代校准技术:基于后处理或需要改变培训。实证实验涵盖了各种数据集和模型,根据不同的标准比较校准方法。
2023-03-19 cs.AI cs.LG cs.NE
Intra Order-preserving Functions for Calibration of Multi-Class Neural Networks
ANU(澳大利亚国立大学);ACRV(澳大利亚机器人视觉中心);Georgia Tech(佐治亚理工学院);Microsoft Research(微软研究院);Google Research(谷歌研究院);University of Washington(华盛顿大学)
预测多类深度网络的校准置信度得分对于避免罕见但代价高昂的错误非常重要。一种常见的方法是学习事后校准函数,该函数将原始网络的输出转换为校准的置信度分数,同时保持网络的准确性。然而,先前的事后校准技术仅适用于简单的校准函数,可能缺乏足够的表示来校准深度网络的复杂函数景观。在这项工作中,我们的目标是学习可以保留任何深度网络的top-k预测的一般事后校准函数。我们称这类函数为内部保序函数。我们提出了一种新的神经网络架构,表示一类内部保序功能,通过结合常见的神经网络组件。此外,我们引入了顺序不变和对角子族,当训练数据很小时,它们可以作为正则化以获得更好的泛化能力。我们在广泛的数据集和分类器中显示了所提出的方法的有效性。我们的方法优于国家的最先进的事后校准方法,即温度缩放和狄利克雷校准,在几个评估指标的任务。
2020-10-23 cs.CV cs.LG stat.ML