Outlier Exposure with Confidence Control for Out-of-Distribution Detection
University of Southern California(南加州大学)
深度神经网络在过去几年中在分类任务中取得了巨大成功。然而,通往人工智能的道路的一个主要问题是神经网络不能准确地从新的类分布中检测样本,因此,大多数现有的分类算法假设所有类在训练阶段之前都是已知的。在这项工作中,我们提出了一种方法来训练一个神经网络,使其能够有效地检测出的分布(OOD)的例子,而不损害其分类精度的测试样本从已知的类。我们提出了一种新的损失函数,产生了一种新的方法,离群暴露与置信度控制(OECC),它实现了卓越的结果,在OOD检测与OE的图像和文本分类任务,而不需要访问OOD样本。此外,我们通过实验表明,OECC与最先进的训练后OOD检测方法(如Mahalanobis检测器(MD)和Gramian矩阵(GM)方法)相结合,进一步提高了它们在OOD检测任务中的性能,展示了将训练和训练后方法相结合进行OOD检测的潜力。
2021-02-02 cs.CV cs.LG stat.ML
Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Vector Institute(矢量研究所)
针对判别式神经网络对远离训练集的OOD数据过度自信的问题,提出通过添加一个在远离数据时主导原始logit的额外类别项,在保持点估计训练的同时防止任意高置信度,并在多基准上表现优异。
2024-03-27 cs.LG
How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks
Department of Electrical and Electronic Engineering Federal University of Santa Catarina (UFSC)(电子与电气工程系联邦圣卡塔琳娜大学(UFSC))
本文通过事后方法修复深度神经网络中损坏的置信度估计器,提出对logits进行p-范数归一化后取最大logit作为置信度估计,显著提升选择性分类性能,使其几乎完全由准确率决定。
2024-05-24 cs.LG
Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning
APPCAIR, BITS Pilani(皮拉尼比尔拉理工学院APPCAIR);TCS Research(塔塔咨询服务公司研究院)
深度神经网络(DNN)容易出现错误校准的预测,通常表现出预测输出和相关置信度得分之间的不匹配。当代模型校准技术通过降低获胜类的置信度,同时增加所有测试样本中其余类的置信度,来缓解过度自信的预测问题。然而,从部署的角度来看,理想的模型需要(i)为高置信度样本生成校准良好的预测,预测概率比方说>0.95,以及(ii)生成更高比例的合法高置信度样本。为此,我们提出了一种新的正则化技术,可用于分类损失,导致在测试时最先进的校准预测;从安全关键应用程序的部署角度来看,只有来自校准良好的模型的高置信度样本是有意义的,因为其余的样本必须经过手动检查。这些潜在的“高置信度样本”的预测置信度降低是现有校准方法的一个缺点。我们通过提出一种动态训练时间数据修剪策略来缓解这一问题,该策略每隔几个时期修剪一次低置信度样本,从而增加“自信但校准的样本”。我们在图像分类基准测试中展示了最先进的校准性能,减少了训练时间,而不会在准确性上有太大的妥协。我们提供了关于为什么我们的动态修剪策略修剪低置信度训练样本会导致测试时高置信度样本增加的见解。
2022-12-20 cs.CV cs.LG
The Bayesian Confidence (BACON) Estimator for Deep Neural Networks
Air Force Research Laboratory(美国空军研究实验室);Brigham Young University(杨百翰大学);UD Sinclair Academy(辛克莱学院)
本文提出用于深度神经网络的贝叶斯置信度估计器(BACON),通过几何模型和贝叶斯法则估计输出概率,在CIFAR-10不平衡测试集上较Softmax展现出更优的ECE和ACE校准误差。
2024-10-16 cs.LG
Online Black-Box Confidence Estimation of Deep Neural Networks
ZF Friedrichshafen AG(采埃孚股份公司)
自动驾驶(AD)和高级驾驶员辅助系统(ADAS)越来越多地利用深度神经网络(DNN)来改善感知或规划。然而,当推理期间的数据分布偏离训练期间的数据分布时,DNN是相当脆弱的。在部分未知的环境中部署时,这是一个挑战,例如ADAS。与此同时,即使分类可靠性降低,DNN的标准置信度仍然很高。这是有问题的,因为下面的运动控制算法认为明显有把握的预测是可靠的,即使它可能相当错误。为了减少这个问题,需要实时的置信度估计,以更好地与DNN分类的实际可靠性保持一致。此外,需要黑盒置信度估计,以使外部开发的组件均匀地包含在整个系统中。在这项工作中,我们探索了这个用例,并引入了邻域置信度(NHC),它估计了任意DNN分类的置信度。该指标可用于黑盒系统,因为只需要top-1类输出,并且不需要访问梯度,训练数据集或保持验证数据集。对不同数据分布的评估,包括小的域内分布偏移、域外数据或对抗攻击,表明NHC在低数据状态下的在线白盒置信度估计方面表现更好或与可比方法相当,这是实时AD/ADAS所需的。
2023-02-27 cs.AI cs.CV cs.LG
Confidence Aware Neural Networks for Skin Cancer Detection
Beheshti University(贝赫什提大学);University of Tehran(德黑兰大学);Isfahan University of Technology(伊斯法罕理工大学);Deakin University(迪肯大学)
深度学习(DL)模型由于其有前途的模式识别能力而在医学成像中受到特别关注。然而,深度神经网络(DNN)需要大量的数据,由于该领域缺乏足够的数据,迁移学习可能是一个很好的解决方案。用于疾病诊断的DNN专注于提高预测的准确性,而不提供关于其预测置信度的数字。了解DNN模型在计算机辅助诊断模型中的置信度对于获得临床医生对基于DL的解决方案的信心和信任是必要的。为了解决这个问题,这项工作提出了三种不同的方法来量化皮肤癌检测图像的不确定性。它还使用新的不确定性相关指标全面评估和比较了这些DNN的性能。所得到的结果表明,预测的不确定性估计方法是能够标记风险和错误的预测与高的不确定性估计。我们还表明,合奏方法是更可靠的捕捉不确定性,通过推理。
2021-07-24 cs.CV cs.LG eess.IV
Evaluating Reliability in Medical DNNs: A Critical Analysis of Feature and Confidence-Based OOD Detection
University of Oxford(牛津大学);Imperial College London(伦敦帝国学院);University of Birmingham(伯明翰大学)
本文通过构建含伪影的医学OOD基准,发现OOD伪影可能提高模型置信度,解释了基于特征的方法在OOD检测上优于基于置信度的方法,并建议在DNN流程中结合两者以弥补各自不足。
2024-08-30 cs.CV cs.LG
Improving the Robustness and Generalization of Deep Neural Network with Confidence Threshold Reduction
Xi’an Jiaotong University(西安交通大学);Qingdao University(青岛大学)
深度神经网络很容易受到难以察觉的扰动的攻击。对抗性训练(AT)是目前提高模型对对抗性样本鲁棒性的最有效方法。然而,由于对抗训练解决了最小值-最大值问题,与自然训练相比,鲁棒性和泛化是矛盾的,即,模型鲁棒性的提高会降低模型的泛化能力。为了解决这个问题,在本文中,一个新的概念,即置信阈值(CT),被引入和降低的置信阈值,称为置信阈值降低(CTR),被证明可以提高模型的泛化和鲁棒性。具体地,为了减少用于自然训练的CT(即,对于使用CTR的自然训练),我们提出了由交叉熵损失项和正交项组成的掩模引导的发散损失函数(MDL)。理论和实证分析表明,MDL损失提高了模型的鲁棒性和泛化能力的自然训练的同时。然而,使用CTR的自然训练的模型鲁棒性改进与对抗训练的模型鲁棒性改进不可比较。因此,对于对抗训练,我们提出了一个标准差损失函数(STD),它最小化错误类别的概率差异,通过集成到对抗训练的损失函数中来降低CT。理论和实证分析表明,基于STD的损失函数在保证自然精度不变或略有提高的基础上,进一步提高了逆向训练模型的鲁棒性。
2022-07-12 cs.CV cs.LG
Multi-Layer Confidence Scoring for Detection of Out-of-Distribution Samples, Adversarial Attacks, and In-Distribution Misclassifications
DEI(迪埃学院);ARCES(自动控制与电子工程系);University of Bologna(博洛尼亚大学);CEMSE(计算与建模工程中心);KAUST(科威特大学);Italy(意大利);Saudi Arabia(沙特阿拉伯)
本文提出MACS框架,通过分析中间激活生成分类图,用于统一检测分布外样本、对抗攻击和分布内误分类,实验表明其性能优于现有方法。
2025-12-22 cs.AI cs.LG
Increasing the Confidence of Deep Neural Networks by Coverage Analysis
本文提出基于覆盖分析的轻量级监控架构,通过四种覆盖方法增强深度神经网络对对抗样本和分布外输入的检测能力,实验验证其有效且开销小。
2022-01-05 cs.AI cs.LG
Too Sure to Be Safe: Model Calibration for Reliable Log Anomaly Detection
Beijing Jiaotong University(北京交通大学);University of Florida(佛罗里达大学)
针对基于语言模型的日志异常检测器置信度校准差的问题,提出轻量级事后校准框架LoRD,经实验验证其可提升置信度可靠性并减少过度自信异常相关错误且不牺牲检测性能。
2026-09-28 cs.AI cs.LG cs.SE
PAC Confidence Sets for Deep Neural Networks via Calibrated Prediction
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种算法,将校准的预测和学习理论的泛化边界相结合,为具有PAC保证的深度神经网络构建置信集-即,给定输入的置信度集合包含具有高概率的真实标签。我们演示了如何使用我们的方法在ResNet上为ImageNet构建PAC置信集,这是一个视觉对象跟踪模型,以及半猎豹强化学习问题的动力学模型。
2020-02-15 cs.LG stat.ML
PAC Confidence Predictions for Deep Neural Network Classifiers
PRECISE Center(PRECISE中心);University of Pennsylvania(宾夕法尼亚大学)
在安全关键环境中部署深度神经网络(DNN)的一个关键挑战是需要提供严格的方法来量化其不确定性。在本文中,我们提出了一种新的算法,用于为DNN构建预测的分类置信度,该置信度具有可证明的正确性保证。我们的方法使用Clopper-Pearson置信区间的二项分布结合直方图分箱方法校准预测。此外,我们还演示了我们预测的置信度如何在两种情况下用于实现下游保证:(i)快速DNN推理,我们演示了如何以严格的方式组合快速但不准确的DNN与准确但缓慢的DNN,以提高性能而不牺牲准确性,以及(ii)安全规划,我们在使用DNN基于视觉观察来预测给定动作是否安全时保证安全性。在我们的实验中,我们证明了我们的方法可以用来为最先进的DNN提供保证。
2021-03-17 cs.LG stat.ML
Learning representations in Bayesian Confidence Propagation neural networks
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
层次表示的无监督学习是近年来深度学习中最具活力的研究方向之一。在这项工作中,我们研究生物启发的无监督策略的神经网络的基础上,当地的赫布学习。我们提出了新的机制来扩展贝叶斯置信度验证神经网络(BCPNN)的架构,并证明了它们的无监督学习显着的隐藏表示的MNIST数据集上测试时的能力。
2020-03-27 cs.LG cs.NE stat.ML
Partially-Observable Sequential Change-Point Detection for Autocorrelated Data via Upper Confidence Region
Tsinghua University(清华大学);University of Florida(佛罗里达大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对资源受限下部分可观测的多元自相关数据序贯变点检测问题,本文提出AUCRSS方案,结合状态空间模型、部分可观测卡尔曼滤波、广义似然比检验与基于上置信区域的自适应采样策略,并通过理论分析和数值实验验证其有效性。
2024-03-30 cs.LG stat.ML
Multivariate Confidence Calibration for Object Detection
Ruhr West University of Applied Sciences(鲁尔西部应用科学大学);Visteon Electronics GmbH(伟世通电子有限公司)
神经网络的无偏置信度估计是至关重要的,特别是对于安全关键应用。许多方法已经被开发来校准有偏置信估计。虽然有各种各样的分类方法,但目标检测领域尚未得到解决。因此,我们提出了一个新的框架来衡量和校准偏差(或误校准)的目标检测方法的置信度估计。与分类器校准领域相关工作的主要区别在于,我们还使用对象检测器的回归输出的附加信息进行校准。我们的方法允许,第一次,获得校准的信心估计图像位置和框尺度。此外,我们提出了一个新的措施来评估对象探测器的误校准。最后,我们表明,我们开发的方法优于国家的最先进的校准模型的任务,目标检测,并提供可靠的置信度估计在不同的位置和规模。
2020-04-28 cs.CV cs.LG stat.ML
Likelihood-ratio-based confidence intervals for neural networks
Radboud University(拉德堡德大学)
本文提出 DeepLR 方法,首次将基于似然比的置信区间构建用于神经网络,可生成随数据稀缺而扩大的不对称区间,并纳入训练时间、架构和正则化等因素,为高可靠性需求领域提供不确定性估计。
2023-08-04 cs.LG stat.ML
A Modified AUC for Training Convolutional Neural Networks: Taking Confidence into Account
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院);Lunenfeld-Tanenbaum Research Institute, Sinai Health System(西奈健康系统 Lunenfeld-Tanenbaum 研究所);Sunnybrook Research Institute(新宁布鲁克研究所)
受试者工作特征(ROC)曲线是二进制分类中的信息工具,ROC曲线下面积(AUC)是用于报告二进制分类器性能的流行度量。本文首先对ROC曲线和AUC指标进行了综述。接下来,我们提出了一个修改后的AUC版本,它考虑了模型的置信度,同时将AUC纳入用于训练卷积神经网络进行分类任务的二进制交叉熵(BCE)损失。我们在三个数据集上证明了这一点:MNIST,前列腺MRI和脑MRI。此外,我们还发布了一个新的python库candineAI,它提供了传统AUC和拟议的修改后AUC的函数,以及ROC曲线每个点的灵敏度、特异性、召回率、精确度和F1等指标。
2021-09-12 cs.LG stat.ML
Learning across label confidence distributions using Filtered Transfer Learning
Cyclica(赛克利卡公司);University of Toronto(多伦多大学);Princess Margaret Cancer Centre(玛格丽特公主癌症中心);University Health Network(大学健康网络);Vector Institute(向量研究所)
神经网络模型的性能依赖于具有最小不确定性水平的大型数据集的可用性。迁移学习(TL)模型已经被提出来通过让模型在更大的、任务相关的参考数据集上进行训练,然后在更小的、特定于任务的数据集上进行微调来解决小数据集大小的问题。在这项工作中,我们应用迁移学习方法来提高噪声数据系统中的预测能力与大型可变置信度数据集。我们提出了一种称为过滤迁移学习(FTL)的深度神经网络方法,该方法将多层数据置信度定义为迁移学习设置中的单独任务。深度神经网络在分层过程中通过迭代地移除(过滤)具有较低标签置信度的数据点并进行再训练来进行微调。在这份报告中,我们使用FTL预测药物和蛋白质的相互作用。我们证明了使用FTL在标签置信度分布上逐步学习,与在单个置信度范围上训练的深度神经网络模型相比,可以获得更高的性能。我们预计这种方法将使机器学习社区能够从生物学和医学等领域具有不确定标签的大型数据集中受益。
2020-06-03 cs.LG stat.ML
Deep Confidence: A Computationally Efficient Framework for Calculating Reliable Errors for Deep Neural Networks
University of Cambridge(剑桥大学)
深度学习架构已被证明在许多药物发现应用中是通用的,包括体外化合物活性的建模。虽然控制预测置信度对于提高药物发现中虚拟筛选模型的信任度、可解释性和有用性至关重要,但估计深度学习网络生成的预测可靠性的技术在很大程度上仍有待探索。在这里,我们提出了Deep Confidence,这是一个使用深度学习技术快照集成和保形预测来计算个体预测的有效和高效置信区间的框架。具体而言,深度置信度通过记录在单个神经网络的优化阶段期间访问的整个局部最小值的网络参数来生成深度神经网络的集合。该方法用于导出一组基本学习器(即,快照),其平均具有相当的预测能力,然而,对于给定实例,其将生成略微不同的预测。基础学习者之间的变异性和验证残差又被利用来使用共形预测框架计算置信区间。使用来自ChEMBL 23的一组24个不同的IC50数据集,我们表明快照集成与随机森林(RF)和独立训练的深度神经网络集成的性能相当。此外,我们发现使用深度置信度框架预测的置信区域跨越更窄的值集。总体而言,Deep Confidence代表了一个高度通用的错误预测框架,可以应用于任何基于深度学习的应用程序,而无需额外的计算成本。
2018-09-24 cs.AI cs.LG q-bio.QM
Dynamically Sacrificing Accuracy for Reduced Computation: Cascaded Inference Based on Softmax Confidence
Tel Aviv University(特拉维夫大学)
我们研究了在级联的深度神经网络中计算工作量和分类精度之间的权衡。在推理过程中,用户设置可接受的准确度降级,然后自动确定中间分类器的置信度阈值。一旦满足置信度阈值,推理立即终止,而不必计算整个网络的输出。置信水平直接来自中间分类器的softmax输出,因为我们不训练特殊的决策函数。我们表明,在深度神经网络的级联中使用softmax输出作为置信度度量,可以减少15%-50%的MAC操作次数,同时降低大约1%的分类准确度。我们的方法可以很容易地结合到预先训练的非级联架构中,因为我们在ResNet上进行了测试。我们的主要贡献是一种方法,动态调整准确性和计算之间的权衡,而无需重新训练模型。
2020-11-11 cs.LG stat.ML
Neural Approximation of an Auto-Regressive Process through Confidence Guided Sampling
Clova AI Research, NAVER Corp.(NAVER公司Clova AI研究中心)
我们提出了一个通用的基于置信度的近似,可以插入和简化的自回归生成过程中证明收敛。我们首先假设未来样本的先验可以在独立同分布(i.i.d.)使用高效的预测器。给定过去样本和未来先验信息,母AR模型可以对先验信息进行后处理,而伴随的置信预测器决定当前样本是否需要重新建模。多亏了身份证。假设,后处理可以并行地更新每个样本,这显著地加速了母模型。我们在不同数据域(包括序列和图像)上的实验表明,该方法可以成功地捕获数据的复杂结构,并以较低的计算代价生成有意义的未来样本,同时保持数据的序列关系。
2019-10-15 cs.CV cs.LG stat.ML
Class-Similarity Based Label Smoothing for Confidence Calibration
University of Maryland, College Park(马里兰大学帕克分校)
生成置信度校准输出对于深度神经网络在安全关键决策系统中的应用至关重要。神经网络的输出是概率分布,其中得分是属于相应类别的输入的估计置信度,因此它们表示相对于所有类别的输出可能性的完整估计。在本文中,我们提出了一种新的形式的标签平滑,以提高置信度校准。由于不同的类具有不同的内在相似性,因此更相似的类应该在最终输出中产生更接近的概率值。这促使开发新的平滑标签,其中标签值基于与参考类的相似性。我们采用不同的相似性度量,包括那些捕获基于特征的相似性或语义相似性。我们通过在各种数据集和网络架构上进行的广泛实验证明,我们的方法始终优于最先进的校准技术,包括统一标签平滑。
2021-09-15 cs.LG stat.ML
Why is the Mahalanobis Distance Effective for Anomaly Detection?
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
基于Mahalanobis距离的置信度得分是最近提出的用于预训练神经分类器的异常检测方法,在分布外(OoD)和对抗性示例检测方面都达到了最先进的性能。这项工作分析了为什么这种方法在实际环境中表现出如此强大的性能,同时施加了一个难以置信的假设;即,预训练特征的条件分布类具有关联协方差。虽然Mahalanobis距离为基础的方法被认为是由分类预测的信心,我们发现,其优越的性能源于信息对分类没有用。这表明Mahalanobis置信度评分如此有效的原因是错误的,并且使用了来自ODIN的不同信息,ODIN是另一种基于预测置信度的流行OoD检测方法。这一观点促使我们将这两种方法结合起来,组合检测器表现出更好的性能和鲁棒性。这些发现提供了对神经分类器响应异常输入的行为的洞察。
2020-04-30 cs.CV cs.LG stat.ML
Adaptive Ensemble Prediction for Deep Neural Networks based on Confidence Level
IBM Research - Tokyo(IBM东京研究院)
集成多个预测是用于提高各种机器学习任务的准确性的广泛使用的技术。集成的一个明显的缺点是它在推理过程中的执行成本较高。在本文中,我们首先描述了我们对预测概率与当前深度神经网络集成效果之间关系的见解;即使有不可忽略的错误预测输入,集成也无助于预测概率很高的输入的错误预测。这一发现促使我们开发一种自适应控制集成的方法。如果对输入的预测达到足够高的概率,即,softmax函数的输出,基于置信水平,我们停止对该输入进行集成,以避免浪费计算能力。我们通过使用各种数据集来评估自适应集成,并表明它显着降低了计算成本,同时使用预定义数量的局部预测实现了与静态集成相似的精度。我们还表明,我们的统计严格的置信水平为基础的提前退出条件,减少了任务相关的阈值调整的负担更好地与天真的提前退出的基础上预先定义的阈值相比,除了产生更好的精度与相同的成本。
2019-03-08 cs.CV cs.LG stat.ML
Confidence Calibration for Object Detection and Segmentation
Hochschule Ruhr West(鲁尔西部应用技术大学);Elektronische Fahrwerksysteme GmbH(电子底盘系统有限公司)
从神经网络获得的校准置信度估计至关重要,特别是对于安全关键型应用,如自动驾驶或医学图像诊断。然而,尽管置信度校准的任务已经在分类问题上进行了研究,但对目标检测和分割问题的深入研究仍然缺失。因此,本章重点研究了目标检测和分割模型的置信度校准。我们引入了多元置信校准的概念,这是一个众所周知的校准方法的扩展任务的目标检测和分割。这使得一个扩展的置信度校准,也知道额外的功能,如限界框/像素位置,形状信息等,此外,我们扩展了预期的校准误差(ECE)来衡量误校准的目标检测和分割模型。我们研究了MS COCO以及Cityscapes上的几种网络架构,并表明特别是目标检测以及实例分割模型在引入校准定义时本质上是错误校准的。使用我们提出的校准方法,我们已经能够改进校准,使其也对分割掩模的质量产生积极的影响。
2022-06-20 cs.CV stat.ML
Sequential change detection via backward confidence sequences
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个简单的减少从序贯估计顺序变点检测(SCD)。简而言之,假设我们对检测潜在分布的某些参数或函数$θ$中的变点感兴趣。我们证明,如果我们可以构建一个置信序列(CS)的$θ$,那么我们也可以成功地执行SCD的$θ$。这是通过检查两个CS(一个向前,另一个向后)是否无法相交来实现的。由于CSs的文献最近发展迅速,本文提供的减少立即解决了几个新老的变化检测问题。此外,我们的“向后CS”,通过逆转时间构建,是新的和潜在的独立利益。我们提供了强有力的非渐近保证的虚警和检测延迟的频率,并证明了几个问题的数值有效性。
2023-02-06 cs.IT cs.LG math.IT
signADAM: Learning Confidences for Deep Neural Networks
Xidian University(西安电子科技大学)
在本文中,我们提出了一种新的基于一阶梯度的算法来训练深度神经网络。我们首先介绍随机梯度的符号运算(如基于符号的方法,例如,”[10]“是的,是的。此外,为了使每个特征的拟合率更接近,我们定义了一个置信函数来区分梯度的不同分量,并将其应用到我们的算法中。它可以生成比现有算法更稀疏的梯度。我们称这个新算法为signADAM++。特别是,我们的两种算法都易于实现,可以加快各种深度神经网络的训练。signADAM++的动机是通过更新大而有用的梯度,而不管随机梯度中的无用信息,从最不同的样本中学习特征。我们还建立了理论上的收敛保证我们的算法。在各种数据集和模型上的实验结果表明,我们的算法产生了更好的性能比许多国家的最先进的算法,包括SIGN-SGD,SIGNUM和ADAM。我们还从多个角度分析了性能,包括损失景观,并开发了一种自适应方法,以进一步提高泛化能力。源代码可在https://github.com/DongWanginxdu/signADAM-Learn-by-Confidence上获得。
2019-07-21 cs.CV cs.LG math.OC
CCE: Confidence-Consistency Evaluation for Time Series Anomaly Detection
Pengcheng Laboratory, Shenzhen, Guangdong, 518066, China(鹏城实验室,深圳,广东,518066,中国);School of Future Technology, South China University of Technology, Guangzhou, Guangdong 510650, China(未来技术学院,华南理工大学,广州,广东 510650,中国);School of Computer Science and Engineering, South China University of Technology, Guangzhou, Guangdong 510650, China(计算机科学与工程学院,华南理工大学,广州,广东 510650,中国);Department of Computer Science, Hong Kong Baptist University, Hong Kong SAR, China(计算机科学系,香港 Baptist 大学,香港特别行政区,中国)
针对现有时间序列异常检测指标的多重局限,提出同时衡量预测置信度与不确定性一致性的CCE指标,兼具严格有界性、鲁棒性与线性复杂度,并构建首个标准化可复现的RankEval排序能力基准,二者均已开源。
2025-09-01 cs.AI cs.LG stat.ML
Calibration of Neural Networks
Lomonosov Moscow State University(莫斯科国立大学)
解决现实问题的神经网络通常不仅需要做出准确的预测,而且还需要在预测中提供置信度。模型的校准表明估计的置信度与真实概率的接近程度。本文提出了一个调查的背景下,神经网络的置信度校准问题,并提供了一个实证比较校准方法。我们分析问题陈述,校准定义和不同的评估方法:可视化和标量测量,估计模型是否校准良好。我们回顾现代校准技术:基于后处理或需要改变培训。实证实验涵盖了各种数据集和模型,根据不同的标准比较校准方法。
2023-03-19 cs.AI cs.LG cs.NE