Confidence Adaptive Regularization for Deep Learning with Noisy Labels
McMaster University(麦克马斯特大学)
最近关于深度神经网络对噪声标签的记忆效果的研究表明,网络首先拟合正确标记的训练样本,然后再记忆错误标记的样本。受这种早期学习现象的启发,我们提出了一种新的方法来防止记忆错误标记的样本。与现有的方法,使用模型输出来识别或忽略错误标记的样本,我们引入了一个指标分支到原始模型,使模型能够产生每个样本的置信度值。置信度值被纳入我们的损失函数,该函数被学习为将大置信度值分配给正确标记的样本,将小置信度值分配给错误标记的样本。我们还提出了一个辅助正则化项,以进一步提高模型的鲁棒性。为了提高性能,我们逐渐纠正噪声标签与一个精心设计的目标估计策略。我们提供了理论分析,并在合成和真实世界的数据集上进行实验,证明我们的方法取得了与最先进的方法相当的结果。
2021-09-05 cs.CV cs.LG
Adaptive Ensemble Prediction for Deep Neural Networks based on Confidence Level
IBM Research - Tokyo(IBM东京研究院)
集成多个预测是用于提高各种机器学习任务的准确性的广泛使用的技术。集成的一个明显的缺点是它在推理过程中的执行成本较高。在本文中,我们首先描述了我们对预测概率与当前深度神经网络集成效果之间关系的见解;即使有不可忽略的错误预测输入,集成也无助于预测概率很高的输入的错误预测。这一发现促使我们开发一种自适应控制集成的方法。如果对输入的预测达到足够高的概率,即,softmax函数的输出,基于置信水平,我们停止对该输入进行集成,以避免浪费计算能力。我们通过使用各种数据集来评估自适应集成,并表明它显着降低了计算成本,同时使用预定义数量的局部预测实现了与静态集成相似的精度。我们还表明,我们的统计严格的置信水平为基础的提前退出条件,减少了任务相关的阈值调整的负担更好地与天真的提前退出的基础上预先定义的阈值相比,除了产生更好的精度与相同的成本。
2019-03-08 cs.CV cs.LG stat.ML
Calibrating Deep Neural Networks using Explicit Regularisation and Dynamic Data Pruning
APPCAIR, BITS Pilani(皮拉尼比尔拉理工学院APPCAIR);TCS Research(塔塔咨询服务公司研究院)
深度神经网络(DNN)容易出现错误校准的预测,通常表现出预测输出和相关置信度得分之间的不匹配。当代模型校准技术通过降低获胜类的置信度,同时增加所有测试样本中其余类的置信度,来缓解过度自信的预测问题。然而,从部署的角度来看,理想的模型需要(i)为高置信度样本生成校准良好的预测,预测概率比方说>0.95,以及(ii)生成更高比例的合法高置信度样本。为此,我们提出了一种新的正则化技术,可用于分类损失,导致在测试时最先进的校准预测;从安全关键应用程序的部署角度来看,只有来自校准良好的模型的高置信度样本是有意义的,因为其余的样本必须经过手动检查。这些潜在的“高置信度样本”的预测置信度降低是现有校准方法的一个缺点。我们通过提出一种动态训练时间数据修剪策略来缓解这一问题,该策略每隔几个时期修剪一次低置信度样本,从而增加“自信但校准的样本”。我们在图像分类基准测试中展示了最先进的校准性能,减少了训练时间,而不会在准确性上有太大的妥协。我们提供了关于为什么我们的动态修剪策略修剪低置信度训练样本会导致测试时高置信度样本增加的见解。
2022-12-20 cs.CV cs.LG
Online Black-Box Confidence Estimation of Deep Neural Networks
ZF Friedrichshafen AG(采埃孚股份公司)
自动驾驶(AD)和高级驾驶员辅助系统(ADAS)越来越多地利用深度神经网络(DNN)来改善感知或规划。然而,当推理期间的数据分布偏离训练期间的数据分布时,DNN是相当脆弱的。在部分未知的环境中部署时,这是一个挑战,例如ADAS。与此同时,即使分类可靠性降低,DNN的标准置信度仍然很高。这是有问题的,因为下面的运动控制算法认为明显有把握的预测是可靠的,即使它可能相当错误。为了减少这个问题,需要实时的置信度估计,以更好地与DNN分类的实际可靠性保持一致。此外,需要黑盒置信度估计,以使外部开发的组件均匀地包含在整个系统中。在这项工作中,我们探索了这个用例,并引入了邻域置信度(NHC),它估计了任意DNN分类的置信度。该指标可用于黑盒系统,因为只需要top-1类输出,并且不需要访问梯度,训练数据集或保持验证数据集。对不同数据分布的评估,包括小的域内分布偏移、域外数据或对抗攻击,表明NHC在低数据状态下的在线白盒置信度估计方面表现更好或与可比方法相当,这是实时AD/ADAS所需的。
2023-02-27 cs.AI cs.CV cs.LG
DeepC-MVS: Deep Confidence Prediction for Multi-View Stereo Reconstruction
Sony Europe B.V.(索尼欧洲公司);Graz University of Technology(格拉茨技术大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
深度神经网络(DNN)具有提高基于图像的3D重建质量的潜力。然而,由于内存和计算的限制,在从大型和高分辨率图像数据集进行3D重建的背景下使用DNN仍然是一个开放的挑战。我们提出了一个管道,它利用DNN来提高3D重建的质量,同时能够处理大型和高分辨率的数据集。特别是,我们提出了一个明确为多视图立体视觉(MVS)量身定制的置信度预测网络,并将其用于我们的管道中的深度图离群值过滤和深度图细化,以提高最终3D重建的质量。我们训练我们的信心预测网络上(半)密集地面实况深度图从公开可用的真实世界MVS数据集。通过对流行的基准测试进行广泛的实验,我们证明了我们的整体管道可以在定性和定量方面产生最先进的3D重建。
2020-08-13 cs.CV
Towards Semi-Supervised Deep Facial Expression Recognition with An Adaptive Confidence Margin
Xidian University(西安电子科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Chongqing University of Posts and Telecommunications(重庆邮电大学)
对于大多数半监督学习方法,仅选择未标记数据的部分来训练模型,其置信度分数通常高于预定义阈值(即,置信度)。我们认为,识别性能应进一步提高,充分利用所有未标记的数据。在本文中,我们学习了自适应置信度(Ada-CM),以充分利用所有未标记的数据进行半监督深度面部表情识别。通过在每个训练时期将所有未标记的样本的置信度分数与自适应学习的置信度裕度进行比较,将所有未标记的样本划分为两个子集:(1)子集I,包括置信度分数不低于裕度的样本;(2)子集II,包括置信度分数低于裕度的样本。对于子集I中的样本,我们约束它们的预测以匹配伪标签。同时,子集II中的样本参与特征级对比目标,以学习有效的面部表情特征。我们在四个具有挑战性的数据集上对Ada-CM进行了广泛的评估,结果表明我们的方法达到了最先进的性能,特别是以半监督的方式超过了完全监督的基线。消融实验进一步证明了该方法的有效性。源代码可在https://github.com/hangyu94/Ada-CM上获得。
2022-03-24 cs.CV
Energy-Based Models for Deep Probabilistic Regression
Uppsala University(乌普萨拉大学);ETH Zürich(苏黎世联邦理工学院)
虽然基于深度学习的分类通常使用标准化方法来处理,但回归采用了各种各样的技术。在计算机视觉中,一种特别流行的这种技术是基于置信度的回归,其需要预测每个输入-目标对(x,y)的置信度值。虽然这种方法已经证明了令人印象深刻的结果,但它需要重要的任务相关的设计选择,并且预测的置信度缺乏自然的概率意义。我们解决这些问题,提出了一个通用的和概念上简单的回归方法,一个明确的概率解释。在我们提出的方法中,我们创建了条件目标密度p(y)的基于能量的模型|x),使用深度神经网络从(x,y)预测未归一化的密度。这个模型p(y| x)通过直接最小化相关的负对数似然来训练,使用Monte Carlo抽样近似。我们对四个计算机视觉回归任务进行了综合实验。我们的方法优于直接回归,以及其他基于概率和置信度的方法。值得注意的是,我们的模型在COCO数据集上的目标检测方面比Faster-RCNN实现了2.2%的AP改进,并且在应用于限界框估计时,在视觉跟踪方面设置了新的最先进技术。与基于信心的方法相比,我们的方法也被证明是直接适用于更一般的任务,如年龄和头部姿势估计。代码可在www.example.com上获得。
2020-07-19 cs.CV cs.LG stat.ML
Extreme Points Derived Confidence Map as a Cue For Class-Agnostic Segmentation Using Deep Neural Network
Inception Institute of Artificial Intelligence(Inception人工智能研究院)
为了自动分割感兴趣的解剖结构的过程,我们可以从先前注释的数据中学习模型。基于学习的方法使用注释来训练模型,该模型试图在新数据集上模仿专家标记。虽然使用这些方法已经取得了巨大的进步,但医学图像的标记仍然是一项耗时且昂贵的任务。在本文中,我们评估的效用极值点在学习分割。具体来说,我们提出了一种新的方法来计算一个置信图的极值点,定量编码的先验来自极值点。我们使用置信图作为线索来训练一个基于ResNet-101和PSP模块的深度神经网络,以开发一个与类别无关的分割模型,该模型优于采用极值点作为线索的最先进方法。此外,我们通过使用我们的模型为监督学习(U-Net)生成训练数据来评估一个现实的用例,并观察到U-Net在使用生成的数据或地面真实数据进行训练时会执行训练。这些发现表明,使用线索训练的模型可用于生成可靠的训练数据。
2019-06-06 cs.CV cs.LG
Deep LG-Track: An Enhanced Localization-Confidence-Guided Multi-Object Tracker
College of Mechanical and Vehicle Engineering, Chongqing University(重庆大学机械与运载工程学院)
本文提出 Deep LG-Track 多目标跟踪器,通过自适应 Kalman 滤波器、融合运动与外观信息的成本矩阵及动态外观特征更新策略,在 MOT17 和 MOT20 数据集上显著提升了跟踪准确性与鲁棒性。
2025-04-02 cs.CV
Localization-Guided Track: A Deep Association Multi-Object Tracking Framework Based on Localization Confidence of Detections
Chongqing University(重庆大学);James Cook University(詹姆斯库克大学)
本文提出LG-Track框架,首次在多目标跟踪中引入定位置信度,结合外观清晰度与定位准确性设计深度关联机制,并在MOT17和MOT20上取得优于现有方法的性能。
2023-09-18 cs.CV
Confidence-Uncertainty Boundary Calibration for Bayesian Deep Learning in Medical Image Analysis
Escuela Técnica Superior de Ingenieros de Telecomunicación Universidad Politécnica de Madrid(电信工程高级学院马德里理工大学)
提出基于贝叶斯深度学习的概率优化框架,通过置信-不确定性边界曲线(CUBC)和边界损失(CUB-Loss)校准预测置信与不确定性,并引入双温度缩放(DTS)进行后处理,在肺炎、糖尿病视网膜病变和皮肤病变三个医学图像任务上验证了有效性。
2026-06-23 cs.CV cs.LG
Improving the Robustness and Generalization of Deep Neural Network with Confidence Threshold Reduction
Xi’an Jiaotong University(西安交通大学);Qingdao University(青岛大学)
深度神经网络很容易受到难以察觉的扰动的攻击。对抗性训练(AT)是目前提高模型对对抗性样本鲁棒性的最有效方法。然而,由于对抗训练解决了最小值-最大值问题,与自然训练相比,鲁棒性和泛化是矛盾的,即,模型鲁棒性的提高会降低模型的泛化能力。为了解决这个问题,在本文中,一个新的概念,即置信阈值(CT),被引入和降低的置信阈值,称为置信阈值降低(CTR),被证明可以提高模型的泛化和鲁棒性。具体地,为了减少用于自然训练的CT(即,对于使用CTR的自然训练),我们提出了由交叉熵损失项和正交项组成的掩模引导的发散损失函数(MDL)。理论和实证分析表明,MDL损失提高了模型的鲁棒性和泛化能力的自然训练的同时。然而,使用CTR的自然训练的模型鲁棒性改进与对抗训练的模型鲁棒性改进不可比较。因此,对于对抗训练,我们提出了一个标准差损失函数(STD),它最小化错误类别的概率差异,通过集成到对抗训练的损失函数中来降低CT。理论和实证分析表明,基于STD的损失函数在保证自然精度不变或略有提高的基础上,进一步提高了逆向训练模型的鲁棒性。
2022-07-12 cs.CV cs.LG
What does a deep neural network confidently perceive? The effective dimension of high certainty class manifolds and their low confidence boundaries
Stanford University(斯坦福大学);Google Research(谷歌研究院);Anthropic(Anthropic公司)
深度神经网络分类器将输入空间划分为每个类别的高置信度区域。这些类流形(CM)的几何形状被广泛研究,并与模型性能密切相关;例如,裕度取决于CM边界。我们利用高斯宽度和戈登逃逸定理的概念,通过与不同维度的随机仿射子空间的层析交叉来可追踪地估计CM及其边界的有效维度。我们展示了CM的维度、泛化和鲁棒性之间的几种联系。特别是,我们研究了CM维度如何取决于1)数据集,2)架构(包括ResNet,WideResNet \&视觉Transformer),3)初始化,4)训练阶段,5)类,6)网络宽度,7)集成大小,8)标签随机化,9)训练集大小,以及10)对数据损坏的鲁棒性。一幅图片出现,更高的性能和更强大的模型具有更高维的CM。此外,我们提供了一个新的视角,通过交叉点的CM集成。我们的代码在https://github.com/stanislavfort/slice-dice-optimize/
2022-10-11 cs.CV cs.LG
Failure Prediction by Confidence Estimation of Uncertainty-Aware Dirichlet Networks
MIT Lincoln Laboratory(麻省理工学院林肯实验室)
可靠地评估深度学习中的模型置信度并预测可能出现的错误是为模型部署提供安全性的关键因素,特别是对于具有可怕后果的应用程序。在本文中,它首先表明,不确定性感知的深度狄利克雷神经网络提供了一个改进的分离之间的信心,正确的和不正确的预测,在真正的类概率(TCP)度量。其次,由于真实类是未知的,在测试时,提出了一个新的标准,学习真实类的概率匹配预测置信度得分,同时考虑到正确的预测和失败的不平衡和TCP约束。实验结果表明,我们的方法提高了最大类概率(MCP)基线和预测TCP的标准网络上的几个图像分类任务与各种网络架构。
2020-10-19 cs.CV cs.LG
Deep Visual Re-Identification with Confidence
EPFL(洛桑联邦理工学院)
交通系统通常依赖于对车辆或行人流量的了解。从城市规模的交通监控到训练终点站的通勤者,传感技术的最新进展使得使用相机来更好地了解需求成为可能,即,更好地跟踪移动代理(例如,车辆和行人)。无论摄像头是安装在无人机、车辆上,还是固定在建筑环境中,它们都不可避免地保持分散。我们需要开发技术来重新识别从非重叠视场捕获的图像中的相同代理,称为视觉重新识别任务。现有技术的方法学习用交叉熵损失函数训练的基于神经网络的表示。我们认为这种损失函数不适合视觉再识别任务,因此建议在表示学习框架中建立置信度模型。我们用三种方法展示了我们基于置信度的学习框架的影响:标签平滑,置信度惩罚和深度变分信息瓶颈。它们都表现出性能的提升,验证了我们的说法。我们的贡献对任何感兴趣的代理都是通用的,即,车辆或行人,并在5个数据集上优于高度专业化的最先进方法。共享源代码和模型,以实现开放科学任务。
2020-09-10 cs.CV
Confidence Matters: Inspecting Backdoors in Deep Neural Networks via Distribution Transfer
Nanjing University(南京大学);The University of Queensland(昆士兰大学);Purdue University(普渡大学);Pennsylvania State University(宾夕法尼亚州立大学)
后门攻击已被证明是对深度学习模型的严重安全威胁,检测给定模型是否已被后门攻击成为一项至关重要的任务。现有的防御主要建立在观察到后门触发器通常尺寸很小或只影响少数神经元的激活上。然而,上述观察在许多情况下被违反,特别是对于高级后门攻击,阻碍了现有防御的性能和适用性。在本文中,我们提出了一个后门防御DTInspector建立在一个新的观察。也就是说,有效的后门攻击通常需要对中毒训练样本的高预测置信度,以确保训练的模型以高概率表现出目标行为。基于这一观察,DTInspector首先学习一个可能改变大多数高置信度数据预测的补丁,然后通过检查将学习的补丁应用于低置信度数据后预测变化的比率来确定后门的存在。通过对5种后门攻击、4种数据集和3种高级攻击类型的测试,验证了该方法的有效性。
2022-08-13 cs.CR cs.CV
A Confidence-based Iterative Solver of Depths and Surface Normals for Deep Multi-view Stereo
Tsinghua University(清华大学);ByteDance Inc.(字节跳动公司);ETH Zurich(苏黎世联邦理工学院);JCMV
在本文中,我们介绍了一个深度多视图立体视觉(MVS)系统,联合预测深度,表面法线和每视图的信心地图。我们的方法的关键是一种新的求解器,迭代地解决每视图的深度图和法线图,通过优化基于局部平面假设的能量势。具体地说,该算法通过倾斜平面从相邻像素传播来更新深度图,并通过局部概率平面拟合来更新法线图。这两个步骤都由定制的置信度图监控。该求解器不仅作为用于基于平面的深度细化和完成的后处理工具是有效的,而且是可微的,使得它可以有效地集成到深度学习管道中。我们的多视图立体视觉系统在深度和表面法线的初始预测上采用求解器的多个优化步骤。整个系统可以进行端到端的训练,将纹理不良区域内的像素匹配这一具有挑战性的问题与基于成本-体积的神经网络解耦。在ScanNet和RGB-D Scenes V2上的实验结果证明了所提出的深度MVS系统在多视图深度估计上的最新性能,我们提出的求解器与传统的和基于深度学习的MVS流水线相比,始终提高了深度质量。代码可在https://github.com/thuzhaowang/idn-solver上获得。
2022-01-19 cs.CV
On the confidence of stereo matching in a deep-learning era: a quantitative evaluation
University of Bologna(博洛尼亚大学);Korea University(高丽大学);Korea Aerospace University(韩国航空大学);Ewha Womans University(梨花女子大学);Yonsei University(延世大学)
立体匹配是最流行的技术之一,通过查找两个同步和纠正图像上的匹配像素之间的差异来估计密集深度图。随着更精确算法的发展,研究界专注于寻找好的策略来估计估计视差图的可靠性,即置信度。这些信息被证明是一个强大的线索,天真地找到错误的匹配,以及根据不同的策略,以提高各种立体声算法的整体效果。在本文中,我们回顾了十多年的发展领域的置信度估计的立体匹配。我们广泛讨论和评估现有的置信度度量及其变体,从手工制作的到最新的基于最先进学习的方法。我们研究了每种测量方法在应用于不同的立体声算法时的不同行为,并且在文献中首次与最先进的深度立体声网络配对。我们的实验,在五个不同的标准数据集上进行,提供了一个全面的概述该领域,特别强调了基于学习的策略的优势和局限性。
2021-03-30 cs.CV
Uncertainty-Informed Deep Learning Models Enable High-Confidence Predictions for Digital Histopathology
University of Chicago Medical Center(芝加哥大学医学中心);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);DV Group, LLC(DV集团有限责任公司);University of Chicago(芝加哥大学);Mayo Clinic(梅奥诊所);University of Wisconsin at Madison(威斯康星大学麦迪逊分校)
模型表达其自身预测不确定性的能力是维持临床用户信心的基本属性,因为计算生物标志物被部署到现实世界的医疗环境中。在癌症数字组织病理学领域,我们描述了一种新的,面向临床的方法,用于全切片图像的不确定性量化(UQ),使用dropout估计不确定性,并计算训练数据的阈值,以建立低置信度和高置信度预测的截止值。我们训练模型来识别肺腺癌与鳞状细胞癌,并表明高置信度预测在交叉验证和跨多个机构的两个大型外部数据集的测试中优于没有UQ的预测。我们的测试策略非常接近真实世界的应用程序,使用预定阈值在无监督、无注释的幻灯片上生成预测。此外,我们表明,UQ阈值在域转移的设置中仍然是可靠的,对于分布外的非肺癌队列,腺癌与鳞状细胞癌具有准确的高置信度预测。
2022-04-09 cs.CV eess.IV q-bio.QM
Deep Weighted Consensus: Dense correspondence confidence maps for 3D shape registration
Tel Aviv University(特拉维夫大学)
我们提出了一个新的范例刚性对齐点云的基础上学习加权共识,这是强大的噪声以及旋转组的全频谱。当前的模型,可学习的或公理化的,通常通过端到端学习器或迭代方案,对于受限的方向和有限的噪声水平工作得很好。然而,现实世界的任务要求我们处理大的旋转以及离群值,所有已知的模型都无法提供。在这里,我们提出了一个不同的方向。我们声称,我们可以对齐点云的采样匹配点,根据来自一个密集的,软对齐地图的置信水平。流水线是可微的,并且在SO(3)的全谱中的大旋转下收敛,即使具有高噪声水平。我们将该网络与最近提出的方法(如DCP,PointNetLK,RPM-Net,PRnet)以及公理化方法(如ICP和Go-ICP)进行了比较。我们在此报告性能的根本提升。
2021-05-06 cs.AI cs.CV
Controllable Confidence-Based Image Denoising
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
图像去噪是一个经典的复原问题。然而,目前的深度学习方法受到泛化和可解释性问题的影响。为了缓解这些问题,在这个项目中,我们提出了一个框架,能够可控的,基于信心的噪声去除。该框架是基于两个不同的去噪图像之间的融合,都来自相同的噪声输入。其中之一是使用通用算法(例如高斯)去噪,该算法对输入图像做了很少的假设,因此,在所有情况下都是通用的。另一种是使用深度学习去噪,在看到的数据集上表现良好。我们介绍了一套技术,融合这两个组件顺利在频域。除此之外,我们估计了深度学习去噪器的置信度,以允许用户解释输出,并提供了一种融合策略,以保护他们免受分布外输入的影响。通过实验,我们证明了所提出的框架在不同的用例的有效性。
2021-06-17 cs.CV eess.IV
Towards Calibrated Deep Clustering Network
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Yam Pak Charitable Foundation School of Computing and Information Sciences, Saint Francis University(圣弗朗西斯大学计算与信息科学学院(严炳慈善基金会冠名));Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
针对深度聚类中的过度置信问题,提出双头校准深度聚类模型与网络初始化策略,通过校准头调整预测置信度并选择可靠样本进行自训练,显著降低了期望校准误差并提升了聚类准确率。
2025-04-02 cs.CV
Confidence Calibration and Predictive Uncertainty Estimation for Deep Medical Image Segmentation
The University of British Columbia(不列颠哥伦比亚大学);Harvard Medical School(哈佛医学院)
全卷积神经网络(FCN),特别是U-Net,在许多医学成像应用的语义分割方面取得了最先进的成果。此外,批量规范化和骰子丢失已成功用于稳定和加速训练。然而,这些网络校准不良,即它们倾向于在正确和错误的分类中产生过度自信的预测,使其不可靠且难以解释。在本文中,我们研究了预测不确定性估计的FCNs的医学图像分割。我们做了以下贡献:1)我们系统地比较了交叉熵损失和Dice损失在分割质量和不确定性估计方面的FCNs; 2)我们提出了模型集成,用于批量归一化和Dice损失训练的FCNs的置信度校准; 3)我们评估了校准的FCNs预测结构分割质量和检测分布外测试示例的能力。我们在大脑,心脏和前列腺的三个医学图像分割应用程序进行了广泛的实验,以评估我们的贡献。本研究的结果提供了相当深入的预测不确定性估计和分布外检测在医学图像分割,并提供了实用的配方置信度校准。此外,我们一贯表明,模型集成提高了置信度校准。
2020-06-29 cs.CV eess.IV
Confidence Matters: Uncertainty Quantification and Precision Assessment of Deep Learning-based CMR Biomarker Estimates Using Scan-rescan Data
Cardio-Oncology Centre of Excellence, Royal Brompton Hospitals(皇家布朗普顿医院心脏肿瘤卓越中心);Perspectum Ltd.(Perspectum有限公司)
本文通过深度学习方法评估心血管磁共振生物标志物的精度,提出基于分布的新指标,发现尽管点估计精度高,但分布分析显示重拍数据的置信区间重叠不足50%,揭示了需更精确的评估指标。
2026-03-25 cs.CV
Deep Convolutional Architectures for EEG Classification: A Comparative Study with Temporal Augmentation and Confidence-Based Voting
Department of Computer Science(计算机科学系);California State University, Fresno(加州州立大学,弗雷斯诺分校)
本文比较了深度学习架构在EEG信号分类中的应用,通过时间增强和置信度投票机制提升分类性能,发现3D CNN在AUC和平衡准确率上优于2D架构。
2026-02-25 cs.AI cs.CV cs.LG
Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
University of Wyoming(怀俄明大学);Cornell University(康奈尔大学)
深度神经网络(DNN)最近在各种模式识别任务上取得了最先进的性能,最引人注目的是视觉分类问题。鉴于DNN现在能够以接近人类水平的性能对图像中的对象进行分类,自然会出现计算机和人类视觉之间存在哪些差异的问题。最近的一项研究表明,以人类无法察觉的方式改变图像(例如狮子)可能会导致DNN将图像标记为其他内容(例如将狮子错误标记为库)。在这里,我们展示了一个相关的结果:很容易生成人类完全无法识别的图像,但最先进的DNN认为这些图像是可识别的对象,置信度为99.99%(例如,确定性地标记白噪声静态是狮子)。具体来说,我们采用经过训练的卷积神经网络,在ImageNet或MNIST数据集上表现良好,然后使用进化算法或梯度上升找到图像,DNN以高置信度标记为属于每个数据集类。有可能产生人眼完全无法识别的图像,DNN几乎肯定认为这些图像是熟悉的对象,我们称之为“欺骗图像”(更一般地说,欺骗示例)。我们的研究结果揭示了人类视觉和当前DNN之间有趣的差异,并对DNN计算机视觉的普遍性提出了质疑。
2015-04-02 cs.AI cs.CV cs.NE
Joint Dermatological Lesion Classification and Confidence Modeling with Uncertainty Estimation
Korea University(高丽大学);VUNO Inc.(VUNO公司)
深度学习在解释皮肤镜图像以检测皮肤缺陷和异常方面发挥了重要作用。然而,目前用于皮肤病病变分析的深度学习解决方案通常局限于提供概率预测,这突出了有关不确定性的重要性。这种不确定性的概念可以为每个特征提供一个置信度,从而防止对未知数据的泛化能力较差的过度自信的预测。在本文中,我们提出了一个整体框架,共同考虑皮肤分类和不确定性估计在一起。该方法从置信度网络中提取各特征的置信度,以避免输入图像的环境差异引起的特征不确定性和不期望的偏移。我们的定性结果表明,建模不确定性不仅有助于量化每个预测的模型置信度,而且有助于分类层专注于置信特征,从而提高皮肤病病变分类的准确性。我们在两个最先进的皮肤镜数据集(ISIC 2018和ISIC 2019)中证明了所提出方法的潜力。
2021-07-19 cs.CV
Dual-View Pyramid Pooling in Deep Neural Networks for Improved Medical Image Classification and Confidence Calibration
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);Zhengzhou University(郑州大学);Central South University(中南大学);Xinjiang University(新疆大学)
针对空间池化易丢失细微特征、跨通道池化易忽略显著特征导致医学图像分类与置信度校准不佳的问题,提出双视角金字塔池化方法,通过双轴融合两类池化的多尺度特征,在多项医学图像任务上取得更优性能。
2024-08-15 cs.CV
Distance-based Confidence Score for Neural Network Classifiers
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
分类器预测可信度的可靠度量对于许多应用都是非常重要的,因此也是分类器设计的一个重要部分。然而,尽管近年来深度学习受到了极大的关注,但在量化神经网络分类器的预测置信度方面没有取得太大进展。贝叶斯模型提供了一个数学基础的框架来推理模型的不确定性,但通常伴随着高昂的计算成本。在本文中,我们提出了一个简单的,可扩展的方法来实现一个可靠的置信度得分,基于数据嵌入来自网络的倒数第二层。我们研究了两种方法来实现理想的嵌入,通过使用基于距离的损失或对抗训练。然后,我们测试我们的方法的好处时,用于分类错误预测,加权集成的分类器,和新奇的检测。在所有的任务中,我们都显示出比传统的、常用的置信度分数有显着的提高。
2017-09-28 cs.AI cs.CV cs.LG
Risk-Aware Planning by Confidence Estimation using Deep Learning-Based Perception
Virginia Tech(弗吉尼亚理工大学);University of Maryland at College Park(马里兰大学帕克分校)
这项工作提出了使用贝叶斯近似的不确定性,从深度学习在机器人规划,这表明,在安全关键的情况下,这会产生更谨慎的行动。调查的案例研究的动机是由一个设置,空中机器人作为一个“侦察”的地面机器人。当下面的区域未知或危险时,这是有用的,可用于太空探索,军事或搜索和救援。从空中拍摄的图像用于提供较少遮挡的地图,以指导机器人在地面上的导航。使用深度学习语义图像分割进行实验,然后基于所得成本图进行路径规划,以提供对所提出方法的实证分析。与类似的方法进行比较,描绘的有用性,某些技术,或技术内的变化,在类似的实验设置。分析该方法,以评估不确定性提取的变化以及缺乏不确定性度量对整个系统的影响,并使用定义的度量来衡量计划者的意外。分析是在多个数据集上进行的,当不确定性信息被纳入规划中时,显示出类似的较低惊喜的趋势,给定的不确定性提取中的超参数的阈值已经满足。我们发现,将不确定性考虑在内,会导致风险平均降低18%。
2019-09-13 cs.AI cs.CV cs.LG
Bin-wise Temperature Scaling (BTS): Improvement in Confidence Calibration Performance through Simple Scaling Techniques
LG CNS
神经网络的预测可靠性在许多应用中是重要的。具体而言,在安全关键领域,例如癌症预测或自动驾驶,模型预测的可靠置信度对于结果的解释至关重要。现代深度神经网络已经在许多不同的图像分类任务中实现了性能的显著提高。然而,这些网络在输出置信度方面往往校准不良。温度定标是一种有效的基于后处理的定标方案,并获得了良好的定标结果。在这项研究中,我们利用温度缩放的概念来构建一个复杂的分箱缩放。此外,我们采用验证样本的扩充来进行详细的缩放。所提出的方法一致地提高了各种数据集和深度卷积神经网络模型的校准性能。
2019-09-23 cs.CV
Accelerating Domain-Aware Electron Microscopy Analysis Using Deep Learning Models with Synthetic Data and Image-Wide Confidence Scoring
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);University of Wisconsin – Madison(威斯康星大学麦迪逊分校);Intel Corporation(英特尔公司)
针对机器学习显微镜分析依赖稀缺人工标注数据、缺乏领域感知的问题,研究提出基于物理的合成数据生成器,结合全图置信度阈值过滤,实现了与人工标注训练相当的性能,且过滤后性能提升5%-30%。
2024-08-02 cond-mat.mtrl-sci cs.CV
A Comparative Study of Confidence Calibration in Deep Learning: From Computer Vision to Medical Imaging
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心);Siemens Healthineers(西门子医疗)
尽管深度学习预测模型在区分不同类别方面取得了成功,但它们在包括医疗保健在内的具有挑战性的领域中往往校准不良。此外,长尾分布在包括临床疾病预测在内的深度学习分类问题中带来了巨大挑战。最近提出了一些方法来校准计算机视觉中的深度预测,但没有研究表明代表性模型如何在不同的挑战性环境中工作。在本文中,我们桥梁的置信度校准从计算机视觉医学成像与四个高影响力的校准模型的比较研究。我们的研究是在不同的背景下进行的(自然图像分类和肺癌风险估计),包括平衡与不平衡训练集以及计算机视觉与医学成像。我们的结果支持了关键发现:(1)我们得出了未在不同学习背景下研究的新结论,例如,组合两个校准模型,这两个校准模型都减轻了过度自信的预测,这可能导致不自信的预测,并且来自计算机视觉领域的更简单的校准模型往往更适用于医学成像。(2)我们强调了一般计算机视觉任务和医学成像预测之间的差距,例如,对于一般计算机视觉任务来说理想的校准方法实际上可能损害医学成像预测的校准。(3)我们还在自然图像分类环境中强化了之前的结论。我们相信,这项研究的价值,指导读者选择校准模型和理解之间的差距一般计算机视觉和医学成像领域。
2022-06-17 cs.CV
Incremental Deep Neural Network Learning using Classification Confidence Thresholding
University of Colorado at Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
大多数用于分类的现代神经网络都没有考虑未知的概念。经过训练的神经网络通常在一个不切实际的场景中进行测试,只使用来自已知类的封闭集合的示例。为了开发一个更现实的模型,引入了在开放环境中工作的概念。这反过来又导致了增量学习的概念,其中具有自己的架构和初始训练数据集的模型可以在测试阶段识别未知类,并在检测到新类的证据时自主更新。增量学习中出现的一些问题是重复重新训练分类器的资源使用效率低下,以及随着时间的推移添加多个类而降低分类精度。实例化新类的过程根据需要重复多次,从而产生错误。为了解决这些问题,本文提出了分类置信度阈值的方法,以总理神经网络的增量学习,以保持精度高,通过限制遗忘。还使用精益方法来减少在神经网络的再训练中使用的资源。所提出的方法是基于这样的想法,即网络能够增量地学习新类,即使暴露于与新类相关联的有限数量的样本。该方法可以应用于大多数现有的神经网络,而对网络结构的改动很小。
2021-06-21 cs.CL cs.CV cs.LG
Deep Confidence Guided Distance for 3D Partial Shape Registration
Tel-Aviv University(特拉维夫大学)
我们提出了一种新的非迭代学习方法的部分到部分的3D形状配准。部分对齐任务非常复杂,因为它共同尝试在点之间进行匹配,并识别哪些点不出现在相应的形状中,导致解决方案在大多数情况下是非唯一的和不适定的。到目前为止,已经提出了两种主要的方法来解决这个问题:对可能具有对应关系的点的子集进行采样,或者在点云之间执行软对齐,并尝试避免与遮挡部分匹配。当遮挡较轻或变换较小时,这些算法有效,但对于严重遮挡或存在离群值时,这些算法无效。我们提出了一种名为置信度引导距离网络(CGD-net)的独特方法,在该方法中,我们融合了点嵌入之间的可学习相似性和点云之间的空间距离,为重叠点引入了优化的解决方案,同时忽略了仅出现在其中一个形状中的部分。点特征的生成是由一个自我监督的架构,排斥远点有不同的嵌入,因此成功地对齐形状的部分视图,即使有过多的内部对称或尖锐的旋转。我们将我们的网络与最近提出的基于学习和公理化的方法进行了比较,并报告了性能的根本提升。
2022-01-27 cs.CV
Increased-confidence adversarial examples for deep learning counter-forensics
Beijing Jiaotong University(北京交通大学);Beijing Key Laboratory of Advanced Information Science and Network Technology(北京先进信息科学与网络技术重点实验室);University of Siena(锡耶纳大学)
对抗性样本的可移植性是将这种攻击应用于基于深度学习(DL)的多媒体取证(MMF)技术的关键问题。事实上,对抗性示例可转移性将为成功部署反取证攻击开辟道路,即使在攻击者不完全了解要攻击的系统的情况下。一些初步工作表明,对抗基于CNN的图像取证检测器的对抗性示例通常是不可转移的,至少在采用最流行的库中实现的攻击的基本版本时是如此。在本文中,我们介绍了一种通用的策略,以增加攻击的强度,并评估其可转移性时,这样的强度变化。我们的实验表明,以这种方式,攻击的可转移性可以大大增加,在一个更大的失真为代价。我们的研究证实了即使在多媒体取证场景中存在对抗性示例所带来的安全威胁,因此需要新的防御策略来提高基于DL的MMF技术的安全性。
2022-01-06 cs.CR cs.CV
Evaluation of Confidence-based Ensembling in Deep Learning Image Classification
Intel Labs(英特尔实验室);City, University of London(伦敦大学城市学院)
集成是一种成功的提高机器学习(ML)模型性能的技术。Conf-Ensemble是对Boosting的一种适应,它基于模型置信度而不是模型错误来创建集合,以更好地分类困难的边缘情况。关键思想是为前一个模型难以分类(不一定是错误分类)的样本创建连续的模型专家。该技术已被证明在具有小特征空间(约80个特征)的二进制分类中提供比提升更好的结果。在本文中,我们使用ImageNet数据集(224 x224 x3特征,1000个类)评估了Conf-Ensemble方法在更复杂的图像分类任务中的应用。图像分类是基于AI的感知的重要基准,因此它有助于评估该方法是否可用于使用ML集成的安全关键应用。我们的实验表明,在一个复杂的多标签分类任务中,复杂输入样本的专业化的预期好处不能用一个小的样本集来实现,即,一个好的分类器似乎依赖于非常复杂的特征分析,而这些特征分析不能仅仅在有限的“困难样本”子集上得到很好的训练。我们提出了一个改进的Conf-Ensemble,以增加连续的合奏成员的样本数量,和一个三成员Conf-Ensemble使用这种改进能够超过一个单一的模型的准确性,虽然数量并不显着。我们的发现揭示了这种方法的局限性和利用大数据的重要性。
2023-03-03 cs.AI cs.CV cs.LG
Confidence Aware Neural Networks for Skin Cancer Detection
Beheshti University(贝赫什提大学);University of Tehran(德黑兰大学);Isfahan University of Technology(伊斯法罕理工大学);Deakin University(迪肯大学)
深度学习(DL)模型由于其有前途的模式识别能力而在医学成像中受到特别关注。然而,深度神经网络(DNN)需要大量的数据,由于该领域缺乏足够的数据,迁移学习可能是一个很好的解决方案。用于疾病诊断的DNN专注于提高预测的准确性,而不提供关于其预测置信度的数字。了解DNN模型在计算机辅助诊断模型中的置信度对于获得临床医生对基于DL的解决方案的信心和信任是必要的。为了解决这个问题,这项工作提出了三种不同的方法来量化皮肤癌检测图像的不确定性。它还使用新的不确定性相关指标全面评估和比较了这些DNN的性能。所得到的结果表明,预测的不确定性估计方法是能够标记风险和错误的预测与高的不确定性估计。我们还表明,合奏方法是更可靠的捕捉不确定性,通过推理。
2021-07-24 cs.CV cs.LG eess.IV
Out of Distribution Detection and Adversarial Attacks on Deep Neural Networks for Robust Medical Image Analysis
African Institute for Mathematical Sciences(非洲数学科学研究所);Stanford University(斯坦福大学)
深度学习模型已成为医学图像分析的热门选择。然而,深度学习模型的泛化性能较差,限制了它们在现实世界中的部署,因为鲁棒性对于医疗应用至关重要。例如,最先进的卷积神经网络(CNN)无法检测对抗样本或在统计上远离训练分布的样本。在这项工作中,我们实验评估的鲁棒性的Mahalanobis距离为基础的置信分数,一个简单而有效的方法来检测异常的输入样本,在分类疟疾寄生细胞和未感染的细胞。结果表明,Mahalanobis置信分数检测器表现出深度学习模型的性能和鲁棒性的改进,并在分布外(OOD)和对抗样本上实现了最先进的性能。
2021-07-10 cs.CV cs.LG eess.IV
Towards Consistent Predictive Confidence through Fitted Ensembles
University of Central Florida(中佛罗里达大学)
深度神经网络是最近机器学习应用中许多成功的背后。然而,这些模型在遇到分布外(OOD)示例或做出错误预测时可能会产生过度自信的决策。这种不一致的预测置信度限制了独立训练的学习模型集成到更大的系统中。本文引入了可分离的概念学习框架,以现实地衡量存在OOD的例子分类器的性能。在这种设置中,分类器的几个实例在类集合的分区的不同部分上训练。随后,在单独的测试集上评估这些模型的组合的性能。与当前的OOD检测技术不同,该框架不需要辅助OOD数据集,也不将分类与检测性能分开。此外,我们提出了一个新的强基线,用于在深度模型中实现更一致的预测置信度,称为拟合集合,其中过度自信的预测通过原始分类任务的转换版本进行纠正。拟合集成可以自然地检测OOD的例子,而不需要辅助数据,通过观察其组件之间的矛盾预测。在MNIST、SVHN、CIFAR-10/100和ImageNet上的实验表明,拟合集成在OOD示例上的性能明显优于传统集成,并且可以扩展。
2021-06-22 cs.AI cs.CV cs.LG
DATa: Domain Adaptation-Aided Deep Table Detection Using Visual-Lexical Representations
Yonsei University(延世大学);Sungkyunkwan University(成均馆大学)
通过开发不仅依赖于手工制作的算法的基于规则的方法,而且依赖于深度学习方法,已经相当多的研究关注于表检测。尽管最近的研究成功地执行了具有增强结果的表检测,但是当它们用于其表布局特征可能不同于基础模型已被训练的源域的传输域时,它们经常经历性能下降。为了克服这个问题,我们提出了DATa,一种新的领域自适应辅助深表检测方法,保证在一个特定的目标域,其中很少有可信标签是可用的令人满意的性能。为此,我们重新设计了词汇特征和用于重新训练的增强模型。更具体地说,在预训练一个最先进的基于视觉的模型作为我们的骨干网络之后,我们重新训练我们的增强模型,包括基于视觉的模型和多层感知器(MLP)架构。使用基于训练的MLP架构获得的新置信度分数以及边界框及其置信度分数的初始预测,我们更准确地计算每个置信度分数。为了验证DATa的优越性,我们通过采用源域中的真实世界基准数据集和由材料科学文章组成的目标域中的另一个数据集来进行实验评估。实验结果表明,所提出的DATa方法大大优于竞争的方法,只利用视觉表示在目标域。由于根据置信度分数阈值的设置消除高假阳性或假阴性的能力,这样的增益是可能的。
2022-11-12 cs.CV cs.LG cs.NE
Conditional Uncertainty-Aware Political Deepfake Detection with Stochastic Convolutional Neural Networks
本文提出基于随机卷积神经网络的条件不确定性政治深度伪造检测方法,通过校准概率输出和不确定性估计,提升高风险政治场景下的检测可靠性。
2026-02-10 cs.CV cs.LG
Confidence-Driven Deep Learning Framework for Early Detection of Knee Osteoarthritis
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University Sorbonne Paris Nord(巴黎北索邦大学);Jiangsu Institute of Hematology(江苏血液学研究所);The First Affiliated Hospital of Soochow University(苏州大学附属第一医院);Henan University of Chinese Medicine(河南中医药大学);German Cancer Research Center(德国癌症研究中心);Athinoula A. Martinos Centre for Biomedical Imaging(阿西诺拉·A.马蒂诺斯生物医学影像中心);Geneva University Hospital(日内瓦大学医院);IDP Institute(IDP研究所);University of Orleans(奥尔良大学)
针对膝骨关节炎早期诊断依赖主观KL分级、评估差异大的问题,提出融合多级特征提取与混合损失策略的置信度驱动孪生网络框架,在OAI数据集上表现达放射科专家水平,可作为辅助诊断工具。
2025-01-15 cs.CV eess.IV
Quantifying Predictive Uncertainty in Medical Image Analysis with Deep Kernel Learning
Siemens AG(西门子股份公司);LMU Munich(慕尼黑大学)
深度神经网络越来越多地用于医学图像的分析。然而,大多数工作忽略了模型预测中的不确定性。我们提出了一种不确定性感知的深度内核学习模型,该模型允许通过卷积神经网络和稀疏高斯过程的管道来估计预测中的不确定性。此外,我们采用不同的预训练方法来研究它们对所提出的模型的影响。我们将我们的方法应用于骨龄预测和病变定位。在大多数情况下,所提出的模型表现出更好的性能相比,常见的架构。更重要的是,我们的模型在更准确的预测中系统地表达了更高的信心,而在不太准确的预测中则表达了更低的信心。我们的模型也可用于检测具有挑战性和争议性的测试样本。与Monte-Carlo Dropout等相关方法相比,我们的方法以纯粹的分析方式获得不确定性信息,因此计算效率更高。
2021-06-01 cs.CV cs.LG
Physical world assistive signals for deep neural network classifiers -- neither defense nor attack
The University of Western Australia(西澳大利亚大学)
深度神经网络引领着计算机视觉任务的发展。尽管如此,神经网络是脆弱的,因为输入中的微小变化会严重影响其预测结果和信心。因此,自然,在这方面的研究主要集中在对抗攻击和防御。在本文中,我们采取了另一种立场,并引入了辅助信号的概念,这些辅助信号被优化以提高模型的置信度,无论它是否受到攻击。我们分析了这些辅助扰动的一些有趣的特性,并扩展了在3D空间中优化辅助信号的想法,以模拟不同的照明条件和视角。实验评估表明,我们的优化方法生成的辅助信号比在2D空间中工作的传统方法生成的辅助信号更能提高深度模型的准确性和置信度。此外,我们的辅助信号说明了ML模型对现实生活中对象的某些模式的内在偏见。我们将讨论如何利用这些见解来重新思考,或避免,一些模式,可能有助于,或降低,在现实世界中的对象的可检测性。
2021-05-03 cs.CV
Improving U-Net Confidence on TEM Image Data with L2-Regularization, Transfer Learning, and Deep Fine-Tuning
Department of Nuclear Engineering, Penn State University(核工程系,宾夕法尼亚州立大学)
本文针对TEM图像纳米缺陷检测中标注数据少且错误率高的问题,提出结合预训练编码器、L2正则化与深层微调的方法,使UO2晶界检测率提升57%,并引入独立于标注准确性的新评估指标。
2025-08-22 cs.CV eess.IV
Beyond Textual CoT: Interleaved Text-Image Chains with Deep Confidence Reasoning for Image Editing
Shanghai Jiaotong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚实验室);East China Normal University(华东师范大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院)
针对现有图像编辑缺乏显式推理的问题,提出MURE框架,采用交错文本-图像思维链及多模态深度置信推理,分解复杂任务,提升编辑精度,并在三个基准上取得显著改进。
2025-10-09 cs.CV
Uncertainty-Aware Deep Calibrated Salient Object Detection
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);ACRV(澳大利亚机器人视觉中心);Data61;University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学)
现有的基于深度神经网络的显著性目标检测(SOD)方法主要集中在追求高网络准确性。然而,这些方法忽略了网络准确性和预测置信度之间的差距,称为置信度未校准问题。因此,最先进的SOD网络往往过于自信。换句话说,网络的预测置信度并不反映显著目标检测的正确性的真实概率,这显著地阻碍了它们在现实世界中的适用性。本文介绍了一种具有不确定性感知的深度SOD网络,并从不同角度提出了两种防止深度SOD网络过度自信的策略.第一种策略,即边界分布平滑(BDS),通过平滑原始二进制地面实况相对于像素的不确定性来生成连续标签。第二种策略,即不确定性感知温度缩放(UATS),在训练和测试过程中利用宽松的Sigmoid函数,采用空间变化的温度缩放来产生软化的输出。这两种策略都可以以最小的努力纳入现有的深度SOD网络。此外,我们提出了一个新的显着性评价指标,即密集校准测量C,以衡量如何在给定的数据集上校准模型。在7个基准数据集上的实验结果表明,该方法不仅可以更好地校正SOD模型,而且可以提高网络精度。
2020-12-10 cs.CV
Saliency-driven Class Impressions for Feature Visualization of Deep Neural Networks
Indian Institute of Science(印度科学学院);Indian Institute of Technology Bombay(印度理工学院孟买分校)
在本文中,我们提出了一个无数据的方法,提取每个类的Imperial从分类器的内存。深度学习机制使分类器能够从训练数据中提取给定类的不同模式(或特征),这是它们推广到看不见的数据的基础。在将这些模型部署到关键应用程序之前,最好将被认为是分类所必需的特征可视化。现有的可视化方法开发了由背景和前景特征组成的高置信度图像。这使得很难判断一个给定类的关键特征是什么。在这项工作中,我们提出了一个显着性驱动的方法来可视化的歧视性功能,被认为是最重要的一个给定的任务。现有方法的另一个缺点是通过创建给定类的多个实例来增加所生成的可视化的置信度。我们将算法限制为每个图像开发一个对象,这有助于进一步提取高置信度的特征,并获得更好的可视化效果。我们进一步证明了生成的负像自然融合的图像的两个或更多的类。
2020-07-31 cs.CV
Confidence Inference for Focused Learning in Stereo Matching
SenseTime Research(商汤科技研究院)
本文提出了一种无监督的立体匹配置信度推断方法。深度神经网络(DNN)最近已经实现了最先进的性能。然而,通常很难判断训练好的模型是做出了合理的预测还是只是随机猜测。为了解决这个问题,我们从立体匹配中使用的L1损失的概率解释开始,它固有地假设独立和相同(aka i.i.d.)拉普拉斯分布然而,新引入的稠密置信图,放松了相同的假设。直观地说,拉普拉斯分布的方差对于低置信度像素是大的,而对于高置信度像素是小的。在实践中,网络学习衰减低置信度像素(例如,噪声输入、遮挡、无特征区域),并聚焦于高置信度像素。此外,从实验中可以观察到,聚焦学习非常有助于找到训练模型的更好的收敛状态,减少对给定数据集的过度拟合。
2018-09-25 cs.CV
How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks
University of Waterloo(滑铁卢大学);DarwinAI Corp.(DarwinAI公司)
构建值得信赖的深度神经网络的关键一步是信任量化,我们会问这样一个问题:我们可以信任深度神经网络多少?在这项研究中,我们通过引入一套基于深度神经网络回答一组问题时的行为来评估其整体可信度的指标,向简单,可解释的信任量化指标迈出了一步。我们进行了一个思想实验,并探讨了两个关于信任与信心的关键问题:1)我们对那些非常自信地给出错误答案的演员有多少信任?2)我们对那些犹豫不决地给出正确答案的演员有多少信任?基于所获得的见解,我们引入了问答信任的概念来量化基于正确和不正确答案场景下的自信行为的个人答案的可信度,以及信任密度的概念来表征个人答案场景的整体信任的分布。我们进一步引入了信任谱的概念,用于表示整体信任,相对于正确和错误回答问题的可能答案场景的频谱。最后,我们介绍了NetTrustScore,一个总结整体可信度的标量度量。这套指标与过去研究信任和信心之间关系的社会心理学研究相一致。利用这些指标,我们量化了几个著名的深度神经网络架构的可信度,以更深入地了解信任在哪里崩溃。拟议的指标绝不是完美的,但希望将对话推向更好的指标,以帮助指导从业者和监管机构生产,部署和认证深度学习解决方案,这些解决方案可以在现实世界中运行,关键任务场景。
2021-04-03 cs.AI cs.CV cs.LG
Gradient-Based Quantification of Epistemic Uncertainty for Deep Object Detectors
University of Wuppertal(伍珀塔尔大学);School of Mathematics and Natural Sciences(数学与自然科学学院)
用于深度目标探测器的绝大多数不确定性量化方法,例如变分推理,都是基于网络输出的。在这里,我们研究了基于梯度的认识不确定性度量的深度对象探测器,以获得可靠的置信度估计。我们表明,它们包含预测信息,它们捕获的信息正交的常见的,基于输出的不确定性估计方法,如蒙特卡洛辍学和深合奏。为此,我们使用Meta分类和Meta回归来产生置信度估计,使用梯度度量和其他基线的不确定性量化原则上适用于任何目标检测架构。具体来说,我们采用假阳性检测和预测的本地化质量调查的不确定性内容,我们的指标和计算Meta分类器的校准误差。此外,我们使用它们作为后处理过滤机制的目标检测管道和比较目标检测性能。我们的研究结果表明,基于梯度的不确定性本身与不同检测器和数据集的基于输出的方法相当。更重要的是,基于梯度和基于输出的指标的组合Meta分类器优于独立模型。基于这一结果,我们得出结论,梯度不确定性增加了正交信息的输出为基础的方法。这表明,变分推理可以通过基于梯度的不确定性来补充,以获得改进的置信度,从而有助于深层物体探测器的下游应用并提高其概率可靠性。
2022-03-17 cs.CV
Exploiting Local Indexing and Deep Feature Confidence Scores for Fast Image-to-Video Search
Middle East Technical University(中东技术大学)
具有成本效益的视觉表示和快速查询的例子搜索是两个具有挑战性的目标,应保持适度的硬件上的网络规模的视觉检索任务。本文介绍了一种快速和强大的方法,确保这两个目标,通过获得最先进的性能的图像到视频搜索场景。因此,我们提出了关键的增强功能,以促进更快,更好和适度的检索性能,著名的索引和视觉表示技术。我们还通过在查询时利用局部和全局描述符的个体决策来提高我们的方法在一些视觉挑战中的优越性。例如,本地内容描述符表示具有大的几何变形(诸如比例、定向和仿射变换)的复制/重复的场景。相比之下,全局内容描述符的使用对于近似重复和语义搜索更实用。实验在大规模的Stanford I2 V数据集上进行。实验结果表明,我们的方法是有用的复杂性和查询处理时间的大规模视觉检索的情况下,即使局部和全局表示一起使用。所提出的方法是优越的,并实现了最先进的性能的基础上,该数据集的平均平均精度(MAP)得分。最后,我们报告了额外的MAP分数更新后的地面注释所揭示的检索结果所提出的方法,它表明,实际的性能。
2020-12-12 cs.CV
Exploring Geometry of Blind Spots in Vision Models
University of Maryland, College Park(马里兰大学学院公园分校)
本文研究视觉模型中的欠敏感现象,提出水平集遍历算法探索等置信度区域的几何结构,发现其呈星形连接,并估计高置信度连通区域的范围。
2023-10-30 cs.AI cs.CV cs.LG