Uncertainty evaluation of segmentation models for Earth observation
Google DeepMind(谷歌DeepMind)
本文针对遥感与地球观测场景,在PASTIS、ForTy数据集上基准测试多种逐像素不确定性估计方法的错误识别等实用性能,给出实用建议。
2025-10-22 cs.CV cs.LG
Out-of-Distribution Segmentation via Wasserstein-Based Evidential Uncertainty
Heinrich-Heine-University Düsseldorf(海因里希-海涅大学多特蒙德);KAUST(科威特高级科学研究中心);Linköping University(林奈大学)
本文提出基于瓦尔斯特流损失的证据分割框架,结合相对熵正则化和Dice一致性项,提升分布外物体的分割性能。
2025-12-12 cs.CV cs.LG
Assessing Test-time Variability for Interactive 3D Medical Image Segmentation with Diverse Point Prompts
Vanderbilt University(范德堡大学)
针对交互式3D医学图像分割中提示选择的变异性问题,提出基于点位置分类的测试时最优提示选择策略,并在结肠肿瘤分割任务上验证其有效性。
2023-11-13 cs.CV
Improving Aleatoric Uncertainty Quantification in Multi-Annotated Medical Image Segmentation with Normalizing Flows
Eindhoven University of Technology(埃因霍温理工大学)
量化医学图像分割应用中的不确定性是必不可少的,因为它通常与重要的决策有关。在量化图像分割架构中的不确定性方面已经做出了令人信服的尝试,例如,学习以输入图像为条件的密度分割模型。在这一领域的典型工作限制这些学习的密度是严格的高斯。在本文中,我们建议通过引入归一化流(NF)来使用更灵活的方法,这使得学习的密度更加复杂,并有助于对不确定性进行更准确的建模。我们通过采用ProbabilityU-Net并使用NF增强后验密度来证明这一假设,使其更具表达力。我们分别对多注释和单注释LIDC-IDRI和Kvasir-SEG分割数据集进行的定性和定量(GED和IoU)评估显示出明显的改进。这在任意不确定性的量化和高达14%的预测性能提高中最为明显。这一结果强烈表明,一个更灵活的密度模型,应认真考虑在架构,试图捕捉分割模糊通过密度建模。这种改进的建模的好处将增加人们对注释和分割的信心,并使该技术在实践中得到广泛采用。
2021-08-05 cs.CV cs.LG
Robustness Quantification and Uncertainty Quantification: Comparing Two Methods for Assessing the Reliability of Classifier Predictions
Foundations Lab for imprecise probabilities(不精确概率基础实验室);Ghent University(根特大学)
本文比较了鲁棒性量化和不确定性量化两种方法,发现鲁棒性量化在标准设置和分布偏移下均优于不确定性量化,并展示两者的互补性。
2026-03-24 cs.LG
That Label's Got Style: Handling Label Style Bias for Uncertain Image Segmentation
Technical University of Denmark(丹麦技术大学)
分割不确定性模型预测给定输入的合理分割的分布,它们从训练集中的注释器变化中学习。然而,在实践中,这些注释可以在它们的生成方式上系统地不同,例如通过使用不同的标记工具。这将导致数据集既包含数据可变性又包含不同的标签样式。在本文中,我们证明了在这些数据集上应用最先进的分割不确定性模型可能会导致由不同标签风格引起的模型偏差。我们提出了一个更新的建模客观条件的标签风格任意不确定性估计,并相应地修改两个国家的最先进的架构分割不确定性。我们通过大量的实验表明,该方法减少了标签风格偏差,同时提高了分割性能,增加了分割不确定性模型在野外的适用性。我们策划了两个数据集,带有不同标签样式的注释,我们将在发布时将其与我们的代码一起公开。
2023-03-28 cs.CV cs.LG
Usable Region Estimate for Assessing Practical Usability of Medical Image Segmentation Models
Nanjing University of Science and Technology(南京理工大学);University of Notre Dame(圣母大学)
我们的目标是定量测量医学图像分割模型的实际可用性:在多大程度上,多久一次,以及模型的预测可以使用/信任的样本。我们首先提出了一个衡量标准,正确性置信度等级相关性(CCRC),以捕捉预测的置信度估计如何与其正确性分数的排名相关。具有高CCRC值的模型意味着其预测置信度可靠地表明哪些样本的预测更有可能是正确的。由于CCRC并不捕获实际的预测正确性,因此它本身不足以表明预测模型在实践中是否准确可靠。因此,我们进一步提出了另一种方法,可用区域估计(URE),它同时量化预测的正确性和可靠性的信心评估在一个估计。URE提供了关于模型预测可用程度的具体信息。此外,可用区域(UR)的大小可以用于比较模型:具有较大UR的模型可以被视为更可用,因此更好的模型。在6个数据集上的实验验证了所提出的评价方法的有效性,为医学图像分割模型的实用性提供了一种具体而简洁的度量方法。代码可在https://github.com/yizhezhang2000/ure上获得。
2022-07-01 cs.CV cs.LG eess.IV
Trustworthy Medical Segmentation: Uncertainty-Aware U-Net Evaluation Under Clinical Image Degradation
University of Colorado Denver(科罗拉多大学丹佛分校);Creighton University(克里顿大学)
研究在临床图像退化下评估医学分割模型的不确定性,提出可重现框架,用合成脑肿瘤MRI队列训练U-Net等模型,经多种损坏类型及不同严重程度测试,结果表明不确定性感知推理可作安全层,还开源相关代码、模型和协议。
2026-07-28 cs.CV cs.LG
Give me (un)certainty -- An exploration of parameters that affect segmentation uncertainty
Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A·马丁诺斯生物医学成像中心)
医学成像中的分割任务本质上是模糊的:由于图像质量和生物因素,目标结构的边界通常不清楚。因此,来自深度学习算法的预测分割本质上是模糊的。此外,由人类注释者执行的“地面实况”分割实际上是弱标签,这进一步增加了在这些手动标签上开发的监督模型的输出的不确定性。到目前为止,大多数深度学习分割研究都使用预测分割,而没有不确定性量化。相比之下,我们探索使用蒙特卡洛丢弃U网的分割与分割不确定性的额外量化。我们评估的效用的三个措施的不确定性(变异系数,平均成对骰子,平均体素不确定性)的分割不太模糊的目标结构(肝脏)和一个更模糊的(肝肿瘤)。此外,我们评估如何利用这些措施的变化与不同的补丁大小和代价函数。我们的研究结果表明,与较小的补丁和软骰子损失相比,使用较大的补丁和加权分类交叉熵作为代价函数训练的模型可以提取更有意义的不确定性度量。在三个不确定性度量中,平均成对骰子与分割质量的相关性最强。我们的研究作为一个概念验证的不确定性措施如何可以用来评估预测分割的质量,可能有助于标记低质量的分割从一个给定的模型,以进一步的人类审查。
2019-11-14 cs.CV cs.LG eess.IV
Assessing SAM for Tree Crown Instance Segmentation from Drone Imagery
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Rubisco AI(鲁比斯科人工智能公司)
本研究评估SAM在无人机影像树冠实例分割中的性能,发现其未优于定制Mask R-CNN,但微调SAM及加入DSM信息可提升预测效果。
2025-03-26 cs.AI cs.CV cs.LG
Uncertainty-Aware Vision-Language Segmentation for Medical Imaging
VIT Bhopal(维特大学博帕尔分校);SAHE, Andhra Pradesh(安得拉邦SAHE);IIIT Delhi(德里印度理工学院);Tezpur University Assam(阿萨姆特兹普尔大学);IIT Kanpur(坎普尔印度理工学院)
本文提出一种不确定性感知的多模态分割框架,通过引入SEU损失和MoDAB模块,提升医学影像分割的精度与效率。
2026-02-20 cs.CV cs.LG
Is segmentation uncertainty useful?
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
概率图像分割编码不同的预测置信度和分割问题中固有的模糊性。虽然不同的概率分割模型的目的是捕捉不同方面的分割不确定性和模糊性,这些建模的差异很少讨论的不确定性的应用程序的上下文中。我们考虑分割不确定性的两个常见用例,即分割质量评估和主动学习。我们认为四个既定的策略概率分割,讨论他们的建模能力,并调查他们在这两个任务的表现。我们发现,对于所有的模型和两个任务,返回的不确定性与分割误差呈正相关,但并没有证明是有用的主动学习。
2021-03-30 cs.CV
On uncertainty estimation in active learning for image segmentation
University of Ghent(根特大学);Technical University of Denmark(丹麦技术大学)
不确定性估计在许多应用中对于解释机器学习模型的可信度是重要的。这在数据驱动的主动学习设置中尤其重要,其中目标是以最小的标记工作实现一定的准确性。在这样的设置中,模型学习根据其估计的不确定性选择信息量最大的未标记样本进行注释。高度不确定的预测被认为是更翔实的,以提高模型的性能。在本文中,我们探讨不确定性校准的主动学习框架内的医学图像分割,标签往往是稀缺的。研究了各种不确定性估计方法和采集策略(区域和全图像)。我们观察到,选择区域而不是完整的图像进行注释会导致更好的校准模型。此外,我们的实验表明,与注释完整图像相比,注释区域可以削减50%需要由人类标记的像素。
2020-07-13 cs.CV cs.LG
Uncertainty-Supervised Interpretable and Robust Evidential Segmentation
School of Data Science, Fudan University, Shanghai, China(复旦大学数据科学学院);Institute of Science and Technology for Brain-inspired intelligence, Fudan University, Shanghai, China(复旦大学脑启发式智能技术研究所);Nuffield Department of Population Health, University of Oxford, Oxford, UK(牛津大学人口健康牛津部门)
本文提出一种自监督不确定性监督方法,通过两个损失函数增强医学图像分割中不确定性估计的可解释性和鲁棒性,在OOD场景中表现更优。
2025-10-14 cs.CV cs.LG
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University(广岛大学);Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了一种新的方法,该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量,以便将不确定性估计反馈给系统,从而在不确定性较高的区域更密集地重新采样训练数据。我们表明,在具体设置的语义分割任务(iPS细胞集落分割),该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing, and Improving Uncertainty Quantification
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Computer Science Department, Stanford University(斯坦福大学计算机科学系)
随着机器学习系统在各种现实任务中的部署越来越多,对预测不确定性的准确量化的需求也越来越大。虽然机器学习中的不确定性量化(UQ)的共同目标是近似目标数据的真实分布,但UQ中的许多工作在所使用的评估指标中往往是不相交的,并且每个指标的不同实现导致在不同工作中不能直接比较的数值结果。为了解决这个问题,我们引入了Uncertainty,这是一个开源的Python库,可以帮助评估,可视化和改进UQ。Uncertainty还提供教学资源,例如关键术语词汇表和有组织的关键论文参考资料。我们希望这个工具箱有助于加速和统一机器学习中不确定性的研究工作。
2021-09-21 cs.LG stat.ML
Assessing YOLACT++ for real time and robust instance segmentation of medical instruments in endoscopic procedures
Tecnológico de Monterrey(蒙特雷科技大学);University of Oxford(牛津大学)
基于图像的腹腔镜器械跟踪通过帮助外科医生和提高患者安全性在计算机和机器人辅助手术中发挥着重要作用。计算机视觉竞赛,如稳健医疗器械分割(ROBUST-MIS)挑战赛,旨在鼓励开发用于此类目的的稳健模型,提供大型,多样化和注释的数据集。迄今为止,大多数现有的医疗器械实例分割模型都是基于两级检测器,这提供了鲁棒的结果,但远不能接近实时(最多每秒5帧(fps))。然而,为了使该方法在临床上适用,实时能力与高精度一起是最大的要求。在本文中,我们提出了注意力机制的YOLACT架构,允许实时实例分割的仪器,提高了准确性的ROBUST-MIS数据集。与2019年ROBUST-MIS挑战赛的获胜者相比,我们提出的方法在鲁棒性得分方面具有竞争力的性能,获得0.313 MI_DSC和0.338 MI_NSD,同时实现实时性能(37 fps)
2021-04-29 cs.AI cs.CV
Assessing Reliability and Challenges of Uncertainty Estimations for Medical Image Segmentation
Insel Data Science Center, Inselspital, Bern University Hospital, University of Bern(伯尔尼大学伯尔尼大学医院Inselspital Insel数据科学中心);ARTORG Center, University of Bern(伯尔尼大学ARTORG中心)
尽管最近整体准确性有所提高,但深度学习系统仍然表现出较低的鲁棒性。检测可能的故障对于这些系统的成功临床集成至关重要,其中每个数据点对应于单个患者。不确定性度量是改进故障检测的一个有前途的方向,因为它们提供了系统置信度的度量。尽管已经提出了许多用于深度学习的不确定性估计方法,但对它们在医学图像分割中的好处和当前挑战知之甚少。因此,我们报告的结果,评估常见的体素方面的不确定性措施的可靠性,和两个医学图像分割数据集的限制。结果表明,目前的不确定性方法执行类似,虽然他们是很好的校准在数据集级别,他们往往是在主题级的误校准。因此,不确定性估计的可靠性受到损害,突出了制定主题不确定性估计的重要性。此外,在基准方法中,我们发现辅助网络是常见不确定性方法的有效替代方案,因为它们可以应用于任何先前训练的分割模型。
2019-10-11 cs.CV eess.IV
Supervised Uncertainty Quantification for Segmentation with Multiple Annotations
University of Amsterdam(阿姆斯特丹大学);Radboud University Medical Center(拉德堡德大学医学中心)
预测不确定性的准确估计在诸如肺结分割的医疗场景中具有重要性。不幸的是,大多数现有的预测不确定性的工作不返回校准的不确定性估计,这可以在实践中使用。在这项工作中,我们利用多级注释的变化作为一个源的“地面实况”任意的不确定性,这可以被视为一个目标,在监督学习的问题。我们将这种真实的不确定性与ProbabilityU-Net相结合,并在LIDC-IDRI肺结节CT数据集和MICCAI 2012前列腺MRI数据集上进行测试。我们发现,我们能够提高预测的不确定性估计。我们还发现,我们可以提高样本精度和样本多样性。在实际应用中,我们的方法可以告知医生分割结果的置信度。
2022-05-27 cs.CV cs.LG stat.ML
Anatomically-aware Uncertainty for Semi-supervised Image Segmentation
ETS Montreal(蒙特利尔高等工程技术学院)
提出一种利用分割掩码全局信息的解剖学感知不确定性估计方法,通过单次推理降低计算成本,并在心脏和腹部数据集上提升了半监督分割精度。
2023-10-24 cs.AI cs.CV cs.LG
Hierarchical Uncertainty Estimation for Medical Image Segmentation Networks
Imperial College London(帝国理工学院)
针对医学图像分割中的图像与标注不确定性,本文利用编码器的多分辨率层级和跳跃连接建模并采样多层级不确定性,使 U-net 在保持高性能分割的同时生成可用于分布外检测的不确定性图。
2023-08-16 cs.CV cs.LG eess.IV
Rethinking Uncertainty in Segmentation: From Estimation to Decision
本文研究了医学图像分割中不确定性地图如何转化为决策策略,提出两阶段流程并引入简单置信度感知延迟规则,有效减少分割错误并提升跨数据集鲁棒性。
2026-04-14 cs.AI cs.CV cs.LG
Layer Ensembles: A Single-Pass Uncertainty Estimation in Deep Learning for Segmentation
University of Barcelona(巴塞罗那大学)
深度学习中的不确定性估计已经成为医学图像分析的一个领先研究领域,因为需要在临床实践中安全使用AI算法。大多数不确定性估计方法需要在测试或训练多个网络期间多次对网络权重进行采样。这导致在时间和计算资源方面的更高的训练和测试成本。在本文中,我们提出了层集成,一种新的不确定性估计方法,使用一个单一的网络,只需要一个单一的通道来估计网络的预测不确定性。此外,我们引入了一个图像级的不确定性度量,这是更有益的分割任务相比,常用的像素的度量,如熵和方差。我们评估我们的方法在2D和3D,二进制和多类医学图像分割任务。我们的方法显示了与最先进的Deep Ensembles竞争的结果,只需要一个网络和一个通道。
2022-03-16 cs.CV cs.LG eess.IV
Going Beyond U-Net: Assessing Vision Transformers for Semantic Segmentation in Microscopy Image Analysis
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所);Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学人工智能中心);STACC
本研究评估了UNETR、SAM和Swin-UPerNet等视觉Transformer模型在多模态显微图像分割中相较于U-Net的性能,通过架构修改克服了原始Swin Transformer的局限,有效提升了分割精度,证明了改进Transformer在生物医学图像分析中的应用潜力。
2024-09-25 cs.CV eess.IV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University(南京大学);Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Shandong Women’s University(山东女子学院);Southeast University(东南大学)
在半监督医学图像分割中,大多数以前的工作都基于一个共同的假设,即较高的熵意味着较高的不确定性。在本文中,我们研究了一种新的方法来估计不确定性。我们观察到,当在一定程度上分配不同的误分类成本时,如果像素的分割结果变得不一致,则该像素在其分割中表现出相对的不确定性。因此,我们提出了一种新的半监督分割模型,即基于我们的不确定性估计和单独的自训练策略的保守-激进网络(CoraNet)。特别是,我们的CoraNet模型由三个主要组件组成:保守-激进模块(CRM),特定区域分割网络(C-SN)和不确定区域分割网络(UC-SN),它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集,包括CT胰腺,MR内镜,和MR多结构分割的ACDC数据集。与目前的技术水平相比,我们的CoraNet表现出了卓越的性能。此外,我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
BelHouse3D: A Benchmark Dataset for Assessing Occlusion Robustness in 3D Point Cloud Semantic Segmentation
KU Leuven(鲁汶大学);Frog(3Frog公司)
本文提出BelHouse3D合成点云数据集,基于比利时32栋真实房屋构建并引入遮挡测试集模拟OOD场景,用于评估三维室内语义分割模型在遮挡条件下的鲁棒性并建立基准。
2024-11-20 cs.AI cs.CV cs.LG
Uncertainty and Interpretability in Convolutional Neural Networks for Semantic Segmentation of Colorectal Polyps
UiT The Arctic University of Norway(挪威UiT北极大学)
卷积神经网络(CNN)正在推动一系列不同计算机视觉任务的进步,例如目标检测和对象分割。他们的成功激发了对这些模型在医学图像分析中的应用的研究。如果基于CNN的模型要在医学领域有所帮助,它们需要精确、可解释,并且必须很好地理解预测中的不确定性。在本文中,我们开发和评估的不确定性估计和模型的可解释性的背景下,从结肠镜检查图像的息肉的语义分割的最新进展。我们评估并增强了几种用于结直肠息肉语义分割的全卷积网络(FCN)架构,并对这些模型进行了比较。我们的最高性能模型在EndoScene数据集上实现了76.06\%的平均IOU准确度,比以前的最先进技术有了相当大的改进。
2018-07-16 cs.CV cs.LG stat.ML
Evidential Calibrated Uncertainty-Guided Interactive Segmentation paradigm for Ultrasound Images
Shanghai University(上海大学);East China Normal University(华东师范大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对超声图像分割中交互方法效率低、提示多的问题,提出基于证据不确定性估计的 EUGIS 范式,通过优先采样高不确定性区域并引入可训练校准机制,在减少提示和迭代次数的同时提升分割性能。
2025-01-02 cs.CV
Uncertainty in Real-Time Semantic Segmentation on Embedded Systems
Queensland University of Technology(昆士兰科技大学)
本文提出结合预训练模型的深度特征提取与贝叶斯回归和矩传播,以在嵌入式系统上实现实时语义分割的不确定性感知预测。
2026-04-06 cs.CV cs.LG eess.IV
MISm: A Medical Image Segmentation Metric for Evaluation of weak labeled Data
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
性能指标是评估和比较不同医学图像分割算法的重要工具。不幸的是,目前的措施在评估某些边缘情况时有其弱点。当评估具有非常小的感兴趣区域或根本没有感兴趣区域的图像时,这些限制就会出现。作为这些限制的解决方案,我们提出了一个新的医学图像分割度量:MISm。为了评估MISm,在医学图像分割和MISm的流行指标进行了比较,使用磁共振断层扫描图像从几个场景。为了允许在社区中的应用和实验结果的再现性,我们将MISm包括在公开可用的评估框架MISeval中:https://github.com/frankkramer-lab/miseval/tree/master/miseval
2022-10-24 cs.CV
Uncertainty-Aware Segmentation Quality Prediction via Deep Learning Bayesian Modeling: Comprehensive Evaluation and Interpretation on Skin Cancer and Liver Segmentation
BCN Medtech(BCN医学科技);Scientific and Technical Department, Sycai Technologies S.L.(Sycai技术部门)
提出基于贝叶斯深度学习的不确定性感知分割质量预测框架,无需真实标注即可评估分割质量,在皮肤癌和肝脏数据集上取得优于现有方法的性能,并通过可解释性分析验证其可靠性。
2025-08-02 cs.CV
SegWithU: Uncertainty as Perturbation Energy for Single-Forward-Pass Risk-Aware Medical Image Segmentation
University of Toronto(多伦多大学);McGill University(麦吉尔大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Project Neura;University of Toronto Machine Intelligence Student Team(多伦多大学人工智能学生团队);Amplimit
SegWithU通过引入轻量级不确定性头,提升单次前向传递医学图像分割的鲁棒性,实现高可靠性分割结果。
2026-08-19 cs.AI cs.CV cs.LG
A Multi-Task Cross-Task Learning Architecture for Ad-hoc Uncertainty Estimation in 3D Cardiac MRI Image Segmentation
Rochester Institute of Technology(罗切斯特理工学院)
由于深度学习架构,医学图像分割已经大大受益。此外,半监督学习(SSL)最近已经成为一个增长的趋势,通过利用丰富的未标记数据来提高模型的整体性能。此外,在同一模型中学习多个任务进一步提高了模型的泛化能力。为了从3D心脏MR图像生成更平滑和准确的分割掩模,我们提出了一种多任务跨任务学习一致性方法,以加强像素级(分割)和几何级(距离图)任务之间的相关性。我们对训练集中不同数量的标记数据进行了广泛的实验,证明了我们的模型对钆增强磁共振(GE-MR)图像左心房腔分割的有效性。通过结合不确定性估计来检测CNN生成的分割掩码中的故障,我们的研究进一步展示了我们的模型标记给定模型的低质量分割的潜力。
2021-10-03 cs.CV cs.LG eess.IV
ProPanDL: A Modular Architecture for Uncertainty-Aware Panoptic Segmentation
University of Toronto(多伦多大学);Institute for Aerospace Studies(航空航天研究所)
ProPanDL提出一种模块化网络架构,通过参数化和无参数方法分别估计空间与语义不确定性,并引入新评估指标和能量分数,在保持全景分割性能的同时实现校准良好的不确定性估计。
2023-04-17 cs.CV
EDUE: Expert Disagreement-Guided One-Pass Uncertainty Estimation for Medical Image Segmentation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Applied Sciences Western Switzerland (HES-SO)(瑞士西部应用科学大学(HES-SO))
本文提出EDUE方法,利用多评分者标注变异性引导模型训练并结合随机采样策略,仅需一次前向传播即可在医学图像分割中实现与专家分歧高度相关的不确定性估计及优异校准。
2024-03-25 cs.CV cs.LG eess.IV
The Role of Uncertainty in Assessing the Fairness of Machine Learning Models
Università della Svizzera Italiana (USI)(瑞士意大利语区大学)
本文探讨机器学习模型公平性评估中的不确定性量化,提出频率派和贝叶斯方法,并通过模拟和真实数据示例展示其应用与影响。
2026-09-09 cs.LG stat.ME stat.ML
Open-Set LiDAR Panoptic Segmentation Guided by Uncertainty-Aware Learning
Department of Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Bosch Research, Robert Bosch GmbH(博世研究)
针对自动驾驶场景下闭集激光雷达全景分割模型无法检测未知物体的问题,提出基于狄利克雷证据学习的不确定性引导开集分割框架ULOPS,通过三类不确定性损失增强已知/未知区分能力,在KITTI-360和nuScenes上取得优于现有方法的表现。
2025-09-02 cs.AI cs.CV cs.LG
A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples
Robert Bosch GmbH, Automated Driving Research(罗伯特·博世有限公司,自动驾驶研究);University of Lübeck, Institute of Signal Processing(吕贝克大学,信号处理研究所)
深度神经网络(DNN)在众多应用中实现了最先进的性能。然而,很难事先判断接收输入的DNN是否会提供正确的输出,因为它们的决策标准通常是不透明的。如果输入在其泛化包络所包围的区域内,则DNN会提供正确的输出。在这种情况下,包含在输入样本中的信息被网络合理地处理。在推理时评估DNN是否正确泛化具有很大的实际意义。目前,实现这一目标的方法在不同的问题设置,而彼此独立的调查,导致三个主要的研究和文献领域:预测不确定性,分布外检测和敌对的例子检测。本调查在调查机器学习方法(特别是DNN)的泛化性能的更大框架内将这三个领域联系起来。我们强调了共同点,指出了最有前途的方法,并给出了在推理时提供方法的结构化概述,以确定当前输入是否在DNN的泛化包络内。
2021-09-06 cs.CV cs.LG stat.ML
Evaluating Uncertainty Estimation Methods on 3D Semantic Segmentation of Point Clouds
Hochschule Bonn Rhein Sieg(波恩莱茵锡根应用技术大学)
深度学习模型广泛用于各种安全关键应用。因此,这些模型除了要准确外,还需要高度可靠。实现这一目标的一种方法是量化不确定性。UQ的贝叶斯方法已被广泛研究用于图像上应用的深度学习模型,但对于3D模态(如常用于机器人和自治系统的点云)的研究较少。在这项工作中,我们评估了三种不确定性量化方法,即深度集成,MC-Dropout和MC-DropConnect在DarkNet 21 Seg 3D语义分割模型上,并全面分析了各种参数的影响,如集成或正向传递中的模型数量,以及丢弃概率值,对任务性能和不确定性估计质量的影响。我们发现,深度集成在性能和不确定性指标上都优于其他方法。深度集成在mIOU方面优于其他方法2.4%,在准确性方面优于其他方法1.3%,同时为决策提供可靠的不确定性。
2020-07-03 cs.CV cs.LG cs.RO
Bayesian Neural Networks for Uncertainty Estimation of Imaging Biomarkers
LMU München(慕尼黑大学);University of Tübingen(图宾根大学);University Freiburg(弗莱堡大学);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心)
图像分割能够从扫描中提取定量测量,这些测量可以用作疾病的成像生物标志物。然而,分割质量在扫描之间可能会有很大差异,因此在生物标志物的后续统计分析中产生不忠实的估计。核心问题是分割和生物标志物分析是独立进行的。我们建议将分割不确定性传播到统计分析中,以考虑分割置信度的变化。为此,我们评估了四个贝叶斯神经网络,从后验分布中采样并估计不确定性。然后,我们分配置信度的生物标志物,并提出统计模型,其整合在组分析和疾病分类。我们对糖尿病患者肝脏分割的结果清楚地表明了在统计推断中整合生物标志物不确定性的改进。
2020-09-01 cs.CV cs.LG eess.IV
Uncertainty-aware Panoptic Segmentation
University of Freiburg(弗莱堡大学);Technical University Nürnberg(纽伦堡工业大学)
可靠的场景理解是现代自治系统不可或缺的。当前基于学习的方法通常尝试基于仅考虑分割质量的分割度量来最大化其性能。然而,对于现实世界中系统的安全运行来说,考虑预测中的不确定性也是至关重要的。在这项工作中,我们介绍了新的任务不确定性感知的全景分割,其目的是预测每像素的语义和实例分割,连同每像素的不确定性估计。我们定义了两个新的指标,以促进其定量分析,不确定性感知的Panoptic质量(uPQ)和panoptic预期校准误差(pECE)。我们进一步提出了新的自上而下的证据全景分割网络(EvPSNet)来解决这个问题。我们的架构采用了一个简单而有效的全景融合模块,利用预测的不确定性。此外,我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明,我们的EvPSNet在标准全景质量(PQ)以及我们的不确定性感知全景指标方面达到了新的最先进水平。我们在以下网址提供代码:\url{https://github.com/kshitij3112/EvPSNet}
2022-12-24 cs.CV cs.RO
DeepUQ: Assessing the Aleatoric Uncertainties from two Deep Learning Methods
Fermi National Accelerator Laboratory(费米国家加速器实验室);University of Chicago(芝加哥大学);Kavli Institute for Cosmological Physics(卡弗里宇宙物理研究所)
本文系统比较了Deep Ensembles和Deep Evidential Regression在0D和2D数据上的偶然不确定性量化表现,发现预测不确定性随噪声缩放但存在校准偏差,表明高噪声高维场景需进一步事后校准。
2024-11-13 cs.AI cs.LG
Uncertainty quantification in medical image segmentation with normalizing flows
University of Copenhagen(哥本哈根大学);Cerebriu A/S
由于诸如部分体积和解剖定义的变化等因素,医学图像分割本质上是一项模糊的任务。虽然在大多数情况下,分割的不确定性是围绕感兴趣的结构的边界,也可以有相当大的评分者之间的差异。条件变分自编码器(cVAE)类提供了一种原则性的方法来推断以输入图像为条件的合理分割的分布。从这样的分布的样本估计的分割不确定性可以比使用像素级概率分数更有信息性。在这项工作中,我们提出了一种新的条件生成模型,是基于条件规范化流(cFlow)。基本思想是通过在编码器之后引入cFlow变换步骤来增加cVAE的表达能力。这产生了潜在的后验分布的改进的近似,允许模型捕获更丰富的分割变化。通过这一点,我们表明,从我们的条件生成模型获得的样本的质量和多样性得到了增强。我们的模型,我们称之为cFlow Net的性能进行了评估,在两个医学成像数据集上,与最近的基于cVAE的模型相比,在定性和定量测量方面都有了实质性的改善。
2020-08-04 cs.CV cs.LG stat.ML
Uncertainty Measures and Prediction Quality Rating for the Semantic Segmentation of Nested Multi Resolution Street Scene Images
University of Wuppertal(伍珀塔尔大学)
在街道场景的语义分割中,预测的可靠性以及因此的不确定性度量是最感兴趣的。我们提出了一种方法,为每个输入图像生成一个层次结构的嵌套作物周围的图像中心,并提出这些,所有重新缩放到相同的大小,神经网络的语义分割。然后对产生的softmax输出进行后处理,这样我们就可以研究所有图像作物的均值和方差,以及从应用于每个作物softmax输出的像素不确定性度量(如熵)获得的不确定性热图的均值和方差。在我们的测试中,我们使用公开的DeepLabv3+ MobilenetV2网络(在Cityscapes数据集上训练),并证明农作物的加入提高了预测的质量,并且我们获得了更可靠的不确定性度量。然后在预测的片段上聚合这些数据,以便在IoU=0和IoU>0之间进行分类(Meta分类)或通过线性回归(Meta回归)预测IoU。后者为分割网络提供了可靠的性能估计,特别是在没有地面实况的情况下。对于Meta分类的任务,我们获得了$81.93\%$的分类精度和$89.89\%$的AUROC。对于Meta回归,我们获得的$R^2$值为$84.77\%$。与其他方法相比,这些结果产生了显着的改进。
2019-04-09 cs.CV cs.LG stat.ML
Using Soft Labels to Model Uncertainty in Medical Image Segmentation
Instituto Superior Técnico(高等技术学院);INESC-ID(里斯本工程技术学院信息与系统工程研究所)
医学图像分割具有内在的不确定性。对于给定的图像,可能存在多个合理的分割假设,并且医生通常会对病变和器官边界持不同意见。为了适应现实世界的应用,自动分割系统必须能够捕捉这种不确定性和可变性。到目前为止,这已经通过构建深度学习模型来解决,通过dropout,多头或变分推理,可以为任何给定图像产生一组-在某些情况下是无限的-合理分割假设。然而,在临床实践中,浏览所有假设可能不切实际。此外,最近的工作表明,分割变异性平台后,一定数量的独立注释,这表明一个足够大的组的医生可能能够代表整个空间的可能分割。受此启发,我们提出了一种简单的方法来获得软标签从多个医生和训练模型的注释,对于每个图像,产生一个单一的校准输出,可以在多个置信水平阈值,根据每个应用程序的精度召回要求。我们在MICCAI 2021 QUBIQ挑战赛上对我们的方法进行了评估,结果表明,它在多个医学图像分割任务中表现良好,产生了校准良好的预测,并且平均而言,在匹配医生的预测方面比其他医生表现得更好。
2021-09-26 cs.AI cs.CV cs.LG
Uncertainty-Based Ensemble Learning in CMR Semantic Segmentation
Sichuan University(四川大学);National University of Singapore(新加坡国立大学);West China Women's and Children's Hospital(四川大学华西第二医院)
本文提出基于不确定性的集成学习方法,通过全局不确定性提升心肌分割整体和末Slice性能,引入End Coefficient量化末Slice准确性,实验表明在ACDC和M&Ms数据集上取得接近SOTA的Dice相似系数和更优的末Slice分割效果。
2026-04-12 cs.CV
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China(科学技术大学);Suzhou Institute for Advanced Research(苏州先进研究院);State Key Laboratory of Precision and Intelligent Chemistry(精密与智能化学国家重点实验室)
UCAD通过基于不确定性的轮廓感知位移框架,提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
On the Effect of Inter-observer Variability for a Reliable Estimation of Uncertainty of Medical Image Segmentation
Institute for Surgical Technologies and Biomechanics, University of Bern(伯尔尼大学外科技术与生物力学研究所);SCAN, Institute for Diagnostic and Interventional Neuroradiology(诊断与介入神经放射学研究所SCAN);University Clinic for Radio-oncology, Inselspital, Bern University Hospital, University of Bern(伯尔尼大学因塞尔医院放射肿瘤学大学诊所)
期望不确定性估计方法改进对医学应用中使用的计算机辅助方法的理解和质量(例如,神经外科手术、放射治疗计划),其中自动医学图像分割至关重要。在有监督的机器学习中,生成地面实况标签数据的常见做法是合并观察者注释。然而,由于许多医学图像任务显示出由诸如图像质量、不同水平的用户专业知识和领域知识等因素引起的高观察者间变异性,因此很少有人知道观察者间变异性和常用的融合方法如何影响自动图像分割的不确定性的估计。本文分析了常用的图像标签融合技术对不确定性估计的影响,提出了对观测者之间的不确定性进行学习的方法。结果强调了在深度学习中应用融合方法的负面影响,以获得分割不确定性的可靠估计。此外,我们表明,学习观察员的不确定性,可以结合目前的标准蒙特卡洛脱落贝叶斯神经网络来表征模型的参数的不确定性。
2018-06-07 cs.CV
Uncertainty Gated Network for Land Cover Segmentation
University of Barcelona(巴塞罗那大学)
制作描绘土地覆盖的专题地图是遥感最常见的应用之一。为此,在文献中已经提出了几种基于深度学习的语义分割方法,但是由于与遥感成像相关的一些特定问题,土地覆盖分割仍然被认为是一个开放的问题。在本文中,我们提出了一种新的方法来处理不同的土地覆盖类别的像素周围的多尺度上下文建模的问题。该方法利用计算的异方差测量的不确定性时,在图像中的单个像素进行分类。该分类不确定性度量用于定义层之间的一组存储器门,其允许原则性方法为每个像素选择最佳决策。
2018-05-29 cs.CV
Uncertainty-aware LiDAR Panoptic Segmentation
University of Freiburg(弗莱堡大学);Technical University Nürnberg(纽伦堡工业大学)
现代自动驾驶系统通常依赖于LiDAR扫描仪,特别是在自动驾驶场景中。在这种情况下,可靠的场景理解是必不可少的。当前基于学习的方法通常试图实现此任务的最大性能,而忽略了对相关不确定性的适当估计。在这项工作中,我们介绍了一种新的方法来解决任务的不确定性意识的全景分割使用激光雷达点云。我们提出的EvLPSNet网络是第一个以无采样方式有效解决这一任务的网络。它的目的是预测每点的语义和实例分割,连同每点的不确定性估计。此外,它还结合了通过采用预测的不确定性来提高性能的方法。我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明,我们实现了最好的性能不确定性感知的全景分割的质量和校准相比,这些基线。我们的代码可在https://github.com/kshitij3112/EvLPSNet上获得
2022-10-10 cs.CV cs.RO
Exploring Structure-Wise Uncertainty for 3D Medical Image Segmentation
Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在将深度学习模型应用于医学图像时,估计模型的不确定性至关重要。体素不确定性对于人类专家来说是一个有用的视觉标记,可以用来改进模型的体素输出,比如分割。此外,不确定性为分布外(OOD)检测提供了坚实的基础,提高了模型在图像层面的性能。然而,医学成像中的一个常见任务是分割不同的局部结构,如肿瘤或病变。这里,结构方面的不确定性允许比图像方面更精确的操作,并且比体素方面更具有语义感知。如何产生不确定性的个别结构仍然探索不足。我们提出了一个框架来衡量结构方面的不确定性,并评估OOD数据对模型性能的影响。因此,我们确定最佳UE方法来提高分割质量。该框架在三个数据集上进行了测试,其中包括肿瘤分割任务:LIDC-IDRI,LiTS和一个具有多个脑转移病例的私人数据集。
2022-11-01 cs.CV eess.IV
Principle-Guided Supervision for Interpretable Uncertainty in Medical Image Segmentation
School of Data Science, Fudan University(复旦大学数据科学学院);Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University(复旦大学脑启发智能科学研究院);National Heart and Lung Institute, Imperial College London(伦敦帝国理工学院国家心脏和肺研究所)
本文提出PriUS框架,通过原则指导提升医学图像分割中不确定性的可解释性,实验表明其在保持分割性能的同时提升了不确定性估计的一致性。
2026-05-09 cs.CV
Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院);Shanghai Academy of Artificial Intelligence for Science(上海科学人工智能研究院)
提出UR-SAM框架,通过提示增强和不确定性校正模块,在无需额外训练或微调下,将SAM自动提示医学图像分割的Dice系数提升最高10.7%和13.8%。
2024-03-18 cs.CV
Instance-wise Uncertainty for Class Imbalance in Semantic Segmentation
Faculdade de Ciências da Universidade do Porto(波尔图大学理学院)
提出一种基于集成实例级不确定性掩码加权的语义分割训练方法,以解决类别不平衡问题,提升少数类性能、泛化能力和域偏移鲁棒性。
2024-07-17 cs.AI cs.CV