Aleatoric Uncertainty Medical Image Segmentation Estimation via Flow Matching
Institute for Artificial Intelligence, University of Engineering
本文提出基于条件流匹配的生成模型,通过模拟-free方法精确建模数据分布,提升分割结果的准确性并可靠量化不确定性,实验表明其在分割精度和不确定性映射方面表现优异。
2026-04-07 cs.AI cs.CV
Anatomically-aware Uncertainty for Semi-supervised Image Segmentation
ETS Montreal(蒙特利尔高等工程技术学院)
提出一种利用分割掩码全局信息的解剖学感知不确定性估计方法,通过单次推理降低计算成本,并在心脏和腹部数据集上提升了半监督分割精度。
2023-10-24 cs.AI cs.CV cs.LG
Fetal Ultrasound Image Segmentation for Measuring Biometric Parameters Using Multi-Task Deep Learning
Isfahan University of Technology(伊斯法罕理工大学);University of Michigan(密歇根大学)
超声成像是怀孕期间的标准检查,可用于测量特定的生物特征参数,以进行产前诊断和估计胎龄。胎儿头围是决定胎儿生长发育和健康状况的重要因素之一。本文提出了一种多任务深度卷积神经网络,通过最小化由分割骰子分数和椭圆参数的MSE组成的复合代价函数来自动分割和估计HC椭圆。在不同孕期的胎儿超声数据集上的实验结果表明,分割结果和提取的HC与放射科医生的注释匹配良好。所获得的胎头分割的骰子分数和HC评价的准确性与最新技术相当。
2019-08-31 cs.CV cs.LG eess.IV
Joint Segmentation and Uncertainty Visualization of Retinal Layers in Optical Coherence Tomography Images using Bayesian Deep Learning
IBM Research - Australia(IBM研究院(澳大利亚))
光学相干断层扫描(OCT)通常用于分析视网膜层以评估眼部疾病。本文提出了一种基于贝叶斯深度学习的视网膜层分割和不确定性量化方法。我们的方法不仅执行端到端的视网膜层分割,但也给出了像素的不确定性措施的分割输出。所生成的不确定性图可以用于识别错误分割的图像区域,这在下游分析中是有用的。我们已经验证了我们的方法从15个主题(OCT卷)获得的1487图像的数据集,并将其与不考虑不确定性的最先进的分割算法进行比较。所提出的基于不确定性的分割方法可带来相当或更好的性能,最重要的是对噪声更具鲁棒性。
2018-09-12 cs.CV
Uncertainty-Gated Region-Level Retrieval for Robust Semantic Segmentation
本文提出一种不确定性门控区域级检索机制,提升语义分割在域移位下的鲁棒性和精度,实现分割准确率提升11.3%且检索成本降低87.5%。
2025-12-19 cs.AI cs.CV
Incorporating Boundary Uncertainty into loss functions for biomedical image segmentation
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
手动分割被用作评估神经网络自动图像分割任务的黄金标准。由于在形状,颜色和纹理的相当大的异质性,标定对象的边界是特别困难的生物医学图像,导致显着的评级者之间和内部的变化。软标签和距离惩罚项等方法将全局变换应用于地面实况,重新定义关于不确定性的损失函数。然而,全局操作在计算上是昂贵的,并且这两种方法都不能准确地反映手动注释的不确定性。在本文中,我们提出了边界不确定性,它使用形态学操作来限制对象边界的软标签,提供了一个适当的表示地面真实标签的不确定性,并可能适用于使系统的手动分割错误存在鲁棒的模型训练。我们将边界不确定性与骰子损失相结合,与软标签和距离加权惩罚相比,在三个经过充分验证的生物医学成像数据集上实现了持续改进的性能。边界不确定性不仅更准确地反映了分割过程,而且它也是有效的,对分割错误具有鲁棒性,并具有更好的泛化能力。
2021-10-31 cs.AI cs.CV eess.IV
Rethinking Uncertainty in Segmentation: From Estimation to Decision
本文研究了医学图像分割中不确定性地图如何转化为决策策略,提出两阶段流程并引入简单置信度感知延迟规则,有效减少分割错误并提升跨数据集鲁棒性。
2026-04-14 cs.AI cs.CV cs.LG
A Labeled Array Distance Metric for Measuring Image Segmentation Quality
SEE-Insight Research Lab, Michigan State University, East Lansing, MI, USA(密歇根州立大学SEE-Insight研究实验室);University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Smith College(史密斯学院)
本文提出LAD和MADLAD两种线性复杂度距离度量,用于比较标记数组,以评估图像分割算法输出与地面真值的相似度,助力遗传算法搜索最优分割方案。
2024-06-12 cs.CV
Spatially-Aware Evaluation of Segmentation Uncertainty
Yale University(耶鲁大学)
针对现有不确定性评估忽略空间结构的问题,提出三种空间感知指标,结合边界信息,在前列腺分割挑战中验证,提升与临床因素的契合度及模式区分能力。
2025-06-19 cs.AI cs.CV cs.PF
Uncertainty-aware Prototype Learning with Variational Inference for Few-shot Point Cloud Segmentation
本文提出UPL方法,通过引入双流原型细化模块和变分推断框架,提升少样本点云分割的鲁棒性和不确定性建模能力,在ScanNet和S3DIS基准上取得最佳性能。
2026-03-20 cs.AI cs.CV
DUDES: Deep Uncertainty Distillation using Ensembles for Semantic Segmentation
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文提出DUDES方法,利用Deep Ensemble进行师生蒸馏,通过单次前向传播高效估计预测不确定性,在Cityscapes数据集上有效识别误分类像素与域外样本,性能优于以往方法。
2023-03-17 cs.AI cs.CV
HUR-MACL: High-Uncertainty Region-Guided Multi-Architecture Collaborative Learning for Head and Neck Multi-Organ Segmentation
Digital Medical Research Center, School of Basic Medical Science, Fudan University, Shanghai 200032, China(复旦大学基础医学研究院数字医学研究中心);Shanghai Key Lab of Medical Image Computing(上海医学图像计算重点实验室);Radiation Oncology Center, Huashan Hospital Affiliated to Fudan University, Shanghai 200032, China(复旦大学附属华山医院放射肿瘤中心)
HUR-MACL通过高不确定性区域引导的多架构协作学习,提升头颈多器官分割的准确性和性能。
2026-01-08 cs.AI cs.CV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University(南京大学);Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Shandong Women’s University(山东女子学院);Southeast University(东南大学)
在半监督医学图像分割中,大多数以前的工作都基于一个共同的假设,即较高的熵意味着较高的不确定性。在本文中,我们研究了一种新的方法来估计不确定性。我们观察到,当在一定程度上分配不同的误分类成本时,如果像素的分割结果变得不一致,则该像素在其分割中表现出相对的不确定性。因此,我们提出了一种新的半监督分割模型,即基于我们的不确定性估计和单独的自训练策略的保守-激进网络(CoraNet)。特别是,我们的CoraNet模型由三个主要组件组成:保守-激进模块(CRM),特定区域分割网络(C-SN)和不确定区域分割网络(UC-SN),它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集,包括CT胰腺,MR内镜,和MR多结构分割的ACDC数据集。与目前的技术水平相比,我们的CoraNet表现出了卓越的性能。此外,我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
Uncertainty-Guided Coarse-to-Fine Tumor Segmentation with Anatomy-Aware Post-Processing
Department of Computer Science University of Central Florida Orlando, FL, USA(计算机科学系 佛罗里达中央大学 或兰多市);Department of Radiology Northwestern University Chicago, IL, USA(放射学系 北western大学 芝加哥市)
本文提出一种不确定性引导的由粗到细CT肿瘤分割框架,结合解剖感知后处理与不确定性损失函数,在Orlando数据集上将Swin UNETR的Dice从0.4690提升至0.6447,显著减少假阳性并增强分割可解释性。
2025-07-03 cs.AI cs.CV
Leveraging Labeling Representations in Uncertainty-based Semi-supervised Segmentation
ETS Montreal(蒙特利尔高等技术学院)
半监督分割通过利用未标记数据和少量标记数据来解决注释的稀缺性。利用未标记数据的一个突出方法是通过一致性训练,通常使用教师-学生网络,其中教师指导学生分割。未标记数据的预测是不可靠的,因此,已经提出了不确定性感知方法,以逐渐从有意义和可靠的预测中学习。然而,不确定性估计依赖于来自需要针对每个训练步骤计算的模型预测的多个推断,这在计算上是昂贵的。本文提出了一种新的方法来估计像素级的不确定性,利用标记表示的分割掩模。一方面,学习标记表示来表示可用的分割掩码。学习的标记表示用于将分割的预测映射到一组合理的掩码中。这种重建的分割掩模有助于估计引导分割网络的像素级不确定性。所提出的方法估计的不确定性与一个单一的推理标记表示,从而减少了总的计算。我们评估了我们的方法在MRI左心房的3D分割,我们表明,我们的不确定性估计从我们的标签表示提高了分割精度超过国家的最先进的方法。
2022-03-10 cs.CV cs.LG
Uncertainty Quantification in Medical Image Segmentation with Multi-decoder U-Net
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Lab(鹏城实验室);MindsGo Co.Ltd(MindsGo 有限公司);Capital Medical University(首都医科大学);Xuanwu Hospital Capital Medical University(首都医科大学宣武医院)
准确的医学图像分割是诊断和分析的关键。然而,没有校准的不确定性估计的模型可能会导致下游分析中的错误,并表现出较低的鲁棒性。估计测量中的不确定性对于做出明确的、有根据的结论至关重要。特别是,很难对模型和放射科医生的模糊区域和焦点边界进行准确预测,甚至更难在多个注释中达成共识。在这项工作中,这些领域下的不确定性进行了研究,这与解剖结构的重要信息,是同样重要的分割性能。我们利用医学图像分割的不确定性量化通过测量分割性能与多个注释在监督学习的方式,并提出了一个基于U-Net的架构与多个解码器,其中的图像表示是用相同的编码器编码,和分割参考每个注释估计与多个解码器。然而,交叉损失函数的建议,弥合不同分支之间的差距。所提出的架构以端到端的方式进行训练,能够提高预测不确定性估计。该模型以更少的参数实现了与在MICCAI-QUBIQ 2020挑战赛中排名亚军的综合训练模型相当的性能。
2021-09-15 cs.AI cs.CV eess.IV
Toward Accurate and Reliable Iris Segmentation Using Uncertainty Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
虹膜分割是虹膜识别系统中确定性的一部分。虹膜区域尤其是边缘区域的不可靠分割仍然是影响虹膜识别准确性的瓶颈问题。为了进一步提高虹膜分割的准确性和可靠性,本文提出了一个双边自注意模型,并通过探索空间和视觉关系设计了具有层次结构的双边Transformer(BiTrans)。双侧自我注意模块采用空间分支提取空间背景信息,不降低分辨率;采用视觉分支提取大感受野视觉背景特征。BiTrans积极应用卷积投影和交叉注意力来改善空间感知和分层特征融合。此外,虹膜分割不确定性学习是根据预测的差异来学习不确定性地图。利用估计的不确定性,设计了一个加权方案和一个正则化项,以减少预测的不确定性。更重要的是,不确定性估计反映了分割预测的可靠性。在三个公开数据库上的实验结果表明,该方法使用SOTA IrisParseNet的20% FLOP实现了更好的分割性能。
2021-11-18 cs.CV
Uncertainty-Guided Lung Nodule Segmentation with Feature-Aware Attention
Chongqing University(重庆大学);University of Science and Technology of China(中国科学技术大学)
由于放射科医师具有不同的培训和临床经验,因此他们可以为肺结节提供各种分割注释。传统的研究默认选择单个注释作为学习目标,但它们浪费了多个注释中根深蒂固的共识或分歧的宝贵信息。本文提出了一种不确定性引导分割网络(UGS-Net),它从可能导致分割不确定性的区域中学习丰富的视觉特征,并有助于更好的分割结果。通过不确定性感知模块,该网络可以提供多置信度掩码(MCM),指出具有不同分割不确定性水平的区域。此外,本文还引入了一个识别注意力模块,以增强对结节边界和密度差异的学习。实验结果表明,我们的方法可以预测不同的不确定性水平的结节区域,并取得了优异的性能在LIDC-IDRI数据集。
2022-06-07 cs.CV eess.IV
Analyzing Epistemic and Aleatoric Uncertainty for Drusen Segmentation in Optical Coherence Tomography Images
IBM Research - Australia(IBM研究院 - 澳大利亚)
视网膜相关性黄斑变性(AMD)是60岁以上人群永久性视力丧失的主要原因之一。准确分割生物标志物,如玻璃疣,指出AMD的早期阶段是至关重要的,以防止进一步的视力损害。然而,由于玻璃疣的大小和外观不同,对比度低,噪声相似,分割玻璃疣是非常具有挑战性的。因此,大多数现有的文献都集中在使用分类来估计玻璃疣的大小,使得准确分割的挑战较少得到解决。另外,获得逐像素注释是极其昂贵的,并且这样的标签通常可能是有噪声的,遭受观察者间和观察者内的可变性。与分割任务相关的不确定性的量化提供了检查分割输出的原则性措施。实现其效用在识别错误的分割和临床决策的潜在应用,在这里,我们开发了一个基于U-Net的玻璃疣分割模型和量化的分割不确定性。我们研究了认知不确定性和任意不确定性,分别捕获模型置信度和数据不确定性。我们提出的分割结果,并显示如何不确定性可以帮助制定强大的评估策略。我们视觉上检查测试图像上的像素不确定性和分割结果。最后分析了分割不确定性和准确性之间的相关性。我们的研究结果表明,利用不确定性在开发和解释医学图像分析的分割模型的效用。
2021-02-08 cs.CV cs.LG eess.IV
U-CFR: Uncertainty-Guided Cascade Forward Refinement for Interactive Segmentation
University of Idaho(爱达荷大学);Idaho National Laboratory(爱达荷国家实验室)
针对交互式图像分割中现有方法的不足,提出U-CFR框架,通过引入边界感知不确定性分数引导伪点击,利用双头网络和级联细化步骤,提升了点击效率、掩码质量和边界精度,实现更智能高效的交互式标注。
2026-07-24 cs.AI cs.CV
Cutting out the middleman: measuring nuclear area in histopathology slides without segmentation
TU/e(埃因霍温理工大学);UMCU(乌得勒支大学医学中心)
切除的乳腺肿瘤组织学标本中细胞核的大小可预测患者的预后(细胞核大表示预后差)。病理学家在进行乳腺癌分级时会考虑细胞核的大小。此外,平均核面积(MNA)已被证明具有独立的预后价值。测量细胞核大小的直接方法是进行细胞核分割。我们假设,给定具有已知核位置的肿瘤区域的图像,可以通过采用机器学习模型直接从图像数据可靠地计算单个核的面积和区域统计,例如MNA,而无需核分割的中间步骤。为了实现这一目标,我们训练了一个深度卷积神经网络模型,该模型在每个核位置局部应用,并且可以可靠地测量单个核和MNA的面积。此外,我们展示了这样的方法可以扩展到执行相结合的核检测和测量,这让人想起粒度。
2016-06-20 cs.CV
Evidential Calibrated Uncertainty-Guided Interactive Segmentation paradigm for Ultrasound Images
Shanghai University(上海大学);East China Normal University(华东师范大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对超声图像分割中交互方法效率低、提示多的问题,提出基于证据不确定性估计的 EUGIS 范式,通过优先采样高不确定性区域并引入可训练校准机制,在减少提示和迭代次数的同时提升分割性能。
2025-01-02 cs.CV
Give me (un)certainty -- An exploration of parameters that affect segmentation uncertainty
Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A·马丁诺斯生物医学成像中心)
医学成像中的分割任务本质上是模糊的:由于图像质量和生物因素,目标结构的边界通常不清楚。因此,来自深度学习算法的预测分割本质上是模糊的。此外,由人类注释者执行的“地面实况”分割实际上是弱标签,这进一步增加了在这些手动标签上开发的监督模型的输出的不确定性。到目前为止,大多数深度学习分割研究都使用预测分割,而没有不确定性量化。相比之下,我们探索使用蒙特卡洛丢弃U网的分割与分割不确定性的额外量化。我们评估的效用的三个措施的不确定性(变异系数,平均成对骰子,平均体素不确定性)的分割不太模糊的目标结构(肝脏)和一个更模糊的(肝肿瘤)。此外,我们评估如何利用这些措施的变化与不同的补丁大小和代价函数。我们的研究结果表明,与较小的补丁和软骰子损失相比,使用较大的补丁和加权分类交叉熵作为代价函数训练的模型可以提取更有意义的不确定性度量。在三个不确定性度量中,平均成对骰子与分割质量的相关性最强。我们的研究作为一个概念验证的不确定性措施如何可以用来评估预测分割的质量,可能有助于标记低质量的分割从一个给定的模型,以进一步的人类审查。
2019-11-14 cs.CV cs.LG eess.IV
Budget-Aware Uncertainty for Radiotherapy Segmentation QA Using nnU-Net
Department of Biomedical Sciences, Humanitas University(人类医学科学系,人类itas大学);Radiotherapy and Radiosurgery Department, IRCCS Humanitas Research Hospital(放疗与放射外科部门,IRCCS人类itas研究医院)
本文提出基于nnU-Net的预算感知不确定性驱动质量保证框架,通过不确定性量化和后验校准生成体素级不确定性图,以指导针对性人工审查,实验比较了温度缩放、深度集合、检查点集合和测试时间增强等方法。
2026-04-13 cs.AI cs.CV
Uncertainty-Aware Segmentation Quality Prediction via Deep Learning Bayesian Modeling: Comprehensive Evaluation and Interpretation on Skin Cancer and Liver Segmentation
BCN Medtech(BCN医学科技);Scientific and Technical Department, Sycai Technologies S.L.(Sycai技术部门)
提出基于贝叶斯深度学习的不确定性感知分割质量预测框架,无需真实标注即可评估分割质量,在皮肤癌和肝脏数据集上取得优于现有方法的性能,并通过可解释性分析验证其可靠性。
2025-08-02 cs.CV
Open-Set LiDAR Panoptic Segmentation Guided by Uncertainty-Aware Learning
Department of Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Bosch Research, Robert Bosch GmbH(博世研究)
针对自动驾驶场景下闭集激光雷达全景分割模型无法检测未知物体的问题,提出基于狄利克雷证据学习的不确定性引导开集分割框架ULOPS,通过三类不确定性损失增强已知/未知区分能力,在KITTI-360和nuScenes上取得优于现有方法的表现。
2025-09-02 cs.AI cs.CV cs.LG
Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture of Stochastic Experts
ShanghaiTech University(上海科技大学);Lingang Laboratory(临港实验室)
为预测分割配备校准的不确定性对于安全关键应用至关重要。在这项工作中,我们专注于捕捉分割中的数据固有的不确定性(又名任意不确定性),通常是当输入图像中存在模糊性时。由于高维输出空间和分割模糊图像时潜在的多模式,预测用于分割的校准良好的不确定性仍然具有挑战性。为了解决这个问题,我们提出了一种新的混合随机专家(MoSE)模型,其中每个专家网络估计一个不同的模式的任意不确定性和门控网络预测输入图像被分割在这些模式的概率。这产生了一个有效的两级不确定性表示。为了学习模型,我们开发了一个类似Wasserstein的损失,直接最小化MoSE和地面实况注释之间的分布距离。损失可以很容易地集成传统的分割质量的措施,并通过约束松弛有效地优化。我们在LIDC-IDRI数据集和修改后的多模态Cityscapes数据集上验证了我们的方法。结果表明,我们的方法在所有指标上都达到了最先进或有竞争力的性能。
2023-02-26 cs.CV
SegWithU: Uncertainty as Perturbation Energy for Single-Forward-Pass Risk-Aware Medical Image Segmentation
University of Toronto(多伦多大学);McGill University(麦吉尔大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Project Neura;University of Toronto Machine Intelligence Student Team(多伦多大学人工智能学生团队);Amplimit
SegWithU通过引入轻量级不确定性头,提升单次前向传递医学图像分割的鲁棒性,实现高可靠性分割结果。
2026-08-19 cs.AI cs.CV cs.LG
Uncertainty-aware Panoptic Segmentation
University of Freiburg(弗莱堡大学);Technical University Nürnberg(纽伦堡工业大学)
可靠的场景理解是现代自治系统不可或缺的。当前基于学习的方法通常尝试基于仅考虑分割质量的分割度量来最大化其性能。然而,对于现实世界中系统的安全运行来说,考虑预测中的不确定性也是至关重要的。在这项工作中,我们介绍了新的任务不确定性感知的全景分割,其目的是预测每像素的语义和实例分割,连同每像素的不确定性估计。我们定义了两个新的指标,以促进其定量分析,不确定性感知的Panoptic质量(uPQ)和panoptic预期校准误差(pECE)。我们进一步提出了新的自上而下的证据全景分割网络(EvPSNet)来解决这个问题。我们的架构采用了一个简单而有效的全景融合模块,利用预测的不确定性。此外,我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明,我们的EvPSNet在标准全景质量(PQ)以及我们的不确定性感知全景指标方面达到了新的最先进水平。我们在以下网址提供代码:\url{https://github.com/kshitij3112/EvPSNet}
2022-12-24 cs.CV cs.RO
ProPanDL: A Modular Architecture for Uncertainty-Aware Panoptic Segmentation
University of Toronto(多伦多大学);Institute for Aerospace Studies(航空航天研究所)
ProPanDL提出一种模块化网络架构,通过参数化和无参数方法分别估计空间与语义不确定性,并引入新评估指标和能量分数,在保持全景分割性能的同时实现校准良好的不确定性估计。
2023-04-17 cs.CV
Bayesian QuickNAT: Model Uncertainty in Deep Whole-Brain Segmentation for Structure-wise Quality Control
Technical University of Munich(慕尼黑工业大学);German Center for Neurodegenerative Diseases(德国神经退行性疾病中心);Johns Hopkins University(约翰斯·霍普金斯大学)
我们引入Bayesian QuickNAT用于MRI T1扫描全脑分割的自动质量控制。除了贝叶斯全卷积神经网络,我们还提出了分割不确定性的固有措施,允许对每个大脑结构进行质量控制。为了估计模型的不确定性,我们遵循贝叶斯方法,其中,来自后验分布的蒙特卡罗(MC)样本是通过在测试时保持dropout层活跃来生成的。MC样本上的熵提供逐体素模型不确定性图,而MC预测上的期望提供最终分割。在体素不确定性之后,我们引入了四个度量来量化分割中的结构不确定性以进行质量控制。我们报告的实验,包括不同的年龄范围,病理和成像伪影的四个样本外的数据集。所提出的结构方面的不确定性度量与用手动注释估计的Dice分数高度相关,因此提出了分割质量的固有测量。特别地,所有MC样本上的交集超过并集是Dice分数的合适代理。除了在扫描级的质量控制,我们建议将结构明智的不确定性作为一个衡量的信心做可靠的大型数据存储库的组分析。我们设想,引入的不确定性度量将有助于评估基于自动化深度学习的分割方法在大规模人群研究中的保真度,因为它们能够在处理大型数据库时实现自动化质量控制和组分析。
2018-11-24 cs.CV
Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks
University College London(伦敦大学学院);King’s College London(伦敦国王学院);University of Electronic Science and Technology of China(电子科技大学);University Hospitals Leuven(鲁汶大学医院);Institute for Women’s Health(妇女健康研究所)
尽管医学图像分割具有最先进的性能,但深度卷积神经网络(CNN)很少提供关于其分割输出的不确定性估计,例如,模型(认知)和基于图像(任意)的不确定性。在这项工作中,我们分析了基于CNN的2D和3D医学图像分割任务的这些不同类型的不确定性。此外,我们提出了一个测试时间增强为基础的任意不确定性分析的效果,不同的变换的输入图像上的分割输出。测试时增强以前已被用于提高分割精度,但没有制定一个一致的数学框架。因此,我们还提出了一个理论公式的测试时间增强,其中的预测分布估计的Monte Carlo模拟与先验分布的参数在图像采集模型,涉及图像变换和噪声。我们比较和结合我们提出的任意的不确定性与模型的不确定性。从2D和3D磁共振图像(MRI)分割胎儿脑和脑肿瘤的实验表明:1)基于测试时间增强的任意不确定性提供了比单独计算基于测试时间丢弃的模型不确定性更好的不确定性估计,并且有助于减少过度自信的不正确预测,和2)我们的测试时间增强优于单预测基线和基于辍学的多个预测。
2019-01-31 cs.CV
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University(广岛大学);Nagoya Institute of Technology(名古屋工业大学)
在本文中,我们提出了一种新的方法,该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量,以便将不确定性估计反馈给系统,从而在不确定性较高的区域更密集地重新采样训练数据。我们表明,在具体设置的语义分割任务(iPS细胞集落分割),该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Estimating Uncertainty in Neural Networks for Cardiac MRI Segmentation: A Benchmark Study
Sunnybrook Research Institute(桑尼布鲁克研究所);University of Toronto(多伦多大学);Huazhong University of Science and Technology(华中科技大学);Queen Mary University of London(伦敦玛丽女王大学);St Bartholomew’s Hospital(圣巴塞洛缪医院);Barts Health NHS Trust(巴茨健康NHS信托基金会);University of Oxford(牛津大学)
目的:卷积神经网络(CNN)在自动心脏磁共振图像分割中表现出了良好的前景。然而,当在大型真实世界数据集中使用CNN时,量化分割不确定性并识别可能存在问题的分割是很重要的。在这项工作中,我们对贝叶斯和非贝叶斯方法进行了系统的研究,用于估计分割神经网络中的不确定性。研究方法:我们通过Backprop,Monte Carlo Dropout,Deep Ensembles和Stochastic Segmentation Networks在分割精度,概率校准,分布外图像的不确定性和分割质量控制方面评估了贝叶斯。结果:我们观察到,除了具有严重噪声和模糊失真的图像外,深度集成优于其他方法。我们证明了贝叶斯反向传播对噪声失真更鲁棒,而随机分割网络对模糊失真更有抵抗力。对于分割质量控制,我们表明,分割不确定性与所有方法的分割精度相关。通过合并不确定性估计,我们能够通过标记31 - 48%的最不确定分割进行手动审查,将不良分割的百分比降低到5%,大大低于不使用神经网络不确定性的随机审查(审查所有图像的75 - 78%)。结论:这项工作提供了一个全面的评估不确定性估计方法,并表明,深度集成优于其他方法在大多数情况下。重要性:神经网络不确定性测量可以帮助识别潜在的不准确分割,并提醒用户进行手动审查。
2022-12-30 cs.CV cs.LG eess.IV
Uncertainty guided semi-supervised segmentation of retinal layers in OCT images
IBM Research - Australia(IBM澳大利亚研究院);NYU Langone Eye Center(纽约大学兰贡眼科中心);NYU School of Medicine(纽约大学医学院)
深度卷积神经网络在医学图像分割任务中表现出出色的性能。训练监督式深度学习方法时的常见问题是缺乏标记数据,这是耗时且成本高昂的。在本文中,我们提出了一种新的不确定性指导的半监督学习的基础上的学生-教师的方法训练的分割网络使用有限的标记样本和大量的未标记的图像。首先,使用贝叶斯深度学习从标记样本训练教师分割模型。训练后的模型用于为未标记的集合生成软分割标签和不确定性图。然后,使用软分割样本和使用新设计的损失函数从教师模型的不确定性估计的分割质量的相应逐像素置信度来更新学生模型。视网膜层分割任务的实验结果表明,该方法提高了分割性能相比,完全监督的方法,并与专家注释。所提出的半监督分割框架是一个关键的贡献,适用于各种成像方式的生物医学图像分割,其中访问带注释的医学图像是具有挑战性的
2021-03-02 cs.CV
Uncertainty Evaluation Metric for Brain Tumour Segmentation
McGill University(麦吉尔大学);University of Oxford(牛津大学)
在本文中,我们开发了一种度量标准,旨在评估和排名BraTS 2019不确定性量化子挑战中脑肿瘤子组织分割任务的不确定性度量。该指标旨在:(1)奖励不确定性度量,其中高置信度被分配给正确的断言,而不正确的断言被分配低置信度,以及(2)惩罚具有较高百分比的不自信正确断言的度量。在这里,基于在BraTS 2019数据集上评估的许多流行的不确定性度量,探索了该度量的组成部分的工作原理。
2020-05-28 cs.CV eess.IV
From Registration Uncertainty to Segmentation Uncertainty
Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有配准不确定性无法有效估计标签传播误差的问题,提出同时估计认知与偶然分割不确定性的框架,经公开数据集验证,其估计结果与标签传播误差相关性好且配准性能更优。
2024-03-08 cs.CV eess.IV
Theoretical analysis and experimental validation of volume bias of soft Dice optimized segmentation maps in the context of inherent uncertainty
KU Leuven(鲁汶大学)
临床兴趣通常是测量结构的体积,这通常是从分割中得出的。为了评估和比较分割方法,使用流行的离散度量(例如Dice分数)来测量分割和预定义的地面实况之间的相似性。最近的分割方法使用可微分的替代度量,如软骰子,作为学习阶段期间的损失函数的一部分。在这项工作中,我们首先简要介绍了如何从分割,潜在的,固有的不确定性或模糊的体积估计。接下来是理论分析和实验验证,将固有的不确定性与用于训练CNN的常见损失函数(即交叉熵和软骰子)联系起来。我们发现,即使软骰子优化导致改善的性能方面的骰子分数和其他措施,它可能会引入一个体积偏置的任务具有很高的固有的不确定性。这些发现表明了该方法的一些临床局限性,并建议使用可选的重新校准步骤进行更紧密的特设体积分析。
2022-11-08 cs.AI cs.CV cs.LG
Navigating Uncertainty in Medical Image Segmentation
Technical University of Denmark(丹麦技术大学)
本文探讨了医学图像分割中不确定方法的选择与评估,通过前列腺和肺部分割案例研究,提出了整合偶然与认知成分的不确定分割模型开发与选择指导原则。
2024-07-23 cs.CV cs.LG
Uncertainty-aware LiDAR Panoptic Segmentation
University of Freiburg(弗莱堡大学);Technical University Nürnberg(纽伦堡工业大学)
现代自动驾驶系统通常依赖于LiDAR扫描仪,特别是在自动驾驶场景中。在这种情况下,可靠的场景理解是必不可少的。当前基于学习的方法通常试图实现此任务的最大性能,而忽略了对相关不确定性的适当估计。在这项工作中,我们介绍了一种新的方法来解决任务的不确定性意识的全景分割使用激光雷达点云。我们提出的EvLPSNet网络是第一个以无采样方式有效解决这一任务的网络。它的目的是预测每点的语义和实例分割,连同每点的不确定性估计。此外,它还结合了通过采用预测的不确定性来提高性能的方法。我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明,我们实现了最好的性能不确定性感知的全景分割的质量和校准相比,这些基线。我们的代码可在https://github.com/kshitij3112/EvLPSNet上获得
2022-10-10 cs.CV cs.RO
Predictive Uncertainty Quantification for Bird's Eye View Segmentation: A Benchmark and Novel Loss Function
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Cypress Woods High School(赛普拉斯伍兹高中)
本文提出了一个针对鸟瞰图分割预测不确定性量化的综合基准,并设计了新型损失函数UFCE及正则化项,有效改进了误分类与OOD像素检测及模型校准。
2025-03-02 cs.CV cs.LG
Exploring Structure-Wise Uncertainty for 3D Medical Image Segmentation
Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在将深度学习模型应用于医学图像时,估计模型的不确定性至关重要。体素不确定性对于人类专家来说是一个有用的视觉标记,可以用来改进模型的体素输出,比如分割。此外,不确定性为分布外(OOD)检测提供了坚实的基础,提高了模型在图像层面的性能。然而,医学成像中的一个常见任务是分割不同的局部结构,如肿瘤或病变。这里,结构方面的不确定性允许比图像方面更精确的操作,并且比体素方面更具有语义感知。如何产生不确定性的个别结构仍然探索不足。我们提出了一个框架来衡量结构方面的不确定性,并评估OOD数据对模型性能的影响。因此,我们确定最佳UE方法来提高分割质量。该框架在三个数据集上进行了测试,其中包括肿瘤分割任务:LIDC-IDRI,LiTS和一个具有多个脑转移病例的私人数据集。
2022-11-01 cs.CV eess.IV
FIVA: Federated Inverse Variance Averaging for Universal CT Segmentation with Uncertainty Estimation
提出一种名为FIVA的联邦学习方法,利用模型不确定性进行聚合和预测不确定性进行推理,实现跨腹部CT数据集的通用分割,并提升联邦聚合质量与不确定性加权推理性能。
2025-08-08 cs.AI cs.CV cs.LG
Road Grip Uncertainty Estimation Through Surface State Segmentation
Finnish Geospatial Research Institute FGI, National Land Survey of Finland(芬兰地理空间研究所(FGI,芬兰国家土地测量局));Aalto University(阿尔托大学);Amazon(亚马逊公司)
本文针对自动驾驶中湿滑路面的抓地力不确定性估计问题,提出利用路面状态分割预测逐像素抓地力概率分布的新方法,并通过对多种不确定性预测方法的基准测试验证了其能提升预测鲁棒性。
2025-04-11 cs.CV
Uncertainty-Based Ensemble Learning in CMR Semantic Segmentation
Sichuan University(四川大学);National University of Singapore(新加坡国立大学);West China Women's and Children's Hospital(四川大学华西第二医院)
本文提出基于不确定性的集成学习方法,通过全局不确定性提升心肌分割整体和末Slice性能,引入End Coefficient量化末Slice准确性,实验表明在ACDC和M&Ms数据集上取得接近SOTA的Dice相似系数和更优的末Slice分割效果。
2026-04-12 cs.CV
Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);KAIST(韩国科学技术院);Technical University of Munich(慕尼黑工业大学)
最近的研究表明,集成方法不仅可以提高准确性,而且还可以估计深度学习中的模型不确定性。但随着集合模型的增加,为了更好地进行预报和不确定性估计,需要大量的参数。为了解决这个问题,本文设计了一个通用的和有效的分割框架来构建集成分割模型。在所提出的方法中,集成模型可以有效地产生通过使用随机层选择方法。集合模型通过贝叶斯近似进行训练以估计不确定性。此外,为了克服它的局限性,从不确定的情况下,我们设计了一个新的逐像素的不确定性损失,提高了预测性能。为了评估我们的方法,在两个数据集上进行了全面的对比实验。实验结果表明,该方法能够通过贝叶斯近似提供有用的不确定性信息,有效地生成集成模型,提高预测性能。
2020-05-22 cs.CV
Benchmarking Scalable Epistemic Uncertainty Quantification in Organ Segmentation
Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学);School of Computing(计算学院)
针对医学器官分割中认知不确定性方法选择不明的问题,本文从准确性、校准和可扩展性等维度进行系统基准评测,并比较各方法的分布外检测能力。
2023-08-15 cs.CV eess.IV
Using Soft Labels to Model Uncertainty in Medical Image Segmentation
Instituto Superior Técnico(高等技术学院);INESC-ID(里斯本工程技术学院信息与系统工程研究所)
医学图像分割具有内在的不确定性。对于给定的图像,可能存在多个合理的分割假设,并且医生通常会对病变和器官边界持不同意见。为了适应现实世界的应用,自动分割系统必须能够捕捉这种不确定性和可变性。到目前为止,这已经通过构建深度学习模型来解决,通过dropout,多头或变分推理,可以为任何给定图像产生一组-在某些情况下是无限的-合理分割假设。然而,在临床实践中,浏览所有假设可能不切实际。此外,最近的工作表明,分割变异性平台后,一定数量的独立注释,这表明一个足够大的组的医生可能能够代表整个空间的可能分割。受此启发,我们提出了一种简单的方法来获得软标签从多个医生和训练模型的注释,对于每个图像,产生一个单一的校准输出,可以在多个置信水平阈值,根据每个应用程序的精度召回要求。我们在MICCAI 2021 QUBIQ挑战赛上对我们的方法进行了评估,结果表明,它在多个医学图像分割任务中表现良好,产生了校准良好的预测,并且平均而言,在匹配医生的预测方面比其他医生表现得更好。
2021-09-26 cs.AI cs.CV cs.LG
Supervised Uncertainty Quantification for Segmentation with Multiple Annotations
University of Amsterdam(阿姆斯特丹大学);Radboud University Medical Center(拉德堡德大学医学中心)
预测不确定性的准确估计在诸如肺结分割的医疗场景中具有重要性。不幸的是,大多数现有的预测不确定性的工作不返回校准的不确定性估计,这可以在实践中使用。在这项工作中,我们利用多级注释的变化作为一个源的“地面实况”任意的不确定性,这可以被视为一个目标,在监督学习的问题。我们将这种真实的不确定性与ProbabilityU-Net相结合,并在LIDC-IDRI肺结节CT数据集和MICCAI 2012前列腺MRI数据集上进行测试。我们发现,我们能够提高预测的不确定性估计。我们还发现,我们可以提高样本精度和样本多样性。在实际应用中,我们的方法可以告知医生分割结果的置信度。
2022-05-27 cs.CV cs.LG stat.ML
Deep Deterministic Uncertainty for Semantic Segmentation
University of Oxford(牛津大学)
我们扩展了深度确定性不确定性(DDU),一种使用特征空间密度的不确定性估计方法,用于语义分割。DDU使量化和解开认识和任意的不确定性在一个单一的向前通过模型。我们研究了同一类在不同位置的像素的特征表示的相似性,并得出结论,它是可行的,独立地应用DDU位置,这导致显着减少内存消耗相比,像素依赖DDU。在Pascal VOC 2012上使用DeepLab-v3+架构,我们证明了DDU在MC Dropout和Deep Ensembles上的改进,同时计算速度明显更快。
2021-10-29 cs.CV cs.LG
Uncertainty-Aware Retinal Vessel Segmentation via Ensemble Distillation
University of Ibadan(伊巴迪安大学);African Institute for Mathematical Sciences(非洲数学科学研究所);University College London(伦敦大学学院);Hertie Institute for Brain Health(海德研究所)
本文提出集成蒸馏方法,将多个集成模型知识蒸馏至单一模型,在DRIVE和FIVES数据集上以更低计算复杂度实现与深度集成相当的视网膜血管分割及不确定性估计性能。
2025-09-15 cs.CV
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China(科学技术大学);Suzhou Institute for Advanced Research(苏州先进研究院);State Key Laboratory of Precision and Intelligent Chemistry(精密与智能化学国家重点实验室)
UCAD通过基于不确定性的轮廓感知位移框架,提升半监督医学图像分割的准确性和一致性学习效果。
2026-01-24 cs.CV
Objective-Dependent Uncertainty Driven Retinal Vessel Segmentation
University of Notre Dame(圣母大学)
从诊断新生血管性疾病到检测脑白质病变,眼底图像中微小血管的准确分割至关重要。准确的血管分割的有希望的结果是已知的。然而,它们在分割微小血管方面的有效性仍然有限。在本文中,我们研究视网膜血管分割,将微小的血管分割到我们的框架,为整体准确的血管分割。为了实现这一目标,我们提出了一种新的深度卷积神经网络(CNN),它将血管分割分为两个单独的目标。具体而言,我们认为整体准确的血管分割和微小血管分割作为两个单独的目标。然后,通过利用目标相关(同方差)的不确定性,我们使网络能够同时学习两个目标。此外,为了改进各个目标,我们提出:(a)基于血管权重图的辅助损失,用于增强微小血管连通性(即,改进微小血管分割),以及(b)用于改进定位的增强的编码器-解码器体系结构(即,用于精确的血管分割)。使用3个公开的视网膜血管分割数据集(CHASE_DB1,DRIVE和STARE),我们验证了我们提出的框架在分割微小血管方面的优越性(灵敏度平均提高8.3%),同时与最先进的方法相比,获得了更好的受试者工作特征曲线(AUC)下的面积。
2021-04-17 cs.CV
Conformal Semantic Image Segmentation: Post-hoc Quantification of Predictive Uncertainty
IRT Saint Exupéry;Institut de Mathématiques de Toulouse(图卢兹数学研究所);SNCF(法国国家铁路公司)
本文提出基于保形预测的事后轻量方法,为语义图像分割生成具有覆盖保证的预测集,并结合热力图可视化与有效性指标量化不确定性。
2024-04-16 cs.CV cs.LG