On the Effect of Inter-observer Variability for a Reliable Estimation of Uncertainty of Medical Image Segmentation
Institute for Surgical Technologies and Biomechanics, University of Bern（伯尔尼大学外科技术与生物力学研究所）；SCAN, Institute for Diagnostic and Interventional Neuroradiology（诊断与介入神经放射学研究所SCAN）；University Clinic for Radio-oncology, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学因塞尔医院放射肿瘤学大学诊所）
期望不确定性估计方法改进对医学应用中使用的计算机辅助方法的理解和质量（例如，神经外科手术、放射治疗计划），其中自动医学图像分割至关重要。在有监督的机器学习中，生成地面实况标签数据的常见做法是合并观察者注释。然而，由于许多医学图像任务显示出由诸如图像质量、不同水平的用户专业知识和领域知识等因素引起的高观察者间变异性，因此很少有人知道观察者间变异性和常用的融合方法如何影响自动图像分割的不确定性的估计。本文分析了常用的图像标签融合技术对不确定性估计的影响，提出了对观测者之间的不确定性进行学习的方法。结果强调了在深度学习中应用融合方法的负面影响，以获得分割不确定性的可靠估计。此外，我们表明，学习观察员的不确定性，可以结合目前的标准蒙特卡洛脱落贝叶斯神经网络来表征模型的参数的不确定性。
2018-06-07 cs.CV
Uncertainty Gated Network for Land Cover Segmentation
University of Barcelona（巴塞罗那大学）
制作描绘土地覆盖的专题地图是遥感最常见的应用之一。为此，在文献中已经提出了几种基于深度学习的语义分割方法，但是由于与遥感成像相关的一些特定问题，土地覆盖分割仍然被认为是一个开放的问题。在本文中，我们提出了一种新的方法来处理不同的土地覆盖类别的像素周围的多尺度上下文建模的问题。该方法利用计算的异方差测量的不确定性时，在图像中的单个像素进行分类。该分类不确定性度量用于定义层之间的一组存储器门，其允许原则性方法为每个像素选择最佳决策。
2018-05-29 cs.CV
Principle-Guided Supervision for Interpretable Uncertainty in Medical Image Segmentation
School of Data Science, Fudan University（复旦大学数据科学学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发智能科学研究院）；National Heart and Lung Institute, Imperial College London（伦敦帝国理工学院国家心脏和肺研究所）
本文提出PriUS框架，通过原则指导提升医学图像分割中不确定性的可解释性，实验表明其在保持分割性能的同时提升了不确定性估计的一致性。
2026-05-09 cs.CV
Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）；Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院）
提出UR-SAM框架，通过提示增强和不确定性校正模块，在无需额外训练或微调下，将SAM自动提示医学图像分割的Dice系数提升最高10.7%和13.8%。
2024-03-18 cs.CV
A Weakly Supervised Amodal Segmenter with Boundary Uncertainty Estimation
Oregon State University（俄勒冈州立大学）
本文讨论了弱监督非模态实例分割，其目标是分割可见和被遮挡（非模态）的对象部分，而训练仅提供地面真实可见（模态）分割。在之前的工作之后，我们使用数据操作来在训练图像中生成遮挡，从而训练分割器来预测操作数据的非模态分割。对训练图像的预测结果被视为Mask-RCNN标准训练的伪地面真值，我们将其用于测试图像的非模态实例分割。为了生成伪地面真值，我们指定了一个新的非模态分割器的基础上的边界不确定性估计（ASBU），并作出两个贡献。首先，虽然以前的工作使用遮挡的面具，我们的ASBU使用遮挡边界作为输入。其次，ASBU估计预测的不确定性图。估计的不确定性规则化学习，使得在具有高不确定性的区域上产生较低的分割损失。ASBU在三个任务中实现了相对于COCOA和KINS数据集的最新技术水平的显著性能改进：非模态实例分割、非模态完成和排序恢复。
2021-08-30 cs.CV
UCC: Uncertainty guided Cross-head Co-training for Semi-Supervised Semantic Segmentation
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度神经网络（DNN）在语义分割方面取得了巨大的成功，这需要大量的标记数据进行训练。我们提出了一种新的学习框架，称为不确定性引导十字头协同训练（UCC）的半监督语义分割。我们的框架在共享编码器中引入了弱增强和强增强，以实现协同训练，从而自然地结合了一致性和自我训练的优点。每个分段头与其对等体交互，弱增强结果用于监督强增强结果。通过动态交叉集复制粘贴（DCSCP）提高了一致性训练样本的多样性，解决了分布不匹配和类不平衡问题。此外，我们提出的不确定性引导的重新加权模块（UGRM）通过建模不确定性来抑制来自其对等体的低质量伪标签的影响，从而增强了自训练伪标签。在Cityscapes和PASCAL VOC 2012上的大量实验证明了我们的UCC的有效性。我们的方法显着优于其他国家的最先进的半监督语义分割方法。在1/16协议下，Cityscapes和PASCAL VOC 2012数据集上分别获得77.17 $\%$、76.49 $\%$ mIoU，比监督基线分别好+10.1 $\%$、+7.91 $\%$。
2023-02-23 cs.CV
Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation
The Chinese University of Hong Kong（香港中文大学）
训练深度卷积神经网络通常需要大量的标记数据。然而，它是昂贵的和耗时的注释数据的医学图像分割任务。在本文中，我们提出了一种新的不确定性意识的半监督框架，从三维MR图像的左心房分割。我们的框架可以有效地利用未标记的数据，鼓励在不同的扰动下对相同的输入进行一致的预测。具体地，该框架由学生模型和教师模型组成，并且学生模型通过最小化关于教师模型的目标的分割损失和一致性损失来从教师模型学习。我们设计了一个新的不确定性感知方案，使学生模型逐渐学习有意义的和可靠的目标，利用不确定性信息。实验表明，我们的方法实现了高性能增益，通过合并未标记的数据。我们的方法优于最先进的半监督方法，证明了我们的框架具有挑战性的半监督问题的潜力。
2019-07-16 cs.CV
Perturb-and-MPM: Quantifying Segmentation Uncertainty in Dense Multi-Label CRFs
University of Bern（伯尔尼大学）；University Hospital and University of Bern（伯尔尼大学医院和伯尔尼大学）
提出了一种稠密条件随机场不确定性量化的新方法。所提出的方法，称为扰动和MPM，使有效的，近似采样密集的多标签CRF通过随机扰动。进行了分析误差分析，确定了近似误差的主要原因，以及显示的错误是有界的。空间不确定性图可以从扰动和MPM模型中导出，其可以用于可视化图像分割结果中的不确定性。该方法在合成和临床磁共振成像数据上进行了验证。该方法的有效性证明了具有挑战性的问题，在胶质母细胞瘤的肿瘤核心分割。我们发现，高不确定性的区域对应错误分割的图像区域。此外，我们证明了不确定性地图的潜在用途，以改善脑肿瘤患者的切除范围和残留肿瘤体积的情况下的成像生物标志物。
2017-03-02 cs.CV
Uncertainty Aware Proposal Segmentation for Unknown Object Detection
George Mason University（乔治梅森大学）
最近在部署深度神经网络用于现实世界应用（例如自动驾驶）中的目标检测的努力假设在训练期间已经观察到所有相关的对象类。当测试数据未在训练集中表示时，量化这些模型在设置中的性能主要集中在针对语义分割训练的模型的像素级不确定性估计技术上。本文提出了利用额外的预测的语义分割模型和量化其置信度，其次是分类的对象假设为已知与未知，分布对象。我们使用区域建议网络（RPN）生成的对象建议和适应距离感知不确定性估计的语义分割使用径向基函数网络（RBFN）的类无关对象掩码预测。然后，使用增强的对象建议来训练已知对象类别与未知对象类别的分类器。实验结果表明，该方法在未知目标检测方面达到了与现有方法并行的性能，并能有效降低目标检测器的误报率。我们的方法是非常适合的应用程序中获得的语义分割的非对象背景类别的预测是可靠的。
2021-11-25 cs.CV
Paced-Curriculum Distillation with Prediction and Label Uncertainty for Image Segmentation
Imperial College London（帝国理工学院）；National University of Singapore（新加坡国立大学）；National Institute of Technology Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；The Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
目的：在课程学习中，想法是先在较容易的样本上进行训练，然后逐渐增加难度，而在自定进度学习中，定步函数定义速度以适应训练进度。虽然这两种方法都严重依赖于对数据样本难度进行评分的能力，但最佳评分函数仍在探索中。方法：蒸馏是一种知识转移方法，其中教师网络通过提供一系列随机样本来指导学生网络。我们认为，指导学生网络与有效的课程策略可以提高模型的泛化和鲁棒性。为此，我们设计了一个基于不确定性的自升华步调课程学习医学图像分割。我们融合了预测不确定性和注释边界不确定性，开发了一种新的进度课程蒸馏（PCD）。我们利用教师模型来获得预测的不确定性和空间变化的标签平滑高斯核生成分割边界的不确定性的注释。我们还研究了我们的方法的鲁棒性，通过应用各种类型和严重程度的图像扰动和腐败。结果如下：该技术在两个医学数据集上进行了验证，即乳腺超声图像分割和机器人辅助手术场景分割，在分割和鲁棒性方面取得了显着更好的性能。结论：P-CD提高了性能，并获得了更好的泛化能力和鲁棒性。虽然课程学习需要对用于调步功能的超参数进行广泛的调整，但是性能改进的水平抑制了这种限制。
2023-02-02 cs.CV
Semantic Segmentation with Labeling Uncertainty and Class Imbalance
Federal University of Mato Grosso do Sul（南马托格罗索联邦大学）；University of Western São Paulo（西圣保罗大学）；Xiamen University（厦门大学）；University of Waterloo（滑铁卢大学）
最近，基于卷积神经网络（CNN）的方法在语义分割任务中取得了令人印象深刻的成功。然而，诸如类别不平衡和像素标记过程中的不确定性等挑战并没有完全解决。因此，我们提出了一种新的方法，计算每个像素的权重，考虑其类别和不确定性在标记过程中。在训练过程中使用逐像素权重来增加或减少像素的重要性。实验结果表明，所提出的方法导致三个具有挑战性的分割任务相比，基线方法的显着改善。它也被证明是更不受噪声的影响。这里提出的方法可以在广泛的语义分割方法中使用，以提高其鲁棒性。
2021-02-08 cs.CV
Semi-supervised Semantic Segmentation via Boosting Uncertainty on Unlabeled Data
Southern Universty of Science and Technology（南方科技大学）
本文针对半监督语义分割中有标签与无标签数据分布差距问题，提出通过增强无标签数据不确定性的即插即用算法，在Cityscapes和PASCAL VOC 2012上取得最先进性能。
2023-11-30 cs.CV
Lightweight Uncertainty Quantification with Simplex Semantic Segmentation for Terrain Traversability
TNO（荷兰应用科学研究组织）；Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）；University of Amsterdam（阿姆斯特丹大学）
本文提出一种轻量级不确定性量化模块，可适配任意预训练分割模型，通过原型向量最大分离类别，以到最近原型的距离估计不确定性，有效用于地形可通行性分析。
2024-07-18 cs.CV
Semi-supervision semantic segmentation with uncertainty-guided self cross supervision
Chinese Academy of Military Science（中国军事科学院）；National University of Defense Technology（国防科技大学）
交叉监督方法是实现半监督分割的一种有效方法，它利用大量未标记图像，基于独立集成模型学习交叉一致性。然而，交叉监督产生的错误伪标记信息会混淆训练过程，并对分割模型的有效性产生负面影响。此外，这种方法中集成模型的训练过程也增加了计算资源的消耗，降低了训练效率。为了解决这些问题，我们提出了一种新的交叉监督方法，即不确定性引导的自我交叉监督（USCS）。除了集成模型之外，我们首先设计了一个多输入多输出（MIMO）分割模型，该模型可以使用共享模型生成多个输出，从而对输出施加一致性，节省了参数和计算成本。另一方面，我们采用不确定性作为指导信息，鼓励模型专注于伪标签的高置信区域，并减轻自交叉监督中错误伪标签的影响，提高分割模型的性能。大量的实验表明，我们的方法达到了最先进的性能，同时节省了40.5%和49.1%的参数和计算成本。
2022-03-15 cs.CV
Uncertainty and Energy based Loss Guided Semi-Supervised Semantic Segmentation
Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分校）
本文提出在半监督语义分割的交并伪监督网络中引入任意不确定性与基于能量的损失，利用逐像素方差和生成建模提升分割性能，并通过实验验证其优于现有方法。
2025-01-03 cs.CV
Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving
Valeo（法雷奥）；CY Université（CY塞尔吉巴黎大学）；ENSEA（ENSEA国立电子与计算机科学学院）；CNRS（法国国家科学研究中心）；Ecole des Ponts（巴黎高科路桥学校）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）
在本文中，我们展示了如何利用不确定性估计来实现自动驾驶中的安全关键图像分割，如果无法保证目标精度，则触发回退行为。我们引入了一个新的不确定性措施的基础上不同意的预测所衡量的相异度函数。我们建议通过训练与特定任务网络并行的深度神经架构来估计这种差异。它允许该观测器专用于不确定性估计，并让特定于任务的网络进行预测。我们建议使用自我监督训练的观察员，这意味着我们的方法不需要额外的训练数据。我们通过实验表明，我们提出的方法在推理时的计算密集度比竞争方法（例如MCDropout）低得多，同时在CamVid数据集上提供更好的安全评估指标，特别是在眩光伪影的情况下。
2021-05-28 cs.CV
Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们解决了语义夜间图像分割的问题，并提高了国家的最先进的，适应白天的模型，夜间不使用夜间注释。此外，我们设计了一个新的评估框架，以解决大量的不确定性，在夜间图像的语义。我们的主要贡献是：1）一个课程框架，通过一天中逐渐变暗的时间，从白天到夜晚逐渐适应语义分割模型，利用来自参考地图的白天图像和暗图像之间的跨时间对应关系来指导暗域中的标签推断; 2）一种新的不确定性感知的语义分割的注释和评估框架和度量，以原则性的方式在评估中包括超出人类识别能力的图像区域; 3）Dark Zurich数据集，包括2416个未标记的夜间图像和2920个未标记的微光图像，其对应于它们的白天对应物，加上一组201个夜间图像，像素级注释创建与我们的协议，这是我们的小说评价的第一个基准。实验表明，我们的地图引导的课程自适应显着优于国家的最先进的方法在夜间集的标准指标和我们的不确定性感知度量。此外，我们的不确定性感知评估表明，选择性失效的预测可以改善结果的数据具有模糊的内容，如我们的基准和利润安全为导向的应用程序，涉及无效的输入。
2021-01-07 cs.CV
LiDAL: Inter-frame Uncertainty Based Active Learning for 3D LiDAR Semantic Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Lightspeed & Quantum Studios, Tencent（腾讯光子工作室群）；City University of Hong Kong（香港城市大学）
我们提出了LiDAL，一种新的主动学习方法三维激光雷达语义分割，利用帧间的不确定性激光雷达帧。我们的核心思想是，经过良好训练的模型应该生成鲁棒的结果，而不管场景扫描的视点如何，因此跨帧模型预测的不一致性为主动样本选择提供了非常可靠的不确定性度量。为了实现这种不确定性的措施，我们引入了新的帧间发散和熵公式，作为主动选择的指标。此外，我们通过预测和合并伪标签来展示额外的性能增益，这些伪标签也是使用建议的帧间不确定性度量来选择的。实验结果验证了LiDAL的有效性：我们在SemanticKITTI和nuScenes数据集上实现了95%的全监督学习性能，注释不到5%，优于最先进的主动学习方法。代码发布：https://github.com/hzykent/LiDAL。
2022-11-11 cs.CV
Guided Curriculum Model Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
语义分割的大多数进展报告在有利的光照条件下拍摄的白天图像。相反，我们解决了夜间图像的语义分割的问题，并提高了国家的最先进的，通过适应白天的模型，夜间不使用夜间注释。此外，我们设计了一个新的评估框架，以解决大量的不确定性，在夜间图像的语义。我们的主要贡献是：1）一个课程框架，通过标记的合成图像和未标记的真实图像，从白天到晚上逐渐适应语义分割模型，两者都是针对一天中逐渐变暗的时间，其利用真实图像的跨时间对应来指导它们的标签的推断; 2）一种新的不确定性感知的语义分割的注释和评估框架和度量，设计用于不利条件，并以原则性的方式在评估中包括超出人类识别能力的图像区域; 3）Dark Zurich数据集，其包括2416个未标记的夜间图像和2920个未标记的黄昏图像，其对应于它们的白天对应物，加上一组151个夜间图像，精细的像素级注释创建与我们的协议，作为第一个基准来执行我们的新的评估。实验表明，我们的指导课程适应显着优于国家的最先进的方法对真正的夜间集的标准指标和我们的不确定性感知度量。此外，我们的不确定性感知评估表明，选择性失效的预测可以导致更好的结果与模糊的内容，如我们的夜间基准和利润安全为导向的应用程序，涉及无效的输入数据。
2019-07-26 cs.CV
Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation
University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所 (AAII)）
本文主要研究在语义分割的背景下，将知识从源领域转移到目标领域的无监督领域自适应。现有的方法通常将伪标签作为基础事实，以充分利用未标记的目标域数据。然而，目标域数据的伪标签通常由在源域上训练的模型预测。因此，由于训练域和测试域之间的差异，生成的标签不可避免地包含不正确的预测，这可能会转移到最终的自适应模型，并在很大程度上损害了训练过程。为了克服这个问题，本文提出在训练过程中显式地估计预测不确定性，以纠正用于无监督语义分割适应的伪标签学习。给定输入图像，模型输出语义分割预测以及预测的不确定性。具体来说，我们通过预测方差对不确定性进行建模，并将不确定性纳入优化目标。为了验证所提出的方法的有效性，我们评估了两个流行的合成到真实的语义分割基准，即，GTA 5-> Cityscapes和SYNTHIA -> Cityscapes，以及一个跨城市基准，即城市景观->牛津机器人汽车。我们通过大量的实验证明，所提出的方法（1）根据预测方差动态设置不同的置信阈值，（2）纠正了从噪声伪标签中学习，（3）实现了对传统伪标签学习的显着改进，并在所有三个基准测试中产生了有竞争力的性能。
2020-10-15 cs.CV
Uncertainty Estimation in Instance Segmentation with Star-convex Shapes
本文针对星凸形状实例分割中的空间不确定性估计问题，提出结合空间确定性与分数确定性分数的径向聚类方法，并验证其与 Deep Ensemble 技术结合可提升校准效果和模型可靠性。
2023-09-19 cs.CV
The Fishyscapes Benchmark: Measuring Blind Spots in Semantic Segmentation
Microsoft Research（微软研究院）
深度学习在语义分割的准确性方面取得了令人印象深刻的进展。然而，估计不确定性和检测故障的能力对于自动驾驶等安全关键型应用至关重要。现有的不确定性估计大多是在简单的任务上进行评估的，目前还不清楚这些方法是否适用于更复杂的场景。我们提出了Fishyscapes，第一个公共基准的不确定性估计在现实世界中的任务，语义分割城市驾驶。它评估了对车辆前方异常物体检测的像素不确定性估计。我们~适应国家的最先进的方法，以最近的语义分割模型和比较方法的基础上softmax的信心，贝叶斯学习和嵌入密度。我们的研究结果表明，即使在普通情况下，异常检测也远未解决，而我们的基准测试允许测量超越最先进水平的进步。
2021-09-16 cs.CV
On the Calibration of Uncertainty Estimation in LiDAR-based Semantic Segmentation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；University of Freiburg（弗莱堡大学）
提出一种针对语义分割模型的类别级置信度校准度量方法，通过稀疏化曲线评估不确定性估计，并可用于自动发现标注问题以提升数据集质量。
2023-08-04 cs.CV
Sampling-based Uncertainty Estimation for an Instance Segmentation Network
University of Kassel（卡塞尔大学）
针对实例分割网络预测中的不确定性问题，本文基于MC-Dropout技术，采用贝叶斯高斯混合模型进行高效聚类以描述每个对象的不确定性，并集成focal loss与校准技术优化Mask-RCNN，实现每个实例最准确的不确定性近似。
2023-05-24 cs.CV
Uncertainty-based Detection of Adversarial Attacks in Semantic Segmentation
Technical University of Berlin, Germany（柏林技术大学）；Ruhr University Bochum, Germany（波鸿鲁尔大学）
本文提出基于不确定性的方法，用于检测语义分割中的对抗攻击，通过分析输出分布熵差异实现轻量级后处理检测。
2024-01-15 cs.CV
DyCON: Dynamic Uncertainty-aware Consistency and Contrastive Learning for Semi-supervised Medical Image Segmentation
C2PS - Khalifa University of Science and Technology（C2PS - 哈利法塔科技大学）
本文提出DyCON框架，通过不确定性感知一致性损失和焦点熵感知对比损失，解决半监督医学图像分割中的类别不平衡与高不确定性问题，在多个数据集上取得优于SOTA的性能。
2025-04-06 cs.CV
Pixel-wise Gradient Uncertainty for Convolutional Neural Networks applied to Out-of-Distribution Segmentation
Technical University of Berlin, Germany（柏林技术大学）
本文提出了一种基于像素梯度的不确定性估计方法，用于卷积神经网络中的分布外分割任务，实验表明其在分割性能上优于现有方法。
2024-01-17 cs.CV
Uncertainty-Aware Extreme Point Tracing for Weakly Supervised Ultrasound Image Segmentation
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；Baotou Medical College（包头医学院）；Department of Ultrasound Medicine, The Second Affiliated Hospital of Baotou Medical College（包头医学院第二附属医院超声医学科）
提出一种仅用四个极值点标注的弱监督超声图像分割框架，结合SAM2生成伪标签、FGEPM算法细化及不确定性感知损失，在BUSI和UNS数据集上达到与全监督相当的性能。
2025-10-17 cs.CV
UHR-Net: An Uncertainty-Aware Hypergraph Refinement Network for Medical Image Segmentation
School of Computer Sciences, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院）
针对病灶边界模糊和小病灶分割困难，提出UHR-Net，采用不确定性导向实例对比预训练和不确定性引导超图精炼模块，在五个公开数据集上取得一致提升。
2026-06-09 cs.CV
Uncertainty-aware Panoptic Segmentation
University of Freiburg（弗莱堡大学）；Technical University Nürnberg（纽伦堡工业大学）
可靠的场景理解是现代自治系统不可或缺的。当前基于学习的方法通常尝试基于仅考虑分割质量的分割度量来最大化其性能。然而，对于现实世界中系统的安全运行来说，考虑预测中的不确定性也是至关重要的。在这项工作中，我们介绍了新的任务不确定性感知的全景分割，其目的是预测每像素的语义和实例分割，连同每像素的不确定性估计。我们定义了两个新的指标，以促进其定量分析，不确定性感知的Panoptic质量（uPQ）和panoptic预期校准误差（pECE）。我们进一步提出了新的自上而下的证据全景分割网络（EvPSNet）来解决这个问题。我们的架构采用了一个简单而有效的全景融合模块，利用预测的不确定性。此外，我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明，我们的EvPSNet在标准全景质量（PQ）以及我们的不确定性感知全景指标方面达到了新的最先进水平。我们在以下网址提供代码：\url{https://github.com/kshitij3112/EvPSNet}
2022-12-24 cs.CV cs.RO
Navigating Uncertainty in Medical Image Segmentation
Technical University of Denmark（丹麦技术大学）
本文探讨了医学图像分割中不确定方法的选择与评估，通过前列腺和肺部分割案例研究，提出了整合偶然与认知成分的不确定分割模型开发与选择指导原则。
2024-07-23 cs.CV cs.LG
Uncertainty-aware LiDAR Panoptic Segmentation
University of Freiburg（弗莱堡大学）；Technical University Nürnberg（纽伦堡工业大学）
现代自动驾驶系统通常依赖于LiDAR扫描仪，特别是在自动驾驶场景中。在这种情况下，可靠的场景理解是必不可少的。当前基于学习的方法通常试图实现此任务的最大性能，而忽略了对相关不确定性的适当估计。在这项工作中，我们介绍了一种新的方法来解决任务的不确定性意识的全景分割使用激光雷达点云。我们提出的EvLPSNet网络是第一个以无采样方式有效解决这一任务的网络。它的目的是预测每点的语义和实例分割，连同每点的不确定性估计。此外，它还结合了通过采用预测的不确定性来提高性能的方法。我们提供了几个强大的基线结合国家的最先进的全景分割网络与采样免费的不确定性估计技术。广泛的评估表明，我们实现了最好的性能不确定性感知的全景分割的质量和校准相比，这些基线。我们的代码可在https://github.com/kshitij3112/EvLPSNet上获得
2022-10-10 cs.CV cs.RO
Exploring Structure-Wise Uncertainty for 3D Medical Image Segmentation
Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
在将深度学习模型应用于医学图像时，估计模型的不确定性至关重要。体素不确定性对于人类专家来说是一个有用的视觉标记，可以用来改进模型的体素输出，比如分割。此外，不确定性为分布外（OOD）检测提供了坚实的基础，提高了模型在图像层面的性能。然而，医学成像中的一个常见任务是分割不同的局部结构，如肿瘤或病变。这里，结构方面的不确定性允许比图像方面更精确的操作，并且比体素方面更具有语义感知。如何产生不确定性的个别结构仍然探索不足。我们提出了一个框架来衡量结构方面的不确定性，并评估OOD数据对模型性能的影响。因此，我们确定最佳UE方法来提高分割质量。该框架在三个数据集上进行了测试，其中包括肿瘤分割任务：LIDC-IDRI，LiTS和一个具有多个脑转移病例的私人数据集。
2022-11-01 cs.CV eess.IV
Instance-wise Uncertainty for Class Imbalance in Semantic Segmentation
Faculdade de Ciências da Universidade do Porto（波尔图大学理学院）
提出一种基于集成实例级不确定性掩码加权的语义分割训练方法，以解决类别不平衡问题，提升少数类性能、泛化能力和域偏移鲁棒性。
2024-07-17 cs.AI cs.CV
Uncertainty-based method for improving poorly labeled segmentation datasets
Philips AI Research（飞利浦人工智能研究院）
用于图像分割的现代深度学习算法的成功在很大程度上取决于具有干净像素级注释（掩模）的大型数据集的可用性，其中感兴趣的对象被准确地描绘出来。在数据注释过程中缺乏时间和专业知识会导致不正确的边界和标签噪音。众所周知，深度卷积神经网络（DCNN）甚至可以记住完全随机的标签，导致准确性差。我们提出了一个框架，训练二进制分割DCNN使用不可靠的像素级注释集。错误标记的像素被识别的基础上估计的任意不确定性的分割，并重新标记为真值。
2021-02-16 cs.AI cs.CV
Deep Deterministic Uncertainty for Semantic Segmentation
University of Oxford（牛津大学）
我们扩展了深度确定性不确定性（DDU），一种使用特征空间密度的不确定性估计方法，用于语义分割。DDU使量化和解开认识和任意的不确定性在一个单一的向前通过模型。我们研究了同一类在不同位置的像素的特征表示的相似性，并得出结论，它是可行的，独立地应用DDU位置，这导致显着减少内存消耗相比，像素依赖DDU。在Pascal VOC 2012上使用DeepLab-v3+架构，我们证明了DDU在MC Dropout和Deep Ensembles上的改进，同时计算速度明显更快。
2021-10-29 cs.CV cs.LG
Conformal Semantic Image Segmentation: Post-hoc Quantification of Predictive Uncertainty
IRT Saint Exupéry；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；SNCF（法国国家铁路公司）
本文提出基于保形预测的事后轻量方法，为语义图像分割生成具有覆盖保证的预测集，并结合热力图可视化与有效性指标量化不确定性。
2024-04-16 cs.CV cs.LG
RevPHiSeg: A Memory-Efficient Neural Network for Uncertainty Quantification in Medical Image Segmentation
Computer Vision Laboratory, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）
由于解剖结构及其病理的固有模糊性，量化分割不确定性已成为医学图像分析中的一个重要问题。最近，基于神经网络的不确定性量化方法已成功地应用于各种问题。现有技术的主要限制之一是训练期间的高存储器要求;这限制了它们的应用以处理较小的视场（FOV）和/或使用较浅的架构。在本文中，我们研究了使用可逆块来构建内存高效的神经网络架构以量化分割不确定性的效果。可逆架构通过在反向传播期间从后续层的输出精确计算激活而不是存储每个层的激活来实现内存节省。我们将可逆块到最近提出的架构称为PHiSeg，是开发用于医学图像分割中的不确定性量化。可逆架构RevPHiSeg允许训练神经网络，用于在内存有限的GPU上量化分割不确定性并处理较大的FOV。我们在LIDC-IDRI数据集和内部前列腺数据集上进行实验，并与PHiSeg进行比较。结果表明，与PHiSeg相比，RevPHiSeg消耗的内存少约30%，同时实现非常相似的分割精度。
2020-08-18 cs.CV eess.IV
CRISP - Reliable Uncertainty Estimation for Medical Image Segmentation
University of Sherbrooke（舍布鲁克大学）；University of Lyon（里昂大学）；CREATIS（CREATIS实验室）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；INSA-Lyon（里昂国立应用科学学院）；University of Lyon 1（里昂第一大学）；Ultromics Ltd.（Ultromics有限公司）
准确的不确定性估计是医学成像界的迫切需要。已经提出了各种方法，所有的分类不确定性估计技术的直接扩展。独立的逐像素不确定性估计通常基于神经网络的概率解释，不考虑解剖学先验知识，因此为许多分割任务提供次优结果。为此，我们提出了一种基于不确定性预测的图像分割方法--CRISP.在其核心，CRISP实现了一种对比方法来学习联合潜在空间，该空间对有效分割及其相应图像的分布进行编码。我们使用这个联合潜在空间将预测与数千个潜在向量进行比较，并提供解剖学上一致的不确定性地图。在涉及不同模式和器官的四个医学图像数据库上进行的综合研究强调了我们的方法与最先进方法相比的优越性。
2022-06-15 cs.CV eess.IV
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University（广岛大学）；Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一种新的方法，该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量，以便将不确定性估计反馈给系统，从而在不确定性较高的区域更密集地重新采样训练数据。我们表明，在具体设置的语义分割任务（iPS细胞集落分割），该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Assessing Reliability and Challenges of Uncertainty Estimations for Medical Image Segmentation
Insel Data Science Center, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学伯尔尼大学医院Inselspital Insel数据科学中心）；ARTORG Center, University of Bern（伯尔尼大学ARTORG中心）
尽管最近整体准确性有所提高，但深度学习系统仍然表现出较低的鲁棒性。检测可能的故障对于这些系统的成功临床集成至关重要，其中每个数据点对应于单个患者。不确定性度量是改进故障检测的一个有前途的方向，因为它们提供了系统置信度的度量。尽管已经提出了许多用于深度学习的不确定性估计方法，但对它们在医学图像分割中的好处和当前挑战知之甚少。因此，我们报告的结果，评估常见的体素方面的不确定性措施的可靠性，和两个医学图像分割数据集的限制。结果表明，目前的不确定性方法执行类似，虽然他们是很好的校准在数据集级别，他们往往是在主题级的误校准。因此，不确定性估计的可靠性受到损害，突出了制定主题不确定性估计的重要性。此外，在基准方法中，我们发现辅助网络是常见不确定性方法的有效替代方案，因为它们可以应用于任何先前训练的分割模型。
2019-10-11 cs.CV eess.IV
Self-training with dual uncertainty for semi-supervised medical image segmentation
Hubei University of Technology（湖北工业大学）
针对半监督医学图像分割标注数据不足的问题，提出融合样本级与像素级双不确定性的自训练方法，在两个公开数据集上均优于现有5种半监督方法，具备有效性与鲁棒性。
2023-10-10 cs.CV cs.LG
Uncertainty evaluation of segmentation models for Earth observation
Google DeepMind（谷歌DeepMind）
本文针对遥感与地球观测场景，在PASTIS、ForTy数据集上基准测试多种逐像素不确定性估计方法的错误识别等实用性能，给出实用建议。
2025-10-22 cs.CV cs.LG
Confidence Contours: Uncertainty-Aware Annotation for Medical Semantic Segmentation
针对医学图像分割中单一边界标注无法体现标注者不确定性、模型生成的不确定性图难解释的问题，提出可直接捕获不确定性的置信度轮廓表示及配套标注系统，实验验证其表征能力强、标注负担低、易被医学专家理解。
2023-12-20 cs.CV cs.HC
Out-of-Distribution Segmentation via Wasserstein-Based Evidential Uncertainty
Heinrich-Heine-University Düsseldorf（海因里希-海涅大学多特蒙德）；KAUST（科威特高级科学研究中心）；Linköping University（林奈大学）
本文提出基于瓦尔斯特流损失的证据分割框架，结合相对熵正则化和Dice一致性项，提升分布外物体的分割性能。
2025-12-12 cs.CV cs.LG
Uncertainty Modeling in Ultrasound Image Segmentation for Precise Fetal Biometric Measurements
University of South Carolina（南卡罗来纳大学）
本文面向胎儿头围与股骨超声测量，提出在分割网络训练和测试中引入基于TTA的不确定性建模，以提升分割可解释性与测量可靠性。
2024-01-17 cs.CV eess.IV
Improving Aleatoric Uncertainty Quantification in Multi-Annotated Medical Image Segmentation with Normalizing Flows
Eindhoven University of Technology（埃因霍温理工大学）
量化医学图像分割应用中的不确定性是必不可少的，因为它通常与重要的决策有关。在量化图像分割架构中的不确定性方面已经做出了令人信服的尝试，例如，学习以输入图像为条件的密度分割模型。在这一领域的典型工作限制这些学习的密度是严格的高斯。在本文中，我们建议通过引入归一化流（NF）来使用更灵活的方法，这使得学习的密度更加复杂，并有助于对不确定性进行更准确的建模。我们通过采用ProbabilityU-Net并使用NF增强后验密度来证明这一假设，使其更具表达力。我们分别对多注释和单注释LIDC-IDRI和Kvasir-SEG分割数据集进行的定性和定量（GED和IoU）评估显示出明显的改进。这在任意不确定性的量化和高达14%的预测性能提高中最为明显。这一结果强烈表明，一个更灵活的密度模型，应认真考虑在架构，试图捕捉分割模糊通过密度建模。这种改进的建模的好处将增加人们对注释和分割的信心，并使该技术在实践中得到广泛采用。
2021-08-05 cs.CV cs.LG
That Label's Got Style: Handling Label Style Bias for Uncertain Image Segmentation
Technical University of Denmark（丹麦技术大学）
分割不确定性模型预测给定输入的合理分割的分布，它们从训练集中的注释器变化中学习。然而，在实践中，这些注释可以在它们的生成方式上系统地不同，例如通过使用不同的标记工具。这将导致数据集既包含数据可变性又包含不同的标签样式。在本文中，我们证明了在这些数据集上应用最先进的分割不确定性模型可能会导致由不同标签风格引起的模型偏差。我们提出了一个更新的建模客观条件的标签风格任意不确定性估计，并相应地修改两个国家的最先进的架构分割不确定性。我们通过大量的实验表明，该方法减少了标签风格偏差，同时提高了分割性能，增加了分割不确定性模型在野外的适用性。我们策划了两个数据集，带有不同标签样式的注释，我们将在发布时将其与我们的代码一起公开。
2023-03-28 cs.CV cs.LG
Confidence Calibration and Predictive Uncertainty Estimation for Deep Medical Image Segmentation
The University of British Columbia（不列颠哥伦比亚大学）；Harvard Medical School（哈佛医学院）
全卷积神经网络（FCN），特别是U-Net，在许多医学成像应用的语义分割方面取得了最先进的成果。此外，批量规范化和骰子丢失已成功用于稳定和加速训练。然而，这些网络校准不良，即它们倾向于在正确和错误的分类中产生过度自信的预测，使其不可靠且难以解释。在本文中，我们研究了预测不确定性估计的FCNs的医学图像分割。我们做了以下贡献：1）我们系统地比较了交叉熵损失和Dice损失在分割质量和不确定性估计方面的FCNs; 2）我们提出了模型集成，用于批量归一化和Dice损失训练的FCNs的置信度校准; 3）我们评估了校准的FCNs预测结构分割质量和检测分布外测试示例的能力。我们在大脑，心脏和前列腺的三个医学图像分割应用程序进行了广泛的实验，以评估我们的贡献。本研究的结果提供了相当深入的预测不确定性估计和分布外检测在医学图像分割，并提供了实用的配方置信度校准。此外，我们一贯表明，模型集成提高了置信度校准。
2020-06-29 cs.CV eess.IV
Anatomically-aware Uncertainty for Semi-supervised Image Segmentation
ETS Montreal（蒙特利尔高等工程技术学院）
提出一种利用分割掩码全局信息的解剖学感知不确定性估计方法，通过单次推理降低计算成本，并在心脏和腹部数据集上提升了半监督分割精度。
2023-10-24 cs.AI cs.CV cs.LG
Aleatoric Uncertainty Medical Image Segmentation Estimation via Flow Matching
Institute for Artificial Intelligence, University of Engineering
本文提出基于条件流匹配的生成模型，通过模拟-free方法精确建模数据分布，提升分割结果的准确性并可靠量化不确定性，实验表明其在分割精度和不确定性映射方面表现优异。
2026-04-07 cs.AI cs.CV
Interpretability of Uncertainty: Exploring Cortical Lesion Segmentation in Multiple Sclerosis
University of Lausanne（洛桑大学）；Lausanne University Hospital（洛桑大学医院）；University of Applied Sciences Western Switzerland (HES-SO)（瑞士西部应用科学大学（HES-SO））；CIBM Center for Biomedical Imaging（CIBM生物医学成像中心）；University Hospital and University Basel（巴塞尔大学医院与巴塞尔大学）；University of Genova（热那亚大学）；University of Geneva（日内瓦大学）
本文研究多发性硬化症皮层病变分割中实例级不确定性的可解释性，展示UQ可用于可靠性评估、模型行为洞察、偏差检测及方法验证。
2024-07-08 cs.CV eess.IV
Self-Loop Uncertainty: A Novel Pseudo-Label for Semi-Supervised Medical Image Segmentation
Tencent Jarvis Lab（腾讯嘉里实验室）
随着深度学习神经网络在自然图像处理中的成功，越来越多的研究提出了开发基于深度学习的医学图像分割框架。然而，由于医学图像的逐像素注释是费力且昂贵的，因此注释数据的量通常不足以很好地训练神经网络。本文提出了一种半监督的方法来训练具有有限标记数据和大量未标记图像的神经网络用于医学图像分割。一种新的伪标签（即自循环不确定性），通过循环优化的神经网络与自我监督的任务，被采用作为地面真理的未标记的图像，以增加训练集，提高分割精度。提出的自循环不确定性可以被视为通过集成多个模型产生的不确定性估计的近似，从而显着减少推理时间。在两个公开数据集上的实验结果证明了半监督方法的有效性。
2020-07-20 cs.CV eess.IV
Hierarchical Uncertainty Estimation for Medical Image Segmentation Networks
Imperial College London（帝国理工学院）
针对医学图像分割中的图像与标注不确定性，本文利用编码器的多分辨率层级和跳跃连接建模并采样多层级不确定性，使 U-net 在保持高性能分割的同时生成可用于分布外检测的不确定性图。
2023-08-16 cs.CV cs.LG eess.IV
