Each year, numerous segmentation and classification algorithms are invented or reused to solve problems where machine vision is needed. Generally, the efficiency of these algorithms is compared against the results given by one or many human experts. However, in many situations, the location of the real boundaries of the objects as well as their classes are not known with certainty by the human experts. Furthermore, only one aspect of the segmentation and classification problem is generally evaluated. In this paper we present a new evaluation method for classification and segmentation of image, where we take into account both the classification and segmentation results as well as the level of certainty given by the experts. As a concrete example of our method, we evaluate an automatic seabed characterization algorithm based on sonar images.
Uncertainty Quantification in Medical Image Segmentation with Multi-decoder U-Net
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）；MindsGo Co.Ltd（MindsGo 有限公司）；Capital Medical University（首都医科大学）；Xuanwu Hospital Capital Medical University（首都医科大学宣武医院）
Uncertainty-Aware Segmentation Quality Prediction via Deep Learning Bayesian Modeling: Comprehensive Evaluation and Interpretation on Skin Cancer and Liver Segmentation
BCN Medtech（BCN医学科技）；Scientific and Technical Department, Sycai Technologies S.L.（Sycai技术部门）
Aleatoric uncertainty estimation with test-time augmentation for medical image segmentation with convolutional neural networks
University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；University of Electronic Science and Technology of China（电子科技大学）；University Hospitals Leuven（鲁汶大学医院）；Institute for Women’s Health（妇女健康研究所）
Interactive multiclass segmentation using superpixel classification
Université de Toulouse（图卢兹大学）；UPS（巴黎第十一大学（注：此处UPS为Université Paris-Sud的常见缩写，若为图卢兹相关分支需结合语境，此处取通用常见译法））；IRIT（图卢兹计算机科学研究所）；ENFA（法国国立民航大学（注：ENFA全称为École Nationale de l'Aviation Civile，常见译法为法国国立民航大学））
SegWithU: Uncertainty as Perturbation Energy for Single-Forward-Pass Risk-Aware Medical Image Segmentation
University of Toronto（多伦多大学）；McGill University（麦吉尔大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Project Neura；University of Toronto Machine Intelligence Student Team（多伦多大学人工智能学生团队）；Amplimit
Measuring uncertainty in human visual segmentation
École normale supérieure, PSL University（巴黎高等师范学院，PSL大学）；CNRS（法国国家科学研究中心）；Albert Einstein College of Medicine（阿尔伯特·爱因斯坦医学院）；Université Paris Cité（巴黎西岱大学）
Estimating Uncertainty in Neural Networks for Cardiac MRI Segmentation: A Benchmark Study
Sunnybrook Research Institute（桑尼布鲁克研究所）；University of Toronto（多伦多大学）；Huazhong University of Science and Technology（华中科技大学）；Queen Mary University of London（伦敦玛丽女王大学）；St Bartholomew’s Hospital（圣巴塞洛缪医院）；Barts Health NHS Trust（巴茨健康NHS信托基金会）；University of Oxford（牛津大学）
目的：卷积神经网络（CNN）在自动心脏磁共振图像分割中表现出了良好的前景。然而，当在大型真实世界数据集中使用CNN时，量化分割不确定性并识别可能存在问题的分割是很重要的。在这项工作中，我们对贝叶斯和非贝叶斯方法进行了系统的研究，用于估计分割神经网络中的不确定性。研究方法：我们通过Backprop，Monte Carlo Dropout，Deep Ensembles和Stochastic Segmentation Networks在分割精度，概率校准，分布外图像的不确定性和分割质量控制方面评估了贝叶斯。结果：我们观察到，除了具有严重噪声和模糊失真的图像外，深度集成优于其他方法。我们证明了贝叶斯反向传播对噪声失真更鲁棒，而随机分割网络对模糊失真更有抵抗力。对于分割质量控制，我们表明，分割不确定性与所有方法的分割精度相关。通过合并不确定性估计，我们能够通过标记31 - 48%的最不确定分割进行手动审查，将不良分割的百分比降低到5%，大大低于不使用神经网络不确定性的随机审查（审查所有图像的75 - 78%）。结论：这项工作提供了一个全面的评估不确定性估计方法，并表明，深度集成优于其他方法在大多数情况下。重要性：神经网络不确定性测量可以帮助识别潜在的不准确分割，并提醒用户进行手动审查。
Uncertainty-Aware Retinal Vessel Segmentation via Ensemble Distillation
University of Ibadan（伊巴迪安大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University College London（伦敦大学学院）；Hertie Institute for Brain Health（海德研究所）
UCAD: Uncertainty-guided Contour-aware Displacement for semi-supervised medical image segmentation
University of Science and Technology of China（科学技术大学）；Suzhou Institute for Advanced Research（苏州先进研究院）；State Key Laboratory of Precision and Intelligent Chemistry（精密与智能化学国家重点实验室）
On the Effect of Inter-observer Variability for a Reliable Estimation of Uncertainty of Medical Image Segmentation
Institute for Surgical Technologies and Biomechanics, University of Bern（伯尔尼大学外科技术与生物力学研究所）；SCAN, Institute for Diagnostic and Interventional Neuroradiology（诊断与介入神经放射学研究所SCAN）；University Clinic for Radio-oncology, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学因塞尔医院放射肿瘤学大学诊所）
Exploring Structure-Wise Uncertainty for 3D Medical Image Segmentation
Artificial Intelligence Research Institute (AIRI)（人工智能研究院（AIRI））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）；Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院）
Uncertainty-Aware Semi-Supervised Few Shot Segmentation
DGIST（大邱庆北科学技术院）
Few Shot分割（FSS）的目的是学习像素级分类的目标对象在查询图像中使用只有少量的注释支持样本。这是具有挑战性的，因为它需要建模目标对象的外观变化和查询和支持图像之间的不同视觉线索与有限的信息。为了解决这个问题，我们提出了一个半监督的FSS策略，利用额外的原型从未标记的图像与不确定性指导的伪标签细化。为了从未标记的图像中获得可靠的原型，我们对神经网络进行元训练，以联合预测分割并估计预测的不确定性。我们采用不确定性估计来排除具有高度不确定性的伪标签构造的预测，以基于改进的伪标签获得额外的原型。在推理过程中，查询分割预测使用原型从支持和未标记的图像，包括低级别的功能的查询图像。我们的方法是端到端的，可以很容易地补充现有的方法，而不需要额外的训练来使用未标记的样本。在PASCAL- $5^i$和COCO- $20^i$上的大量实验表明，我们的模型可以有效地去除不可靠的预测，以改进伪标签，并显着提高最先进的性能。
Principle-Guided Supervision for Interpretable Uncertainty in Medical Image Segmentation
School of Data Science, Fudan University（复旦大学数据科学学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发智能科学研究院）；National Heart and Lung Institute, Imperial College London（伦敦帝国理工学院国家心脏和肺研究所）
Methods for Segmentation and Classification of Digital Microscopy Tissue Images
Sejong University（世宗大学）；University of Warwick（华威大学）；The University of Sheffield（谢菲尔德大学）；Stony Brook University（石溪大学）；National Cancer Institute, National Institutes of Health（美国国立卫生研究院国家癌症研究所）
CRISP - Reliable Uncertainty Estimation for Medical Image Segmentation
University of Sherbrooke（舍布鲁克大学）；University of Lyon（里昂大学）；CREATIS（CREATIS实验室）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；INSA-Lyon（里昂国立应用科学学院）；University of Lyon 1（里昂第一大学）；Ultromics Ltd.（Ultromics有限公司）
Paced-Curriculum Distillation with Prediction and Label Uncertainty for Image Segmentation
Imperial College London（帝国理工学院）；National University of Singapore（新加坡国立大学）；National Institute of Technology Tiruchirappalli（蒂鲁吉拉伯利国家理工学院）；The Chinese University of Hong Kong（香港中文大学）；Shun Hing Institute of Advanced Engineering（信兴高等工程研究所）
Lightweight Uncertainty Quantification with Simplex Semantic Segmentation for Terrain Traversability
TNO（荷兰应用科学研究组织）；Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）；University of Amsterdam（阿姆斯特丹大学）
