Probabilistic Deep Learning for Instance Segmentation
Charité University Hospital(夏里特大学医院);Max Delbrück Center for Molecular Medicine(马克斯·德尔布吕克分子医学中心);Berlin Institute of Health(柏林健康研究所)
概率卷积神经网络预测预测分布而不是点估计,导致了计算机视觉许多领域的最新进展,从图像重建到语义分割。除了最先进的基准结果外,这些网络还可以量化预测中的局部不确定性。这些被用在主动学习框架中,以针对专业注释者的标记工作或评估安全关键环境中的预测质量。然而,对于实例分割问题,这些方法迄今为止并不经常使用。我们试图缩小这一差距,提出了一个通用的方法来获得模型固有的不确定性估计内无提案实例分割模型。此外,我们分析了质量的不确定性估计与适应从语义分割的度量。我们在BBBC010 C上评估了我们的方法。elegans数据集,在那里它产生了有竞争力的性能,同时还预测了不确定性估计,这些估计携带了关于对象级不准确性的信息,如错误分割和错误合并。我们进行了模拟,以显示潜在的使用这种不确定性估计在指导校对。
2020-12-17 cs.CV cs.LG
Probabilistic Deep Discriminant Analysis for Wind Blade Segmentation
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(机器人与计算机工业研究所,CSIC-UPC);Wind Power LAB(风能实验室)
本文提出概率深度判别分析(PDDA)用于风力发电机叶片分割,通过优化Fisher准则和引入概率损失提升分割性能和一致性。
2026-01-20 cs.CV cs.LG
Image Segmentation via Probabilistic Graph Matching
Bar-Ilan University(巴伊兰大学)
本文提出一种无监督半自动图像分割方法,将分割视为基于低级线索的一元和成对分配概率的推理问题,通过概率图匹配求解,实验显示优于现有半监督和无监督方案。
2023-05-13 cs.CV
Point Cloud Instance Segmentation using Probabilistic Embeddings
KAUST(阿卜杜拉国王科技大学)
在本文中,我们提出了一个新的框架点云实例分割。我们的框架有两个步骤:嵌入步骤和聚类步骤。在嵌入步骤中,我们的主要贡献是提出了一个概率嵌入空间的点云嵌入。具体地,每个点表示为三变量正态分布。在聚类过程中,我们提出了一种新的损失函数,该损失函数既有利于语义分割,又有利于聚类。我们的实验结果显示了对SOTA的重要改进,即,PartNet数据集上的每类别平均mAP增加了3.1%。
2021-03-30 cs.CV
Generalized Probabilistic U-Net for medical image segementation
Image Sciences Institute, University Medical Center Utrecht(乌得勒支大学医学中心图像科学研究所);Eindhoven University of Technology(埃因霍温理工大学)
我们提出了广义概率U-网络,它扩展了概率U-网络,允许更一般形式的高斯分布作为潜在的空间分布,可以更好地近似参考分割的不确定性。我们研究了潜在空间分布的选择对使用LIDC-IDRI数据集捕获参考分割中的不确定性的影响。我们发现,分布的选择会影响样本的多样性的预测和它们的重叠相对于参考分割。对于LIDC-IDRI数据集,我们证明了使用高斯混合会导致广义能量距离(GED)度量相对于标准概率U-Net的统计学显着改善。我们已经在https://github.com/ishaanb92/GeneralizedProbabilisticUNet上提供了我们的实现
2022-07-26 cs.CV cs.LG
Probabilistic U-Net with Kendall Shape Spaces for Geometry-Aware Segmentations of Images
Texas A&M University(德克萨斯农工大学);National Institute of Standards and Technology(美国国家标准与技术研究院)
本文提出一种结合Kendall形状空间的概率U-Net分割模型,通过在潜变量层编码形状几何信息,生成更稳健且空间连贯的图像分割结果。
2024-10-17 cs.CV eess.IV
Multi-Region Probabilistic Dice Similarity Coefficient using the Aitchison Distance and Bipartite Graph Matching
Simon Fraser University(西蒙弗雷泽大学)
图像分割方法的有效性是至关重要的。概率图像分割越来越受欢迎,因为它捕捉结果中的不确定性。支持多区域(与二进制相反)描绘的图像分割方法更有利,因为它们捕获图像中不同对象之间的相互作用。Dice相似系数(DSC)是一种流行的度量标准,用于通过将自动或半自动分割方法的结果与地面实况进行比较来评估其准确性。在这项工作中,我们开发了一个扩展的DSC多区域概率分割(无序标签)。我们使用二分图匹配建立标签对应,并提出了两个功能,扩展DSC,一个基于绝对概率差和一个基于艾奇逊距离。这些提供了多区域概率分割精度的鲁棒且准确的测量。
2015-10-13 cs.CV
Probabilistic Attention for Interactive Segmentation
Apple(苹果公司)
我们提供了一个概率解释的注意力,并表明,标准的点积注意力在Transformers器是一个特殊的情况下,最大后验概率(MAP)推理。所提出的方法建议使用期望最大化算法在线适应的关键和价值模型参数。这种方法适用于外部代理的情况,例如,注释器提供关于某些标记的正确值(例如,某些像素的语义类别)的推理时间信息,并且我们需要以原则性的方式将该新信息传播到其它标记。我们说明了一个交互式的语义分割任务,其中注释器和模型在线协作,以提高注释效率的方法。使用标准的基准测试,我们观察到,关键的适应提高模型性能($\sim10\%$ mIoU)在低反馈制度和价值传播提高模型的响应能力在高反馈制度。我们的概率注意力模型的PyTorch层实现将在这里公开:https://github.com/apple/ml-probabilistic-attention。
2021-07-02 cs.AI cs.CV cs.LG
Invisible-to-Visible: Privacy-Aware Human Segmentation using Airborne Ultrasound via Collaborative Learning Probabilistic U-Net
Panasonic Holdings Corporation(松下控股株式会社);Chubu University(中部大学)
彩色图像易于视觉理解,并且可以获取大量信息,例如颜色和纹理。它们在分割等任务中得到高度和广泛的应用。另一方面,在室内人员分割中,需要收集考虑隐私的人员数据。我们提出了一个新的任务,从无形的信息,特别是空中超声人体分割。我们首先将超声波转换为反射的超声方向图像(超声图像),以从不可见的信息中进行分割。虽然超声波图像可以大致识别一个人的位置,但详细的形状是模糊的。为了解决这个问题,我们提出了一个协同学习概率U-Net,它在训练过程中同时使用超声和分割图像,通过比较潜在空间的参数来关闭超声和分割图像之间的概率分布。在推理中,只有超声图像可以用于获得分割结果。作为性能验证的结果,所提出的方法可以更准确地估计人体分割比传统的概率U-Net和其他变分自编码器模型。
2022-05-11 cs.CV eess.IV
Colon Nuclei Instance Segmentation using a Probabilistic Two-Stage Detector
University of Porto(波尔图大学);Institute for Systems and Computer Engineering Technology and Science (INESC TEC)(系统与计算机工程技术与科学研究所(INESC TEC));Czech Technical University(捷克理工大学)
癌症是发达国家的主要死因之一。癌症诊断是通过对可疑组织样本进行显微镜分析来进行的。这个过程既耗时又容易出错,但深度学习模型可以在癌症诊断过程中为病理学家提供帮助。我们建议更改CenterNet 2对象检测模型,以执行实例分割,我们称之为SegCenterNet 2。我们在CoNIC挑战数据集中训练SegCenterNet 2,并表明它在竞争指标中的表现优于Mask R-CNN。
2022-03-01 cs.CV cs.LG eess.IV
A Probabilistic Segment Anything Model for Ambiguity-Aware Medical Image Segmentation
Department of Computer Science University of Kentucky(计算机科学系 哥伦比亚大学)
针对医学图像分割中标注模糊性问题,提出概率SAM模型,通过潜在变量和变分训练生成多样分割,在LIDC-IDRI数据集上优于基线。
2025-09-06 cs.CV
Radiomic Feature Stability Analysis based on Probabilistic Segmentations
RWTH Aachen University(亚琛工业大学);University Hospital Düsseldorf(杜塞尔多夫大学医院);University Hospital Aachen(亚琛大学医院);Karolinska Institutet(卡罗林斯卡学院)
在放射组学中,识别相对于分割变异性和域偏移是鲁棒的图像特征是一个严峻的挑战。到目前为止,这个问题主要是在重测分析中解决的。在这项工作中,我们分析放射组学特征的稳定性的基础上概率分割。基于一个公开的肺癌数据集,我们使用ProbabilityU-Net生成任意数量的合理分割。从这些分割,我们提取了大量的合理的特征向量,每个肺肿瘤和分析特征方差相对于分割。我们的研究结果表明,有组的放射性特征,更多的(如统计特征)和更少的(如灰度尺寸区域矩阵特征)对分割变异性鲁棒。最后,我们证明了分割方差影响预后肺癌生存模型的性能,并提出了一个新的和潜在的更强大的放射组学特征选择工作流程。
2020-01-21 cs.CV eess.IV
Probabilistic Domain Adaptation for Biomedical Image Segmentation
Georg-August-University Göttingen(哥廷根大学);Institute of Computer Science(计算机科学学院);Campus Institute Data Science (CIDAS)(校园数据科学研究所);CAIMed - Lower Saxony Center for AI & Causal Methods in Medicine(下萨克森人工智能与因果医学中心);Cluster of Excellence Multiscale Bioimaging (MBExC)(多尺度生物成像卓越中心)
针对生物医学图像分割中泛化不足的问题,提出基于自训练和概率UNet的概率域自适应方法,通过采样多个分割假设改进伪标签过滤,并在三个任务上验证有效性。
2025-08-03 cs.CV
Is segmentation uncertainty useful?
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
概率图像分割编码不同的预测置信度和分割问题中固有的模糊性。虽然不同的概率分割模型的目的是捕捉不同方面的分割不确定性和模糊性,这些建模的差异很少讨论的不确定性的应用程序的上下文中。我们考虑分割不确定性的两个常见用例,即分割质量评估和主动学习。我们认为四个既定的策略概率分割,讨论他们的建模能力,并调查他们在这两个任务的表现。我们发现,对于所有的模型和两个任务,返回的不确定性与分割误差呈正相关,但并没有证明是有用的主动学习。
2021-03-30 cs.CV
Probabilistic Modeling of Inter- and Intra-observer Variability in Medical Image Segmentation
University of Granada(格拉纳达大学)
针对医学图像分割中存在的观察者间及观察者内变异性问题,提出概率模型Pionono,融合标注者行为分布与图像特征生成概率分割预测,性能优于现有主流模型,可为诊断提供参考。
2023-07-21 cs.AI cs.CV cs.LG
Pancreas segmentation with probabilistic map guided bi-directional recurrent UNet
Shanghai Jiao Tong University(上海交通大学);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Rutgers University(罗格斯大学)
医学图像中的胰腺分割对于临床胰腺诊断和治疗具有重要意义。然而,胰腺形状和体积的巨大群体差异会导致巨大的分割困难,即使对于利用全卷积神经网络(FCN)的最新算法也是如此。具体地,胰腺分割遭受2D方法中的空间信息的损失和3D方法的高计算成本。为了缓解这些问题,我们提出了一个概率图引导的双向递归UNet(PBR-UNet)架构,它将切片内信息和切片间概率图融合到一个局部3D混合正则化方案中,然后进行双向递归网络优化。PBR-UNet方法由一个用于有效提取像素级概率图的初始估计模块和一个用于通过2.5D U-Net架构传播混合信息的主要分割模块组成。具体地,通过将输入图像与相邻切片的概率图组合成多通道混合数据,然后分层地聚合整个分割网络的混合信息来推断局部3D信息。此外,一个双向的递归优化机制,开发的混合信息在向前和向后两个方向上更新。这使得所提出的网络能够充分和最佳地利用本地上下文信息。在NIH胰腺CT数据集上进行了定量和定性评估,与其他最先进的方法相比,我们提出的PBR-UNet方法以更少的计算成本获得了更好的分割结果。
2022-08-11 cs.CV
Probabilistic Search for Object Segmentation and Recognition
搜索基于模型的场景解释的问题进行了分析概率框架内。对象模型被制定为生成模型的范围数据的场景。一个新的统计准则,截断对象概率,被引入到推断的对象假设的最佳序列进行评估,其匹配的数据。截断概率部分由对象的先验知识确定,部分从数据中学习。对序列质量和立体数据的目标分割与识别进行了实验研究。本文从概率的角度恢复了对象识别的经典概念(分组,几何哈希,对齐),并深入了解了对象假设的最佳排序。此外,它引入了点关系密度,截断概率的一个关键组成部分,作为局部表面形状的统计模型。
2002-08-05 cs.CV
PRCL: Probabilistic Representation Contrastive Learning for Semi-Supervised Semantic Segmentation
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Intelligent Game and Decision Laboratory(智能游戏与决策实验室);Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
针对半监督语义分割中自指导噪声干扰无监督训练的问题,提出 PRCL 框架,利用概率表示、全局分布原型和虚拟负样本增强对比学习鲁棒性,并在两个基准上验证优越性。
2024-02-28 cs.CV cs.LG
PCA-Enhanced Probabilistic U-Net for Effective Ambiguous Medical Image Segmentation
本文提出PCA增强的概率U-Net,通过降维和逆PCA操作提升医学图像分割的准确性和变异性,解决传统方法在高维潜在空间冗余和表达能力限制的问题。
2026-03-13 cs.CV
Probabilistic Interactive 3D Segmentation with Hierarchical Neural Processes
University of Amsterdam(阿姆斯特丹大学);Singapore Management University(新加坡管理大学)
针对交互式三维分割中稀疏点击泛化与不确定性量化难题,提出基于神经过程的概率框架NPISeg3D,通过层次潜在变量和概率原型调制器,在四个点云数据集上以更少点击实现更优分割并可靠估计不确定性。
2025-05-26 cs.CV
Variational Probabilistic Fusion Network for RGB-T Semantic Segmentation
University of Electronic Science and Technology of China(电子科技大学);Sun Yat-sen University(中山大学)
针对RGB-T语义分割中的模态噪声、类别不平衡与模态偏差问题,提出VPFNet,通过变分特征融合采样并结合光照、类别先验实现鲁棒分割,在MFNet和PST900上达到SOTA性能。
2023-07-17 cs.CV
PSIGAN: Joint probabilistic segmentation and image distribution matching for unpaired cross-modality adaptation based MRI segmentation
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心)
我们开发了一种新的联合概率分割和图像分布匹配生成对抗网络(PSIGAN),用于无监督域自适应(UDA)和磁共振(MRI)图像的多器官分割。我们的UDA方法使用一种新的结构模型将图像之间的相互依赖性及其分割作为联合概率分布进行建模。该结构化神经网络通过将生成的伪MRI与由同时训练的分割子网络产生的概率分割相结合来计算关注对抗性损失的结构。分割子网络使用由生成器子网络产生的伪MRI来训练。这导致生成器和分段子网络的循环优化,这些子网络作为端到端网络的一部分被联合训练。对四种不同的MRI序列进行了广泛的实验和比较,共257次扫描,用于生成多器官和肿瘤分割。实验包括:(a)20个T1加权(T1 w)同相mdixon和(b)20个T2加权(T2 w)腹部MRI,用于分割肝脏、脾脏、左肾和右肾;(c)162个T2加权脂肪抑制头颈部MRI(T2 wFS),用于腮腺分割;以及(d)75个T2 w MRI,用于肺肿瘤分割。我们的方法在T1 w和T2 w上实现了腹部器官的总体平均DSC为0.87和0.90,腮腺的T2 wFS为0.82,肺部肿瘤的T2 w MRI为0.77。
2021-07-18 cs.CV eess.IV
Probabilistic Intra-Retinal Layer Segmentation in 3-D OCT Images Using Global Shape Regularization
University of Heidelberg(海德堡大学);Heidelberg Engineering GmbH(海德堡工程有限公司)
随着谱域光学相干断层扫描(OCT)技术的引入,获取速度显著提高,快速、准确地分割三维OCT扫描图像变得越来越重要。本文提出了一种新的概率方法,模型的外观视网膜层以及全球形状变化的层边界。给定OCT扫描,使用变分方法近似推断分割的完整后验分布,从而在计算上易于处理的模型组件方面实现有效的概率推断:分割完整的3D体积需要大约一分钟。精确的分割证明了使用全局形状正则化的好处:我们分割了35个以中心凹为中心的3-D体积,平均无符号误差为2.46 $\pm$ 0.22 μm,以及80个正常和66个昏迷的2-D圆形扫描,误差分别为2.92 $\pm$ 0.53 μm和4.09 $\pm$ 0.98 μm。此外,我们利用推断的后验分布来评价分割的质量,指出潜在的错误区域,并区分正常和病理扫描。不需要预处理或后处理,我们对所有数据集使用相同的参数集,强调了我们方法的鲁棒性和开箱即用性。
2014-03-31 cs.CV
Seg2Track++: Probabilistic Track Validation and Data Association for Multi-Object Tracking and Segmentation
University of Coimbra, Institute of Systems and Robotics, Department of Electrical and Computer Engineering(科英布拉大学,系统与机器人研究所,电气与计算机工程系)
提出Seg2Track++框架,结合SAM2实例分割与概率轨迹验证,实现零样本多目标跟踪与分割,提升身份保持并抑制假阳性传播。
2026-06-02 cs.CV
Tree-Cut for Probabilistic Image Segmentation
Université Paris-Est(巴黎东大学);École des Ponts ParisTech(巴黎高科桥路学院);University of Edinburgh(爱丁堡大学);Oregon State University(俄勒冈州立大学)
本文提出了一种新的概率生成式图像分割模型,即把图像分割成均匀区域的任务。我们的模型是基于一个中级的图像表示,称为区域树,其中区域递归地分割成子区域,直到达到超像素。给定区域树,图像分割被形式化为从模型在树中的采样切割。切割的推断是精确的,并且使用动态规划来制定。我们的树切割模型可以被调整为在许多可能的多尺度图像分割中以特定的感兴趣尺度进行样本分割。这概括了每个图像应该只有一个正确分割的常见概念。此外,它允许超越标准的单尺度评估,其中图像的分割结果针对相应的一组粗略和精细的人类注释进行平均,以进行尺度特定的评估。我们的定量结果与领先的gPb-owt-ucm方法的结果相当,具有显著的优点,即我们还产生了所有可能的树一致的图像分割的分布。
2015-06-11 cs.CV stat.ML
Probabilistic Modeling of Multi-rater Medical Image Segmentation for Diversity and Personalization
Zhejiang University(浙江大学);University of Cambridge(剑桥大学);Carnegie Mellon University(卡内基梅隆大学)
ProSeg通过概率建模实现医学图像分割的多样化和个性化,结合专家偏好和边界模糊性,提升分割结果的多样性和个性化水平。
2025-11-30 cs.AI cs.CV
MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model
Baidu Research(百度研究院);Mind Vogue Lab(Mind Vogue实验室);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
扩散概率模型是近年来计算机视觉研究的热点之一。它的图像生成应用程序,如Imagen,潜空间扩散模型和稳定扩散显示了令人印象深刻的生成能力,引起了社会的广泛讨论。最近的许多研究还发现它在许多其他视觉任务中也很有用,如图像去模糊,超分辨率和异常检测。受MedSegDiff成功的启发,我们提出了第一个面向一般医学图像分割任务的基于MedSegDiff的模型。为了提高医学图像分割算法的逐步区域注意力,提出了动态条件编码,为每一步采样建立状态自适应条件。我们进一步提出了特征频率分析器(FF-Parser),以消除高频噪声分量在这个过程中的负面影响。我们验证MedSegDiff三个医疗分割任务与不同的图像模式,这是视杯分割眼底图像,脑肿瘤分割MRI图像和甲状腺结节分割超声图像。实验结果表明,MedSegDiff优于国家的最先进的(SOTA)方法具有相当大的性能差距,表明所提出的模型的通用性和有效性。我们的代码发布在https://github.com/WuJunde/MedSegDiff。
2023-01-15 cs.CV
EventSSEG: Event-driven Self-Supervised Segmentation with Probabilistic Attention
Defence Research and Development Organization, Bangalore and Indian Institute of Science, Bangalore(国防研究与发展组织、班加罗尔和印度科学学院,班加罗尔);Department of Electronics Systems Engineering, Indian Institute of Science, Bangalore(电子系统工程系,印度科学学院,班加罗尔)
针对自动驾驶道路分割中基于帧相机的低延迟低计算挑战,提出EventSSEG方法,通过仅事件计算、概率注意力机制和基于事件的自监督学习,在DSEC-Semantic和DDD17数据集上以少量标注事件实现最先进性能。
2025-08-20 cs.CV
MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation
Concordia University(康考迪亚大学)
MedCLIPSeg通过概率视觉语言适应方法,提升医学图像分割的数据效率和泛化能力,提供可解释的不确定性图。
2026-02-23 cs.CL cs.CV
Probabilistic Robustness Analysis in High Dimensional Space: Application to Semantic Segmentation Network
Department of Computer Science, Vanderbilt University(计算机科学系,范德比尔特大学);Automatic Control Laboratory, ETH Zürich(自动控制实验室,苏黎世联邦理工学院)
针对现有语义分割网络概率验证方法扩展性差、结果过于保守的问题,本文提出融合clipping block增强保形推理的架构无关高维概率验证框架,经多数据集实验验证可在提供可靠安全保证的同时显著降低保守性,代码已开源。
2025-11-15 cs.AI cs.CV
Joint inference on structural and diffusion MRI for sequence-adaptive Bayesian segmentation of thalamic nuclei with probabilistic atlases
University College London(伦敦大学学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);MIT(麻省理工学院);Technical University of Denmark(丹麦技术大学)
结构和弥散MRI(sMRI/dMRI)的分割通常在神经成像管道中独立执行。然而,一些大脑结构(例如,苍白球、丘脑及其核团)可以通过融合这两种模态来更准确地提取。在贝叶斯分割与概率图谱和无监督外观建模的框架下,我们提出了一种新的算法来联合分割多模态sMRI/dMRI数据。我们提出了一个分层的似然项定义的dMRI上的单位球,它结合了Beta和Dimroth-Scheidegger-Watson分布模型的数据在每个体素。该项与sMRI数据的高斯混合集成,使得所得到的联合无监督似然能够分析使用任何类型的MRI对比度、b值或方向数量采集的多模态扫描,这使得能够实现广泛的适用性。我们还提出了一个推理算法来估计输入图像的最大后验模型参数,并计算最可能的分割。使用最近发表的来自组织学的图谱,我们将我们的方法应用于两个数据集上的丘脑核分割:HCP(最先进的)和ADNI(传统)-产生比单独使用sMRI的贝叶斯分割更低的样本量。
2019-03-11 cs.CV
Probabilistic Category-Level Pose Estimation via Segmentation and Predicted-Shape Priors
Duke University(杜克大学);Brown University(布朗大学)
我们介绍了一种新的方法,类别级的姿态估计,产生的分布预测的姿态,通过整合3D形状估计从生成对象模型与分割信息。给定对象的输入深度图像,我们的可变时间方法使用混合密度网络架构来产生3DOF姿态上的多模态分布;然后将该分布与先验概率相结合,以鼓励观察到的输入和预测的对象姿态之间的轮廓一致性。我们的方法在类别级3DOF姿态估计方面显着优于当前最先进的技术--输出点估计,并且没有显式地包含形状和分割信息--在Pix 3D和ShapeNet数据集上进行测量。
2019-05-28 cs.CV cs.RO
Enhancing Weakly Supervised 3D Medical Image Segmentation through Probabilistic-aware Learning
Carnegie Mellon University(卡内基梅隆大学);Towson University(托森大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);University of Maryland(马里兰大学)
提出概率感知弱监督学习流程,整合伪标签生成、多头自注意力网络和概率损失函数,在CT和MRI数据上超越现有弱监督方法,最高提升Dice分数18.1%。
2025-06-20 cs.CV eess.IV
Modeling the Probabilistic Distribution of Unlabeled Data forOne-shot Medical Image Segmentation
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学)
现有的图像分割网络主要利用大规模标记数据集来获得高精度。然而,标记医学图像是非常昂贵的,因为它需要复杂的专业知识。因此,在追求高分割性能时,更希望仅使用少量标记数据。在本文中,我们开发了一种数据增强方法,用于单次脑磁共振成像(MRI)图像分割,它只利用一个标记的MRI图像(命名为图集)和一些未标记的图像。特别是,我们建议通过3D变分自编码器(VAE)来学习不同未标记MRI图像相对于图谱的变形(包括形状和强度)的概率分布。通过这种方式,我们的方法能够利用学习到的图像变形分布来生成新的真实的大脑MRI图像,并且生成的样本的数量将足以训练深度分割网络。此外,我们引入了一个新的标准分割基准,通过交叉数据集设置(从不同来源收集)来评估分割网络的泛化性能。大量的实验表明,我们的方法优于国家的最先进的一次性医疗分割方法。我们的代码已在https://github.com/dyh127/Modeling-the-Probabilistic-Distribution-of-Unlabeled-Data上发布。
2021-02-03 cs.CV eess.IV
From Deterministic to Probabilistic: A Novel Perspective on Domain Generalization for Medical Image Segmentation
针对医学图像分割中域偏移难消除限制模型泛化的问题,提出结合概率建模、对比学习与频域结构增强的域泛化框架,显著提升分割性能,提供鲁棒解决方案。
2024-12-07 cs.CV
Comparative Study of Probabilistic Atlas and Deep Learning Approaches for Automatic Brain Tissue Segmentation from MRI Using N4 Bias Field Correction and Anisotropic Diffusion Pre-processing Techniques
University of Girona(赫罗纳大学);University of Burgundy(勃艮第大学);University of Cassino and Southern Lazio(卡西诺和南拉齐奥大学)
本研究比较了概率图谱与深度学习模型在MRI脑组织分割中的性能,发现结合N4偏置场校正和各向异性扩散预处理的3D nnU-Net取得最佳Dice系数(0.937),2D nnU-Net在距离和体积差异上最优。
2024-11-08 cs.CV cs.LG eess.IV
Probabilistic Semantic Segmentation Refinement by Monte Carlo Region Growing
Marquette University(马凯特大学)
具有细粒度像素级精度的语义分割是各种计算机视觉应用的基本组成部分。然而,尽管卷积神经网络的架构的最新进展提供了很大的改进,但是由现代最先进的方法提供的分割仍然显示出有限的边界粘附。我们引入了一个完全无监督的后处理算法,该算法利用蒙特卡罗采样和像素相似性将高置信度像素标签传播到低置信度分类区域。我们的算法,我们称之为概率区域生长细化(pRGR),是基于一个严格的数学基础,其中集群被建模为多元正态分布的像素集。利用贝叶斯估计和方差减少技术的概念,pRGR在不同的感受野大小进行多次细化迭代,同时更新聚类统计以适应局部图像特征。使用多个现代语义分割网络和基准数据集的实验证明了我们的方法在不同粗糙度水平下细化分割预测的有效性,以及在蒙特卡洛迭代中获得的方差估计作为与分割精度高度相关的不确定性度量的适用性。
2020-05-12 cs.CV eess.IV
SAM-V: Geometry-Aware Segment Anything for Multi-View Instance Segmentation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
SAM-V将几何模型VGGT特征集成到SAM中,通过提示融合机制实现端到端的多视图实例分割,无需离线掩码匹配或三维重建,在IGGT基准上显著提升IoU和召回率。
2026-09-23 cs.CV cs.LG
It's Moving! A Probabilistic Model for Causal Motion Segmentation in Moving Camera Videos
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
人类检测和分割移动物体的能力在存在多个物体、复杂背景几何形状、观察者运动甚至伪装的情况下都有效。除此之外,检测运动的能力几乎是瞬时的。虽然最近在运动分割方面取得了很大进展,但似乎我们离人类的能力还很远。在这项工作中,我们从第一原理推导出一个新的似然函数,用于评估给定物体的3D运动方向的光流矢量的概率。这种可能性使用光流的角度和幅度的新颖组合来最大化关于对象的真实运动的信息。使用这种新的可能性和几个创新的初始化,我们开发了一个运动分割算法,击败了当前最先进的方法,由一个大的利润。我们比较了五个国家的最先进的方法在两个既定的基准,和第三个新的数据集的动物,我们介绍了推动运动分割到一个新的水平。
2016-04-01 cs.CV
Discriminative Parameter Estimation for Random Walks Segmentation: Technical Report
École Centrale Paris(巴黎中央理工学院);Université Paris-Est(巴黎东部大学);École des Ponts ParisTech(巴黎路桥学院);INRIA Saclay(法国国家信息与自动化研究所萨克莱分院);Institute of Myology(肌病学研究所);CEA(法国原子能和替代能源委员会);UPMC University Paris 06(巴黎第六大学)
随机游走(RW)算法是一种最有效、最容易使用的概率分割方法。通过将对比度项与先验项相结合,它以完全自动化的方式提供医学图像的准确分割。然而,使用RW算法的主要缺点之一是其参数必须手动调整。我们提出了一种新的判别学习框架,使用训练数据集估计参数。我们面临的主要挑战是训练样本没有得到充分的监督。特别地,它们提供了图像的硬分割,而不是概率分割。我们克服了这一挑战,治疗的最佳概率分割,是兼容给定的硬分割作为一个潜在的变量。这使我们能够采用潜在的支持向量机制定参数估计。我们表明,我们的方法显着优于基线方法在一个具有挑战性的数据集,包括真正的临床3D MRI体积的骨骼肌。
2013-06-05 cs.CV cs.LG
CP-UNet: Contour-based Probabilistic Model for Medical Ultrasound Images Segmentation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Tianjin Key Laboratory of Cognitive Computing and Application(天津认知计算与应用重点实验室);Tianjin Key Laboratory of Advanced Networking(天津先进网络重点实验室);School of Future Technology, Tianjin University(天津大学未来技术学院)
针对超声图像轮廓模糊问题,本文提出CP-UNet,通过轮廓概率建模和高斯混合模型捕捉病灶边界不确定性,在乳腺和甲状腺病灶分割上优于现有方法。
2024-11-21 cs.CV eess.IV
White Matter Hyperintensities Segmentation Using Probabilistic TransUNet
Faculty of Computer Science, University of Indonesia(印度尼西亚大学计算机科学学院);RIKEN Center for Brain Science(理化学研究所脑科学中心)
本研究提出概率TransUNet方法,结合概率模型与Transformer架构,解决白质高信号分割中的高模糊性与小目标检测难题,通过k折交叉验证和跨数据集实验验证了其优越性能。
2023-05-06 cs.CV eess.IV
CrossDiff: Diffusion Probabilistic Model With Cross-conditional Encoder-Decoder for Crack Segmentation
Zhengzhou University(郑州大学);King’s College London(伦敦国王学院)
针对工业混凝土表面裂缝分割难题,提出首个基于扩散概率模型的CrossDiff,通过交叉条件编码器-解码器增强细节保留与语义提取,在五个数据集上Dice和IoU均提升8.0%。
2025-01-22 cs.CV
Towards Efficient and Accurate CT Segmentation via Edge-Preserving Probabilistic Downsampling
Kyungpook National University(庆北国立大学);Kyungpook National University Hospital(庆北国立大学医院);College of Medicine, Kyungpook National University(庆北国立大学医学院)
针对CT分割中下采样造成小目标与边缘信息丢失的问题,提出EPD利用局部类别不确定性生成软标签,在低分辨率下显著提升IoU。
2024-04-05 cs.CV cs.LG eess.IV
Bayesian Deep Learning for Affordance Segmentation in images
Instituto de Ingenieria de Aragon (I3A)(阿拉贡工程研究所);Universidad de Zaragoza(萨拉戈萨大学)
示能表示是机器人技术中的一个基本概念,因为它们根据智能体的感觉运动能力和环境将智能体的可用动作联系起来。我们提出了一种新的贝叶斯深度网络来检测图像中的启示,同时我们量化了空间水平上的随机和认知方差的分布。我们采用Mask-RCNN架构来学习使用Monte Carlo dropout的概率表示。我们的结果优于确定性网络的最先进的。我们将这种改进归因于编码器上更好的概率特征空间表示和在掩模生成时引起的贝叶斯可变性,其更好地适应对象轮廓。我们还介绍了新的基于概率的掩模质量的措施,揭示了语义和空间上的概率实例分割模型的差异。我们通过比较二进制掩码而不是预测的边界框来修改现有的概率检测质量度量,从而实现概率分割的更细粒度评估。我们发现任意方差的轮廓的对象,由于相机噪声,而认知方差出现在视觉挑战像素。
2023-03-02 cs.AI cs.CV cs.LG
Probabilistic Atlases to Enforce Topological Constraints
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
概率地图集(PA)长期以来一直用于标准分割方法中,并且最近与卷积神经网络(CNN)结合使用。然而,它们的使用已经被限制到相对标准化的结构,例如具有有限或可预测的变形范围的大脑或心脏。在这里,我们提出了一种编码-解码CNN架构,该架构可以利用粗略的图谱,该图谱仅对可以以任何姿势出现并且具有任意复杂形状的目标结构的拓扑结构进行编码,以改善分割结果。它依赖于编码器的输出来计算用于使图谱变形的姿态参数和分割掩码本身,这使得它有效且端到端可训练。
2019-09-18 cs.CV
Interpretable Probabilistic Medical Image Segmentation via Gaussian Process with Explicit Modelling of Annotation Bias and Variability
University College London(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学);University of Oxford(牛津大学);University College London Hospitals NHS Trust(伦敦大学学院医院NHS信托基金会);Imperial College Healthcare(帝国理工学院医疗保健)
提出基于随机变分高斯过程的logit空间概率分割框架,显式分解为图像相关参考分布和标注者特定扰动,提高不确定性校准并保持分割精度。
2026-06-23 cs.AI cs.CV
A Probabilistic U-Net for Segmentation of Ambiguous Images
DeepMind;Division of Medical Image Computing, German Cancer Research Center, Heidelberg, Germany(德国癌症研究中心医学影像计算部,海德堡,德国)
许多现实世界的视觉问题都存在固有的模糊性。例如,在临床应用中,仅从CT扫描可能无法清楚哪个特定区域是癌组织。因此,一组分级者通常产生一组多样但合理的分割。我们考虑的任务是在给定输入的情况下学习分割的分布。为此,我们提出了一个生成分割模型的基础上的组合的U-网与条件变分自编码器,能够有效地产生无限数量的似是而非的假设。我们在肺部异常分割任务和Cityscapes分割任务上显示,我们的模型再现了可能的分割变体以及它们发生的频率,这样做明显优于已发表的方法。这些模型可以在现实世界的应用中具有很高的影响,例如被用作临床决策算法,考虑多个合理的语义分割假设,以提供可能的诊断并推荐进一步的行动来解决目前的模糊性。
2019-01-29 cs.CV cs.LG cs.NE
Discriminative Parameter Estimation for Random Walks Segmentation
École Centrale Paris(巴黎中央理工学院);Université Paris-Est(巴黎东大学);École des Ponts ParisTech(巴黎高科桥路学院);INRIA Saclay(法国国家信息与自动化研究所萨克雷中心);Institute of Myology(肌病学研究所);CEA(法国原子能和替代能源委员会);UPMC University Paris 06(巴黎第六大学(UPMC))
随机游走(RW)算法是一种最有效、最容易使用的概率分割方法。通过将对比度项与先验项相结合,它以完全自动化的方式提供医学图像的准确分割。然而,使用RW算法的主要缺点之一是其参数必须手动调整。我们提出了一种新的判别学习框架,使用训练数据集估计参数。我们面临的主要挑战是训练样本没有得到充分的监督。具体而言,它们提供了图像的硬分割,而不是概率分割。我们克服了这一挑战,治疗的最佳概率分割,是兼容给定的硬分割作为一个潜在的变量。这使我们能够采用潜在的支持向量机制定参数估计。我们表明,我们的方法显着优于基线方法在一个具有挑战性的数据集,包括真正的临床3D MRI体积的骨骼肌。
2013-08-30 cs.CV cs.LG
PCF-Lift: Panoptic Lifting by Probabilistic Contrastive Fusion
The Chinese University of Hong Kong(香港中文大学);Monash University(莫纳什大学)
本文提出PCF-Lift流水线,通过概率对比融合(PCF)学习概率特征以应对不准确的2D分割和不一致实例ID,在多个基准上显著优于现有方法并展现强鲁棒性。
2024-10-14 cs.CV
HPR-SAM: Hierarchical Probabilistic Representation Learning for Prompt-free SAM-based Medical Image Segmentation
Yale University(耶鲁大学);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
研究针对无提示SAM医学图像分割中现有方法局限,提出HPR框架,通过DAR、MAR、LRR学习互补解剖学表示,经HPF整合预测并兼容原始SAM解码器,实验验证该框架在多数据集上有效,达最优性能。
2026-07-09 cs.CV
Probabilistic Watershed: Sampling all spanning forests for seeded segmentation and semi-supervised learning
Heidelberg University(海德堡大学)
图上的种子分水岭算法/极大极小半监督学习计算将每个像素/未标记节点连接到种子/标记节点的最小生成森林。相反,我们建议考虑所有可能的生成森林,并计算每个节点的抽样森林连接某个种子与该节点的概率。我们称这种方法为“可能的分水岭”。Leo Grady(2006)已经指出了它与随机沃克/谐波能量最小化的等价性。在这里,我们给出了一个简单的证明,这种等价性,并建立计算的可行性与基尔霍夫的矩阵树定理的概率分水岭。此外,我们显示了一个新的随机沃克概率和三角形不等式的有效电阻之间的联系。最后,我们得出一个新的和直观的解释权力分水岭。
2019-11-06 cs.CV cs.DS
Continuous Dice Coefficient: a Method for Evaluating Probabilistic Segmentations
University of Minnesota, Twin Cities(明尼苏达大学双城分校);Duke University(杜克大学)
目的:重叠度量常被用来量化两个二值区域之间的相似性。然而,现代分割算法输出的概率或置信度图具有在0到1区间内的连续值。此外,这些二进制重叠的措施是偏向于结构的大小。应对这些挑战是这项工作的目标。研究方法:我们扩展了经典的骰子系数(DC)重叠的定义,以方便直接比较地面真实的二进制图像与概率图。我们称这种方法为连续Dice系数(cDC),并证明了:1)cDC小于或等于1且cDC = 1,当且仅当结构重叠是完全的; 2)cDC随重叠量单调递减。我们比较了经典的DC和cDC的模拟部分容积效应,其中包括分割的共同目标深部脑刺激。最后,我们研究了自动分割丘脑底核的cDC。结果如下:对丘脑(大结构)的部分容积效应模拟得出DC和cDC平均值(SD)分别为0.98(0.006)和0.99(0.001)。对于底丘脑核(小结构),DC和cDC分别为0.86(0.025)和0.97(0.006)。自动分割的DC和cDC分别为0.66和0.80。结论:cDC对于概率分割是良好定义的,与DC相比,对结构尺寸的偏差较小,对部分容积效应的稳健性更高。意义:所提出的方法有利于更好地评估分割算法。作为一种更好的测量工具,它为开发更好的分割方法打开了大门。
2019-06-26 cs.CV eess.IV
Probabilistic Model of Visual Segmentation
Albert Einstein College of Medicine(阿尔伯特·爱因斯坦医学院);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);CNRS(法国国家科学研究中心)
视觉分割是分割视觉空间并允许在复杂环境中检测、识别和区分对象的关键感知功能。人类分割自然图像的过程仍然知之甚少。在某种程度上,这是因为我们缺乏与视觉神经科学的实验和理论知识相一致的分割模型。生物感觉系统已经被证明近似概率推理来解释它们的输入。这需要一个生成模型,既能捕捉感官输入的统计数据,又能捕捉对这些输入原因的预期。根据这一假设,我们提出了一个概率生成模型的视觉分割,结合知识1)在视觉皮层的神经元的敏感性,在自然图像的统计噪声;和2)人类的偏好,形成连续的分区的视觉空间。我们开发了一个有效的算法的训练和推理的基础上期望最大化,并验证它的合成数据。重要的是,与适当的选择之前,我们推导出一个直观的封闭形式的更新规则分配像素的片段:在每次迭代中,像素分配概率的片段是证据(即局部像素统计)和先验(即相邻像素的分配)加权的相对不确定性的总和。该模型在Berkeley Segmentation Dataset(BSD)的自然图像上具有竞争力,我们说明了相对于传统混合模型,似然和先验分量如何改善分割。此外,我们的模型解释了人类受试者之间的一些变异性,反映了关于片段数量的局部不确定性。因此,我们的模型提供了一个可行的方法来探测人类视觉分割。
2019-05-01 cs.CV q-bio.NC