Application of belief functions to medical image segmentation: A review
Université de technologie de Compiègne(贡比涅技术大学);University of Rouen Normandy(诺曼底鲁昂大学);Institut universitaire de France(法国大学研究院)
不确定性的调查是非常重要的风险关键的应用,如医学图像分割。信度函数理论作为一种不确定性分析和多证据融合的形式化框架,在医学图像分割领域做出了重大贡献,特别是自深度学习发展以来。在本文中,我们提供了一个介绍的主题,医学图像分割方法的信念函数理论。根据融合步骤对融合方法进行了分类,并阐述了如何利用信度函数理论对不确定或不精确信息进行建模和融合。此外,我们还讨论了目前基于信念函数的医学图像分割的挑战和局限性,并提出了未来的研究方向。未来的研究可以同时研究置信函数理论和深度学习,以获得更有希望和可靠的分割结果。
2022-12-05 cs.CV
SEG-SAM: Semantic-Guided SAM for Unified Medical Image Segmentation
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Pazhou Lab(琶洲实验室);College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
该研究提出语义引导的SAM模型SEG-SAM,通过语义感知解码器、文本到视觉语义模块及跨掩码空间对齐策略,提升医学图像统一分割性能,实验显示其优于现有相关方法。
2026-08-27 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York(约克大学)
我们提出了一种新的技术,将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示,与U-Net及其残差变体相比,具有很强的竞争力。
2019-02-08 cs.CV
Few-shot Medical Image Segmentation with Cycle-resemblance Attention
Illinois Institute of Technology(伊利诺伊理工学院);University of Michigan(密歇根大学)
近年来,随着医学影像应用需求的增加和医学图像标注的专业化要求,少样本学习在医学图像语义分割领域得到了越来越多的关注。为了对有限数量的标记医学图像进行分割,大多数现有的研究使用原型网络(PN)并取得了令人信服的成功。然而,这些方法忽略了从所提出的表示网络中提取的查询图像特征,未能保持查询图像和支持图像之间的空间连接。在本文中,我们提出了一种新的自我监督的Few-Shot医学图像分割网络,并引入了一种新的循环相似注意力(CRA)模块,充分利用查询和支持医学图像之间的像素级关系。值得注意的是,我们首先将多个注意力块排列起来,以提炼更丰富的关系信息。然后,我们提出CRAPNet的CRA模块与一个经典的原型网络,查询和支持功能之间的像素明智的关系被很好地捕捉分割集成。在两个不同的医学图像数据集上进行了广泛的实验,例如,腹部MRI和腹部CT,证明了我们的模型优于现有的最先进的方法。
2022-12-07 cs.CV
Modeling Annotator Preference and Stochastic Annotation Error for Medical Image Segmentation
Northwestern Polytechnical University(西北工业大学);The University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所)
医学图像的人工标注具有很强的主观性,导致不可避免的巨大标注偏差。深度学习模型可能在各种任务上超越人类的表现,但它们也可能模仿或放大这些偏见。虽然我们可以有多个注释者并融合他们的注释以减少随机错误,但我们不能使用这种策略来处理注释者偏好引起的偏差。在本文中,我们强调了医学图像分割任务的注释者相关的偏见的问题,并提出了一个涉及偏好的注释分布学习(PADL)框架来解决这个问题,从使用分布学习从随机错误中分离注释者的偏好的角度,从而产生不仅是Meta分割,而且每个注释者可能进行的分割。在此框架下,随机误差模型(SEM)模块估计Meta分割图和平均随机误差图,和一系列的人类偏好模型(HPM)模块估计每个注释者的分割和相应的随机误差。我们评估了我们的PADL框架上的两个医学图像基准与不同的成像方式,这已被多个医学专业人士注释,并取得了良好的性能在所有五个医学图像分割任务。
2022-03-22 cs.CV
Generalizable Medical Image Segmentation via Random Amplitude Mixup and Domain-Specific Image Restoration
Nanjing University(南京大学);Southeast University(东南大学)
对于医学图像分析,由于不同数据采集策略之间的差异,在一个或多个域上训练的分割模型缺乏对未知域的泛化能力。我们认为,在分割性能的退化,主要是由于过拟合的源域和域移动。为此,我们提出了一种新的通用的医学图像分割方法。具体来说,我们设计我们的方法作为一个多任务的范例相结合的分割模型与自我监督域特定的图像复原(DSIR)模块模型正则化。我们还设计了一个随机幅度混合(RAM)模块,它合并不同域图像的低电平频率信息来合成新的图像。为了指导我们的模型抵抗域转移,我们引入了语义一致性损失。我们证明了我们的方法在两个公共的可推广的医学图像分割基准上的性能,这验证了我们的方法可以达到最先进的性能。
2022-08-08 cs.CV
Pyramid Medical Transformer for Medical Image Segmentation
Washington University in St. Louis(圣路易斯华盛顿大学)
深度神经网络已经成为医学图像处理领域的主流技术。然而,最流行的基于卷积神经网络(CNN)的医学图像分割方法是不完美的,因为它们通过堆叠层或放大滤波器来建模长程依赖性。最近提出的Transformers和自我注意力机制,以有效地学习长距离的依赖关系,通过建模所有对字到字的注意,而不管他们的位置。这个想法也被扩展到计算机视觉领域,通过创建和处理图像补丁作为嵌入。考虑到整个图像自关注的计算复杂度,当前基于transformer的模型解决了刚性分割方案,可能会丢失信息关系。此外,目前的医疗Transformers模型的全分辨率图像的全球背景,导致不必要的计算成本。为了解决这些问题,我们开发了一种新的方法来集成多尺度注意力和CNN特征提取使用金字塔网络架构,即金字塔医疗Transformer(PMTrans)。PMTrans通过处理多分辨率图像来捕获多范围关系。一个自适应的分区计划,以保持信息的关系,并有效地访问不同的感受野。在三个医学图像数据集(腺体分割,MoNuSeg和HECKTOR数据集)上的实验结果表明,PMTrans优于最新的基于CNN和基于transformer的医学图像分割模型。
2022-04-29 cs.CV
Medical Image Segmentation with Belief Function Theory and Deep Learning
University of Technology of Compiègne(贡比涅技术大学);Heudiasyc Laboratory(欧洲计算机科学与自动化研究院);University of Paris-Saclay(巴黎萨克雷大学);University of Artois(阿图瓦大学);ENSMM School(国立高等机械与微技术学院);University of Rouen(鲁昂大学)
本文针对深度学习在医学图像分割中处理不完美信息的局限,结合信度函数理论与深度学习,提出了半监督分割、深度证据模型及多模态融合框架,有效建模与融合不确定证据。
2023-09-12 cs.CV
Duo-SegNet: Adversarial Dual-Views for Semi-Supervised Medical Image Segmentation
Monash University(莫纳什大学)
图像分割是医疗AI中的一个长期挑战。这主要是由于训练神经网络来执行图像分割需要大量的像素级注释数据,而这些数据通常是不可用的。为了解决这个问题,我们提出了一个半监督的图像分割技术的基础上的多视图学习的概念。与之前的技术相比,我们引入了一种对抗形式的双视图训练,并采用批评家将多视图训练中的学习问题制定为最小-最大问题。在几个数据集上进行的全面的定量和定性评估表明,我们提出的方法一致且舒适地优于最先进的医学图像分割算法。该代码可在https://github.com/himashi92/Duo-SegNet上公开获取
2021-08-25 cs.CV
A Location-Sensitive Local Prototype Network for Few-Shot Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学);VoxelCloud, Inc.(体素云公司);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
尽管深度神经网络在医学图像分割方面取得了巨大的成功,但它们通常需要大量昂贵的专家级注释数据。Few-Shot分割方法通过学习从有限数量的标记示例中转移知识来解决这个问题。在设计高性能的Few-Shot分割算法时,适当地描述先验知识是至关重要的。由于强空间先验存在于许多医学成像模式,我们提出了一种基于原型的方法-即位置敏感的本地原型网络-利用空间先验来执行Few-Shot医学图像分割。我们的方法划分成容易解决的局部区域分割与局部原型的子问题与全球原型分割整个图像的困难问题。对于内脏CT图像数据集上的器官分割实验,我们的方法在平均Dice系数上优于最先进的方法10%。广泛的消融研究证明了结合空间信息的实质性好处,并证实了我们的方法的有效性。
2021-03-18 cs.CV
Interactive Deep Refinement Network for Medical Image Segmentation
Zhejiang Lab(浙江实验室);Ritsumeikan University(立命馆大学);Zhejiang University(浙江大学)
深度学习技术已成功应用于包括图像分割在内的众多计算机视觉任务中。该技术也已被应用于医学图像分割,在计算机辅助诊断中的最关键的任务之一。与自然图像相比,医学图像是一种对比度较低的灰度图像(甚至存在不可见部分)。由于某些器官与相邻器官具有相似的强度和纹理,因此通常需要细化自动分割结果。在本文中,我们提出了一个交互式深度细化框架,以改进传统的语义分割网络,如U-Net和全卷积网络。在该框架中,我们在传统分割网络的基础上增加了一个细化网络,对分割结果进行细化,在公开数据集上的实验结果表明,该方法能够获得比现有方法更高的准确率。
2020-06-27 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University(卡内基梅隆大学);Austin Peay State University(奥斯汀佩伊州立大学)
针对小样本医学图像分割训练数据稀缺易过拟合的问题,提出含两阶段无监督稠密预训练的DenseMP流水线,可提升PA-Net性能,在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
Distribution-aware Margin Calibration for Medical Image Segmentation
University of Technology Sydney(悉尼科技大学);School of Electrical and Data Engineering(电气与数据工程学院)
Jaccard指数,也称为Intersection-over-Union(IoU评分),是医学图像分割中最关键的评价指标之一。然而,直接优化多个目标类的平均IoU(mIoU)得分是一个开放的问题。虽然已经提出了一些算法来优化它的代理人,有没有保证提供的泛化能力。在本文中,我们提出了一种新的数据分布感知的边缘校准方法,用于在整个数据分布上更好地推广mIoU,并以刚性下限为基础。该方案在实践中确保了在IoU分数方面更好的分割性能。我们在两个医学图像分割数据集上评估了所提出的边缘校准方法的有效性,显示出使用深度分割模型的其他学习方案的IoU分数的实质性改善。
2020-11-03 cs.CV
MISm: A Medical Image Segmentation Metric for Evaluation of weak labeled Data
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
性能指标是评估和比较不同医学图像分割算法的重要工具。不幸的是,目前的措施在评估某些边缘情况时有其弱点。当评估具有非常小的感兴趣区域或根本没有感兴趣区域的图像时,这些限制就会出现。作为这些限制的解决方案,我们提出了一个新的医学图像分割度量:MISm。为了评估MISm,在医学图像分割和MISm的流行指标进行了比较,使用磁共振断层扫描图像从几个场景。为了允许在社区中的应用和实验结果的再现性,我们将MISm包括在公开可用的评估框架MISeval中:https://github.com/frankkramer-lab/miseval/tree/master/miseval
2022-10-24 cs.CV
A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney(悉尼大学);Med-X Research Institute, Shanghai Jiao Tong University(上海交通大学Med-X研究院)
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而,现有的基于监督式深度学习的医学图像分割方法仍然存在问题,因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展,但注释数据的量并没有相应地增加。因此,我们提出了一种新的空间引导自监督聚类网络(SGSCN)的医学图像分割,在那里我们引入了多个损失函数,旨在帮助分组图像像素的空间连接,并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失,更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集,并将其与现有的传统和自监督聚类方法进行比较。实验结果表明,该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
Deep learning and its application to medical image segmentation
Nagoya University(名古屋大学);Aichi Cancer Center Hospital(爱知县癌症中心医院)
医学成像中最常见的任务之一是语义分割。自动实现这种分割一直是一个活跃的研究领域,但由于不同患者的解剖结构差异很大,因此这项任务被证明非常具有挑战性。然而,深度学习的最新进展使得在计算机视觉领域显著提高图像识别和语义分割方法的性能成为可能。由于深度学习框架中分层特征学习的数据驱动方法,这些进步可以毫不费力地转化为医学图像。深度卷积神经网络的几种变体已经成功地应用于医学图像。特别是全卷积架构已被证明对于3D医学图像的分割是有效的。在这篇文章中,我们描述了如何构建一个可以处理3D图像的3D全卷积网络(FCN),以产生自动语义分割。该模型在临床计算机断层扫描(CT)数据集上进行训练和评估,并在多器官分割方面表现出最先进的性能。
2018-03-23 cs.CV
MedVeriSeg: Teaching LISA-Like Medical Segmentation Models to Verify Query Validity Without Extra Training
School of Aeronautics and Astronautics, Zhejiang University(浙江大学航空宇航学院);Southern Medical University(南方医科大学);School of Computer Science and Technology (School of Artificial Intelligence), Zhejiang Sci-Tech University(浙江科技学院计算机科学与技术学院(人工智能学院));College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
本文提出MedVeriSeg,一种无需训练的查询验证框架,使LISA-like医学分割模型能够拒绝虚假分割查询。通过相似性响应质量评分模块和轻量级路由多代理验证模块,提升验证鲁棒性,并构建MedVeriSeg-Bench基准,有效减少幻觉分割。
2026-06-11 cs.CV
Patch Network for medical image Segmentation
Beihang University(北京航空航天大学);Carnegie Mellon University(卡内基梅隆大学);Nankai University(南开大学)
医学图像的准确快速分割是临床上必不可少的,但目前的研究方法包括卷积神经网络推理速度快但难以学习图像上下文特征,Transformer性能好但硬件要求高。在本文中,我们提出了一个补丁网络(PNet),它将Swin Transformer概念融入卷积神经网络,使其能够收集更丰富的上下文信息,同时实现速度和准确性的平衡。我们在息肉(CVC-ClinicDB和ETIS- LaribPolypDB),皮肤(ISIC-2018皮肤病变分割挑战数据集)分割数据集上测试了我们的PNet。我们的PNet在速度和准确性方面都达到了SOTA性能。
2023-02-23 cs.CV
w-Net: Dual Supervised Medical Image Segmentation Model with Multi-Dimensional Attention and Cascade Multi-Scale Convolution
Hebei University of Technology(河北工业大学);University of Macau(澳门大学);University of Oxford(牛津大学);Hospital of Joint Logistics Support Force(联勤保障部队第九八三医院)
基于深度学习的医学图像分割技术旨在自动识别和标注医学图像上的对象。非局部注意和多尺度特征学习被广泛用于网络建模,推动了医学图像分割的发展。然而,这些注意力机制方法对医学图像中的小目标具有弱的非局部感受野强化连接。然后,在抽象或粗糙的特征图中的重要小对象的特征可能被抛弃,这导致不令人满意的性能。现有的多尺度分割方法只针对不同尺度的图像,其稀疏的多尺度特征集对于小目标的分割不够丰富。在这项工作中,提出了一个多维的注意力分割模型与级联多尺度卷积预测准确分割医学图像中的小目标。作为权重函数,多维注意模块为重要/信息丰富的小对象特征提供系数修改。此外,在每个跳过连接路径中的级联多尺度卷积模块被用来捕获不同语义深度的多尺度特征。在三个数据集上评估了所提出的方法:KiTS 19,Decathlon-10的胰腺CT和MICCAI 2018 LiTS Challenge,证明了比最先进的基线更好的分割性能。
2020-11-15 cs.CV
Few-Shot Adaptation of Training-Free Foundation Model for 3D Medical Image Segmentation
Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A.马蒂诺斯生物医学成像中心);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
针对SAM等视觉基础模型适配3D医学图像分割需大量微调与人工提示的问题,提出FATE-SAM方法,通过重组SAM2预训练模块、引入体一致性机制,实现免微调、无提示的少样本精准分割,更适配临床应用。
2025-01-15 cs.CV
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Rutgers, The State University of New Jersey(罗格斯新泽西州立大学)
在过去的十年中,深度卷积神经网络已被广泛用于医学图像分割,并表现出足够的性能。然而,由于卷积架构中存在固有的归纳偏差,它们缺乏对图像中的长程依赖性的理解。最近提出的基于transformer的架构,利用自我注意力机制编码长距离依赖关系,并学习表达能力强的表示。这促使我们探索基于Transformer的解决方案,并研究将基于Transformer的网络架构用于医学图像分割任务的可行性。针对视觉应用提出的大多数现有基于Transformer的网络架构都需要大规模数据集来进行适当的训练。然而,与用于视觉应用的数据集相比,对于医学成像,数据样本的数量相对较低,使得难以有效地训练用于医学应用的Transformers。为此,我们提出了一个门控轴向注意力模型,通过在自我注意力模块中引入额外的控制机制来扩展现有的架构。此外,训练模型有效地医学图像,我们提出了一个局部全局训练策略(LoGo),进一步提高了性能。具体来说,我们对整个图像和补丁进行操作,分别学习全局和局部特征。建议的医疗Transformer(MedT)的三个不同的医学图像分割数据集进行评估,它表明,它实现了更好的性能比卷积和其他相关的基于变换的架构。代码:https://github.com/jeya-maria-jose/Medical-Transformer
2021-07-06 cs.CV
Score-Based Generative Models for Medical Image Segmentation using Signed Distance Functions
本研究提出一种基于条件分数生成模型的医学图像分割框架,通过表征符号距离函数的分布生成带不确定性的分割掩码,在公开数据集上验证了其竞争力与应用潜力。
2023-07-21 cs.CV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
Transformers在医学图像分割方面取得了巨大成功。然而,Transformers可能会表现出有限的泛化能力,由于潜在的单尺度自我注意力(SA)机制。在本文中,我们通过引入多尺度层次视觉Transformer(MERIT)骨干网络来解决这个问题,该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器,即级联注意力解码(CASCADE),以进一步细化MERIT生成的多阶段特征。最后,我们介绍了一种有效的多阶段特征混合损失聚合(MUTATION)方法,通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准(即,Synapse Multi-organ,ACDC)证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
Contrastive Registration for Unsupervised Medical Image Segmentation
University of Cambridge(剑桥大学)
医学图像分割是一个相关的任务,因为它是许多诊断过程的第一步,因此在临床应用中是不可缺少的。虽然使用监督技术已经取得了重大成功,但它们假设了一个大型且具有代表性的标记集。这是医学领域的一个强有力的假设,在医学领域,注释是昂贵的,耗时的,并且是人类偏见所固有的。为了解决这个问题,文献中已经提出了无监督技术,但由于学习任何转换模式的困难,它仍然是一个开放的问题。在这项工作中,我们提出了一种新的优化模型框架到一个新的基于CNN的对比注册架构的无监督医学图像分割。我们的方法的核心是利用图像级配准和特征级的对比学习机制,执行基于配准的分割。首先,我们提出了一个架构,捕捉图像到图像的转换模式,通过注册的无监督医学图像分割。其次,我们在注册结构中嵌入了一个对比学习机制,以提高网络在特征层的识别能力。我们表明,我们提出的技术减轻了现有的无监督技术的主要缺点。我们通过数值和视觉实验证明,我们的技术在两个主要的医学图像数据集上的性能大大优于当前最先进的无监督分割方法。
2022-07-20 cs.CV
Towards Robust General Medical Image Segmentation
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Universidad de los Andes(洛斯安第斯大学)
深度学习系统的可靠性取决于它们的准确性,但也取决于它们对输入数据的对抗性扰动的鲁棒性。在自然图像域中存在对抗性噪声的情况下,已经提出了几种攻击和防御来提高深度神经网络的性能。然而,体积数据的计算机辅助诊断的鲁棒性仅针对特定任务和有限的攻击进行了探索。我们提出了一个新的框架来评估一般的医学图像分割系统的鲁棒性。我们的贡献是两方面的:(i)我们提出了一个新的基准来评估鲁棒性的医疗分割十项全能(MSD)的背景下,通过扩展最近的自动攻击自然图像分类框架的体积数据分割的域,和(ii)我们提出了一种新的格结构的鲁棒性通用医疗图像分割(ROG)。我们的研究结果表明,ROG是能够推广到不同的MSD任务,并在很大程度上超过了先进的复杂的对抗攻击。
2021-07-09 cs.CV
Model Agnostic Preference Optimization for Medical Image Segmentation
DGIST, School of Undergrad Studies(DGIST研究生院);DGIST, Department of Robotics and Mechatronics Engineering(DGIST机器人与机电工程系);DGIST, Division of Intelligent Robot(DGIST智能机器人系)
MAPO通过Dropout驱动的随机分割假设实现无模型偏好优化,提升医学图像分割的边界遵循性和稳定性。
2025-12-17 cs.CV
L-SNet: from Region Localization to Scale Invariant Medical Image Segmentation
Tongji University(同济大学)
从粗到精模型和级联分割结构被广泛采用来解决医学图像分割中的大尺度变化问题。然而,这些方法有两个主要的局限性:第一阶段分割成为性能瓶颈;缺乏整体可区分性使得两个阶段的训练过程异步和不一致。在本文中,我们提出了一个可区分的两阶段网络架构来解决这些问题。在第一阶段,定位网络(L-Net)以检测方式定位感兴趣区域(RoIs);在第二阶段,分割网络(S-Net)对重新校准的RoIs进行精细分割; L-Net和S-Net之间的RoI重新校准模块消除了不一致性。在公共数据集上的实验结果表明,我们的方法优于最先进的粗到细模型,计算开销可以忽略不计。
2021-02-11 cs.CV
Incorporating prior knowledge in medical image segmentation: a survey
Simon Fraser University(西蒙弗雷泽大学)
医学图像分割是将图像分割成有意义的部分的任务,是自动化医学图像分析的重要一步,并且是各种医学成像应用(诸如计算机辅助诊断、治疗计划和递送以及计算机辅助干预)的关键。然而,医学图像中存在的噪声、低对比度和目标的复杂性是实现理想分割系统的关键障碍。将先验知识引入图像分割算法中,已被证明对于获得更准确和合理的结果是有用的。本文调查了不同类型的先验知识,已被利用在不同的分割框架。我们的调查集中在基于优化的方法,将先验信息纳入其框架。我们回顾和比较这些方法的类型的事先采用,域的制定(连续与离散),和优化技术(全球与本地)。我们还创建了一个现有作品的交互式在线数据库,并根据他们使用的先验知识类型对其进行分类。我们的网站是互动的,以便研究人员可以帮助保持数据库的最新。我们通过讨论设计图像分割能量泛函的不同方面,开放的问题和未来的前景来结束调查。
2016-07-05 cs.CV
Customized Segment Anything Model for Medical Image Segmentation
University of Science and Technology of China(中国科学技术大学)
提出SAMed,基于SAM和LoRA微调实现医学图像语义分割,在Synapse数据集上达到81.88 DSC和20.64 HD,与最先进方法相当,且部署和存储成本低。
2023-10-17 cs.CV
Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation
NVIDIA(英伟达)
基于深度神经网络(DNN)的方法已经被广泛研究并部署在医学图像分析中。例如,全卷积神经网络(FCN)在2D/3D医学图像分割的若干应用中实现了最先进的性能。即使是基线神经网络模型(U-Net,V-Net等),事实证明,如果培训过程建立得当,这种方法是非常有效和高效的。然而,为了充分发挥神经网络的潜力,我们提出了一种自动搜索的方法与强化学习的最佳训练策略。所提出的方法可以用于调整超参数,并选择必要的数据增强与一定的概率。所提出的方法进行了验证的三维医学图像分割的几个任务。基线模型的性能在搜索后得到了提升,并且可以达到与其他手动调整的最先进分割方法相当的精度。
2020-06-10 cs.CV
FDiff-Fusion:Denoising diffusion fusion network based on fuzzy learning for 3D medical image segmentation
Nantong University(南通大学);School of Artificial Intelligence and Computer Science(人工智能与计算机学院)
针对医学图像分割中边界不确定、区域模糊导致结果不稳定的问题,提出融合去噪扩散模型与U-Net的FDiff-Fusion,并在BRATS 2020和BTCV上验证其Dice与HD95性能优势。
2024-07-22 cs.CV
Pick the Best Pre-trained Model: Towards Transferability Estimation for Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
针对医学图像分割中源模型可迁移性难以高效评估的问题,提出结合类别一致性与特征多样性的无源可迁移性估计框架,性能超越现有同类算法。
2023-07-22 cs.CV
Going to Extremes: Weakly Supervised Medical Image Segmentation
NVIDIA(英伟达)
医学图像标注是开发精确和鲁棒的机器学习模型的主要障碍。注释是昂贵的,耗时的,并且通常需要专业知识,特别是在医学领域。在这里,我们建议使用最小的用户交互的形式,极端点点击训练的分割模型,在效果上,可以用来加快医学图像注释。利用随机游走算法基于极值点生成初始分割。然后,该初始分割被用作噪声监督信号,以训练完全卷积网络,该完全卷积网络可以基于所提供的用户点击来分割感兴趣的器官。通过在几个医学成像数据集上的实验,我们证明了网络的预测可以通过几轮训练来改进,这些训练来自相同的弱注释数据。利用定制设计的丢失和注意力机制内的点击点示出了进一步的改进。我们的方法有可能加快生成新的训练数据集的过程,用于开发新的机器学习和基于深度学习的模型,用于但不限于医学图像分析。
2020-09-25 cs.CV
Enhancing Medical Image Segmentation via Heat Conduction Equation
Department of Epidemiology and Biostatistics, University of California, San Francisco, CA, USA(流行病学与生物统计学系,加州大学旧金山分校,加州,美国)
本文提出结合U-Mamba与热传导方程的混合架构,利用状态空间模块和热传导操作符提升医学图像分割的全局上下文建模与长距离依赖推理能力。
2026-05-15 cs.CV
I-MedSAM: Implicit Medical Image Segmentation with Segment Anything
Peking University(北京大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beihang University(北京航空航天大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对现有SAM适配医学图像分割的离散方法空间灵活性不足的问题,提出结合连续表示与SAM的I-MedSAM,通过新型适配器、INR解码器和不确定性采样策略,以1.6M参数实现更优的2D医学图像分割性能。
2024-07-11 cs.CV
Multi-dimension Transformer with Attention-based Filtering for Medical Image Segmentation
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Chongqing University of Posts and Telecommunications(重庆邮电大学);Alipurduar Government Engineering and Management College(阿里布尔杜阿尔政府工程与管理学院)
针对医学图像低信噪比及自注意力对通道、空间信息利用不足的问题,提出带注意力过滤的多维Transformer MDT-AF,通过过滤机制、多维注意力及交互机制优化分割,在三个基准上达SOTA。
2024-05-20 cs.CV
Retrieval-augmented Few-shot Medical Image Segmentation with Foundation Models
United Imaging Intelligence(联影智能)
针对少样本医学图像分割标注数据稀缺和跨模态泛化难的问题,提出基于 DINOv2 和 SAM 2 的检索增强方法,利用记忆注意力机制在无需重训练或微调下实现跨模态的卓越分割性能。
2025-04-01 cs.CV
Assessing Test-time Variability for Interactive 3D Medical Image Segmentation with Diverse Point Prompts
Vanderbilt University(范德堡大学)
针对交互式3D医学图像分割中提示选择的变异性问题,提出基于点位置分类的测试时最优提示选择策略,并在结肠肿瘤分割任务上验证其有效性。
2023-11-13 cs.CV
Interactive 3D Medical Image Segmentation with SAM 2
East China Normal University(华东师范大学);Tongji University(同济大学);Shanghai United Imaging Healthcare Advanced Technology Research Institute Co., Ltd.(上海联影医疗科技先进技术研究院有限公司)
本文提出将 3D 医学切片视为视频帧、利用 SAM 2 零样本传播单帧标注的交互式分割流程,实验表明其可在特定场景缩小与监督方法差距并降低标注成本。
2025-01-06 cs.CV
FlowSDF: Flow Matching for Medical Image Segmentation Using Distance Transforms
Institute of Computer Graphics and Vision(计算机图形与视觉研究所);Graz University of Technology(格拉茨工业大学);Photogrammetry and Remote Sensing(摄影测量与遥感研究所);ETH Zurich(苏黎世联邦理工学院)
FlowSDF提出一种基于条件流匹配和符号距离函数的医学图像分割框架,通过学习SDF分布的概率路径实现掩码采样和不确定性估计,在公开数据集上取得竞争性表现。
2025-02-05 cs.CV
Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院);Shanghai Academy of Artificial Intelligence for Science(上海科学人工智能研究院)
提出UR-SAM框架,通过提示增强和不确定性校正模块,在无需额外训练或微调下,将SAM自动提示医学图像分割的Dice系数提升最高10.7%和13.8%。
2024-03-18 cs.CV
Two layer Ensemble of Deep Learning Models for Medical Image Segmentation
Robert Gordon University(罗伯特戈登大学)
近年来,深度学习已迅速成为医学图像分割的首选方法。深度神经网络(DNN)架构(如UNet)在许多医疗数据集上取得了最先进的结果。为了进一步提高分割任务的性能,我们开发了一个集成系统,它结合了各种深度学习架构。我们提出了一种用于医学图像分割的两层集成深度学习模型。由第一层中的每个模型对每个训练图像像素进行的预测被用作集合的第二层的训练图像的增强数据。然后,通过使用基于权重的方案来组合第二层的预测,其中每个模型对组合结果的贡献不同。通过解决线性回归问题来找到权重。在CAMUS和Kvasir-SEG两个流行的医学数据集上进行的实验表明,该方法在两个性能指标(Dice Coefficient和Hausdorff distance)上取得了比一些著名的基准算法更好的结果。
2021-04-10 cs.CV
Beyond Pixel-Wise Supervision for Medical Image Segmentation: From Traditional Models to Foundation Models
Northwest University(西北大学);Lappeenranta University of Technology(拉彭兰塔理工大学);Hebei University of Technology(河北工业大学);Fudan University(复旦大学)
本文全面调研了基础模型时代前后利用弱标注进行医学图像分割的标注高效学习方法,并讨论了现有挑战,为基础模型推动该领域发展提供指导。
2024-04-20 cs.CV
TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Electronic Science and Technology of China(电子科技大学);Stanford University(斯坦福大学);East China Normal University(华东师范大学);PAII Inc.(PAII公司)
医学图像分割是开发医疗保健系统,特别是疾病诊断和治疗计划的必要前提。在各种医学图像分割任务中,U形架构,也被称为U-Net,已经成为事实标准,并取得了巨大的成功。然而,由于卷积运算固有的局部性,U-Net通常在显式建模长期依赖性方面表现出局限性。Transformers,设计用于序列到序列预测,已经出现作为替代架构与先天的全球自我注意力机制,但可能会导致有限的定位能力,由于不足的低层次的细节。在本文中,我们提出了transUNet,它的优点Transformers和U-Net,作为一个强大的替代医学图像分割。一方面,Transformer将来自卷积神经网络(CNN)特征图的标记化图像块编码为用于提取全局上下文的输入序列。另一方面,解码器对编码特征进行上采样,然后将其与高分辨率CNN特征图组合以实现精确定位。我们认为,Transformers可以作为医学图像分割任务的强编码器,与U-Net的组合,以提高更精细的细节,恢复本地化的空间信息。TransUNet在不同的医学应用中实现了优于各种竞争方法的性能,包括多器官分割和心脏分割。代码和模型可在https://github.com/Beckschen/TransUNet上获得。
2021-02-08 cs.CV
Trilateral Attention Network for Real-time Medical Image Segmentation
Lister Hill National Center for Biomedical Communications(李斯特·希尔国家生物医学交流中心);National Heart, Lung, and Blood Institute(国家心肺血液研究所)
医学图像的准确分割为解剖学上有意义的区域是提取定量指标或生物标志物的关键。用于分割的公共流水线包括感兴趣区域检测阶段和分割阶段,它们彼此独立并且通常使用单独的深度学习网络来执行。分割阶段的性能高度依赖于提取的空间特征集和感受野。在这项工作中,我们提出了一个端到端的网络,称为三边注意力网络(TaNet),用于医学图像的实时的【形】检测和分割。TaNet有一个区域定位模块和三个分割路径:1)手工设计的卷积核的手工路径,2)常规卷积核的细节路径,以及3)扩大感受野的全局路径。前两条路径编码由手工设计和常规内核提取的丰富的手工和低级特征,而全局路径编码高级上下文信息。通过使用不同的特征集联合训练网络进行定位和分割,TaNet在心脏分割的超声心动图数据集上进行评估时,在准确性和速度方面取得了优异的性能。代码和模型将在TaNet Github页面上公开。
2021-06-17 cs.CV
Advancing Medical Image Segmentation with Mini-Net: A Lightweight Solution Tailored for Efficient Segmentation of Medical Images
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
提出专为医学图像设计的轻量级网络Mini-Net,参数量不足38,000,能高效提取特征并支持实时应用,在多个医学数据集上表现出鲁棒性与优越性能。
2024-09-21 cs.CV eess.IV
Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks
Lingran Song, Yucheng Zhou, Jianbing Shen(作者)
本文提出医学诊断分割任务及M3DS数据集,并设计Sim4Seg框架,利用区域感知视觉-语言相似性掩码和测试时扩展策略,同时提升多模态多疾病医学图像的分割与诊断性能。
2025-11-10 cs.AI cs.CV
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique(法国原子能委员会)
由于可用标记数据的限制,医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而,目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差,这在几项研究中观察到。这项工作在MoNuSeg数据集上显示,已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
Cutting-edge 3D Medical Image Segmentation Methods in 2020: Are Happy Families All Alike?
Nanjing University of Science and Technology(南京理工大学)
分割是医学图像分析中最重要和最热门的任务之一,在疾病诊断、手术规划和预后评估中起着至关重要的作用。在过去的五年中,一方面,成千上万的医学图像分割方法已被提出,不同的医学图像中的各种器官和病变,这变得越来越具有挑战性,公平地比较不同的方法。另一方面,国际细分挑战可以提供一个透明的平台,公平地评估和比较不同的方法。在本文中,我们全面回顾了2020年十大3D医学图像分割挑战中的顶级方法,涵盖了各种任务和数据集。我们还确定了“幸福家庭”的做法,在尖端的分割方法,这是有用的开发功能强大的分割方法。最后,我们讨论了开放的研究问题,应该在未来解决。我们还在\url{https://github.com/JunMa11/SOTA-MedSeg}上维护了一个最先进的分割方法列表。
2021-01-01 cs.CV eess.IV
Segmentation Consistency Training: Out-of-Distribution Generalization for Medical Image Segmentation
University of Oslo(奥斯陆大学);SimulaMet
泛化被视为深度学习的主要挑战之一,特别是在医学成像领域,医院或成像常规的变化可能导致模型完全失败。为了解决这个问题,我们引入了一致性训练,这是一种训练过程,也是数据增强的替代方法,它基于最大化模型在增强和未增强数据中的预测一致性,以促进更好的分布外泛化。为此,我们开发了一种新的基于区域的分割损失函数,称为分割不一致性损失(SIL),它考虑了增强和未增强的预测和标签对之间的差异。我们证明,一致性训练优于传统的数据增强上的几个分布数据集的息肉分割,一个流行的医疗任务。
2022-05-30 cs.CV cs.LG
An Interactive Medical Image Segmentation Framework Using Iterative Refinement
在临床评估中,经常对医学图像进行图像分割以识别疾病。因此,它已成为主要的研究领域之一。传统的图像分割技术不能提供令人满意的分割结果的医学图像,因为它们包含的不规则性。在分割之前需要对它们进行预处理。为了得到最适合医学图像分割的方法,我们提出了一种两阶段算法。第一阶段使用数学形态学自动生成感兴趣区域的二进制标记图像。该标记用作第二阶段的掩模图像,第二阶段在输入图像上使用GrabCut,从而产生有效的分割结果。所获得的结果可以通过使用图形用户界面(GUI)进行的用户交互来进一步细化。实验结果表明,该方法是准确的,并提供了令人满意的分割结果与最小的用户交互的医学以及自然图像。
2016-06-05 cs.CV cs.HC
Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy
South China University of Technology(华南理工大学);University of Utah(犹他大学)
我们引入了切片间图像增强的思想,即在两个连续图像之间增加医学图像和相应的分割标签的数量,以提高医学图像分割的准确性。与医学成像中的常规数据增强方法不同,常规数据增强方法仅通过使用简单的参数化变换(诸如旋转、翻转、缩放等)添加新的虚拟样本来直接增加训练样本的数量,我们的目标是根据两幅连续图像之间的关系来增加数据,这不仅增加了训练样本的数量,而且增加了训练样本的信息。为此,我们提出了一种基于帧插值的数据增强方法来生成中间医学图像和相应的分割标签之间的两个连续的图像。我们分别使用增强的训练样本在SILVER 07和CHAOS 2019上对有监督的U-Net肝脏分割网络进行了训练和测试,获得的分割分数与传统增强方法相比表现出显着的改善。
2020-01-31 cs.CV eess.IV
Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本文综述了SAM在医学图像分割中的应用,总结了基准评测和方法适配工作,指出直接应用效果有限,并为医学图像分析基础模型的未来研究提供方向。
2023-08-11 cs.CV eess.IV
Zero-Shot Gaze-based Volumetric Medical Image Segmentation
Research Center of the Artificial Intelligence Institute(人工智能研究所研究中心)
针对三维医学图像交互式分割依赖手动提示的问题,本文提出将眼动注视作为零样本提示模态,并在 SAM-2 与 MedSAM-2 上用合成及真实数据验证其省时且可作为互补输入的价值。
2025-06-10 cs.AI cs.CV