Exemplar Learning for Medical Image Segmentation
Carleton University(卡尔顿大学);Amii(阿尔伯塔机器智能研究所)
医学图像标注通常需要专业知识,因此会产生耗时且昂贵的数据标注成本。为了减轻这一负担,我们提出了一种新的学习方案,范例学习(EL),探索自动学习过程中的医学图像分割与一个单一的注释图像的例子。这种创新的学习任务特别适用于医学图像分割,其中所有类别的器官都可以在一张图像中呈现并一次性注释。为了解决这一具有挑战性的EL任务,我们提出了一个基于范例学习的合成网络(ELSNet)框架,用于医学图像分割,实现了创新的基于范例的数据合成,基于像素原型的对比嵌入学习,以及基于伪标签的未标记数据的利用。具体来说,ELSNet引入了两个新的模块用于图像分割:一个样本指导的合成模块,它通过从给定的样本合成注释样本来丰富和多样化训练集,以及一个基于像素原型的对比嵌入模块,它通过对比表示学习来增强基本分割模型的区分能力。此外,我们部署了一个两阶段的分割模型训练过程,该过程利用具有预测伪分割标签的未标记数据。为了评估这个新的学习框架,我们对几个器官分割数据集进行了广泛的实验,并进行了深入的分析。实验结果表明,所提出的范例学习框架产生有效的分割结果。
2022-10-08 cs.CV cs.LG eess.IV
UNETR: Transformers for 3D Medical Image Segmentation
NVIDIA(英伟达);Vanderbilt University(范德堡大学)
自过去十年以来,具有收缩和扩展路径的全卷积神经网络(FCNN)在大多数医学图像分割应用中表现出突出地位。在FCNN中,编码器通过学习全局和局部特征以及可用于解码器的语义输出预测的上下文表示来发挥不可或缺的作用。尽管它们取得了成功,但FCNN中卷积层的局部性限制了学习远程空间依赖性的能力。受最近自然语言处理(NLP)在长距离序列学习中的成功的启发,我们将体积(3D)医学图像分割的任务重新定义为序列到序列的预测问题。我们介绍了一种新的架构,被称为UNEt的Transformers(UNETR),利用一个Transformer作为编码器,学习序列表示的输入量,并有效地捕捉全球多尺度信息,同时也遵循成功的“U形”网络设计的编码器和解码器。Transformer编码器通过不同分辨率的跳过连接直接连接到解码器,以计算最终的语义分割输出。我们已经验证了我们的方法在多器官分割的Multi Atlas Labeling Beyond The Cranial Vault(BTCV)数据集和脑肿瘤和脾脏分割任务的Medical Segmentation Decathlon(MSD)数据集上的性能。我们的基准测试在BTCV排行榜上展示了最先进的性能。代码:https://monai.io/research/unetr
2021-10-09 cs.CV cs.LG eess.IV
Towards a Guideline for Evaluation Metrics in Medical Image Segmentation
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
在过去的十年中,人工智能的研究随着深度学习模型的发展而迅速增长,特别是在医学图像分割领域。各种研究表明,这些模型具有强大的预测能力,并取得了与临床医生相似的结果。然而,最近的研究表明,在图像分割研究的评价缺乏可靠的模型性能评估,并显示统计偏差不正确的度量实现或使用。因此,这项工作提供了一个概述和解释指南,以下指标的医学图像分割评估在二进制以及多类问题:骰子相似系数,Jaccard,灵敏度,特异性,兰德指数,ROC曲线,科恩的Kappa,和豪斯多夫距离。作为总结,我们提出了一个标准化的医学图像分割评价准则,以提高评价质量,重现性和可比性的研究领域。
2022-02-10 cs.CV cs.LG eess.IV
Enhancing Medical Image Segmentation with Deep Learning and Diffusion Models
本文综述医学图像分割面临的低对比、边界模糊、数据稀缺等问题,分析深度学习局限与扩散模型通过迭代去噪增强细节捕捉的潜力。
2024-12-06 cs.CV cs.LG eess.IV
Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University(莱比锡大学);Leipzig University Medical Centre(莱比锡大学医学中心)
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此,存在各种其他潜在的输出激活函数,其可以导致医学图像分割中的改进结果。在这项工作中,我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵,我们表明,激活函数的变化速度更快与更好的预测相关,而变化速度较慢可以提高概率的校准。对于骰子损失,我们发现反正切激活函数优于sigmoid函数。此外,我们提供了一个测试空间,在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数,以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation
VoxelCloud, Inc.(体素云公司)
医学成像文献在基于卷积神经网络的高性能分割模型方面取得了显着进展。尽管有新的性能高点,但最近的高级分割模型仍然需要大型,代表性和高质量的注释数据集。然而,我们很少有完美的训练数据集,特别是在医学成像领域,数据和注释的获取都很昂贵。最近,大量的研究已经研究了具有不完美数据集的医学图像分割问题,解决了两个主要的数据集限制:稀缺注释,其中只有有限的注释数据可用于训练,以及弱注释,其中训练数据只有稀疏注释,噪声注释或图像级注释。在这篇文章中,我们提供了一个详细的审查上述解决方案,总结了技术创新和实证结果。我们进一步比较了调查方法的优势和要求,并提供了我们推荐的解决方案。我们希望这篇调查文章能提高社区对处理不完美医学图像分割数据集的技术的认识。
2020-02-12 cs.CV cs.LG eess.IV
Mixing Data Augmentation with Preserving Foreground Regions in Medical Image Segmentation
Kyushu University(九州大学)
针对医学图像分割中参数化数据增强计算成本高的问题,提出无额外参数的 KeepMask 与 KeepMix,通过保留并识别前景器官边界生成增强图像,在 CHAOS 和 MSD spleen 上显著提升 Unet 分割精度。
2023-04-26 cs.CV cs.LG eess.IV
Morphological Operation Residual Blocks: Enhancing 3D Morphological Feature Representation in Convolutional Neural Networks for Semantic Segmentation of Medical Images
The University of Hong Kong(香港大学)
器官和组织的形状和形态是医学图像识别和分割的重要先验知识。形态学操作是用于形态学特征提取的公知方法。由于形态学操作在手工图像分割技术中表现良好,因此设计一种在卷积网络中近似形态学操作的方法也是有希望的。然而,使用传统的卷积神经网络作为一个黑盒通常是很难指定的形态操作动作。在这里,我们引入了一个3D形态操作残差块,用于在端到端深度学习模型中提取形态特征,以进行语义分割。提出了一种新的网络块结构,将形态学运算作为一种无穷强先验嵌入到卷积神经网络中。在不同的医学图像分割任务中,构建了几个具有所提出的形态学操作块的3D深度学习模型并进行了比较。实验结果表明,与传统方法相比,该网络在分割任务中取得了相对较高的性能。总之,新的网络块可以很容易地嵌入到传统网络中,并有效地加强医学成像分割的深度学习模型。
2021-03-06 cs.CV cs.LG eess.IV
Large Batch and Patch Size Training for Medical Image Segmentation
Osaka University Graduate School of Medicine(大阪大学医学研究生院)
多器官分割能够进行器官评估,考虑多个器官之间的关系,并有助于准确的诊断和治疗决策。然而,由于缺乏数据集和计算资源,只有少数模型可以准确地执行分割。在AMOS 2022挑战中,这是一个大规模,临床和多样化的腹部多器官分割基准,我们使用多GPU分布式训练训练了一个具有大批量和补丁大小的3D-UNet模型。与基线设置相比,具有大批量和补丁大小的模型的分割性能往往会增加。通过使用使用不同设置训练的集成模型,进一步提高了准确性。这些结果为器官分割中的参数选择提供了参考。
2022-10-24 cs.CV cs.LG eess.IV
Cats: Complementary CNN and Transformer Encoders for Segmentation
Vanderbilt University(范德堡大学)
最近,深度学习方法在许多医学图像分割任务中取得了最先进的性能。其中许多是基于卷积神经网络(CNN)。对于这些方法,编码器是从输入图像中提取全局和局部信息的关键部分;然后将提取的特征传递到解码器以预测分割。相比之下,最近的几个作品显示出使用Transformers的优越性能,它可以更好地建模长距离的空间依赖性和捕获低级别的细节。然而,Transformer作为唯一的编码器在某些任务中表现不佳,其中它不能有效地取代基于卷积的编码器。在本文中,我们提出了一个模型与双编码器的三维生物医学图像分割。我们的模型是一个U形的CNN增强了一个独立的Transformer编码器。我们融合来自卷积编码器和Transformer的信息,并将其传递给解码器以获得结果。我们在来自三个不同挑战的三个公共数据集上评估了我们的方法:BTCV,MoDA和Decathlon。与每个任务上有和没有Transformers的最先进的模型相比,我们提出的方法获得了更高的Dice分数。
2022-08-24 cs.CV eess.IV
Less Is More: A Comparison of Active Learning Strategies for 3D Medical Image Segmentation
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院西奈山哈索·普拉特纳数字健康研究所)
由于标记医学图像数据是一个昂贵且劳动密集型的过程,因此近年来主动学习在医学图像分割领域得到了广泛的应用。在文献中已经提出了各种主动学习策略,但是它们的有效性高度依赖于数据集和训练场景。为了便于比较现有的策略,并提供一个基线,评估新的策略,我们评估了几个著名的主动学习策略的性能在三个数据集从医疗分割十项全能。此外,我们考虑了一个专门为3D图像数据量身定制的跨步采样策略。我们证明了随机和跨越抽样作为强基线,并讨论了所研究的方法的优点和缺点。为了让其他研究人员将他们的工作与我们的结果进行比较,我们提供了一个开源框架,用于在各种医学分割数据集上对主动学习策略进行基准测试。
2022-07-02 cs.AI cs.CV cs.LG
Advancing Medical Image Segmentation with Mini-Net: A Lightweight Solution Tailored for Efficient Segmentation of Medical Images
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
提出专为医学图像设计的轻量级网络Mini-Net,参数量不足38,000,能高效提取特征并支持实时应用,在多个医学数据集上表现出鲁棒性与优越性能。
2024-09-21 cs.CV eess.IV
Towards Robust General Medical Image Segmentation
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Universidad de los Andes(洛斯安第斯大学)
深度学习系统的可靠性取决于它们的准确性,但也取决于它们对输入数据的对抗性扰动的鲁棒性。在自然图像域中存在对抗性噪声的情况下,已经提出了几种攻击和防御来提高深度神经网络的性能。然而,体积数据的计算机辅助诊断的鲁棒性仅针对特定任务和有限的攻击进行了探索。我们提出了一个新的框架来评估一般的医学图像分割系统的鲁棒性。我们的贡献是两方面的:(i)我们提出了一个新的基准来评估鲁棒性的医疗分割十项全能(MSD)的背景下,通过扩展最近的自动攻击自然图像分类框架的体积数据分割的域,和(ii)我们提出了一种新的格结构的鲁棒性通用医疗图像分割(ROG)。我们的研究结果表明,ROG是能够推广到不同的MSD任务,并在很大程度上超过了先进的复杂的对抗攻击。
2021-07-09 cs.CV
Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps
Vector Institute(向量研究所);McMaster University(麦克马斯特大学)
我们开发和接近无监督语义医学图像分割,扩展了以前的工作与生成对抗网络。我们使用现有的边缘检测方法来构建简单的边缘图,训练生成模型将其转换为合成医学图像,并使用提取的边缘图上的变化构建具有已知分割的合成图像的数据集。然后使用该合成数据集来训练监督图像分割模型。我们在肾脏超声图像的临床数据集和基准ISIC 2018皮肤病变数据集上测试了我们的方法。我们证明了我们的无监督方法比以前的无监督方法更准确,并且与监督图像分割模型相比表现合理。所有代码和训练模型都可以在https://github.com/kiretd/Unsupervised-MIseg上找到。
2019-11-12 cs.AI cs.CV cs.LG
Uncertainty-Error correlations in Evidential Deep Learning models for biomedical segmentation
Gryphon Center for Artificial Intelligence and Theoretical Sciences, Singapore University of Pennsylvania, Perelman School of Medicine, Department of Radiation Oncology(格雷芬人工智能与理论科学中心,新加坡大学匹兹堡大学,佩尔曼医学学院,放射肿瘤学系);Georgia Institute of Technology(佐治亚理工学院);University of Pennsylvania, Perelman School of Medicine, Department of Radiation Oncology(宾夕法尼亚大学,佩尔曼医学学院,放射肿瘤学系)
本研究验证了证据深度学习在医学图像分割中能有效提升预测误差与不确定性的相关性,优于传统方法,并适用于主动学习。关键发现是EDL模型在保持分割性能的同时,更擅长检测大误差。
2024-10-24 cs.CV cs.LG eess.IV
SAM2-3dMed: Empowering SAM2 for 3D Medical Image Segmentation
Beijing Jiaotong University(北京交通大学)
针对SAM2直接用于3D医学图像分割时的双向解剖连续性和边界精度不足问题,提出SAM2-3dMed,通过切片相对位置预测和边界检测模块,在MSD数据集上显著超越现有方法。
2025-10-10 cs.CV eess.IV
Deep Learning in Medical Ultrasound Image Segmentation: a Review
University of Oxford(牛津大学)
将机器学习技术,特别是深度学习应用于医学图像分割,由于其最先进的性能和结果而受到广泛研究。人体组织的三维重建、图像引导的介入治疗、图像分析和可视化等是为临床诊断提供可靠依据的关键步骤。在这篇综述文章中,基于深度学习的超声图像分割方法首先根据其架构和训练分为六个主要组。其次,针对每一类算法,选取了当前几种具有代表性的算法,进行了详细的介绍、分析和总结。此外,对图像分割和超声图像分割数据集的常用评价方法进行了总结。此外,目前的方法和评价的性能进行审查。最后,对医学超声图像分割面临的挑战和潜在的研究方向进行了讨论。
2021-03-05 cs.CV cs.LG eess.IV
HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet
Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA(英伟达);Arizona State University(亚利桑那州立大学)
由于物体(如器官或肿瘤)的形状和图案的高度可变性,3D医学图像的语义分割是一项具有挑战性的任务。鉴于深度学习最近在医学图像分割方面取得的成功,已经引入了神经架构搜索(NAS)来寻找高性能的3D分割网络架构。然而,由于3D数据的大量计算需求和架构搜索的离散优化性质,先前的NAS方法需要长的搜索时间或必要的连续松弛,并且通常导致次优网络架构。虽然一次性NAS可以潜在地解决这些缺点,但其在分割域中的应用在扩展的多尺度多路径搜索空间中还没有得到很好的研究。为了使一次性NAS的医学图像分割,我们的方法,名为HyperSegNAS,引入了一个超网络,以协助超网络的训练,结合架构拓扑信息。一旦超网被训练,这样的超网就可以被移除,并且在架构搜索期间不会引入开销。我们表明,HyperSegNAS产生更好的性能和更直观的架构相比,以前的国家的最先进的(SOTA)分割网络;此外,它可以快速,准确地找到良好的架构候选人在不同的计算约束。我们的方法在来自医学分割十项全能(MSD)挑战的公共数据集上进行了评估,并达到了SOTA性能。
2022-03-24 cs.CV eess.IV
A review: Deep learning for medical image segmentation using multi-modality fusion
Université de Rouen Normandie(鲁昂诺曼底大学);INSA Rouen(鲁昂应用科学学院)
多模态成像技术因其能提供同一靶点(肿瘤、器官或组织)的多种信息而被广泛应用于医学成像领域。多模态图像分割是融合多模态信息来改善分割效果。最近,基于深度学习的方法在图像分类、分割、目标检测和跟踪任务中表现出了最先进的性能。由于其在大量数据上的自学习和泛化能力,深度学习最近在多模态医学图像分割方面也引起了极大的兴趣。在本文中,我们概述了用于多模态医学图像分割任务的基于深度学习的方法。首先,我们介绍了深度学习和多模态医学图像分割的一般原理。其次,我们介绍了不同的深度学习网络架构,然后分析了它们的融合策略,并比较了它们的结果。早期的融合是常用的,因为它很简单,它专注于后续的分割网络架构。然而,后期融合更多地关注融合策略,以学习不同模态之间的复杂关系。一般来说,与早期融合相比,如果融合方法足够有效,后期融合可以给出更准确的结果。本文还讨论了医学图像分割中的一些常见问题。最后,本文对未来的研究进行了总结和展望。
2020-07-16 cs.CV cs.LG eess.IV
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique(法国原子能委员会)
由于可用标记数据的限制,医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而,目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差,这在几项研究中观察到。这项工作在MoNuSeg数据集上显示,已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
Cutting-edge 3D Medical Image Segmentation Methods in 2020: Are Happy Families All Alike?
Nanjing University of Science and Technology(南京理工大学)
分割是医学图像分析中最重要和最热门的任务之一,在疾病诊断、手术规划和预后评估中起着至关重要的作用。在过去的五年中,一方面,成千上万的医学图像分割方法已被提出,不同的医学图像中的各种器官和病变,这变得越来越具有挑战性,公平地比较不同的方法。另一方面,国际细分挑战可以提供一个透明的平台,公平地评估和比较不同的方法。在本文中,我们全面回顾了2020年十大3D医学图像分割挑战中的顶级方法,涵盖了各种任务和数据集。我们还确定了“幸福家庭”的做法,在尖端的分割方法,这是有用的开发功能强大的分割方法。最后,我们讨论了开放的研究问题,应该在未来解决。我们还在\url{https://github.com/JunMa11/SOTA-MedSeg}上维护了一个最先进的分割方法列表。
2021-01-01 cs.CV eess.IV
Segmentation Consistency Training: Out-of-Distribution Generalization for Medical Image Segmentation
University of Oslo(奥斯陆大学);SimulaMet
泛化被视为深度学习的主要挑战之一,特别是在医学成像领域,医院或成像常规的变化可能导致模型完全失败。为了解决这个问题,我们引入了一致性训练,这是一种训练过程,也是数据增强的替代方法,它基于最大化模型在增强和未增强数据中的预测一致性,以促进更好的分布外泛化。为此,我们开发了一种新的基于区域的分割损失函数,称为分割不一致性损失(SIL),它考虑了增强和未增强的预测和标签对之间的差异。我们证明,一致性训练优于传统的数据增强上的几个分布数据集的息肉分割,一个流行的医疗任务。
2022-05-30 cs.CV cs.LG
Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy
South China University of Technology(华南理工大学);University of Utah(犹他大学)
我们引入了切片间图像增强的思想,即在两个连续图像之间增加医学图像和相应的分割标签的数量,以提高医学图像分割的准确性。与医学成像中的常规数据增强方法不同,常规数据增强方法仅通过使用简单的参数化变换(诸如旋转、翻转、缩放等)添加新的虚拟样本来直接增加训练样本的数量,我们的目标是根据两幅连续图像之间的关系来增加数据,这不仅增加了训练样本的数量,而且增加了训练样本的信息。为此,我们提出了一种基于帧插值的数据增强方法来生成中间医学图像和相应的分割标签之间的两个连续的图像。我们分别使用增强的训练样本在SILVER 07和CHAOS 2019上对有监督的U-Net肝脏分割网络进行了训练和测试,获得的分割分数与传统增强方法相比表现出显着的改善。
2020-01-31 cs.CV eess.IV
MIScnn: A Framework for Medical Image Segmentation with Convolutional Neural Networks and Deep Learning
University of Augsburg(奥格斯堡大学)
随着现代医学成像技术的发展,对医学图像自动分割的需求越来越大。然而,当前的图像分割平台不提供用于医学图像分割流水线的简单设置的所需功能。已经实现的管道通常是独立的软件,在特定的公共数据集上进行了优化。因此,本文介绍了开源Python库MIScnn。MIScnn的目的是提供一个直观的API,允许快速构建医学图像分割管道,包括数据I/O,预处理,数据增强,逐块分析,指标,具有最先进的深度学习模型和模型利用率的库,如训练,预测以及全自动评估(例如交叉验证)。同样,高可配置性和多个开放接口允许完全管道定制。使用MIScnn对2019年肾脏肿瘤分割挑战数据集(300次CT扫描的多类语义分割)进行交叉验证,得到了基于标准3D U-Net模型的强大预测器。通过这个实验,我们可以证明MIScnn框架使研究人员能够通过使用几行代码快速建立一个完整的医学图像分割管道。MIScnn的源代码可以在Git存储库中找到:https://github.com/frankkramer-lab/MIScnn。
2019-10-21 cs.CV cs.LG cs.NE
Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey
Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本文综述了SAM在医学图像分割中的应用,总结了基准评测和方法适配工作,指出直接应用效果有限,并为医学图像分析基础模型的未来研究提供方向。
2023-08-11 cs.CV eess.IV
PCDAL: A Perturbation Consistency-Driven Active Learning Approach for Medical Image Segmentation and Classification
Fuzhou University(福州大学);University of Macao Polytechnic University(澳门理工大学)
本文提出一种基于主动学习的方法PCDAL,可同时应用于2D医学图像分类、分割及3D分割任务,通过更少的标注实现显著提升的性能。
2023-06-29 cs.CV eess.IV
Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segmentation
University of South Florida(南佛罗里达大学)
分割是医学图像分析中的关键步骤。全卷积网络(FCN)已成为功能强大的分割模型,在各种医学图像数据集中实现了最先进的结果。网络架构通常是为特定的分割任务手动设计的,因此将其应用于其他医疗数据集需要大量的经验和时间。此外,分割需要处理大量的数据,这会导致庞大而复杂的架构。最近,已经提出了自动设计用于医学图像分割的神经网络的方法;然而,大多数方法要么没有充分考虑体积信息,要么没有优化网络的大小。在本文中,我们提出了一种新的自适应的2D-3D集成的FCNs的医学图像分割,结合体积信息,优化模型的性能和大小。该模型由提取切片内信息的2D FCN和利用切片间信息的3D FCN的集合组成。的架构的2D和3D FCN自动适应医学图像数据集使用多目标的基于进化的算法,最大限度地减少分割误差和网络中的参数的数量。在PROMISE 12 Grand Challenge的图像数据集上对所提出的2D-3D FCN集成进行了前列腺分割任务的测试。由此产生的网络排名前10,超过了其他自动设计的架构的性能,同时在尺寸上要小得多。
2019-07-26 cs.CV eess.IV
High-Resolution Swin Transformer for Automatic Medical Image Segmentation
Xi’an University of Posts&Telecommunications(西安邮电大学);Xidian University(西安电子科技大学)
特征图的分辨率是医学图像分割的关键。大多数现有的基于变换器的医学图像分割网络都是类似U网的架构,其包含编码器和解码器,编码器利用一系列Transformer块将输入的医学图像从高分辨率表示转换为低分辨率特征图,解码器从低分辨率特征图逐渐恢复高分辨率表示。与以前的研究不同,在本文中,我们利用高分辨率网络(HRNet)的网络设计风格,用Transformer块替换卷积层,并从由Transformer块生成的不同分辨率特征图中连续交换信息。本文提出的新的基于变压器的网络表示为高分辨率Swin Transformer网络(HRSTNet)。大量实验表明,HRSTNet可以在脑肿瘤分割(BraTS)2021和医学分割Decathlon的肝脏数据集上实现与最先进的基于Transformer的U-Net类似架构相当的性能。HRSTNet的代码将在https://github.com/auroua/HRSTNet上公布。
2022-07-23 cs.AI cs.CV
MAMBO-NET: Multi-Causal Aware Modeling Backdoor-Intervention Optimization for Medical Image Segmentation Network
Tianjin University(天津大学);Tianjin Key Laboratory of Cognitive Computing and Application(天津认知计算与应用重点实验室);Tianjin Key Laboratory of Advanced Networking(天津先进网络重点实验室);Tianjin International Engineering Institute, Tianjin University(天津大学国际工程师学院);Tianjin Central Hospital of Gynecology Obstetrics(天津市中心妇产科医院);Silesian University of Technology(西里西亚工业大学);University of Alberta(阿尔伯塔大学);Istinye University(伊斯坦布尔耶尼大学)
针对医学图像分割中混淆因素影响精度的问题,提出MAMBO-NET网络,利用多重高斯分布拟合混淆因素并引入后门干预技术,有效提升了分割准确性。
2025-05-28 cs.CV eess.IV
Interactive Medical Image Segmentation with Self-Adaptive Confidence Calibration
East China Normal University(华东师范大学);Huashan Hospital, Fudan University(复旦大学附属华山医院)
医学图像分割是基于人工智能的临床决策系统的基本问题之一。现有的医学图像自动分割方法往往不能满足临床的要求。因此,提出了一系列交互式分割算法来利用专家校正信息。然而,现有的方法遭受一些分割细化失败的问题后,长期的互动和专家标注的一些成本问题,这阻碍了临床应用。本文提出了一个交互式分割框架,称为交互式医学分割与自适应置信度校准(MECCA),通过引入校正动作评估,它结合了基于动作的置信度学习和多智能体强化学习(MARL)。通过一种新的基于动作的置信网络建立评估,并从MARL中获得纠正措施。基于机密信息,设计了自适应的奖励函数以提供更详细的反馈,并在无监督数据上提出了一种模拟标签生成机制以减少对标签数据的过度依赖。在多种医学图像数据集上的实验结果表明了该算法的有效性。
2021-11-15 cs.CV cs.LG
A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation
Xidian University(西安电子科技大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
三维图像分割是医学图像处理中最重要也是最普遍的问题之一。它提供了详细的定量分析,用于准确的疾病诊断,异常检测和分类。目前深度学习算法广泛应用于医学图像分割中,大多数算法都是使用完整标注的数据集训练模型。然而,获取医学图像数据集是非常困难和昂贵的,并且三维医学图像的完整标注是一项单调和耗时的工作。在3D图像中部分标记信息切片将大大减轻手动注释。基于主动学习的样本选择策略已经在二维图像领域被提出,但针对三维图像的策略还很少。本文提出了一种基于注意力引导的主动学习的稀疏标注策略用于三维医学图像分割。注意力机制用于提高分割精度,并对各切片的分割精度进行估计。使用正在开发的人类连接组计划(dHCP)数据集进行的三种不同策略的对比实验表明,我们的策略在大脑提取任务中只需要15%到20%的注释切片,在组织分割任务中只需要30%到35%的注释切片,就可以获得完全注释的比较结果。
2019-06-18 cs.CV eess.IV
Navigating Uncertainty in Medical Image Segmentation
Technical University of Denmark(丹麦技术大学)
本文探讨了医学图像分割中不确定方法的选择与评估,通过前列腺和肺部分割案例研究,提出了整合偶然与认知成分的不确定分割模型开发与选择指导原则。
2024-07-23 cs.CV cs.LG
MISeval: a Metric Library for Medical Image Segmentation Evaluation
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
正确的性能评估对于评估医学中的现代人工智能算法(如基于深度学习的医学图像分割模型)至关重要。然而,Python中没有用于标准化和可重复评估的通用度量库。因此,我们提出了我们的开源公开可用的Python包MISeval:用于医学图像分割评估的度量库。实施的指标可以直观地使用,并轻松集成到任何性能评估管道。该软件包利用现代CI/CD策略来确保功能和稳定性。MISeval可从PyPI(miseval)和GitHub获得:https://github.com/frankkramer-lab/miseval。
2022-01-23 cs.CV cs.LG
MedUHIP: Towards Human-In-the-Loop Medical Segmentation
University of Oxford(牛津大学)
本文提出 MedUHIP,将不确定性感知多假设分割与临床医生人在回路迭代修正结合,在 REFUGE2、LIDC-IDRI 和 QUBIQ 上以更少交互优于多种确定性、不确定性及交互式模型。
2024-08-03 cs.CV eess.IV
Enhancing Foreground Boundaries for Medical Image Segmentation
NVIDIA(英伟达)
目标分割在现代医学图像分析中起着重要的作用,对临床研究、疾病诊断、手术规划等都有重要意义。鉴于医学图像的各种模态,自动或半自动分割方法已被用于识别和解析器官、骨骼、肿瘤和其他感兴趣区域(ROI)。然而,这些当代的分割方法往往无法预测的ROI的边界区域,因为模糊的外观对比度在成像过程中造成的。为了进一步提高边界区域的分割质量,我们提出了边界增强损失,以加强对优化机器学习模型的额外约束。所提出的损失函数是轻量级的,易于实现,无需任何预处理或后处理。我们的实验结果验证了我们的损失函数在分割精度方面优于或至少与其他最先进的损失函数相当。
2020-05-29 cs.CV eess.IV
GMISeg: General Medical Image Segmentation without Re-Training
Imperial College London(帝国理工学院)
针对医学图像分割模型难以泛化到未知新任务、需重新训练的问题,提出GMISeg通用模型,基于ViT预训练编码器结合低秩微调策略,无需额外训练即可处理新分割任务,在多模态多结构数据集上验证有效,便于模型部署。
2024-09-16 cs.CV eess.IV
MGFI-Net: A Multi-Grained Feature Integration Network for Enhanced Medical Image Segmentation
Shanghai University(上海大学)
针对医学图像分割中噪声、低对比度等问题导致的精度不足及边缘细节丢失,提出MGFI-Net,通过多粒度特征提取模块和边缘增强模块提升分割精度与时间效率,优于现有方法。
2025-02-19 cs.CV eess.IV
PoissonSeg: Semi-Supervised Few-Shot Medical Image Segmentation via Poisson Learning
Tongji University(同济大学);University of Shanghai for Science and Technology(上海理工大学);National University of Singapore(新加坡国立大学)
由于缺乏丰富的像素级标注数据,深度学习在医学图像分割中的应用受到了阻碍。Few-Shot语义分割(FSS)是一种很有前途的打破僵局的策略。然而,一个高性能的FSS模型仍然需要足够的像素级注释类进行训练,以避免过拟合,这导致其性能瓶颈,在医学图像分割由于未满足的需要,注释。因此,半监督FSS的医学图像,因此提出利用未标记的数据,以进一步提高性能。然而,现有的半监督FSS方法存在两个明显的缺陷:(1)忽略了标记数据和未标记数据之间的关系;(2)直接使用未标记数据进行端到端训练会导致退化的表示学习。为了解决这些问题,我们提出了一种新的半监督FSS框架的医学图像分割。该框架采用泊松学习来建模数据关系和传播监督信号,并采用空间一致性校准来鼓励模型学习更多的一致性表示。在这个过程中,未标记样本不参与端到端的训练,而是通过基于图的学习为查询图像分割提供监督信息。我们对三个医学图像分割数据集(即ISIC皮肤病变分割,MRI腹部器官分割和CT腹部器官分割)进行了广泛的实验,以证明所提出的框架的最先进的性能和广泛的适用性。
2021-10-24 cs.CV cs.LG
Boundary-aware Information Maximization for Self-supervised Medical Image Segmentation
ETS Montreal(蒙特利尔高等技术学院)
无监督预训练已被证明是一种有效的方法,可以在有限的标记数据下提高各种下游任务。在各种方法中,对比学习通过构建正负对来学习区分性表示。然而,以无监督的方式为分割任务构建合理的对并不是微不足道的。在这项工作中,我们提出了一种新的无监督预训练框架,避免了对比学习的缺点。我们的框架由两个原则组成:无监督过分割作为预训练任务,使用互信息最大化和边界感知保持学习。两个基准的医学分割数据集上的实验结果表明,我们的方法在提高分割性能的有效性时,很少有注释的图像。
2022-02-16 cs.CV eess.IV
Integrating Background Knowledge in Medical Semantic Segmentation with Logic Tensor Networks
Department of Mathematics University of Padua(数学系 帕尔马大学)
本文提出利用逻辑张量网络整合医学背景知识,提升医学图像语义分割性能,尤其在数据稀缺时表现更优。
2025-09-26 cs.CV cs.LG
Unified Multi-scale Feature Abstraction for Medical Image Segmentation
Rensselaer Polytechnic Institute(伦斯勒理工学院);Wuhan University(武汉大学);National Institutes of Health(美国国立卫生研究院)
医学图像的自动分割是医学图像分析的重要组成部分,在计算机辅助诊断中起着重要的作用。例如,定位和分割肝脏可以非常有助于肝癌的诊断和治疗。医学图像分割中最先进的模型是编码器-解码器架构的变体,如全卷积网络(FCN)和U-Net。1基于FCN的分割方法的主要焦点是通过结合最新的CNN结构(如ResNet 2和DenseNet)进行网络结构工程。3除了探索新的网络结构以有效地提取高级特征外,将多尺度图像特征提取的结构纳入FCN有助于提高分割任务的性能。在本文中,我们设计了一种新的多尺度网络架构,它采用多尺度输入和专用卷积路径来有效地组合来自不同尺度的特征,以更好地利用层次信息。
2019-10-24 cs.CV eess.IV
Generalisable 3D Fabric Architecture for Streamlined Universal Multi-Dataset Medical Image Segmentation
University of Queensland(昆士兰大学);Australian e-Health Research Centre, CSIRO(澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心)
数据稀缺在用于医学图像分割的深度学习模型中很常见。以前的工作提出了多数据集学习,同时或通过迁移学习来扩展训练集。然而,医学图像数据集具有不同大小的图像和特征,并且同时为多个数据集开发模型具有挑战性。这项工作提出了织物图像表示编码网络(FIRENet),这是一种用于同时进行多数据集分割和迁移学习的通用架构,涉及任意数量的数据集。为了处理不同大小的图像和特征,使用3D结构模块来封装许多多尺度子架构。可以隐式地学习这些子架构的最佳组合以最佳地适合目标数据集。对于不同尺度的特征提取,在每个结构节点中使用atrous空间金字塔池化(ASPP3D)的3D扩展,以用于丰富尺度图像特征的细粒度覆盖。在第一个实验中,FIRENet对人类膝关节、肩关节和髋关节的多个肌肉骨骼数据集进行了3D通用骨骼分割,并表现出出色的同时多数据集分割性能。在测试迁移学习时,FIRENet进一步表现出出色的单数据集性能(在前列腺数据集上进行预训练时),以及显着提高的通用骨骼分割性能。以下实验涉及10个医学分割十项全能(MSD)挑战数据集的同时分割。FIRENet展示了良好的多数据集分割结果和高度多样化图像尺寸的数据集间适应性。在这两个实验中,FIRENet通过一个统一的网络简化了多数据集学习,不需要超参数调整。
2022-11-29 cs.CV eess.IV
U-Net and its variants for Medical Image Segmentation : A short review
IIT Kharagpur(印度理工学院克勒格布尔分校)
本文是一个简短的回顾医学图像分割使用U-网络及其变种。正如我们所理解的那样,通过医学图像对任何临床医生来说都不是一件容易的事情,无论是放射科医生还是病理学家。分析医学图像是进行非侵入性诊断的唯一途径。分割出感兴趣区域在医学图像中具有重要意义,是诊断的关键。本文还对医学图像分割的发展过程进行了概述。还讨论了深度神经架构的挑战和成功。以下是不同的混合架构如何建立在视觉识别任务的强大技术基础上。最后,我们将看到医学图像分割(MIS)当前的挑战和未来的发展方向。
2022-04-17 cs.AI cs.CV eess.IV
Informing selection of performance metrics for medical image segmentation evaluation using configurable synthetic errors
United States Food and Drug Administration(美国食品药品监督管理局)
医学成像中基于机器学习的分割广泛用于从诊断到放射治疗计划的临床应用。具有地面实况的分割的医学图像对于研究不同分割性能度量的属性以告知度量选择是有用的。规则的几何形状通常用于合成分割误差并说明性能度量的属性,但它们缺乏真实图像中解剖变化的复杂性。在这项研究中,我们提出了一种工具,通过调整从真实医学图像中提取的解剖对象的参考(真相)掩模来模拟分割。我们的工具旨在修改定义的真轮廓,并模拟不同类型的分割错误与一组用户可配置的参数。我们从放射治疗的胶质瘤图像分割(GLIS-RT)数据库中的230个患者图像中定义了地面真实对象。对于每个对象,我们使用我们的分割合成工具来合成10个版本的分割(即,10个模拟分割器或算法),其中每个版本具有分割误差的预定义组合。然后,我们应用20个性能指标来评估所有合成分割。我们展示了这些指标的属性,包括它们捕获特定类型分割错误的能力。通过分析这些指标的内在属性和分类的分割错误,我们正在努力的目标是开发一个决策树工具,以协助选择分割性能指标。
2022-12-30 cs.CV eess.IV
On The Robustness of Foundational 3D Medical Image Segmentation Models Against Imprecise Visual Prompts
University of California, San Diego(加州大学圣地亚哥分校)
本研究探讨了基础3D医学图像分割模型在面对不精确视觉提示时的鲁棒性,通过实验揭示了模型对视觉形状和空间线索的依赖性及扰动的抗性。
2026-01-23 cs.CV eess.IV
Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation
Wayne State University(韦恩州立大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
提出 MAG-MS 框架,通过多模态自蒸馏将融合知识迁移到单模态表征,在有限测试模态下实现优于现有方法的医学图像分割,并指导模态选择。
2023-06-06 cs.CV eess.IV
Segment Anything Model for Medical Image Segmentation: Current Applications and Future Directions
School of Data Science, Fudan University(复旦大学);School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学)
本文综述了Segment Anything Model(SAM)在医学图像分割中的当前应用,涵盖实证基准测试与方法论改进,并探讨了未来研究方向,为基础模型在医学图像分析领域的发展提供指导。
2024-01-07 cs.CV eess.IV
Confidence Calibration and Predictive Uncertainty Estimation for Deep Medical Image Segmentation
The University of British Columbia(不列颠哥伦比亚大学);Harvard Medical School(哈佛医学院)
全卷积神经网络(FCN),特别是U-Net,在许多医学成像应用的语义分割方面取得了最先进的成果。此外,批量规范化和骰子丢失已成功用于稳定和加速训练。然而,这些网络校准不良,即它们倾向于在正确和错误的分类中产生过度自信的预测,使其不可靠且难以解释。在本文中,我们研究了预测不确定性估计的FCNs的医学图像分割。我们做了以下贡献:1)我们系统地比较了交叉熵损失和Dice损失在分割质量和不确定性估计方面的FCNs; 2)我们提出了模型集成,用于批量归一化和Dice损失训练的FCNs的置信度校准; 3)我们评估了校准的FCNs预测结构分割质量和检测分布外测试示例的能力。我们在大脑,心脏和前列腺的三个医学图像分割应用程序进行了广泛的实验,以评估我们的贡献。本研究的结果提供了相当深入的预测不确定性估计和分布外检测在医学图像分割,并提供了实用的配方置信度校准。此外,我们一贯表明,模型集成提高了置信度校准。
2020-06-29 cs.CV eess.IV
Inter-slice Context Residual Learning for 3D Medical Image Segmentation
Northwestern Polytechnical University(西北工业大学)
自动和准确的3D医学图像分割在协助医疗专业人员评估疾病进展和制定快速治疗计划方面起着至关重要的作用。尽管深度卷积神经网络(DCNN)已广泛应用于这一任务,但这些模型的准确性仍需要进一步提高,主要是由于它们对3D上下文感知的能力有限。在本文中,我们提出了三维上下文残差网络(ConResNet)的准确分割的三维医学图像。该模型由编码器、分割解码器和上下文残差解码器组成。我们设计了上下文残差模块,并使用它来桥接每个尺度上的两个解码器。每个上下文残差模块包含上下文残差映射和上下文注意力映射,形式化的目标是显式地学习切片间的上下文信息,而上下文注意力映射将上下文信息作为一种注意力来提高分割精度。我们在MICCAI 2018脑肿瘤分割(BraTS)数据集和NIH胰腺分割(Pancreas-CT)数据集上评估了该模型。我们的结果不仅证明了所提出的3D上下文残差学习方案的有效性,而且还表明,所提出的ConResNet在脑肿瘤分割方面比六种顶级方法更准确,在胰腺分割方面比七种顶级方法更准确。代码可在https://git.io/ConResNet上获得
2020-11-28 cs.CV eess.IV
EViT-Unet: U-Net Like Efficient Vision Transformer for Medical Image Segmentation on Mobile and Edge Devices
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);Mayo Clinic(梅奥诊所)
本文提出EViT-UNet,一种结合卷积与自注意力的高效U形ViT分割网络,在保持医学图像分割精度的同时显著降低计算复杂度,适用于移动和边缘设备。
2024-10-19 cs.CV eess.IV
Cross-adversarial local distribution regularization for semi-supervised medical image segmentation
Monash University(莫纳什大学);CSIRO’s Data61(联邦科学与工业研究组织Data61研究所)
针对医学半监督分割标注数据有限的问题,提出交叉对抗局部分布正则化方法增强平滑性假设,在LA和ACDC公开数据集上取得当前最优性能。
2023-10-02 cs.CV eess.IV
Implicit Anatomical Rendering for Medical Image Segmentation with Stochastic Experts
Yale University(耶鲁大学)
针对医学图像分割中卷积算子易模糊边界高频区域的问题,提出通用隐式神经渲染框架MORSE,将分割建模为端到端渲染问题,结合随机门控MoE优化多尺度特征,适配不同骨干并提升2D/3D分割性能,且有理论支撑。
2023-07-17 cs.AI cs.CV cs.LG
Dual-Task Mutual Learning for Semi-Supervised Medical Image Segmentation
Beihang University(北京航空航天大学);Hefei Innovation Research Institute, Beihang University(北京航空航天大学合肥创新研究院);Beijing Advanced Innovation Centre for Biomedical Engineering(北京生物医学工程高精尖创新中心);Beijing Advanced Innovation Centre for Big Data-Based Precision Medicine(北京大数据精准医疗高精尖创新中心)
深度学习方法在医学图像分割任务中的成功通常需要大量的标记数据。然而,获得可靠的注释是昂贵且耗时的。半监督学习利用了无标记数据易于获取的优势,在医学图像分割中受到广泛关注。在本文中,我们提出了一种新的双任务相互学习框架的半监督医学图像分割。我们的框架可以制定为两个单独的分割网络的集成基于两个任务:学习基于区域的形状约束和学习基于边界的表面失配。与师生网络之间的单向传递不同,双任务学生的集合可以在训练过程中协作学习并隐性地从彼此那里探索有用的知识。通过联合学习目标的分割概率图和符号距离图,我们的框架可以加强几何形状约束,学习更多可靠的信息。实验结果表明,我们的方法通过利用未标记的数据实现了性能增益,并优于最先进的半监督分割方法。
2021-07-11 cs.CV eess.IV
Medical Image Segmentation with Limited Supervision: A Review of Deep Network Models
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院);School of Economics and Finance, Huaqiao University(华侨大学经济与金融学院)
尽管深度学习方法在各种任务上表现出色,但大多数前沿模型严重依赖于大规模带注释的训练样本,而这些样本通常无法用于临床和医疗保健任务。医学图像的标记成本非常高,特别是在医学图像分割中,这通常需要密集的像素/体素标记。因此,从有限的监督(包括有限数量的注释、稀疏注释和不准确的注释)中学习和概括的强大能力对于深度学习模型在医学图像分割中的成功应用至关重要。然而,由于其固有的困难,有限监督的分割是具有挑战性的,需要特定的模型设计和/或学习策略。在本文中,我们提供了一个系统的和最新的审查上述解决方案,总结和评论的方法。我们还强调了在这一领域的几个问题,讨论了未来的方向观察进一步的调查。
2021-02-28 cs.CV cs.LG