Medical Image Segmentation with Limited Supervision: A Review of Deep Network Models
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）；School of Economics and Finance, Huaqiao University（华侨大学经济与金融学院）
尽管深度学习方法在各种任务上表现出色，但大多数前沿模型严重依赖于大规模带注释的训练样本，而这些样本通常无法用于临床和医疗保健任务。医学图像的标记成本非常高，特别是在医学图像分割中，这通常需要密集的像素/体素标记。因此，从有限的监督（包括有限数量的注释、稀疏注释和不准确的注释）中学习和概括的强大能力对于深度学习模型在医学图像分割中的成功应用至关重要。然而，由于其固有的困难，有限监督的分割是具有挑战性的，需要特定的模型设计和/或学习策略。在本文中，我们提供了一个系统的和最新的审查上述解决方案，总结和评论的方法。我们还强调了在这一领域的几个问题，讨论了未来的方向观察进一步的调查。
2021-02-28 cs.CV cs.LG
Medical Image Segmentation with 3D Convolutional Neural Networks: A Survey
National Institute of Technology Karnataka（卡纳塔克邦国家技术研究所）
计算机辅助医学图像分析在辅助医生进行专家临床诊断和确定最佳治疗方案方面发挥着重要作用。目前，卷积神经网络（CNN）是医学图像分析的首选。此外，随着三维（3D）成像系统的快速发展以及处理大量数据的优秀硬件和软件支持的可用性，3D深度学习方法在医学图像分析中越来越受欢迎。在这里，我们对医学图像分割中最近发展的3D深度学习方法进行了广泛的回顾。最后，对三维医学图像分割的研究现状和未来发展方向进行了展望。
2022-04-28 cs.CV cs.LG eess.IV
End-to-End Boundary Aware Networks for Medical Image Segmentation
University of California, Los Angeles（加州大学洛杉矶分校）；NVIDIA（英伟达）
全卷积神经网络（CNN）已被证明在表示和分类纹理信息方面是有效的，从而将图像强度转换为实现语义图像分割的输出类别掩码。然而，在医学图像分析中，专家手动分割通常依赖于感兴趣的解剖结构的边界。我们提出了边界感知CNN医学图像分割。我们的网络旨在通过提供特殊的网络边缘分支和边缘感知损失项来考虑器官边界信息，并且它们是可训练的端到端。我们使用BraTS 2018数据集验证了它们在脑肿瘤分割任务上的有效性。实验结果表明，该方法具有更高的分割精度，在医学图像分割中有着广泛的应用前景。
2019-09-10 cs.CV cs.LG eess.IV
Annotation by Clicks: A Point-Supervised Contrastive Variance Method for Medical Semantic Segmentation
Carleton University（卡尔顿大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
医学图像分割方法通常依赖于大量的密集注释图像进行模型训练，这是众所周知的昂贵和耗时的收集。为了减轻这一负担，弱监督技术已被利用来训练分割模型与较便宜的注释。本文提出了一种新的点监督对比方差医学图像语义分割方法（PSCV），它只需要一个像素点从每个器官类别进行注释。该方法通过使用一种新的对比方差（CV）损失来利用未标记的像素和标记像素上的部分交叉熵损失来训练基本分割网络。CV损失函数被设计为利用医学图像中器官的统计空间分布特性及其方差分布图表示来对未标记的像素执行区分性预测。在两个标准医学图像数据集上的实验结果表明，该方法在点监督医学图像语义分割任务上优于现有的弱监督方法.
2022-12-23 cs.AI cs.CV cs.LG
hidden markov random fields and cuckoo search method for medical image segmentation
Ecole nationale Supérieure en Informatique（国立高等计算机学院）；Université de Bourgogne（勃艮第大学）
医学图像的分割是诊断过程中必不可少的一部分。医生需要一个自动的，强大的和有效的结果。隐马尔可夫随机场（HMRF）提供了强大的模型。后者将分割问题建模为能量函数的最小化。布谷鸟搜索（CS）算法是近年来自然启发式算法中的一种。它在许多工程优化问题中显示了其有效性。本文采用三种布谷鸟搜索算法来实现医学图像的分割。
2020-05-19 cs.CV cs.LG eess.IV
Two-Stream UNET Networks for Semantic Segmentation in Medical Images
Intel Corp.（英特尔公司）
语义图像分割的最新进展大大受益于更深和更大的卷积神经网络（CNN）模型。与自然界中的图像分割相比，由于过拟合，医学图像本身和现有医学数据集的属性阻碍了训练更深和更大的模型。为此，我们提出了一种新的双流UNET架构的自动端到端的医学图像分割，其中强度值和梯度向量流（GVF）是两个输入，分别为每个流。我们证明了具有更多低级特征的双流CNN极大地有利于不完美医学图像数据集的语义分割。我们提出的双流网络在流行的医学图像分割基准上进行了训练和评估，结果与最先进的技术相比具有竞争力。
2022-07-27 cs.CV
Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model
Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；University of Notre Dame（圣母大学）
本文提出SAMAug方法，利用SAM生成的掩码、特征和稳定性分数增强医学图像输入，以提升U-Net等分割模型的性能，在三个任务上验证了有效性。
2023-06-21 cs.AI cs.CV cs.LG
Exemplar Learning for Medical Image Segmentation
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
医学图像标注通常需要专业知识，因此会产生耗时且昂贵的数据标注成本。为了减轻这一负担，我们提出了一种新的学习方案，范例学习（EL），探索自动学习过程中的医学图像分割与一个单一的注释图像的例子。这种创新的学习任务特别适用于医学图像分割，其中所有类别的器官都可以在一张图像中呈现并一次性注释。为了解决这一具有挑战性的EL任务，我们提出了一个基于范例学习的合成网络（ELSNet）框架，用于医学图像分割，实现了创新的基于范例的数据合成，基于像素原型的对比嵌入学习，以及基于伪标签的未标记数据的利用。具体来说，ELSNet引入了两个新的模块用于图像分割：一个样本指导的合成模块，它通过从给定的样本合成注释样本来丰富和多样化训练集，以及一个基于像素原型的对比嵌入模块，它通过对比表示学习来增强基本分割模型的区分能力。此外，我们部署了一个两阶段的分割模型训练过程，该过程利用具有预测伪分割标签的未标记数据。为了评估这个新的学习框架，我们对几个器官分割数据集进行了广泛的实验，并进行了深入的分析。实验结果表明，所提出的范例学习框架产生有效的分割结果。
2022-10-08 cs.CV cs.LG eess.IV
Iterative Deep Convolutional Encoder-Decoder Network for Medical Image Segmentation
在本文中，我们提出了一种新的医学图像分割使用迭代深度学习框架。我们结合了迭代学习方法和编码器-解码器网络来改善分割结果，这使得能够以迭代方式精确定位包括医学图像的复杂形状或详细纹理的感兴趣区域（ROI）。所提出的迭代深度卷积编码器-解码器网络由两个主要路径组成：卷积编码器路径和具有迭代学习的卷积解码器路径。实验结果表明，所提出的迭代深度学习框架能够为各种医学图像产生优异的医学图像分割性能。通过与现有医学图像分割方法的比较，证明了该方法的有效性。
2017-08-11 cs.CV
Towards a Guideline for Evaluation Metrics in Medical Image Segmentation
University of Augsburg（奥格斯堡大学）；University Hospital Augsburg（奥格斯堡大学医院）
在过去的十年中，人工智能的研究随着深度学习模型的发展而迅速增长，特别是在医学图像分割领域。各种研究表明，这些模型具有强大的预测能力，并取得了与临床医生相似的结果。然而，最近的研究表明，在图像分割研究的评价缺乏可靠的模型性能评估，并显示统计偏差不正确的度量实现或使用。因此，这项工作提供了一个概述和解释指南，以下指标的医学图像分割评估在二进制以及多类问题：骰子相似系数，Jaccard，灵敏度，特异性，兰德指数，ROC曲线，科恩的Kappa，和豪斯多夫距离。作为总结，我们提出了一个标准化的医学图像分割评价准则，以提高评价质量，重现性和可比性的研究领域。
2022-02-10 cs.CV cs.LG eess.IV
LIMIS: Towards Language-based Interactive Medical Image Segmentation
Institute for AI in Medicine (IKIM), University Hospital Essen（埃森大学医院医学人工智能研究所（IKIM））
本文提出首个纯语言交互的医学图像分割模型 LIMIS，通过适配 Grounded SAM 与语言交互策略，让医生仅凭语言调整掩码，并在三个公开数据集上验证了分割质量与可用性。
2024-10-22 cs.CV
Enhancing Medical Image Segmentation with Deep Learning and Diffusion Models
本文综述医学图像分割面临的低对比、边界模糊、数据稀缺等问题，分析深度学习局限与扩散模型通过迭代去噪增强细节捕捉的潜力。
2024-12-06 cs.CV cs.LG eess.IV
Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University（莱比锡大学）；Leipzig University Medical Centre（莱比锡大学医学中心）
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此，存在各种其他潜在的输出激活函数，其可以导致医学图像分割中的改进结果。在这项工作中，我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵，我们表明，激活函数的变化速度更快与更好的预测相关，而变化速度较慢可以提高概率的校准。对于骰子损失，我们发现反正切激活函数优于sigmoid函数。此外，我们提供了一个测试空间，在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数，以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
Self-Supervision with Superpixels: Training Few-shot Medical Image Segmentation without Annotation
Imperial College London（帝国理工学院）；BioMedIA Group, Department of Computing（计算系BioMedIA小组）
Few-Shot语义分割（FSS）在医学成像领域有着巨大的应用潜力。大多数现有的FSS技术需要大量的注释语义类进行训练。然而，由于缺乏注释，这些方法可能不适用于医学图像。为了解决这个问题，我们做了几个贡献：（1）一个新的自监督FSS框架的医学图像，以消除在训练过程中的注释的要求。此外，生成基于超像素的伪标签以提供监督;（2）插入原型网络的自适应局部原型池化模块，以解决医学图像分割中常见的具有挑战性的前景-背景不平衡问题;（3）我们使用三个不同的任务证明了所提出的方法对医学图像的普遍适用性：用于CT和MRI的腹部器官分割，以及用于MRI的心脏分割。我们的研究结果表明，对于医学图像分割，所提出的方法优于传统的FSS方法，需要手动注释训练。
2020-10-06 cs.CV
Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation
VoxelCloud, Inc.（体素云公司）
医学成像文献在基于卷积神经网络的高性能分割模型方面取得了显着进展。尽管有新的性能高点，但最近的高级分割模型仍然需要大型，代表性和高质量的注释数据集。然而，我们很少有完美的训练数据集，特别是在医学成像领域，数据和注释的获取都很昂贵。最近，大量的研究已经研究了具有不完美数据集的医学图像分割问题，解决了两个主要的数据集限制：稀缺注释，其中只有有限的注释数据可用于训练，以及弱注释，其中训练数据只有稀疏注释，噪声注释或图像级注释。在这篇文章中，我们提供了一个详细的审查上述解决方案，总结了技术创新和实证结果。我们进一步比较了调查方法的优势和要求，并提供了我们推荐的解决方案。我们希望这篇调查文章能提高社区对处理不完美医学图像分割数据集的技术的认识。
2020-02-12 cs.CV cs.LG eess.IV
Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps
Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）
我们开发和接近无监督语义医学图像分割，扩展了以前的工作与生成对抗网络。我们使用现有的边缘检测方法来构建简单的边缘图，训练生成模型将其转换为合成医学图像，并使用提取的边缘图上的变化构建具有已知分割的合成图像的数据集。然后使用该合成数据集来训练监督图像分割模型。我们在肾脏超声图像的临床数据集和基准ISIC 2018皮肤病变数据集上测试了我们的方法。我们证明了我们的无监督方法比以前的无监督方法更准确，并且与监督图像分割模型相比表现合理。所有代码和训练模型都可以在https://github.com/kiretd/Unsupervised-MIseg上找到。
2019-11-12 cs.AI cs.CV cs.LG
Segmentation-by-Detection: A Cascade Network for Volumetric Medical Image Segmentation
University of Alberta（阿尔伯塔大学）
我们提出了一个注意力机制的三维医学图像分割。该方法，称为分段检测，是一个级联的检测模块，其次是一个分割模块。检测模块使感兴趣区域能够引起注意，并产生进一步用作注意模型的对象区域候选集合。分割模块不是处理整个体积，而是从潜在区域提取信息。该方案是体积数据的有效解决方案，因为它减少了环境噪声的影响，这对于具有低信噪比的医学数据尤其重要。对股骨头三维超声数据的实验结果表明，与标准的全卷积网络（如U-Net）相比，所提出的方法具有优越性。
2017-10-31 cs.CV
Advancing Medical Image Segmentation with Mini-Net: A Lightweight Solution Tailored for Efficient Segmentation of Medical Images
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
提出专为医学图像设计的轻量级网络Mini-Net，参数量不足38,000，能高效提取特征并支持实时应用，在多个医学数据集上表现出鲁棒性与优越性能。
2024-09-21 cs.CV eess.IV
Mixing Data Augmentation with Preserving Foreground Regions in Medical Image Segmentation
Kyushu University（九州大学）
针对医学图像分割中参数化数据增强计算成本高的问题，提出无额外参数的 KeepMask 与 KeepMix，通过保留并识别前景器官边界生成增强图像，在 CHAOS 和 MSD spleen 上显著提升 Unet 分割精度。
2023-04-26 cs.CV cs.LG eess.IV
Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation
University of Oxford（牛津大学）；National University of Singapore（新加坡国立大学）；University of Alberta（阿尔伯塔大学）；A*STAR（新加坡科技研究局）；Carnegie Mellon University（卡内基梅隆大学）；Singapore Eye Research Institute（新加坡眼科研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Hongkong（香港大学）
本文提出Medical SAM Adapter（Med-SA），通过轻量适配技术将医学知识融入SAM，利用SD-Trans和HyP-Adpt适配2D模型至3D医学图像，在17个任务上以仅2%参数更新超越SOTA方法。
2023-12-29 cs.CV
Application of belief functions to medical image segmentation: A review
Université de technologie de Compiègne（贡比涅技术大学）；University of Rouen Normandy（诺曼底鲁昂大学）；Institut universitaire de France（法国大学研究院）
不确定性的调查是非常重要的风险关键的应用，如医学图像分割。信度函数理论作为一种不确定性分析和多证据融合的形式化框架，在医学图像分割领域做出了重大贡献，特别是自深度学习发展以来。在本文中，我们提供了一个介绍的主题，医学图像分割方法的信念函数理论。根据融合步骤对融合方法进行了分类，并阐述了如何利用信度函数理论对不确定或不精确信息进行建模和融合。此外，我们还讨论了目前基于信念函数的医学图像分割的挑战和局限性，并提出了未来的研究方向。未来的研究可以同时研究置信函数理论和深度学习，以获得更有希望和可靠的分割结果。
2022-12-05 cs.CV
SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation
Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；University of Notre Dame（圣母大学）
本研究提出SamDSK方法，结合SAM与领域特定知识，通过迭代训练与标注集扩充的两阶段流程，实现医学图像半监督分割，在三类任务上验证了有效性，为标签高效的医学图像分割提供新思路。
2023-08-26 cs.AI cs.CV cs.LG
Morphological Operation Residual Blocks: Enhancing 3D Morphological Feature Representation in Convolutional Neural Networks for Semantic Segmentation of Medical Images
The University of Hong Kong（香港大学）
器官和组织的形状和形态是医学图像识别和分割的重要先验知识。形态学操作是用于形态学特征提取的公知方法。由于形态学操作在手工图像分割技术中表现良好，因此设计一种在卷积网络中近似形态学操作的方法也是有希望的。然而，使用传统的卷积神经网络作为一个黑盒通常是很难指定的形态操作动作。在这里，我们引入了一个3D形态操作残差块，用于在端到端深度学习模型中提取形态特征，以进行语义分割。提出了一种新的网络块结构，将形态学运算作为一种无穷强先验嵌入到卷积神经网络中。在不同的医学图像分割任务中，构建了几个具有所提出的形态学操作块的3D深度学习模型并进行了比较。实验结果表明，与传统方法相比，该网络在分割任务中取得了相对较高的性能。总之，新的网络块可以很容易地嵌入到传统网络中，并有效地加强医学成像分割的深度学习模型。
2021-03-06 cs.CV cs.LG eess.IV
Large Batch and Patch Size Training for Medical Image Segmentation
Osaka University Graduate School of Medicine（大阪大学医学研究生院）
多器官分割能够进行器官评估，考虑多个器官之间的关系，并有助于准确的诊断和治疗决策。然而，由于缺乏数据集和计算资源，只有少数模型可以准确地执行分割。在AMOS 2022挑战中，这是一个大规模，临床和多样化的腹部多器官分割基准，我们使用多GPU分布式训练训练了一个具有大批量和补丁大小的3D-UNet模型。与基线设置相比，具有大批量和补丁大小的模型的分割性能往往会增加。通过使用使用不同设置训练的集成模型，进一步提高了准确性。这些结果为器官分割中的参数选择提供了参考。
2022-10-24 cs.CV cs.LG eess.IV
SEG-SAM: Semantic-Guided SAM for Unified Medical Image Segmentation
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院）；Pazhou Lab（琶洲实验室）；College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
该研究提出语义引导的SAM模型SEG-SAM，通过语义感知解码器、文本到视觉语义模块及跨掩码空间对齐策略，提升医学图像统一分割性能，实验显示其优于现有相关方法。
2026-08-27 cs.CV
FocusNet: An attention-based Fully Convolutional Network for Medical Image Segmentation
University of York（约克大学）
我们提出了一种新的技术，将注意力纳入卷积神经网络使用由一个单独的卷积自动编码器生成的特征图。我们的注意力架构非常适合与深度卷积网络结合。我们在皮肤癌分割和肺部病变分割的基准分割数据集上评估了我们的模型。结果显示，与U-Net及其残差变体相比，具有很强的竞争力。
2019-02-08 cs.CV
Soft-CP: A Credible and Effective Data Augmentation for Semantic Segmentation of Medical Lesions
Tsinghua University（清华大学）；Peking University Shenzhen Hospital（北京大学深圳医院）
医学数据集通常面临着数据稀缺和数据不平衡的问题。此外，注释大型数据集的医学病变的语义分割是领域知识和耗时的。本文提出了一种新的对象混合方法（简称soft-CP），结合Copy-Paste增强方法对医学病灶进行离线语义分割，保证病灶周围边缘信息的正确性，解决了上述问题。我们证明了该方法的有效性与几个数据集在不同的成像模式。在我们对KiTS 19 [2]数据集的实验中，Soft-CP优于现有的医学病变合成方法。Soft-CP增强在低数据状态（10%的数据）中提供+26.5%DSC的增益，在高数据状态（所有数据）中提供+10.2%DSC的增益。在离线训练数据中，真实图像与合成图像的比率为3：1。
2022-03-20 cs.CV cs.LG eess.IV
Deep Learning in Medical Ultrasound Image Segmentation: a Review
University of Oxford（牛津大学）
将机器学习技术，特别是深度学习应用于医学图像分割，由于其最先进的性能和结果而受到广泛研究。人体组织的三维重建、图像引导的介入治疗、图像分析和可视化等是为临床诊断提供可靠依据的关键步骤。在这篇综述文章中，基于深度学习的超声图像分割方法首先根据其架构和训练分为六个主要组。其次，针对每一类算法，选取了当前几种具有代表性的算法，进行了详细的介绍、分析和总结。此外，对图像分割和超声图像分割数据集的常用评价方法进行了总结。此外，目前的方法和评价的性能进行审查。最后，对医学超声图像分割面临的挑战和潜在的研究方向进行了讨论。
2021-03-05 cs.CV cs.LG eess.IV
Few-shot Medical Image Segmentation with Cycle-resemblance Attention
Illinois Institute of Technology（伊利诺伊理工学院）；University of Michigan（密歇根大学）
近年来，随着医学影像应用需求的增加和医学图像标注的专业化要求，少样本学习在医学图像语义分割领域得到了越来越多的关注。为了对有限数量的标记医学图像进行分割，大多数现有的研究使用原型网络（PN）并取得了令人信服的成功。然而，这些方法忽略了从所提出的表示网络中提取的查询图像特征，未能保持查询图像和支持图像之间的空间连接。在本文中，我们提出了一种新的自我监督的Few-Shot医学图像分割网络，并引入了一种新的循环相似注意力（CRA）模块，充分利用查询和支持医学图像之间的像素级关系。值得注意的是，我们首先将多个注意力块排列起来，以提炼更丰富的关系信息。然后，我们提出CRAPNet的CRA模块与一个经典的原型网络，查询和支持功能之间的像素明智的关系被很好地捕捉分割集成。在两个不同的医学图像数据集上进行了广泛的实验，例如，腹部MRI和腹部CT，证明了我们的模型优于现有的最先进的方法。
2022-12-07 cs.CV
A review: Deep learning for medical image segmentation using multi-modality fusion
Université de Rouen Normandie（鲁昂诺曼底大学）；INSA Rouen（鲁昂应用科学学院）
多模态成像技术因其能提供同一靶点（肿瘤、器官或组织）的多种信息而被广泛应用于医学成像领域。多模态图像分割是融合多模态信息来改善分割效果。最近，基于深度学习的方法在图像分类、分割、目标检测和跟踪任务中表现出了最先进的性能。由于其在大量数据上的自学习和泛化能力，深度学习最近在多模态医学图像分割方面也引起了极大的兴趣。在本文中，我们概述了用于多模态医学图像分割任务的基于深度学习的方法。首先，我们介绍了深度学习和多模态医学图像分割的一般原理。其次，我们介绍了不同的深度学习网络架构，然后分析了它们的融合策略，并比较了它们的结果。早期的融合是常用的，因为它很简单，它专注于后续的分割网络架构。然而，后期融合更多地关注融合策略，以学习不同模态之间的复杂关系。一般来说，与早期融合相比，如果融合方法足够有效，后期融合可以给出更准确的结果。本文还讨论了医学图像分割中的一些常见问题。最后，本文对未来的研究进行了总结和展望。
2020-07-16 cs.CV cs.LG eess.IV
Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks
Lingran Song, Yucheng Zhou, Jianbing Shen（作者）
本文提出医学诊断分割任务及M3DS数据集，并设计Sim4Seg框架，利用区域感知视觉-语言相似性掩码和测试时扩展策略，同时提升多模态多疾病医学图像的分割与诊断性能。
2025-11-10 cs.AI cs.CV
Modeling Annotator Preference and Stochastic Annotation Error for Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
医学图像的人工标注具有很强的主观性，导致不可避免的巨大标注偏差。深度学习模型可能在各种任务上超越人类的表现，但它们也可能模仿或放大这些偏见。虽然我们可以有多个注释者并融合他们的注释以减少随机错误，但我们不能使用这种策略来处理注释者偏好引起的偏差。在本文中，我们强调了医学图像分割任务的注释者相关的偏见的问题，并提出了一个涉及偏好的注释分布学习（PADL）框架来解决这个问题，从使用分布学习从随机错误中分离注释者的偏好的角度，从而产生不仅是Meta分割，而且每个注释者可能进行的分割。在此框架下，随机误差模型（SEM）模块估计Meta分割图和平均随机误差图，和一系列的人类偏好模型（HPM）模块估计每个注释者的分割和相应的随机误差。我们评估了我们的PADL框架上的两个医学图像基准与不同的成像方式，这已被多个医学专业人士注释，并取得了良好的性能在所有五个医学图像分割任务。
2022-03-22 cs.CV
Generalizable Medical Image Segmentation via Random Amplitude Mixup and Domain-Specific Image Restoration
Nanjing University（南京大学）；Southeast University（东南大学）
对于医学图像分析，由于不同数据采集策略之间的差异，在一个或多个域上训练的分割模型缺乏对未知域的泛化能力。我们认为，在分割性能的退化，主要是由于过拟合的源域和域移动。为此，我们提出了一种新的通用的医学图像分割方法。具体来说，我们设计我们的方法作为一个多任务的范例相结合的分割模型与自我监督域特定的图像复原（DSIR）模块模型正则化。我们还设计了一个随机幅度混合（RAM）模块，它合并不同域图像的低电平频率信息来合成新的图像。为了指导我们的模型抵抗域转移，我们引入了语义一致性损失。我们证明了我们的方法在两个公共的可推广的医学图像分割基准上的性能，这验证了我们的方法可以达到最先进的性能。
2022-08-08 cs.CV
Pyramid Medical Transformer for Medical Image Segmentation
Washington University in St. Louis（圣路易斯华盛顿大学）
深度神经网络已经成为医学图像处理领域的主流技术。然而，最流行的基于卷积神经网络（CNN）的医学图像分割方法是不完美的，因为它们通过堆叠层或放大滤波器来建模长程依赖性。最近提出的Transformers和自我注意力机制，以有效地学习长距离的依赖关系，通过建模所有对字到字的注意，而不管他们的位置。这个想法也被扩展到计算机视觉领域，通过创建和处理图像补丁作为嵌入。考虑到整个图像自关注的计算复杂度，当前基于transformer的模型解决了刚性分割方案，可能会丢失信息关系。此外，目前的医疗Transformers模型的全分辨率图像的全球背景，导致不必要的计算成本。为了解决这些问题，我们开发了一种新的方法来集成多尺度注意力和CNN特征提取使用金字塔网络架构，即金字塔医疗Transformer（PMTrans）。PMTrans通过处理多分辨率图像来捕获多范围关系。一个自适应的分区计划，以保持信息的关系，并有效地访问不同的感受野。在三个医学图像数据集（腺体分割，MoNuSeg和HECKTOR数据集）上的实验结果表明，PMTrans优于最新的基于CNN和基于transformer的医学图像分割模型。
2022-04-29 cs.CV
Medical Image Segmentation with Belief Function Theory and Deep Learning
University of Technology of Compiègne（贡比涅技术大学）；Heudiasyc Laboratory（欧洲计算机科学与自动化研究院）；University of Paris-Saclay（巴黎萨克雷大学）；University of Artois（阿图瓦大学）；ENSMM School（国立高等机械与微技术学院）；University of Rouen（鲁昂大学）
本文针对深度学习在医学图像分割中处理不完美信息的局限，结合信度函数理论与深度学习，提出了半监督分割、深度证据模型及多模态融合框架，有效建模与融合不确定证据。
2023-09-12 cs.CV
Duo-SegNet: Adversarial Dual-Views for Semi-Supervised Medical Image Segmentation
Monash University（莫纳什大学）
图像分割是医疗AI中的一个长期挑战。这主要是由于训练神经网络来执行图像分割需要大量的像素级注释数据，而这些数据通常是不可用的。为了解决这个问题，我们提出了一个半监督的图像分割技术的基础上的多视图学习的概念。与之前的技术相比，我们引入了一种对抗形式的双视图训练，并采用批评家将多视图训练中的学习问题制定为最小-最大问题。在几个数据集上进行的全面的定量和定性评估表明，我们提出的方法一致且舒适地优于最先进的医学图像分割算法。该代码可在https://github.com/himashi92/Duo-SegNet上公开获取
2021-08-25 cs.CV
A Location-Sensitive Local Prototype Network for Few-Shot Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；VoxelCloud, Inc.（体素云公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管深度神经网络在医学图像分割方面取得了巨大的成功，但它们通常需要大量昂贵的专家级注释数据。Few-Shot分割方法通过学习从有限数量的标记示例中转移知识来解决这个问题。在设计高性能的Few-Shot分割算法时，适当地描述先验知识是至关重要的。由于强空间先验存在于许多医学成像模式，我们提出了一种基于原型的方法-即位置敏感的本地原型网络-利用空间先验来执行Few-Shot医学图像分割。我们的方法划分成容易解决的局部区域分割与局部原型的子问题与全球原型分割整个图像的困难问题。对于内脏CT图像数据集上的器官分割实验，我们的方法在平均Dice系数上优于最先进的方法10%。广泛的消融研究证明了结合空间信息的实质性好处，并证实了我们的方法的有效性。
2021-03-18 cs.CV
Interactive Deep Refinement Network for Medical Image Segmentation
Zhejiang Lab（浙江实验室）；Ritsumeikan University（立命馆大学）；Zhejiang University（浙江大学）
深度学习技术已成功应用于包括图像分割在内的众多计算机视觉任务中。该技术也已被应用于医学图像分割，在计算机辅助诊断中的最关键的任务之一。与自然图像相比，医学图像是一种对比度较低的灰度图像（甚至存在不可见部分）。由于某些器官与相邻器官具有相似的强度和纹理，因此通常需要细化自动分割结果。在本文中，我们提出了一个交互式深度细化框架，以改进传统的语义分割网络，如U-Net和全卷积网络。在该框架中，我们在传统分割网络的基础上增加了一个细化网络，对分割结果进行细化，在公开数据集上的实验结果表明，该方法能够获得比现有方法更高的准确率。
2020-06-27 cs.CV
DenseMP: Unsupervised Dense Pre-training for Few-shot Medical Image Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Austin Peay State University（奥斯汀佩伊州立大学）
针对小样本医学图像分割训练数据稀缺易过拟合的问题，提出含两阶段无监督稠密预训练的DenseMP流水线，可提升PA-Net性能，在Abd-CT、Abd-MRI数据集上达SOTA。
2023-07-13 cs.CV
Distribution-aware Margin Calibration for Medical Image Segmentation
University of Technology Sydney（悉尼科技大学）；School of Electrical and Data Engineering（电气与数据工程学院）
Jaccard指数，也称为Intersection-over-Union（IoU评分），是医学图像分割中最关键的评价指标之一。然而，直接优化多个目标类的平均IoU（mIoU）得分是一个开放的问题。虽然已经提出了一些算法来优化它的代理人，有没有保证提供的泛化能力。在本文中，我们提出了一种新的数据分布感知的边缘校准方法，用于在整个数据分布上更好地推广mIoU，并以刚性下限为基础。该方案在实践中确保了在IoU分数方面更好的分割性能。我们在两个医学图像分割数据集上评估了所提出的边缘校准方法的有效性，显示出使用深度分割模型的其他学习方案的IoU分数的实质性改善。
2020-11-03 cs.CV
MISm: A Medical Image Segmentation Metric for Evaluation of weak labeled Data
University of Augsburg（奥格斯堡大学）；University Hospital Augsburg（奥格斯堡大学医院）
性能指标是评估和比较不同医学图像分割算法的重要工具。不幸的是，目前的措施在评估某些边缘情况时有其弱点。当评估具有非常小的感兴趣区域或根本没有感兴趣区域的图像时，这些限制就会出现。作为这些限制的解决方案，我们提出了一个新的医学图像分割度量：MISm。为了评估MISm，在医学图像分割和MISm的流行指标进行了比较，使用磁共振断层扫描图像从几个场景。为了允许在社区中的应用和实验结果的再现性，我们将MISm包括在公开可用的评估框架MISeval中：https://github.com/frankkramer-lab/miseval/tree/master/miseval
2022-10-24 cs.CV
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique（法国原子能委员会）
由于可用标记数据的限制，医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而，目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差，这在几项研究中观察到。这项工作在MoNuSeg数据集上显示，已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
A Spatial Guided Self-supervised Clustering Network for Medical Image Segmentation
The University of Sydney（悉尼大学）；Med-X Research Institute, Shanghai Jiao Tong University（上海交通大学Med-X研究院）
医学图像的分割是自动化临床决策支持系统中的一个基本步骤。然而，现有的基于监督式深度学习的医学图像分割方法仍然存在问题，因为它们依赖于大量标记的训练数据。尽管医学成像数据存储库继续扩展，但注释数据的量并没有相应地增加。因此，我们提出了一种新的空间引导自监督聚类网络（SGSCN）的医学图像分割，在那里我们引入了多个损失函数，旨在帮助分组图像像素的空间连接，并具有类似的功能表示。它从单个图像中以端到端的方式迭代学习每个像素的特征表示和聚类分配。我们还提出了一个基于上下文的一致性损失，更好地描绘图像区域的形状和边界。它强制属于一个聚类的所有像素在空间上靠近聚类中心。我们评估了我们的方法对2个公共医学图像数据集，并将其与现有的传统和自监督聚类方法进行比较。实验结果表明，该方法对医学图像分割的准确性最高。
2021-07-11 cs.CV
Deep learning and its application to medical image segmentation
Nagoya University（名古屋大学）；Aichi Cancer Center Hospital（爱知县癌症中心医院）
医学成像中最常见的任务之一是语义分割。自动实现这种分割一直是一个活跃的研究领域，但由于不同患者的解剖结构差异很大，因此这项任务被证明非常具有挑战性。然而，深度学习的最新进展使得在计算机视觉领域显著提高图像识别和语义分割方法的性能成为可能。由于深度学习框架中分层特征学习的数据驱动方法，这些进步可以毫不费力地转化为医学图像。深度卷积神经网络的几种变体已经成功地应用于医学图像。特别是全卷积架构已被证明对于3D医学图像的分割是有效的。在这篇文章中，我们描述了如何构建一个可以处理3D图像的3D全卷积网络（FCN），以产生自动语义分割。该模型在临床计算机断层扫描（CT）数据集上进行训练和评估，并在多器官分割方面表现出最先进的性能。
2018-03-23 cs.CV
MedVeriSeg: Teaching LISA-Like Medical Segmentation Models to Verify Query Validity Without Extra Training
School of Aeronautics and Astronautics, Zhejiang University（浙江大学航空宇航学院）；Southern Medical University（南方医科大学）；School of Computer Science and Technology (School of Artificial Intelligence), Zhejiang Sci-Tech University（浙江科技学院计算机科学与技术学院（人工智能学院））；College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院）
本文提出MedVeriSeg，一种无需训练的查询验证框架，使LISA-like医学分割模型能够拒绝虚假分割查询。通过相似性响应质量评分模块和轻量级路由多代理验证模块，提升验证鲁棒性，并构建MedVeriSeg-Bench基准，有效减少幻觉分割。
2026-06-11 cs.CV
Patch Network for medical image Segmentation
Beihang University（北京航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）；Nankai University（南开大学）
医学图像的准确快速分割是临床上必不可少的，但目前的研究方法包括卷积神经网络推理速度快但难以学习图像上下文特征，Transformer性能好但硬件要求高。在本文中，我们提出了一个补丁网络（PNet），它将Swin Transformer概念融入卷积神经网络，使其能够收集更丰富的上下文信息，同时实现速度和准确性的平衡。我们在息肉（CVC-ClinicDB和ETIS- LaribPolypDB），皮肤（ISIC-2018皮肤病变分割挑战数据集）分割数据集上测试了我们的PNet。我们的PNet在速度和准确性方面都达到了SOTA性能。
2023-02-23 cs.CV
w-Net: Dual Supervised Medical Image Segmentation Model with Multi-Dimensional Attention and Cascade Multi-Scale Convolution
Hebei University of Technology（河北工业大学）；University of Macau（澳门大学）；University of Oxford（牛津大学）；Hospital of Joint Logistics Support Force（联勤保障部队第九八三医院）
基于深度学习的医学图像分割技术旨在自动识别和标注医学图像上的对象。非局部注意和多尺度特征学习被广泛用于网络建模，推动了医学图像分割的发展。然而，这些注意力机制方法对医学图像中的小目标具有弱的非局部感受野强化连接。然后，在抽象或粗糙的特征图中的重要小对象的特征可能被抛弃，这导致不令人满意的性能。现有的多尺度分割方法只针对不同尺度的图像，其稀疏的多尺度特征集对于小目标的分割不够丰富。在这项工作中，提出了一个多维的注意力分割模型与级联多尺度卷积预测准确分割医学图像中的小目标。作为权重函数，多维注意模块为重要/信息丰富的小对象特征提供系数修改。此外，在每个跳过连接路径中的级联多尺度卷积模块被用来捕获不同语义深度的多尺度特征。在三个数据集上评估了所提出的方法：KiTS 19，Decathlon-10的胰腺CT和MICCAI 2018 LiTS Challenge，证明了比最先进的基线更好的分割性能。
2020-11-15 cs.CV
Few-Shot Adaptation of Training-Free Foundation Model for 3D Medical Image Segmentation
Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A.马蒂诺斯生物医学成像中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
针对SAM等视觉基础模型适配3D医学图像分割需大量微调与人工提示的问题，提出FATE-SAM方法，通过重组SAM2预训练模块、引入体一致性机制，实现免微调、无提示的少样本精准分割，更适配临床应用。
2025-01-15 cs.CV
U-Net and its variants for Medical Image Segmentation : A short review
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文是一个简短的回顾医学图像分割使用U-网络及其变种。正如我们所理解的那样，通过医学图像对任何临床医生来说都不是一件容易的事情，无论是放射科医生还是病理学家。分析医学图像是进行非侵入性诊断的唯一途径。分割出感兴趣区域在医学图像中具有重要意义，是诊断的关键。本文还对医学图像分割的发展过程进行了概述。还讨论了深度神经架构的挑战和成功。以下是不同的混合架构如何建立在视觉识别任务的强大技术基础上。最后，我们将看到医学图像分割（MIS）当前的挑战和未来的发展方向。
2022-04-17 cs.AI cs.CV eess.IV
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在过去的十年中，深度卷积神经网络已被广泛用于医学图像分割，并表现出足够的性能。然而，由于卷积架构中存在固有的归纳偏差，它们缺乏对图像中的长程依赖性的理解。最近提出的基于transformer的架构，利用自我注意力机制编码长距离依赖关系，并学习表达能力强的表示。这促使我们探索基于Transformer的解决方案，并研究将基于Transformer的网络架构用于医学图像分割任务的可行性。针对视觉应用提出的大多数现有基于Transformer的网络架构都需要大规模数据集来进行适当的训练。然而，与用于视觉应用的数据集相比，对于医学成像，数据样本的数量相对较低，使得难以有效地训练用于医学应用的Transformers。为此，我们提出了一个门控轴向注意力模型，通过在自我注意力模块中引入额外的控制机制来扩展现有的架构。此外，训练模型有效地医学图像，我们提出了一个局部全局训练策略（LoGo），进一步提高了性能。具体来说，我们对整个图像和补丁进行操作，分别学习全局和局部特征。建议的医疗Transformer（MedT）的三个不同的医学图像分割数据集进行评估，它表明，它实现了更好的性能比卷积和其他相关的基于变换的架构。代码：https://github.com/jeya-maria-jose/Medical-Transformer
2021-07-06 cs.CV
Score-Based Generative Models for Medical Image Segmentation using Signed Distance Functions
本研究提出一种基于条件分数生成模型的医学图像分割框架，通过表征符号距离函数的分布生成带不确定性的分割掩码，在公开数据集上验证了其竞争力与应用潜力。
2023-07-21 cs.CV
MIScnn: A Framework for Medical Image Segmentation with Convolutional Neural Networks and Deep Learning
University of Augsburg（奥格斯堡大学）
随着现代医学成像技术的发展，对医学图像自动分割的需求越来越大。然而，当前的图像分割平台不提供用于医学图像分割流水线的简单设置的所需功能。已经实现的管道通常是独立的软件，在特定的公共数据集上进行了优化。因此，本文介绍了开源Python库MIScnn。MIScnn的目的是提供一个直观的API，允许快速构建医学图像分割管道，包括数据I/O，预处理，数据增强，逐块分析，指标，具有最先进的深度学习模型和模型利用率的库，如训练，预测以及全自动评估（例如交叉验证）。同样，高可配置性和多个开放接口允许完全管道定制。使用MIScnn对2019年肾脏肿瘤分割挑战数据集（300次CT扫描的多类语义分割）进行交叉验证，得到了基于标准3D U-Net模型的强大预测器。通过这个实验，我们可以证明MIScnn框架使研究人员能够通过使用几行代码快速建立一个完整的医学图像分割管道。MIScnn的源代码可以在Git存储库中找到：https://github.com/frankkramer-lab/MIScnn。
2019-10-21 cs.CV cs.LG cs.NE
Cutting-edge 3D Medical Image Segmentation Methods in 2020: Are Happy Families All Alike?
Nanjing University of Science and Technology（南京理工大学）
分割是医学图像分析中最重要和最热门的任务之一，在疾病诊断、手术规划和预后评估中起着至关重要的作用。在过去的五年中，一方面，成千上万的医学图像分割方法已被提出，不同的医学图像中的各种器官和病变，这变得越来越具有挑战性，公平地比较不同的方法。另一方面，国际细分挑战可以提供一个透明的平台，公平地评估和比较不同的方法。在本文中，我们全面回顾了2020年十大3D医学图像分割挑战中的顶级方法，涵盖了各种任务和数据集。我们还确定了“幸福家庭”的做法，在尖端的分割方法，这是有用的开发功能强大的分割方法。最后，我们讨论了开放的研究问题，应该在未来解决。我们还在\url{https://github.com/JunMa11/SOTA-MedSeg}上维护了一个最先进的分割方法列表。
2021-01-01 cs.CV eess.IV
Multi-scale Hierarchical Vision Transformer with Cascaded Attention Decoding for Medical Image Segmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
Transformers在医学图像分割方面取得了巨大成功。然而，Transformers可能会表现出有限的泛化能力，由于潜在的单尺度自我注意力（SA）机制。在本文中，我们通过引入多尺度层次视觉Transformer（MERIT）骨干网络来解决这个问题，该骨干网络通过在多个尺度上计算SA来提高模型的泛化能力。我们还采用了一个基于注意力的解码器，即级联注意力解码（CASCADE），以进一步细化MERIT生成的多阶段特征。最后，我们介绍了一种有效的多阶段特征混合损失聚合（MUTATION）方法，通过隐式集成来更好地进行模型训练。我们对两个广泛使用的医学图像分割基准（即，Synapse Multi-organ，ACDC）证明了MERIT优于最先进方法的性能。我们的MERIT架构和MUTATION损失聚合可以与下游医学图像和语义分割任务一起使用。
2023-03-29 cs.CV
