hidden markov random fields and cuckoo search method for medical image segmentation
Ecole nationale Supérieure en Informatique（国立高等计算机学院）；Université de Bourgogne（勃艮第大学）
医学图像的分割是诊断过程中必不可少的一部分。医生需要一个自动的，强大的和有效的结果。隐马尔可夫随机场（HMRF）提供了强大的模型。后者将分割问题建模为能量函数的最小化。布谷鸟搜索（CS）算法是近年来自然启发式算法中的一种。它在许多工程优化问题中显示了其有效性。本文采用三种布谷鸟搜索算法来实现医学图像的分割。
2020-05-19 cs.CV cs.LG eess.IV
Understanding Adversarial Attacks on Deep Learning Based Medical Image Analysis Systems
Beihang University（北京航空航天大学）；The University of Melbourne（墨尔本大学）；National Institute of Informatics（国立信息学研究所）；Shanghai Jiao Tong University（上海交通大学）；Chinese Academy of Sciences（中国科学院）
深度神经网络（DNN）在癌症诊断和病变检测等医学图像分析任务中已经变得很流行。然而，最近的一项研究表明，医疗深度学习系统可能会受到精心设计的对抗性示例/攻击的影响，这些攻击具有微小的不可察觉的扰动。这引起了对这些系统在临床环境中部署的安全性担忧。在本文中，我们在医学图像的背景下提供了对对抗性示例的更深入的理解。我们发现，医学DNN模型可以更容易受到对抗攻击相比，自然图像的模型，根据两个不同的观点。令人惊讶的是，我们还发现，医疗对抗攻击可以很容易地检测到，即，简单的检测器可以实现超过98%的检测AUC对抗最先进的攻击，这是由于与正常示例相比的基本特征差异。我们相信这些发现可能是设计更可解释和更安全的医疗深度学习系统的有用基础。
2020-03-13 cs.CV cs.LG eess.IV
Implicit Anatomical Rendering for Medical Image Segmentation with Stochastic Experts
Yale University（耶鲁大学）
针对医学图像分割中卷积算子易模糊边界高频区域的问题，提出通用隐式神经渲染框架MORSE，将分割建模为端到端渲染问题，结合随机门控MoE优化多尺度特征，适配不同骨干并提升2D/3D分割性能，且有理论支撑。
2023-07-17 cs.AI cs.CV cs.LG
Input Augmentation with SAM: Boosting Medical Image Segmentation with Segmentation Foundation Model
Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；University of Notre Dame（圣母大学）
本文提出SAMAug方法，利用SAM生成的掩码、特征和稳定性分数增强医学图像输入，以提升U-Net等分割模型的性能，在三个任务上验证了有效性。
2023-06-21 cs.AI cs.CV cs.LG
Exemplar Learning for Medical Image Segmentation
Carleton University（卡尔顿大学）；Amii（阿尔伯塔机器智能研究所）
医学图像标注通常需要专业知识，因此会产生耗时且昂贵的数据标注成本。为了减轻这一负担，我们提出了一种新的学习方案，范例学习（EL），探索自动学习过程中的医学图像分割与一个单一的注释图像的例子。这种创新的学习任务特别适用于医学图像分割，其中所有类别的器官都可以在一张图像中呈现并一次性注释。为了解决这一具有挑战性的EL任务，我们提出了一个基于范例学习的合成网络（ELSNet）框架，用于医学图像分割，实现了创新的基于范例的数据合成，基于像素原型的对比嵌入学习，以及基于伪标签的未标记数据的利用。具体来说，ELSNet引入了两个新的模块用于图像分割：一个样本指导的合成模块，它通过从给定的样本合成注释样本来丰富和多样化训练集，以及一个基于像素原型的对比嵌入模块，它通过对比表示学习来增强基本分割模型的区分能力。此外，我们部署了一个两阶段的分割模型训练过程，该过程利用具有预测伪分割标签的未标记数据。为了评估这个新的学习框架，我们对几个器官分割数据集进行了广泛的实验，并进行了深入的分析。实验结果表明，所提出的范例学习框架产生有效的分割结果。
2022-10-08 cs.CV cs.LG eess.IV
Advancing Medical Image Segmentation with Mini-Net: A Lightweight Solution Tailored for Efficient Segmentation of Medical Images
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
提出专为医学图像设计的轻量级网络Mini-Net，参数量不足38,000，能高效提取特征并支持实时应用，在多个医学数据集上表现出鲁棒性与优越性能。
2024-09-21 cs.CV eess.IV
Towards a Guideline for Evaluation Metrics in Medical Image Segmentation
University of Augsburg（奥格斯堡大学）；University Hospital Augsburg（奥格斯堡大学医院）
在过去的十年中，人工智能的研究随着深度学习模型的发展而迅速增长，特别是在医学图像分割领域。各种研究表明，这些模型具有强大的预测能力，并取得了与临床医生相似的结果。然而，最近的研究表明，在图像分割研究的评价缺乏可靠的模型性能评估，并显示统计偏差不正确的度量实现或使用。因此，这项工作提供了一个概述和解释指南，以下指标的医学图像分割评估在二进制以及多类问题：骰子相似系数，Jaccard，灵敏度，特异性，兰德指数，ROC曲线，科恩的Kappa，和豪斯多夫距离。作为总结，我们提出了一个标准化的医学图像分割评价准则，以提高评价质量，重现性和可比性的研究领域。
2022-02-10 cs.CV cs.LG eess.IV
Enhancing Medical Image Segmentation with Deep Learning and Diffusion Models
本文综述医学图像分割面临的低对比、边界模糊、数据稀缺等问题，分析深度学习局限与扩散模型通过迭代去噪增强细节捕捉的潜力。
2024-12-06 cs.CV cs.LG eess.IV
Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University（莱比锡大学）；Leipzig University Medical Centre（莱比锡大学医学中心）
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此，存在各种其他潜在的输出激活函数，其可以导致医学图像分割中的改进结果。在这项工作中，我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵，我们表明，激活函数的变化速度更快与更好的预测相关，而变化速度较慢可以提高概率的校准。对于骰子损失，我们发现反正切激活函数优于sigmoid函数。此外，我们提供了一个测试空间，在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数，以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks
Lingran Song, Yucheng Zhou, Jianbing Shen（作者）
本文提出医学诊断分割任务及M3DS数据集，并设计Sim4Seg框架，利用区域感知视觉-语言相似性掩码和测试时扩展策略，同时提升多模态多疾病医学图像的分割与诊断性能。
2025-11-10 cs.AI cs.CV
Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation
VoxelCloud, Inc.（体素云公司）
医学成像文献在基于卷积神经网络的高性能分割模型方面取得了显着进展。尽管有新的性能高点，但最近的高级分割模型仍然需要大型，代表性和高质量的注释数据集。然而，我们很少有完美的训练数据集，特别是在医学成像领域，数据和注释的获取都很昂贵。最近，大量的研究已经研究了具有不完美数据集的医学图像分割问题，解决了两个主要的数据集限制：稀缺注释，其中只有有限的注释数据可用于训练，以及弱注释，其中训练数据只有稀疏注释，噪声注释或图像级注释。在这篇文章中，我们提供了一个详细的审查上述解决方案，总结了技术创新和实证结果。我们进一步比较了调查方法的优势和要求，并提供了我们推荐的解决方案。我们希望这篇调查文章能提高社区对处理不完美医学图像分割数据集的技术的认识。
2020-02-12 cs.CV cs.LG eess.IV
Mixing Data Augmentation with Preserving Foreground Regions in Medical Image Segmentation
Kyushu University（九州大学）
针对医学图像分割中参数化数据增强计算成本高的问题，提出无额外参数的 KeepMask 与 KeepMix，通过保留并识别前景器官边界生成增强图像，在 CHAOS 和 MSD spleen 上显著提升 Unet 分割精度。
2023-04-26 cs.CV cs.LG eess.IV
SamDSK: Combining Segment Anything Model with Domain-Specific Knowledge for Semi-Supervised Learning in Medical Image Segmentation
Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；University of Notre Dame（圣母大学）
本研究提出SamDSK方法，结合SAM与领域特定知识，通过迭代训练与标注集扩充的两阶段流程，实现医学图像半监督分割，在三类任务上验证了有效性，为标签高效的医学图像分割提供新思路。
2023-08-26 cs.AI cs.CV cs.LG
Single-Step Adversarial Training for Semantic Segmentation
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Bielefeld University（比勒费尔德大学）
尽管深度神经网络在包括语义分割在内的许多不同任务上都取得了成功，但它们对对抗性示例缺乏鲁棒性。为了对抗这种攻击，通常使用对抗性训练。然而，已知的是，具有弱对抗攻击的对抗训练（例如，使用快速梯度方法）不会提高针对更强攻击的鲁棒性。最近的研究表明，通过在训练过程中选择合适的步长，可以提高这种单步的【形】方法的鲁棒性。找到这样的步长，而不增加单步的【形】对抗训练的计算量，仍然是一个开放的挑战。在这项工作中，我们解决了计算上特别苛刻的任务语义分割，并提出了一种新的步长控制算法，增加了单步的【形】对抗训练的鲁棒性。该算法不增加单步的【形】对抗训练的计算量，而且由于不需要元参数，简化了训练过程。我们表明，我们的方法的鲁棒性可以与多步对抗训练两个流行的基准语义分割。
2021-06-30 cs.CV cs.LG eess.IV
Morphological Operation Residual Blocks: Enhancing 3D Morphological Feature Representation in Convolutional Neural Networks for Semantic Segmentation of Medical Images
The University of Hong Kong（香港大学）
器官和组织的形状和形态是医学图像识别和分割的重要先验知识。形态学操作是用于形态学特征提取的公知方法。由于形态学操作在手工图像分割技术中表现良好，因此设计一种在卷积网络中近似形态学操作的方法也是有希望的。然而，使用传统的卷积神经网络作为一个黑盒通常是很难指定的形态操作动作。在这里，我们引入了一个3D形态操作残差块，用于在端到端深度学习模型中提取形态特征，以进行语义分割。提出了一种新的网络块结构，将形态学运算作为一种无穷强先验嵌入到卷积神经网络中。在不同的医学图像分割任务中，构建了几个具有所提出的形态学操作块的3D深度学习模型并进行了比较。实验结果表明，与传统方法相比，该网络在分割任务中取得了相对较高的性能。总之，新的网络块可以很容易地嵌入到传统网络中，并有效地加强医学成像分割的深度学习模型。
2021-03-06 cs.CV cs.LG eess.IV
Large Batch and Patch Size Training for Medical Image Segmentation
Osaka University Graduate School of Medicine（大阪大学医学研究生院）
多器官分割能够进行器官评估，考虑多个器官之间的关系，并有助于准确的诊断和治疗决策。然而，由于缺乏数据集和计算资源，只有少数模型可以准确地执行分割。在AMOS 2022挑战中，这是一个大规模，临床和多样化的腹部多器官分割基准，我们使用多GPU分布式训练训练了一个具有大批量和补丁大小的3D-UNet模型。与基线设置相比，具有大批量和补丁大小的模型的分割性能往往会增加。通过使用使用不同设置训练的集成模型，进一步提高了准确性。这些结果为器官分割中的参数选择提供了参考。
2022-10-24 cs.CV cs.LG eess.IV
PAN: Projective Adversarial Network for Medical Image Segmentation
University of Central Florida（中佛罗里达大学）；Mayo Clinic Cancer Center（妙佑医疗国际癌症中心）
对抗性学习已被证明是有效的捕获长距离和高级别的标签识别在语义分割。独特的医学成像，捕捉3D语义在一个有效的计算效率的方式仍然是一个悬而未决的问题。在这项研究中，我们通过提出一种新的投影对抗网络（PAN）来解决这种计算负担，该网络通过2D投影融合了高级3D信息。此外，我们在我们的框架中引入了一个注意力模块，这有助于直接从我们的分割器到我们的对抗网络的全局信息的选择性整合。对于临床应用，我们选择从CT扫描中分割胰腺。我们提出的框架实现了最先进的性能，而不增加分割器的复杂性。
2019-06-11 cs.CV cs.LG eess.IV
Out of Distribution Detection and Adversarial Attacks on Deep Neural Networks for Robust Medical Image Analysis
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stanford University（斯坦福大学）
深度学习模型已成为医学图像分析的热门选择。然而，深度学习模型的泛化性能较差，限制了它们在现实世界中的部署，因为鲁棒性对于医疗应用至关重要。例如，最先进的卷积神经网络（CNN）无法检测对抗样本或在统计上远离训练分布的样本。在这项工作中，我们实验评估的鲁棒性的Mahalanobis距离为基础的置信分数，一个简单而有效的方法来检测异常的输入样本，在分类疟疾寄生细胞和未感染的细胞。结果表明，Mahalanobis置信分数检测器表现出深度学习模型的性能和鲁棒性的改进，并在分布外（OOD）和对抗样本上实现了最先进的性能。
2021-07-10 cs.CV cs.LG eess.IV
Deep Learning in Medical Ultrasound Image Segmentation: a Review
University of Oxford（牛津大学）
将机器学习技术，特别是深度学习应用于医学图像分割，由于其最先进的性能和结果而受到广泛研究。人体组织的三维重建、图像引导的介入治疗、图像分析和可视化等是为临床诊断提供可靠依据的关键步骤。在这篇综述文章中，基于深度学习的超声图像分割方法首先根据其架构和训练分为六个主要组。其次，针对每一类算法，选取了当前几种具有代表性的算法，进行了详细的介绍、分析和总结。此外，对图像分割和超声图像分割数据集的常用评价方法进行了总结。此外，目前的方法和评价的性能进行审查。最后，对医学超声图像分割面临的挑战和潜在的研究方向进行了讨论。
2021-03-05 cs.CV cs.LG eess.IV
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique（法国原子能委员会）
由于可用标记数据的限制，医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而，目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差，这在几项研究中观察到。这项工作在MoNuSeg数据集上显示，已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
A review: Deep learning for medical image segmentation using multi-modality fusion
Université de Rouen Normandie（鲁昂诺曼底大学）；INSA Rouen（鲁昂应用科学学院）
多模态成像技术因其能提供同一靶点（肿瘤、器官或组织）的多种信息而被广泛应用于医学成像领域。多模态图像分割是融合多模态信息来改善分割效果。最近，基于深度学习的方法在图像分类、分割、目标检测和跟踪任务中表现出了最先进的性能。由于其在大量数据上的自学习和泛化能力，深度学习最近在多模态医学图像分割方面也引起了极大的兴趣。在本文中，我们概述了用于多模态医学图像分割任务的基于深度学习的方法。首先，我们介绍了深度学习和多模态医学图像分割的一般原理。其次，我们介绍了不同的深度学习网络架构，然后分析了它们的融合策略，并比较了它们的结果。早期的融合是常用的，因为它很简单，它专注于后续的分割网络架构。然而，后期融合更多地关注融合策略，以学习不同模态之间的复杂关系。一般来说，与早期融合相比，如果融合方法足够有效，后期融合可以给出更准确的结果。本文还讨论了医学图像分割中的一些常见问题。最后，本文对未来的研究进行了总结和展望。
2020-07-16 cs.CV cs.LG eess.IV
Cutting-edge 3D Medical Image Segmentation Methods in 2020: Are Happy Families All Alike?
Nanjing University of Science and Technology（南京理工大学）
分割是医学图像分析中最重要和最热门的任务之一，在疾病诊断、手术规划和预后评估中起着至关重要的作用。在过去的五年中，一方面，成千上万的医学图像分割方法已被提出，不同的医学图像中的各种器官和病变，这变得越来越具有挑战性，公平地比较不同的方法。另一方面，国际细分挑战可以提供一个透明的平台，公平地评估和比较不同的方法。在本文中，我们全面回顾了2020年十大3D医学图像分割挑战中的顶级方法，涵盖了各种任务和数据集。我们还确定了“幸福家庭”的做法，在尖端的分割方法，这是有用的开发功能强大的分割方法。最后，我们讨论了开放的研究问题，应该在未来解决。我们还在\url{https://github.com/JunMa11/SOTA-MedSeg}上维护了一个最先进的分割方法列表。
2021-01-01 cs.CV eess.IV
Segmentation Consistency Training: Out-of-Distribution Generalization for Medical Image Segmentation
University of Oslo（奥斯陆大学）；SimulaMet
泛化被视为深度学习的主要挑战之一，特别是在医学成像领域，医院或成像常规的变化可能导致模型完全失败。为了解决这个问题，我们引入了一致性训练，这是一种训练过程，也是数据增强的替代方法，它基于最大化模型在增强和未增强数据中的预测一致性，以促进更好的分布外泛化。为此，我们开发了一种新的基于区域的分割损失函数，称为分割不一致性损失（SIL），它考虑了增强和未增强的预测和标签对之间的差异。我们证明，一致性训练优于传统的数据增强上的几个分布数据集的息肉分割，一个流行的医疗任务。
2022-05-30 cs.CV cs.LG
Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy
South China University of Technology（华南理工大学）；University of Utah（犹他大学）
我们引入了切片间图像增强的思想，即在两个连续图像之间增加医学图像和相应的分割标签的数量，以提高医学图像分割的准确性。与医学成像中的常规数据增强方法不同，常规数据增强方法仅通过使用简单的参数化变换（诸如旋转、翻转、缩放等）添加新的虚拟样本来直接增加训练样本的数量，我们的目标是根据两幅连续图像之间的关系来增加数据，这不仅增加了训练样本的数量，而且增加了训练样本的信息。为此，我们提出了一种基于帧插值的数据增强方法来生成中间医学图像和相应的分割标签之间的两个连续的图像。我们分别使用增强的训练样本在SILVER 07和CHAOS 2019上对有监督的U-Net肝脏分割网络进行了训练和测试，获得的分割分数与传统增强方法相比表现出显着的改善。
2020-01-31 cs.CV eess.IV
Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文综述了SAM在医学图像分割中的应用，总结了基准评测和方法适配工作，指出直接应用效果有限，并为医学图像分析基础模型的未来研究提供方向。
2023-08-11 cs.CV eess.IV
Zero-Shot Gaze-based Volumetric Medical Image Segmentation
Research Center of the Artificial Intelligence Institute（人工智能研究所研究中心）
针对三维医学图像交互式分割依赖手动提示的问题，本文提出将眼动注视作为零样本提示模态，并在 SAM-2 与 MedSAM-2 上用合成及真实数据验证其省时且可作为互补输入的价值。
2025-06-10 cs.AI cs.CV
PCDAL: A Perturbation Consistency-Driven Active Learning Approach for Medical Image Segmentation and Classification
Fuzhou University（福州大学）；University of Macao Polytechnic University（澳门理工大学）
本文提出一种基于主动学习的方法PCDAL，可同时应用于2D医学图像分类、分割及3D分割任务，通过更少的标注实现显著提升的性能。
2023-06-29 cs.CV eess.IV
Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segmentation
University of South Florida（南佛罗里达大学）
分割是医学图像分析中的关键步骤。全卷积网络（FCN）已成为功能强大的分割模型，在各种医学图像数据集中实现了最先进的结果。网络架构通常是为特定的分割任务手动设计的，因此将其应用于其他医疗数据集需要大量的经验和时间。此外，分割需要处理大量的数据，这会导致庞大而复杂的架构。最近，已经提出了自动设计用于医学图像分割的神经网络的方法;然而，大多数方法要么没有充分考虑体积信息，要么没有优化网络的大小。在本文中，我们提出了一种新的自适应的2D-3D集成的FCNs的医学图像分割，结合体积信息，优化模型的性能和大小。该模型由提取切片内信息的2D FCN和利用切片间信息的3D FCN的集合组成。的架构的2D和3D FCN自动适应医学图像数据集使用多目标的基于进化的算法，最大限度地减少分割误差和网络中的参数的数量。在PROMISE 12 Grand Challenge的图像数据集上对所提出的2D-3D FCN集成进行了前列腺分割任务的测试。由此产生的网络排名前10，超过了其他自动设计的架构的性能，同时在尺寸上要小得多。
2019-07-26 cs.CV eess.IV
MIScnn: A Framework for Medical Image Segmentation with Convolutional Neural Networks and Deep Learning
University of Augsburg（奥格斯堡大学）
随着现代医学成像技术的发展，对医学图像自动分割的需求越来越大。然而，当前的图像分割平台不提供用于医学图像分割流水线的简单设置的所需功能。已经实现的管道通常是独立的软件，在特定的公共数据集上进行了优化。因此，本文介绍了开源Python库MIScnn。MIScnn的目的是提供一个直观的API，允许快速构建医学图像分割管道，包括数据I/O，预处理，数据增强，逐块分析，指标，具有最先进的深度学习模型和模型利用率的库，如训练，预测以及全自动评估（例如交叉验证）。同样，高可配置性和多个开放接口允许完全管道定制。使用MIScnn对2019年肾脏肿瘤分割挑战数据集（300次CT扫描的多类语义分割）进行交叉验证，得到了基于标准3D U-Net模型的强大预测器。通过这个实验，我们可以证明MIScnn框架使研究人员能够通过使用几行代码快速建立一个完整的医学图像分割管道。MIScnn的源代码可以在Git存储库中找到：https://github.com/frankkramer-lab/MIScnn。
2019-10-21 cs.CV cs.LG cs.NE
MAMBO-NET: Multi-Causal Aware Modeling Backdoor-Intervention Optimization for Medical Image Segmentation Network
Tianjin University（天津大学）；Tianjin Key Laboratory of Cognitive Computing and Application（天津认知计算与应用重点实验室）；Tianjin Key Laboratory of Advanced Networking（天津先进网络重点实验室）；Tianjin International Engineering Institute, Tianjin University（天津大学国际工程师学院）；Tianjin Central Hospital of Gynecology Obstetrics（天津市中心妇产科医院）；Silesian University of Technology（西里西亚工业大学）；University of Alberta（阿尔伯塔大学）；Istinye University（伊斯坦布尔耶尼大学）
针对医学图像分割中混淆因素影响精度的问题，提出MAMBO-NET网络，利用多重高斯分布拟合混淆因素并引入后门干预技术，有效提升了分割准确性。
2025-05-28 cs.CV eess.IV
Interactive Medical Image Segmentation with Self-Adaptive Confidence Calibration
East China Normal University（华东师范大学）；Huashan Hospital, Fudan University（复旦大学附属华山医院）
医学图像分割是基于人工智能的临床决策系统的基本问题之一。现有的医学图像自动分割方法往往不能满足临床的要求。因此，提出了一系列交互式分割算法来利用专家校正信息。然而，现有的方法遭受一些分割细化失败的问题后，长期的互动和专家标注的一些成本问题，这阻碍了临床应用。本文提出了一个交互式分割框架，称为交互式医学分割与自适应置信度校准（MECCA），通过引入校正动作评估，它结合了基于动作的置信度学习和多智能体强化学习（MARL）。通过一种新的基于动作的置信网络建立评估，并从MARL中获得纠正措施。基于机密信息，设计了自适应的奖励函数以提供更详细的反馈，并在无监督数据上提出了一种模拟标签生成机制以减少对标签数据的过度依赖。在多种医学图像数据集上的实验结果表明了该算法的有效性。
2021-11-15 cs.CV cs.LG
Adversarially robust segmentation models learn perceptually-aligned gradients
University of Maryland（马里兰大学）
对抗性训练对语义分割网络的影响尚未得到深入研究。虽然以前的工作已经表明，经过逆向训练的图像分类器可以用于执行图像合成，但我们还没有了解如何最好地利用经过逆向训练的分割网络来完成同样的工作。使用一个简单的优化器，我们证明了对抗训练的语义分割网络可用于执行图像修补和生成。我们的实验表明，经过逆向训练的分割网络更健壮，并且确实表现出感知对齐的梯度，这有助于产生合理的图像修补。我们试图在以下假设背后放置额外的权重：对抗性鲁棒模型表现出与人类视觉更感知一致的梯度。通过图像合成，我们认为，感知对齐梯度促进更好地理解神经网络的学习表示，并有助于使神经网络更可解释。
2022-04-03 cs.CV cs.LG
A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation
Xidian University（西安电子科技大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
三维图像分割是医学图像处理中最重要也是最普遍的问题之一。它提供了详细的定量分析，用于准确的疾病诊断，异常检测和分类。目前深度学习算法广泛应用于医学图像分割中，大多数算法都是使用完整标注的数据集训练模型。然而，获取医学图像数据集是非常困难和昂贵的，并且三维医学图像的完整标注是一项单调和耗时的工作。在3D图像中部分标记信息切片将大大减轻手动注释。基于主动学习的样本选择策略已经在二维图像领域被提出，但针对三维图像的策略还很少。本文提出了一种基于注意力引导的主动学习的稀疏标注策略用于三维医学图像分割。注意力机制用于提高分割精度，并对各切片的分割精度进行估计。使用正在开发的人类连接组计划（dHCP）数据集进行的三种不同策略的对比实验表明，我们的策略在大脑提取任务中只需要15%到20%的注释切片，在组织分割任务中只需要30%到35%的注释切片，就可以获得完全注释的比较结果。
2019-06-18 cs.CV eess.IV
Lookahead Adversarial Learning for Near Real-Time Semantic Segmentation
Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）
语义分割是计算机视觉中最基本的问题之一，对各种应用有着重要的影响。对抗性学习被证明是一种有效的方法，用于提高语义分割质量，通过执行更高级别的像素相关性和结构信息。然而，最先进的语义分割模型不能容易地插入到对抗环境中，因为它们的设计并不适应对抗网络中的收敛和稳定性问题。我们通过构建一个以最先进的分割模型（DeepLabv 3+）为核心的条件对抗网络来弥合这一差距。为了解决稳定性问题，我们引入了一种新的前瞻对抗学习（Load-lookahead adversarial learning）方法，该方法具有嵌入式标签映射聚合模块。我们专注于语义分割模型，运行在近实时的【形】现场应用推理快速。通过大量的实验，我们证明了所提出的解决方案可以缓解对抗性语义分割设置中的分歧问题，并在三个标准数据集的基线上实现了相当大的性能提升（某些类别中为+5%）。
2021-01-21 cs.CV cs.LG
Navigating Uncertainty in Medical Image Segmentation
Technical University of Denmark（丹麦技术大学）
本文探讨了医学图像分割中不确定方法的选择与评估，通过前列腺和肺部分割案例研究，提出了整合偶然与认知成分的不确定分割模型开发与选择指导原则。
2024-07-23 cs.CV cs.LG
MISeval: a Metric Library for Medical Image Segmentation Evaluation
University of Augsburg（奥格斯堡大学）；University Hospital Augsburg（奥格斯堡大学医院）
正确的性能评估对于评估医学中的现代人工智能算法（如基于深度学习的医学图像分割模型）至关重要。然而，Python中没有用于标准化和可重复评估的通用度量库。因此，我们提出了我们的开源公开可用的Python包MISeval：用于医学图像分割评估的度量库。实施的指标可以直观地使用，并轻松集成到任何性能评估管道。该软件包利用现代CI/CD策略来确保功能和稳定性。MISeval可从PyPI（miseval）和GitHub获得：https://github.com/frankkramer-lab/miseval。
2022-01-23 cs.CV cs.LG
Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation
University of Central Florida, Orlando, USA（佛罗里达大学）；University College London, London, UK（伦敦大学学院）；University of Illinois Urbana-Champaign, Champaign, USA（伊利诺伊大学厄巴纳-香槟分校）；University of Trento, Trento, Italy（特伦托大学）；The Hong Kong Polytechnic University, China（香港理工大学）；University of Pennsylvania, Philadelphia, USA（宾夕法尼亚大学）
Medical SAM3通过微调SAM3模型，提升医学图像分割的通用提示驱动能力，解决领域偏移和复杂结构推理问题。
2026-01-15 cs.AI cs.CV
CTS: A Consistency-Based Medical Image Segmentation Model
Harbin Engineering University（哈尔滨工程大学）；The Second Affiliated Hospital of Mudanjiang Medical University（牡丹江医学院第二附属医院）
针对扩散模型在医学图像分割中采样慢的问题，提出基于一致性模型的CTS方法，通过多尺度特征监督与损失引导实现收敛，单次采样即可取得更优分割效果。
2024-05-15 cs.AI cs.CV
Adversarial Examples on Segmentation Models Can be Easy to Transfer
University of Munich（慕尼黑大学）；University of Oxford（牛津大学）
基于深度神经网络的图像分类可能会被具有小的和准不可感知的扰动的对抗性示例误导。此外，在一个分类模型上创建的对抗性示例也可以欺骗另一个不同的模型。对抗性示例的可转移性最近引起了越来越多的兴趣，因为它使得对分类模型的黑盒攻击变得可行。语义分割作为分类方法的一种扩展，其对抗鲁棒性也受到了广泛关注。然而，分割模型上的对抗性示例的可移植性尚未得到系统的研究。在本书中，我们深入研究了这一主题。首先，我们探讨了分类和分割模型上对抗性样本的过拟合现象。与对分类模型的观察相反，可转移性受到源模型过拟合的限制，我们发现分割上的对抗性示例并不总是过拟合源模型。即使没有过拟合，对抗性例子的可移植性也是有限的。我们将限制归因于分割模型的架构特征，即，多尺度目标识别然后，我们提出了一个简单而有效的方法，称为动态缩放，以克服限制。通过我们的方法实现的高可移植性表明，与以前的工作中的观察相反，分割模型上的对抗性示例可以很容易地转移到其他分割模型。我们的分析和建议得到了大量实验的支持。
2021-11-22 cs.CV eess.IV
MedUHIP: Towards Human-In-the-Loop Medical Segmentation
University of Oxford（牛津大学）
本文提出 MedUHIP，将不确定性感知多假设分割与临床医生人在回路迭代修正结合，在 REFUGE2、LIDC-IDRI 和 QUBIQ 上以更少交互优于多种确定性、不确定性及交互式模型。
2024-08-03 cs.CV eess.IV
Enhancing Foreground Boundaries for Medical Image Segmentation
NVIDIA（英伟达）
目标分割在现代医学图像分析中起着重要的作用，对临床研究、疾病诊断、手术规划等都有重要意义。鉴于医学图像的各种模态，自动或半自动分割方法已被用于识别和解析器官、骨骼、肿瘤和其他感兴趣区域（ROI）。然而，这些当代的分割方法往往无法预测的ROI的边界区域，因为模糊的外观对比度在成像过程中造成的。为了进一步提高边界区域的分割质量，我们提出了边界增强损失，以加强对优化机器学习模型的额外约束。所提出的损失函数是轻量级的，易于实现，无需任何预处理或后处理。我们的实验结果验证了我们的损失函数在分割精度方面优于或至少与其他最先进的损失函数相当。
2020-05-29 cs.CV eess.IV
BerDiff: Conditional Bernoulli Diffusion Model for Medical Image Segmentation
Institute of Science and Technology for Brain-inspired Intelligence（脑启发智能科学与技术研究院）；Fudan University（复旦大学）
针对医学图像分割的模糊性与不确定性问题，提出采用伯努利噪声的条件扩散模型BerDiff，可生成准确多样的分割掩码并加速推理，在多模态数据集上性能优于现有最先进方法。
2023-04-10 cs.AI cs.CV
GMISeg: General Medical Image Segmentation without Re-Training
Imperial College London（帝国理工学院）
针对医学图像分割模型难以泛化到未知新任务、需重新训练的问题，提出GMISeg通用模型，基于ViT预训练编码器结合低秩微调策略，无需额外训练即可处理新分割任务，在多模态多结构数据集上验证有效，便于模型部署。
2024-09-16 cs.CV eess.IV
MGFI-Net: A Multi-Grained Feature Integration Network for Enhanced Medical Image Segmentation
Shanghai University（上海大学）
针对医学图像分割中噪声、低对比度等问题导致的精度不足及边缘细节丢失，提出MGFI-Net，通过多粒度特征提取模块和边缘增强模块提升分割精度与时间效率，优于现有方法。
2025-02-19 cs.CV eess.IV
PoissonSeg: Semi-Supervised Few-Shot Medical Image Segmentation via Poisson Learning
Tongji University（同济大学）；University of Shanghai for Science and Technology（上海理工大学）；National University of Singapore（新加坡国立大学）
由于缺乏丰富的像素级标注数据，深度学习在医学图像分割中的应用受到了阻碍。Few-Shot语义分割（FSS）是一种很有前途的打破僵局的策略。然而，一个高性能的FSS模型仍然需要足够的像素级注释类进行训练，以避免过拟合，这导致其性能瓶颈，在医学图像分割由于未满足的需要，注释。因此，半监督FSS的医学图像，因此提出利用未标记的数据，以进一步提高性能。然而，现有的半监督FSS方法存在两个明显的缺陷：（1）忽略了标记数据和未标记数据之间的关系;（2）直接使用未标记数据进行端到端训练会导致退化的表示学习。为了解决这些问题，我们提出了一种新的半监督FSS框架的医学图像分割。该框架采用泊松学习来建模数据关系和传播监督信号，并采用空间一致性校准来鼓励模型学习更多的一致性表示。在这个过程中，未标记样本不参与端到端的训练，而是通过基于图的学习为查询图像分割提供监督信息。我们对三个医学图像分割数据集（即ISIC皮肤病变分割，MRI腹部器官分割和CT腹部器官分割）进行了广泛的实验，以证明所提出的框架的最先进的性能和广泛的适用性。
2021-10-24 cs.CV cs.LG
Boundary-aware Information Maximization for Self-supervised Medical Image Segmentation
ETS Montreal（蒙特利尔高等技术学院）
无监督预训练已被证明是一种有效的方法，可以在有限的标记数据下提高各种下游任务。在各种方法中，对比学习通过构建正负对来学习区分性表示。然而，以无监督的方式为分割任务构建合理的对并不是微不足道的。在这项工作中，我们提出了一种新的无监督预训练框架，避免了对比学习的缺点。我们的框架由两个原则组成：无监督过分割作为预训练任务，使用互信息最大化和边界感知保持学习。两个基准的医学分割数据集上的实验结果表明，我们的方法在提高分割性能的有效性时，很少有注释的图像。
2022-02-16 cs.CV eess.IV
Integrating Background Knowledge in Medical Semantic Segmentation with Logic Tensor Networks
Department of Mathematics University of Padua（数学系 帕尔马大学）
本文提出利用逻辑张量网络整合医学背景知识，提升医学图像语义分割性能，尤其在数据稀缺时表现更优。
2025-09-26 cs.CV cs.LG
Unified Multi-scale Feature Abstraction for Medical Image Segmentation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Wuhan University（武汉大学）；National Institutes of Health（美国国立卫生研究院）
医学图像的自动分割是医学图像分析的重要组成部分，在计算机辅助诊断中起着重要的作用。例如，定位和分割肝脏可以非常有助于肝癌的诊断和治疗。医学图像分割中最先进的模型是编码器-解码器架构的变体，如全卷积网络（FCN）和U-Net。1基于FCN的分割方法的主要焦点是通过结合最新的CNN结构（如ResNet 2和DenseNet）进行网络结构工程。3除了探索新的网络结构以有效地提取高级特征外，将多尺度图像特征提取的结构纳入FCN有助于提高分割任务的性能。在本文中，我们设计了一种新的多尺度网络架构，它采用多尺度输入和专用卷积路径来有效地组合来自不同尺度的特征，以更好地利用层次信息。
2019-10-24 cs.CV eess.IV
Two-Stream UNET Networks for Semantic Segmentation in Medical Images
Intel Corp.（英特尔公司）
语义图像分割的最新进展大大受益于更深和更大的卷积神经网络（CNN）模型。与自然界中的图像分割相比，由于过拟合，医学图像本身和现有医学数据集的属性阻碍了训练更深和更大的模型。为此，我们提出了一种新的双流UNET架构的自动端到端的医学图像分割，其中强度值和梯度向量流（GVF）是两个输入，分别为每个流。我们证明了具有更多低级特征的双流CNN极大地有利于不完美医学图像数据集的语义分割。我们提出的双流网络在流行的医学图像分割基准上进行了训练和评估，结果与最先进的技术相比具有竞争力。
2022-07-27 cs.CV
Informing selection of performance metrics for medical image segmentation evaluation using configurable synthetic errors
United States Food and Drug Administration（美国食品药品监督管理局）
医学成像中基于机器学习的分割广泛用于从诊断到放射治疗计划的临床应用。具有地面实况的分割的医学图像对于研究不同分割性能度量的属性以告知度量选择是有用的。规则的几何形状通常用于合成分割误差并说明性能度量的属性，但它们缺乏真实图像中解剖变化的复杂性。在这项研究中，我们提出了一种工具，通过调整从真实医学图像中提取的解剖对象的参考（真相）掩模来模拟分割。我们的工具旨在修改定义的真轮廓，并模拟不同类型的分割错误与一组用户可配置的参数。我们从放射治疗的胶质瘤图像分割（GLIS-RT）数据库中的230个患者图像中定义了地面真实对象。对于每个对象，我们使用我们的分割合成工具来合成10个版本的分割（即，10个模拟分割器或算法），其中每个版本具有分割误差的预定义组合。然后，我们应用20个性能指标来评估所有合成分割。我们展示了这些指标的属性，包括它们捕获特定类型分割错误的能力。通过分析这些指标的内在属性和分类的分割错误，我们正在努力的目标是开发一个决策树工具，以协助选择分割性能指标。
2022-12-30 cs.CV eess.IV
Probabilistic Modeling of Multi-rater Medical Image Segmentation for Diversity and Personalization
Zhejiang University（浙江大学）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）
ProSeg通过概率建模实现医学图像分割的多样化和个性化，结合专家偏好和边界模糊性，提升分割结果的多样性和个性化水平。
2025-11-30 cs.AI cs.CV
TP-UNet: Temporal Prompt Guided UNet for Medical Image Segmentation
School of Management, Guangdong University of Technology（广东工业大学管理学院）；School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）
本文提出TP-UNet，通过时间提示和交叉注意力及语义对齐机制，将器官构建关系融入UNet，提升医学图像分割精度。
2024-11-20 cs.AI cs.CV
Impact of Adversarial Examples on Deep Learning Models for Biomedical Image Segmentation
Ghent University（根特大学）；Ghent University Global Campus（根特大学全球校区）
深度学习模型越来越多地用于医学图像分析领域，但也带来了一个重大的安全风险，即它们对对抗性示例的脆弱性。对抗性示例是精心制作的样本，迫使机器学习模型在测试期间犯错误。这些恶意样本已被证明在误导分类任务方面非常有效。然而，关于对抗性例子对分割的影响的研究非常缺乏。鉴于大部分医学成像问题都是有效的分割问题，我们分析了对抗性示例对基于深度学习的图像分割模型的影响。具体来说，我们通过提出自适应分段掩码攻击（ASMA）来暴露这些模型在对抗性示例中的脆弱性。这种新颖的算法使得有可能制作有针对性的对抗性示例，这些示例具有（1）目标对抗性掩码和预测之间的高相交率，以及（2）在大多数情况下，裸眼不可见的扰动。我们通过显示ISIC皮肤病变分割挑战和青光眼视盘分割问题获得的结果来展示实验和视觉证据。该算法的实现和附加示例可以在https://github.com/utkuozbulak/adaptive-segmentation-mask-attack上找到。
2019-07-30 cs.CR cs.CV cs.LG
On The Robustness of Foundational 3D Medical Image Segmentation Models Against Imprecise Visual Prompts
University of California, San Diego（加州大学圣地亚哥分校）
本研究探讨了基础3D医学图像分割模型在面对不精确视觉提示时的鲁棒性，通过实验揭示了模型对视觉形状和空间线索的依赖性及扰动的抗性。
2026-01-23 cs.CV eess.IV
