Effect of the output activation function on the probabilities and errors in medical image segmentation
Leipzig University（莱比锡大学）；Leipzig University Medical Centre（莱比锡大学医学中心）
sigmoid激活是神经网络二进制分类和分割中的标准输出激活函数。尽管如此，存在各种其他潜在的输出激活函数，其可以导致医学图像分割中的改进结果。在这项工作中，我们考虑不同的输出激活和损失函数的渐近行为如何影响预测概率和相应的分割误差。对于交叉熵，我们表明，激活函数的变化速度更快与更好的预测相关，而变化速度较慢可以提高概率的校准。对于骰子损失，我们发现反正切激活函数优于sigmoid函数。此外，我们提供了一个测试空间，在医学图像分割领域的任意输出激活功能。我们在四个不同的医学图像分割任务上测试了七个激活函数和三个损失函数，以提供最适合此应用场景的函数分类。
2021-09-02 cs.CV cs.LG eess.IV
DooDLeNet: Double DeepLab Enhanced Feature Fusion for Thermal-color Semantic Segmentation
AnotherBrain（AnotherBrain公司）
在本文中，我们提出了一种新的方法之间的RGB和长波红外热图像的语义分割的驾驶感知任务的特征融合。我们提出了DooDLeNet，这是一个双DeepLab架构，具有用于热和颜色模态的专用编码器-解码器以及用于最终分割的共享解码器。我们结合两种策略的特征融合：置信度加权和相关加权。我们报告了MF数据集上最先进的平均IoU结果。
2022-04-21 cs.CV cs.LG eess.IV
Embracing Imperfect Datasets: A Review of Deep Learning Solutions for Medical Image Segmentation
VoxelCloud, Inc.（体素云公司）
医学成像文献在基于卷积神经网络的高性能分割模型方面取得了显着进展。尽管有新的性能高点，但最近的高级分割模型仍然需要大型，代表性和高质量的注释数据集。然而，我们很少有完美的训练数据集，特别是在医学成像领域，数据和注释的获取都很昂贵。最近，大量的研究已经研究了具有不完美数据集的医学图像分割问题，解决了两个主要的数据集限制：稀缺注释，其中只有有限的注释数据可用于训练，以及弱注释，其中训练数据只有稀疏注释，噪声注释或图像级注释。在这篇文章中，我们提供了一个详细的审查上述解决方案，总结了技术创新和实证结果。我们进一步比较了调查方法的优势和要求，并提供了我们推荐的解决方案。我们希望这篇调查文章能提高社区对处理不完美医学图像分割数据集的技术的认识。
2020-02-12 cs.CV cs.LG eess.IV
Advancing Medical Image Segmentation with Mini-Net: A Lightweight Solution Tailored for Efficient Segmentation of Medical Images
School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）
提出专为医学图像设计的轻量级网络Mini-Net，参数量不足38,000，能高效提取特征并支持实时应用，在多个医学数据集上表现出鲁棒性与优越性能。
2024-09-21 cs.CV eess.IV
Mixing Data Augmentation with Preserving Foreground Regions in Medical Image Segmentation
Kyushu University（九州大学）
针对医学图像分割中参数化数据增强计算成本高的问题，提出无额外参数的 KeepMask 与 KeepMix，通过保留并识别前景器官边界生成增强图像，在 CHAOS 和 MSD spleen 上显著提升 Unet 分割精度。
2023-04-26 cs.CV cs.LG eess.IV
Morphological Operation Residual Blocks: Enhancing 3D Morphological Feature Representation in Convolutional Neural Networks for Semantic Segmentation of Medical Images
The University of Hong Kong（香港大学）
器官和组织的形状和形态是医学图像识别和分割的重要先验知识。形态学操作是用于形态学特征提取的公知方法。由于形态学操作在手工图像分割技术中表现良好，因此设计一种在卷积网络中近似形态学操作的方法也是有希望的。然而，使用传统的卷积神经网络作为一个黑盒通常是很难指定的形态操作动作。在这里，我们引入了一个3D形态操作残差块，用于在端到端深度学习模型中提取形态特征，以进行语义分割。提出了一种新的网络块结构，将形态学运算作为一种无穷强先验嵌入到卷积神经网络中。在不同的医学图像分割任务中，构建了几个具有所提出的形态学操作块的3D深度学习模型并进行了比较。实验结果表明，与传统方法相比，该网络在分割任务中取得了相对较高的性能。总之，新的网络块可以很容易地嵌入到传统网络中，并有效地加强医学成像分割的深度学习模型。
2021-03-06 cs.CV cs.LG eess.IV
Large Batch and Patch Size Training for Medical Image Segmentation
Osaka University Graduate School of Medicine（大阪大学医学研究生院）
多器官分割能够进行器官评估，考虑多个器官之间的关系，并有助于准确的诊断和治疗决策。然而，由于缺乏数据集和计算资源，只有少数模型可以准确地执行分割。在AMOS 2022挑战中，这是一个大规模，临床和多样化的腹部多器官分割基准，我们使用多GPU分布式训练训练了一个具有大批量和补丁大小的3D-UNet模型。与基线设置相比，具有大批量和补丁大小的模型的分割性能往往会增加。通过使用使用不同设置训练的集成模型，进一步提高了准确性。这些结果为器官分割中的参数选择提供了参考。
2022-10-24 cs.CV cs.LG eess.IV
Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps
Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）
我们开发和接近无监督语义医学图像分割，扩展了以前的工作与生成对抗网络。我们使用现有的边缘检测方法来构建简单的边缘图，训练生成模型将其转换为合成医学图像，并使用提取的边缘图上的变化构建具有已知分割的合成图像的数据集。然后使用该合成数据集来训练监督图像分割模型。我们在肾脏超声图像的临床数据集和基准ISIC 2018皮肤病变数据集上测试了我们的方法。我们证明了我们的无监督方法比以前的无监督方法更准确，并且与监督图像分割模型相比表现合理。所有代码和训练模型都可以在https://github.com/kiretd/Unsupervised-MIseg上找到。
2019-11-12 cs.AI cs.CV cs.LG
Style Augmentation improves Medical Image Segmentation
Commissariat à l’Energie Atomique（法国原子能委员会）
由于可用标记数据的限制，医学图像分割是深度学习的一项具有挑战性的任务。传统的数据增强技术已被证明可以通过优化少量训练样本的使用来提高分割网络的性能。然而，目前用于分割的增强方法并没有解决卷积神经网络的强纹理偏差，这在几项研究中观察到。这项工作在MoNuSeg数据集上显示，已经用于分类任务的样式增强有助于减少纹理过度拟合并提高分割性能。
2022-11-02 cs.CV eess.IV
Deep Learning in Medical Ultrasound Image Segmentation: a Review
University of Oxford（牛津大学）
将机器学习技术，特别是深度学习应用于医学图像分割，由于其最先进的性能和结果而受到广泛研究。人体组织的三维重建、图像引导的介入治疗、图像分析和可视化等是为临床诊断提供可靠依据的关键步骤。在这篇综述文章中，基于深度学习的超声图像分割方法首先根据其架构和训练分为六个主要组。其次，针对每一类算法，选取了当前几种具有代表性的算法，进行了详细的介绍、分析和总结。此外，对图像分割和超声图像分割数据集的常用评价方法进行了总结。此外，目前的方法和评价的性能进行审查。最后，对医学超声图像分割面临的挑战和潜在的研究方向进行了讨论。
2021-03-05 cs.CV cs.LG eess.IV
A review: Deep learning for medical image segmentation using multi-modality fusion
Université de Rouen Normandie（鲁昂诺曼底大学）；INSA Rouen（鲁昂应用科学学院）
多模态成像技术因其能提供同一靶点（肿瘤、器官或组织）的多种信息而被广泛应用于医学成像领域。多模态图像分割是融合多模态信息来改善分割效果。最近，基于深度学习的方法在图像分类、分割、目标检测和跟踪任务中表现出了最先进的性能。由于其在大量数据上的自学习和泛化能力，深度学习最近在多模态医学图像分割方面也引起了极大的兴趣。在本文中，我们概述了用于多模态医学图像分割任务的基于深度学习的方法。首先，我们介绍了深度学习和多模态医学图像分割的一般原理。其次，我们介绍了不同的深度学习网络架构，然后分析了它们的融合策略，并比较了它们的结果。早期的融合是常用的，因为它很简单，它专注于后续的分割网络架构。然而，后期融合更多地关注融合策略，以学习不同模态之间的复杂关系。一般来说，与早期融合相比，如果融合方法足够有效，后期融合可以给出更准确的结果。本文还讨论了医学图像分割中的一些常见问题。最后，本文对未来的研究进行了总结和展望。
2020-07-16 cs.CV cs.LG eess.IV
Cutting-edge 3D Medical Image Segmentation Methods in 2020: Are Happy Families All Alike?
Nanjing University of Science and Technology（南京理工大学）
分割是医学图像分析中最重要和最热门的任务之一，在疾病诊断、手术规划和预后评估中起着至关重要的作用。在过去的五年中，一方面，成千上万的医学图像分割方法已被提出，不同的医学图像中的各种器官和病变，这变得越来越具有挑战性，公平地比较不同的方法。另一方面，国际细分挑战可以提供一个透明的平台，公平地评估和比较不同的方法。在本文中，我们全面回顾了2020年十大3D医学图像分割挑战中的顶级方法，涵盖了各种任务和数据集。我们还确定了“幸福家庭”的做法，在尖端的分割方法，这是有用的开发功能强大的分割方法。最后，我们讨论了开放的研究问题，应该在未来解决。我们还在\url{https://github.com/JunMa11/SOTA-MedSeg}上维护了一个最先进的分割方法列表。
2021-01-01 cs.CV eess.IV
Segmentation Consistency Training: Out-of-Distribution Generalization for Medical Image Segmentation
University of Oslo（奥斯陆大学）；SimulaMet
泛化被视为深度学习的主要挑战之一，特别是在医学成像领域，医院或成像常规的变化可能导致模型完全失败。为了解决这个问题，我们引入了一致性训练，这是一种训练过程，也是数据增强的替代方法，它基于最大化模型在增强和未增强数据中的预测一致性，以促进更好的分布外泛化。为此，我们开发了一种新的基于区域的分割损失函数，称为分割不一致性损失（SIL），它考虑了增强和未增强的预测和标签对之间的差异。我们证明，一致性训练优于传统的数据增强上的几个分布数据集的息肉分割，一个流行的医疗任务。
2022-05-30 cs.CV cs.LG
Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy
South China University of Technology（华南理工大学）；University of Utah（犹他大学）
我们引入了切片间图像增强的思想，即在两个连续图像之间增加医学图像和相应的分割标签的数量，以提高医学图像分割的准确性。与医学成像中的常规数据增强方法不同，常规数据增强方法仅通过使用简单的参数化变换（诸如旋转、翻转、缩放等）添加新的虚拟样本来直接增加训练样本的数量，我们的目标是根据两幅连续图像之间的关系来增加数据，这不仅增加了训练样本的数量，而且增加了训练样本的信息。为此，我们提出了一种基于帧插值的数据增强方法来生成中间医学图像和相应的分割标签之间的两个连续的图像。我们分别使用增强的训练样本在SILVER 07和CHAOS 2019上对有监督的U-Net肝脏分割网络进行了训练和测试，获得的分割分数与传统增强方法相比表现出显着的改善。
2020-01-31 cs.CV eess.IV
Towards Segment Anything Model (SAM) for Medical Image Segmentation: A Survey
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文综述了SAM在医学图像分割中的应用，总结了基准评测和方法适配工作，指出直接应用效果有限，并为医学图像分析基础模型的未来研究提供方向。
2023-08-11 cs.CV eess.IV
PCDAL: A Perturbation Consistency-Driven Active Learning Approach for Medical Image Segmentation and Classification
Fuzhou University（福州大学）；University of Macao Polytechnic University（澳门理工大学）
本文提出一种基于主动学习的方法PCDAL，可同时应用于2D医学图像分类、分割及3D分割任务，通过更少的标注实现显著提升的性能。
2023-06-29 cs.CV eess.IV
Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segmentation
University of South Florida（南佛罗里达大学）
分割是医学图像分析中的关键步骤。全卷积网络（FCN）已成为功能强大的分割模型，在各种医学图像数据集中实现了最先进的结果。网络架构通常是为特定的分割任务手动设计的，因此将其应用于其他医疗数据集需要大量的经验和时间。此外，分割需要处理大量的数据，这会导致庞大而复杂的架构。最近，已经提出了自动设计用于医学图像分割的神经网络的方法;然而，大多数方法要么没有充分考虑体积信息，要么没有优化网络的大小。在本文中，我们提出了一种新的自适应的2D-3D集成的FCNs的医学图像分割，结合体积信息，优化模型的性能和大小。该模型由提取切片内信息的2D FCN和利用切片间信息的3D FCN的集合组成。的架构的2D和3D FCN自动适应医学图像数据集使用多目标的基于进化的算法，最大限度地减少分割误差和网络中的参数的数量。在PROMISE 12 Grand Challenge的图像数据集上对所提出的2D-3D FCN集成进行了前列腺分割任务的测试。由此产生的网络排名前10，超过了其他自动设计的架构的性能，同时在尺寸上要小得多。
2019-07-26 cs.CV eess.IV
MAMBO-NET: Multi-Causal Aware Modeling Backdoor-Intervention Optimization for Medical Image Segmentation Network
Tianjin University（天津大学）；Tianjin Key Laboratory of Cognitive Computing and Application（天津认知计算与应用重点实验室）；Tianjin Key Laboratory of Advanced Networking（天津先进网络重点实验室）；Tianjin International Engineering Institute, Tianjin University（天津大学国际工程师学院）；Tianjin Central Hospital of Gynecology Obstetrics（天津市中心妇产科医院）；Silesian University of Technology（西里西亚工业大学）；University of Alberta（阿尔伯塔大学）；Istinye University（伊斯坦布尔耶尼大学）
针对医学图像分割中混淆因素影响精度的问题，提出MAMBO-NET网络，利用多重高斯分布拟合混淆因素并引入后门干预技术，有效提升了分割准确性。
2025-05-28 cs.CV eess.IV
U-Net and its variants for Medical Image Segmentation : A short review
IIT Kharagpur（印度理工学院克勒格布尔分校）
本文是一个简短的回顾医学图像分割使用U-网络及其变种。正如我们所理解的那样，通过医学图像对任何临床医生来说都不是一件容易的事情，无论是放射科医生还是病理学家。分析医学图像是进行非侵入性诊断的唯一途径。分割出感兴趣区域在医学图像中具有重要意义，是诊断的关键。本文还对医学图像分割的发展过程进行了概述。还讨论了深度神经架构的挑战和成功。以下是不同的混合架构如何建立在视觉识别任务的强大技术基础上。最后，我们将看到医学图像分割（MIS）当前的挑战和未来的发展方向。
2022-04-17 cs.AI cs.CV eess.IV
Interactive Medical Image Segmentation with Self-Adaptive Confidence Calibration
East China Normal University（华东师范大学）；Huashan Hospital, Fudan University（复旦大学附属华山医院）
医学图像分割是基于人工智能的临床决策系统的基本问题之一。现有的医学图像自动分割方法往往不能满足临床的要求。因此，提出了一系列交互式分割算法来利用专家校正信息。然而，现有的方法遭受一些分割细化失败的问题后，长期的互动和专家标注的一些成本问题，这阻碍了临床应用。本文提出了一个交互式分割框架，称为交互式医学分割与自适应置信度校准（MECCA），通过引入校正动作评估，它结合了基于动作的置信度学习和多智能体强化学习（MARL）。通过一种新的基于动作的置信网络建立评估，并从MARL中获得纠正措施。基于机密信息，设计了自适应的奖励函数以提供更详细的反馈，并在无监督数据上提出了一种模拟标签生成机制以减少对标签数据的过度依赖。在多种医学图像数据集上的实验结果表明了该算法的有效性。
2021-11-15 cs.CV cs.LG
MIScnn: A Framework for Medical Image Segmentation with Convolutional Neural Networks and Deep Learning
University of Augsburg（奥格斯堡大学）
随着现代医学成像技术的发展，对医学图像自动分割的需求越来越大。然而，当前的图像分割平台不提供用于医学图像分割流水线的简单设置的所需功能。已经实现的管道通常是独立的软件，在特定的公共数据集上进行了优化。因此，本文介绍了开源Python库MIScnn。MIScnn的目的是提供一个直观的API，允许快速构建医学图像分割管道，包括数据I/O，预处理，数据增强，逐块分析，指标，具有最先进的深度学习模型和模型利用率的库，如训练，预测以及全自动评估（例如交叉验证）。同样，高可配置性和多个开放接口允许完全管道定制。使用MIScnn对2019年肾脏肿瘤分割挑战数据集（300次CT扫描的多类语义分割）进行交叉验证，得到了基于标准3D U-Net模型的强大预测器。通过这个实验，我们可以证明MIScnn框架使研究人员能够通过使用几行代码快速建立一个完整的医学图像分割管道。MIScnn的源代码可以在Git存储库中找到：https://github.com/frankkramer-lab/MIScnn。
2019-10-21 cs.CV cs.LG cs.NE
A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation
Xidian University（西安电子科技大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
三维图像分割是医学图像处理中最重要也是最普遍的问题之一。它提供了详细的定量分析，用于准确的疾病诊断，异常检测和分类。目前深度学习算法广泛应用于医学图像分割中，大多数算法都是使用完整标注的数据集训练模型。然而，获取医学图像数据集是非常困难和昂贵的，并且三维医学图像的完整标注是一项单调和耗时的工作。在3D图像中部分标记信息切片将大大减轻手动注释。基于主动学习的样本选择策略已经在二维图像领域被提出，但针对三维图像的策略还很少。本文提出了一种基于注意力引导的主动学习的稀疏标注策略用于三维医学图像分割。注意力机制用于提高分割精度，并对各切片的分割精度进行估计。使用正在开发的人类连接组计划（dHCP）数据集进行的三种不同策略的对比实验表明，我们的策略在大脑提取任务中只需要15%到20%的注释切片，在组织分割任务中只需要30%到35%的注释切片，就可以获得完全注释的比较结果。
2019-06-18 cs.CV eess.IV
Navigating Uncertainty in Medical Image Segmentation
Technical University of Denmark（丹麦技术大学）
本文探讨了医学图像分割中不确定方法的选择与评估，通过前列腺和肺部分割案例研究，提出了整合偶然与认知成分的不确定分割模型开发与选择指导原则。
2024-07-23 cs.CV cs.LG
MISeval: a Metric Library for Medical Image Segmentation Evaluation
University of Augsburg（奥格斯堡大学）；University Hospital Augsburg（奥格斯堡大学医院）
正确的性能评估对于评估医学中的现代人工智能算法（如基于深度学习的医学图像分割模型）至关重要。然而，Python中没有用于标准化和可重复评估的通用度量库。因此，我们提出了我们的开源公开可用的Python包MISeval：用于医学图像分割评估的度量库。实施的指标可以直观地使用，并轻松集成到任何性能评估管道。该软件包利用现代CI/CD策略来确保功能和稳定性。MISeval可从PyPI（miseval）和GitHub获得：https://github.com/frankkramer-lab/miseval。
2022-01-23 cs.CV cs.LG
MedUHIP: Towards Human-In-the-Loop Medical Segmentation
University of Oxford（牛津大学）
本文提出 MedUHIP，将不确定性感知多假设分割与临床医生人在回路迭代修正结合，在 REFUGE2、LIDC-IDRI 和 QUBIQ 上以更少交互优于多种确定性、不确定性及交互式模型。
2024-08-03 cs.CV eess.IV
Enhancing Foreground Boundaries for Medical Image Segmentation
NVIDIA（英伟达）
目标分割在现代医学图像分析中起着重要的作用，对临床研究、疾病诊断、手术规划等都有重要意义。鉴于医学图像的各种模态，自动或半自动分割方法已被用于识别和解析器官、骨骼、肿瘤和其他感兴趣区域（ROI）。然而，这些当代的分割方法往往无法预测的ROI的边界区域，因为模糊的外观对比度在成像过程中造成的。为了进一步提高边界区域的分割质量，我们提出了边界增强损失，以加强对优化机器学习模型的额外约束。所提出的损失函数是轻量级的，易于实现，无需任何预处理或后处理。我们的实验结果验证了我们的损失函数在分割精度方面优于或至少与其他最先进的损失函数相当。
2020-05-29 cs.CV eess.IV
GMISeg: General Medical Image Segmentation without Re-Training
Imperial College London（帝国理工学院）
针对医学图像分割模型难以泛化到未知新任务、需重新训练的问题，提出GMISeg通用模型，基于ViT预训练编码器结合低秩微调策略，无需额外训练即可处理新分割任务，在多模态多结构数据集上验证有效，便于模型部署。
2024-09-16 cs.CV eess.IV
MGFI-Net: A Multi-Grained Feature Integration Network for Enhanced Medical Image Segmentation
Shanghai University（上海大学）
针对医学图像分割中噪声、低对比度等问题导致的精度不足及边缘细节丢失，提出MGFI-Net，通过多粒度特征提取模块和边缘增强模块提升分割精度与时间效率，优于现有方法。
2025-02-19 cs.CV eess.IV
PoissonSeg: Semi-Supervised Few-Shot Medical Image Segmentation via Poisson Learning
Tongji University（同济大学）；University of Shanghai for Science and Technology（上海理工大学）；National University of Singapore（新加坡国立大学）
由于缺乏丰富的像素级标注数据，深度学习在医学图像分割中的应用受到了阻碍。Few-Shot语义分割（FSS）是一种很有前途的打破僵局的策略。然而，一个高性能的FSS模型仍然需要足够的像素级注释类进行训练，以避免过拟合，这导致其性能瓶颈，在医学图像分割由于未满足的需要，注释。因此，半监督FSS的医学图像，因此提出利用未标记的数据，以进一步提高性能。然而，现有的半监督FSS方法存在两个明显的缺陷：（1）忽略了标记数据和未标记数据之间的关系;（2）直接使用未标记数据进行端到端训练会导致退化的表示学习。为了解决这些问题，我们提出了一种新的半监督FSS框架的医学图像分割。该框架采用泊松学习来建模数据关系和传播监督信号，并采用空间一致性校准来鼓励模型学习更多的一致性表示。在这个过程中，未标记样本不参与端到端的训练，而是通过基于图的学习为查询图像分割提供监督信息。我们对三个医学图像分割数据集（即ISIC皮肤病变分割，MRI腹部器官分割和CT腹部器官分割）进行了广泛的实验，以证明所提出的框架的最先进的性能和广泛的适用性。
2021-10-24 cs.CV cs.LG
Boundary-aware Information Maximization for Self-supervised Medical Image Segmentation
ETS Montreal（蒙特利尔高等技术学院）
无监督预训练已被证明是一种有效的方法，可以在有限的标记数据下提高各种下游任务。在各种方法中，对比学习通过构建正负对来学习区分性表示。然而，以无监督的方式为分割任务构建合理的对并不是微不足道的。在这项工作中，我们提出了一种新的无监督预训练框架，避免了对比学习的缺点。我们的框架由两个原则组成：无监督过分割作为预训练任务，使用互信息最大化和边界感知保持学习。两个基准的医学分割数据集上的实验结果表明，我们的方法在提高分割性能的有效性时，很少有注释的图像。
2022-02-16 cs.CV eess.IV
Scalable Neural Architecture Search for 3D Medical Image Segmentation
Kakao Brain；Seoul National University（首尔大学）；MILA, Université de Montréal（MILA，蒙特利尔大学）
在本文中，神经结构搜索（NAS）框架提出了三维医学图像分割，自动优化的神经结构，从一个大的设计空间。我们的NAS框架搜索每一层的结构，包括编码器和解码器中的神经连接和操作类型。由于高分辨率的3D医学图像难以在大的离散结构空间上进行优化，因此还提出了一种基于连续松弛的新的随机采样算法用于基于梯度的可扩展优化。在具有基准数据集的3D医学图像分割任务上，所提出的NAS框架自动设计的架构优于人工设计的3D U-Net，并且这种优化的架构非常适合于被转移到不同的任务。
2019-06-13 cs.CV cs.LG eess.IV
Integrating Background Knowledge in Medical Semantic Segmentation with Logic Tensor Networks
Department of Mathematics University of Padua（数学系 帕尔马大学）
本文提出利用逻辑张量网络整合医学背景知识，提升医学图像语义分割性能，尤其在数据稀缺时表现更优。
2025-09-26 cs.CV cs.LG
Unified Multi-scale Feature Abstraction for Medical Image Segmentation
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Wuhan University（武汉大学）；National Institutes of Health（美国国立卫生研究院）
医学图像的自动分割是医学图像分析的重要组成部分，在计算机辅助诊断中起着重要的作用。例如，定位和分割肝脏可以非常有助于肝癌的诊断和治疗。医学图像分割中最先进的模型是编码器-解码器架构的变体，如全卷积网络（FCN）和U-Net。1基于FCN的分割方法的主要焦点是通过结合最新的CNN结构（如ResNet 2和DenseNet）进行网络结构工程。3除了探索新的网络结构以有效地提取高级特征外，将多尺度图像特征提取的结构纳入FCN有助于提高分割任务的性能。在本文中，我们设计了一种新的多尺度网络架构，它采用多尺度输入和专用卷积路径来有效地组合来自不同尺度的特征，以更好地利用层次信息。
2019-10-24 cs.CV eess.IV
Informing selection of performance metrics for medical image segmentation evaluation using configurable synthetic errors
United States Food and Drug Administration（美国食品药品监督管理局）
医学成像中基于机器学习的分割广泛用于从诊断到放射治疗计划的临床应用。具有地面实况的分割的医学图像对于研究不同分割性能度量的属性以告知度量选择是有用的。规则的几何形状通常用于合成分割误差并说明性能度量的属性，但它们缺乏真实图像中解剖变化的复杂性。在这项研究中，我们提出了一种工具，通过调整从真实医学图像中提取的解剖对象的参考（真相）掩模来模拟分割。我们的工具旨在修改定义的真轮廓，并模拟不同类型的分割错误与一组用户可配置的参数。我们从放射治疗的胶质瘤图像分割（GLIS-RT）数据库中的230个患者图像中定义了地面真实对象。对于每个对象，我们使用我们的分割合成工具来合成10个版本的分割（即，10个模拟分割器或算法），其中每个版本具有分割误差的预定义组合。然后，我们应用20个性能指标来评估所有合成分割。我们展示了这些指标的属性，包括它们捕获特定类型分割错误的能力。通过分析这些指标的内在属性和分类的分割错误，我们正在努力的目标是开发一个决策树工具，以协助选择分割性能指标。
2022-12-30 cs.CV eess.IV
On The Robustness of Foundational 3D Medical Image Segmentation Models Against Imprecise Visual Prompts
University of California, San Diego（加州大学圣地亚哥分校）
本研究探讨了基础3D医学图像分割模型在面对不精确视觉提示时的鲁棒性，通过实验揭示了模型对视觉形状和空间线索的依赖性及扰动的抗性。
2026-01-23 cs.CV eess.IV
SAM2-3dMed: Empowering SAM2 for 3D Medical Image Segmentation
Beijing Jiaotong University（北京交通大学）
针对SAM2直接用于3D医学图像分割时的双向解剖连续性和边界精度不足问题，提出SAM2-3dMed，通过切片相对位置预测和边界检测模块，在MSD数据集上显著超越现有方法。
2025-10-10 cs.CV eess.IV
Implicit Anatomical Rendering for Medical Image Segmentation with Stochastic Experts
Yale University（耶鲁大学）
针对医学图像分割中卷积算子易模糊边界高频区域的问题，提出通用隐式神经渲染框架MORSE，将分割建模为端到端渲染问题，结合随机门控MoE优化多尺度特征，适配不同骨干并提升2D/3D分割性能，且有理论支撑。
2023-07-17 cs.AI cs.CV cs.LG
Annotation by Clicks: A Point-Supervised Contrastive Variance Method for Medical Semantic Segmentation
Carleton University（卡尔顿大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
医学图像分割方法通常依赖于大量的密集注释图像进行模型训练，这是众所周知的昂贵和耗时的收集。为了减轻这一负担，弱监督技术已被利用来训练分割模型与较便宜的注释。本文提出了一种新的点监督对比方差医学图像语义分割方法（PSCV），它只需要一个像素点从每个器官类别进行注释。该方法通过使用一种新的对比方差（CV）损失来利用未标记的像素和标记像素上的部分交叉熵损失来训练基本分割网络。CV损失函数被设计为利用医学图像中器官的统计空间分布特性及其方差分布图表示来对未标记的像素执行区分性预测。在两个标准医学图像数据集上的实验结果表明，该方法在点监督医学图像语义分割任务上优于现有的弱监督方法.
2022-12-23 cs.AI cs.CV cs.LG
Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation
Wayne State University（韦恩州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出 MAG-MS 框架，通过多模态自蒸馏将融合知识迁移到单模态表征，在有限测试模态下实现优于现有方法的医学图像分割，并指导模态选择。
2023-06-06 cs.CV eess.IV
Segment Anything Model for Medical Image Segmentation: Current Applications and Future Directions
School of Data Science, Fudan University（复旦大学）；School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学）
本文综述了Segment Anything Model（SAM）在医学图像分割中的当前应用，涵盖实证基准测试与方法论改进，并探讨了未来研究方向，为基础模型在医学图像分析领域的发展提供指导。
2024-01-07 cs.CV eess.IV
Confidence Calibration and Predictive Uncertainty Estimation for Deep Medical Image Segmentation
The University of British Columbia（不列颠哥伦比亚大学）；Harvard Medical School（哈佛医学院）
全卷积神经网络（FCN），特别是U-Net，在许多医学成像应用的语义分割方面取得了最先进的成果。此外，批量规范化和骰子丢失已成功用于稳定和加速训练。然而，这些网络校准不良，即它们倾向于在正确和错误的分类中产生过度自信的预测，使其不可靠且难以解释。在本文中，我们研究了预测不确定性估计的FCNs的医学图像分割。我们做了以下贡献：1）我们系统地比较了交叉熵损失和Dice损失在分割质量和不确定性估计方面的FCNs; 2）我们提出了模型集成，用于批量归一化和Dice损失训练的FCNs的置信度校准; 3）我们评估了校准的FCNs预测结构分割质量和检测分布外测试示例的能力。我们在大脑，心脏和前列腺的三个医学图像分割应用程序进行了广泛的实验，以评估我们的贡献。本研究的结果提供了相当深入的预测不确定性估计和分布外检测在医学图像分割，并提供了实用的配方置信度校准。此外，我们一贯表明，模型集成提高了置信度校准。
2020-06-29 cs.CV eess.IV
Inter-slice Context Residual Learning for 3D Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）
自动和准确的3D医学图像分割在协助医疗专业人员评估疾病进展和制定快速治疗计划方面起着至关重要的作用。尽管深度卷积神经网络（DCNN）已广泛应用于这一任务，但这些模型的准确性仍需要进一步提高，主要是由于它们对3D上下文感知的能力有限。在本文中，我们提出了三维上下文残差网络（ConResNet）的准确分割的三维医学图像。该模型由编码器、分割解码器和上下文残差解码器组成。我们设计了上下文残差模块，并使用它来桥接每个尺度上的两个解码器。每个上下文残差模块包含上下文残差映射和上下文注意力映射，形式化的目标是显式地学习切片间的上下文信息，而上下文注意力映射将上下文信息作为一种注意力来提高分割精度。我们在MICCAI 2018脑肿瘤分割（BraTS）数据集和NIH胰腺分割（Pancreas-CT）数据集上评估了该模型。我们的结果不仅证明了所提出的3D上下文残差学习方案的有效性，而且还表明，所提出的ConResNet在脑肿瘤分割方面比六种顶级方法更准确，在胰腺分割方面比七种顶级方法更准确。代码可在https://git.io/ConResNet上获得
2020-11-28 cs.CV eess.IV
EViT-Unet: U-Net Like Efficient Vision Transformer for Medical Image Segmentation on Mobile and Edge Devices
School of Computing and Augmented Intelligence, Arizona State University（亚利桑那州立大学计算与增强智能学院）；Mayo Clinic（梅奥诊所）
本文提出EViT-UNet，一种结合卷积与自注意力的高效U形ViT分割网络，在保持医学图像分割精度的同时显著降低计算复杂度，适用于移动和边缘设备。
2024-10-19 cs.CV eess.IV
Cross-adversarial local distribution regularization for semi-supervised medical image segmentation
Monash University（莫纳什大学）；CSIRO’s Data61（联邦科学与工业研究组织Data61研究所）
针对医学半监督分割标注数据有限的问题，提出交叉对抗局部分布正则化方法增强平滑性假设，在LA和ACDC公开数据集上取得当前最优性能。
2023-10-02 cs.CV eess.IV
Dual-Task Mutual Learning for Semi-Supervised Medical Image Segmentation
Beihang University（北京航空航天大学）；Hefei Innovation Research Institute, Beihang University（北京航空航天大学合肥创新研究院）；Beijing Advanced Innovation Centre for Biomedical Engineering（北京生物医学工程高精尖创新中心）；Beijing Advanced Innovation Centre for Big Data-Based Precision Medicine（北京大数据精准医疗高精尖创新中心）
深度学习方法在医学图像分割任务中的成功通常需要大量的标记数据。然而，获得可靠的注释是昂贵且耗时的。半监督学习利用了无标记数据易于获取的优势，在医学图像分割中受到广泛关注。在本文中，我们提出了一种新的双任务相互学习框架的半监督医学图像分割。我们的框架可以制定为两个单独的分割网络的集成基于两个任务：学习基于区域的形状约束和学习基于边界的表面失配。与师生网络之间的单向传递不同，双任务学生的集合可以在训练过程中协作学习并隐性地从彼此那里探索有用的知识。通过联合学习目标的分割概率图和符号距离图，我们的框架可以加强几何形状约束，学习更多可靠的信息。实验结果表明，我们的方法通过利用未标记的数据实现了性能增益，并优于最先进的半监督分割方法。
2021-07-11 cs.CV eess.IV
Medical Image Segmentation with Limited Supervision: A Review of Deep Network Models
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）；School of Economics and Finance, Huaqiao University（华侨大学经济与金融学院）
尽管深度学习方法在各种任务上表现出色，但大多数前沿模型严重依赖于大规模带注释的训练样本，而这些样本通常无法用于临床和医疗保健任务。医学图像的标记成本非常高，特别是在医学图像分割中，这通常需要密集的像素/体素标记。因此，从有限的监督（包括有限数量的注释、稀疏注释和不准确的注释）中学习和概括的强大能力对于深度学习模型在医学图像分割中的成功应用至关重要。然而，由于其固有的困难，有限监督的分割是具有挑战性的，需要特定的模型设计和/或学习策略。在本文中，我们提供了一个系统的和最新的审查上述解决方案，总结和评论的方法。我们还强调了在这一领域的几个问题，讨论了未来的方向观察进一步的调查。
2021-02-28 cs.CV cs.LG
HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达）；Arizona State University（亚利桑那州立大学）
由于物体（如器官或肿瘤）的形状和图案的高度可变性，3D医学图像的语义分割是一项具有挑战性的任务。鉴于深度学习最近在医学图像分割方面取得的成功，已经引入了神经架构搜索（NAS）来寻找高性能的3D分割网络架构。然而，由于3D数据的大量计算需求和架构搜索的离散优化性质，先前的NAS方法需要长的搜索时间或必要的连续松弛，并且通常导致次优网络架构。虽然一次性NAS可以潜在地解决这些缺点，但其在分割域中的应用在扩展的多尺度多路径搜索空间中还没有得到很好的研究。为了使一次性NAS的医学图像分割，我们的方法，名为HyperSegNAS，引入了一个超网络，以协助超网络的训练，结合架构拓扑信息。一旦超网被训练，这样的超网就可以被移除，并且在架构搜索期间不会引入开销。我们表明，HyperSegNAS产生更好的性能和更直观的架构相比，以前的国家的最先进的（SOTA）分割网络;此外，它可以快速，准确地找到良好的架构候选人在不同的计算约束。我们的方法在来自医学分割十项全能（MSD）挑战的公共数据集上进行了评估，并达到了SOTA性能。
2022-03-24 cs.CV eess.IV
Cross-level Contrastive Learning and Consistency Constraint for Semi-supervised Medical Image Segmentation
Sun Yat-Sen University（中山大学）；Xidian University（西安电子科技大学）；The Sixth Affiliated Hospital, Sun Yat-sen University（中山大学附属第六医院）
半监督学习（Semi-supervised learning，SSL）利用少量标记图像和大量未标记图像进行网络训练，有利于减轻医学图像分割中的数据标注负担。根据医学影像专家的经验，纹理、光泽和平滑度等局部属性是识别医学图像中病变和息肉等目标对象的重要因素。基于此，我们提出了一种跨层次的对比学习方案，以提高半监督医学图像分割中局部特征的表达能力。与现有的图像，补丁明智和点明智的对比学习算法相比，我们设计的方法是能够探索更复杂的相似性线索，即全球和本地补丁明智的表示之间的关系特性。此外，为了充分利用跨层次的语义关系，我们设计了一种新的一致性约束，比较预测的补丁对那些完整的图像。在两个医学图像数据集上，通过跨层对比学习和一致性约束，可以有效地挖掘未标记数据，提高分割性能。我们的方法代码可用。
2022-02-13 cs.CV eess.IV
CycleMix: A Holistic Strategy for Medical Image Segmentation from Scribble Supervision
Fudan University（复旦大学）
管理大量的完全注释的训练数据可能是昂贵的，特别是对于医学图像分割的任务。涂鸦是一种较弱的注释形式，在实践中更容易获得，但从有限的涂鸦监督中训练分割模型仍然具有挑战性。为了解决这些困难，我们提出了一个新的框架，涂鸦学习为基础的医学图像分割，这是由混合增强和周期一致性，因此被称为CycleMix。为了加强监督，CycleMix采用了混合策略，并采用了专门的随机遮挡设计，以执行涂鸦的增量和减量。对于监督的规则化，CycleMix强化了训练目标，一致性损失惩罚不一致的分割，这导致分割性能的显着提高。两个开放数据集的结果，即，ACDC和MSCMRseg表明，所提出的方法实现了令人振奋的性能，表现出与完全监督方法相当甚至更好的准确性。在https://github.com/BWGZK/CycleMix上可以公开获得MSCMRseg的代码和专家制作的潦草注释。
2022-03-12 cs.CV eess.IV
Stronger is not better: Better Augmentations in Contrastive Learning for Medical Image Segmentation
Department of Computer Science（计算机科学系）
本文研究了医学图像分割中对比学习的增强方法，发现强数据增强不一定提升性能，并提出了改进的增强技术以提高分割效果。
2025-12-10 cs.CV eess.IV
DoubleU-Net: A Deep Convolutional Neural Network for Medical Image Segmentation
SimulaMet；UiT The Arctic University of Norway（挪威北极大学）；Oslo Metropolitan University（奥斯陆城市大学）
语义图像分割是将图像的每个像素标记为其相应的类的过程。基于编码器-解码器的方法，如U-Net及其变体，是解决医学图像分割任务的流行策略。为了提高U-Net在各种分割任务上的性能，我们提出了一种名为DoubleU-Net的新架构，它是两个U-Net架构相互堆叠的组合。第一个U-Net使用预训练的VGG-19作为编码器，它已经从ImageNet学习了特征，可以轻松地转移到另一个任务。为了有效地捕获更多的语义信息，我们在底部添加了另一个U-Net。我们还采用Atrous空间金字塔池（ASPP）来捕获网络中的上下文信息。我们使用四个医学分割数据集对DoubleU-Net进行了评估，涵盖了各种成像方式，如结肠镜检查、皮肤镜检查和显微镜检查。在MICCAI 2015分割挑战、CVC ClinicDB、2018 Data Science Bowl挑战和病变边界分割数据集上的实验表明，DoubleU-Net优于U-Net和基线模型。此外，DoubleU-Net生成更准确的分割模板，特别是在CVC-ClinicDB和MICCAI 2015分割挑战数据集的情况下，这些数据集具有挑战性的图像，例如较小和平坦的息肉。这些结果显示了对现有U-Net模型的改进。在各种医学图像分割数据集上产生的令人鼓舞的结果表明，DoubleU-Net可以用作医学图像分割和跨数据集评估测试的强大基线，以衡量深度学习（DL）模型…
2020-06-27 cs.CV eess.IV
Roughness Index and Roughness Distance for Benchmarking Medical Segmentation
University of Arkansas（阿肯色大学）
医学图像分割是医学图像分析中最具挑战性的任务之一，并已在许多临床应用中得到广泛发展。大多数现有的度量标准首先是针对自然图像设计的，然后扩展到医学图像。虽然物体表面在医学分割和定量分析中起着重要的作用，即分析脑肿瘤表面，测量灰质体积，但大多数现有的度量在分析物体表面时受到限制，特别是在分析给定体积物体的表面光滑度或粗糙度或分析拓扑错误时。在本文中，我们首先分析了所有现有的医学图像分割指标，特别是体积数据的优点和缺点。然后提出了合适的粗糙度指数和粗糙度距离用于医学图像分割分析和评价。我们提出的方法解决了两种分割错误，即（i）边界/表面上的拓扑错误和（ii）边界/表面上的不规则性。这项工作的贡献是四倍：（i）检测表面上的不规则尖峰/孔洞，（ii）提出粗糙度指数来测量给定对象的表面粗糙度，（iii）提出一个粗糙度距离来测量两个边界/表面的距离，通过利用所提出的粗糙度指数和（iv）提出一种算法，这有助于消除不规则尖峰/孔洞，以平滑表面。我们提出的粗糙度指数和粗糙度距离是建立在固体表面粗糙度参数，已成功地开发在土木工程。
2021-03-23 cs.CV eess.IV
SS-3DCapsNet: Self-supervised 3D Capsule Networks for Medical Segmentation on Less Labeled Data
University of Arkansas（阿肯色大学）；Cyberlogitec Vietnam（越南赛博罗吉泰克公司）；VinAI（越南人工智能研究院）
胶囊网络是一种新的深度网络架构，已成功应用于医学图像分割任务。这项工作扩展了胶囊网络的体积医学图像分割与自监督学习。为了改善与以前的胶囊网络相比的权重初始化问题，我们利用自监督学习进行胶囊网络预训练，其中我们的预文本任务通过自重构进行优化。我们的胶囊网络SS-3DCapsNet具有基于UNet的架构，具有3D胶囊编码器和3D CNN解码器。我们在iSeg-2017、Hippocampus和Cardiac等多个数据集上进行的实验表明，我们具有自我监督预训练的3D胶囊网络的性能大大优于以前的胶囊网络和3D-UNets。
2022-03-28 cs.CV eess.IV
A hybrid approach for improving U-Net variants in medical image segmentation
ABV-IIITM
本研究旨在利用深度可分离卷积降低MultiResUNet等U-Net变体的网络参数需求并减少推理时间，同时通过注意力系统和残差连接在皮肤病变分割等任务中保持分割性能。
2023-07-31 cs.CV eess.IV
