MS Lesion Segmentation: Revisiting Weighting Mechanisms for Federated Learning
The University of Sydney（悉尼大学）；Sydney Neuroimaging Analysis Centre（悉尼神经影像分析中心）；NVIDIA Corporation（英伟达公司）
联邦学习（FL）已被广泛用于医学图像分析，以促进多客户端协作学习，而无需共享原始数据。尽管取得了巨大的成功，FL的性能是有限的多发性硬化症（MS）病变分割任务，由于不同的扫描仪和采集参数赋予病变特征的差异。在这项工作中，我们提出了第一个FL MS病变分割框架，通过两个有效的重新加权机制。具体来说，一个可学习的权重分配给每个本地节点在聚合过程中，根据其分割性能。此外，每个客户端中的分割损失函数也根据训练期间数据的病变体积重新加权。使用公共和临床数据集的两个FL MS分割场景的比较实验表明，所提出的方法的有效性，优于其他FL方法显着。此外，结合我们提出的聚合机制的FL的分割性能可以超过所有原始数据的集中训练。广泛的评估也表明了我们的方法在估计病变修复后的脑体积差异估计时的优越性。
2022-05-03 cs.CV eess.IV
SynthFM: Training Modality-agnostic Foundation Models for Medical Image Segmentation without Real Medical Data
GE HealthCare（GE医疗）；University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
SynthFM提出合成医学图像数据生成框架，利用SAM预训练编码器并从头训练解码器，在无真实医学数据条件下实现多模态医学图像分割，在11个解剖结构和9个数据集上超越SAM与MedSAM等零样本基线。
2025-04-11 cs.AI cs.CV eess.IV
Dynamically evolving segment anything model with continuous learning for medical image segmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Chinese PLA General Hospital（中国人民解放军总医院）
本文提出EvoSAM模型，通过持续学习动态积累新场景和任务知识，在手术血管及前列腺MRI分割中提升精度并缓解灾难性遗忘。
2025-03-08 cs.CV
An Embarrassingly Simple Consistency Regularization Method for Semi-Supervised Medical Image Segmentation
Jadavpur University（贾达布尔大学）
像素级标注的缺乏是医学图像分割任务中普遍存在的问题。在本文中，我们介绍了一种新的正则化策略，涉及基于插值的混合半监督医学图像分割。该方法是一种新的一致性正则化策略，鼓励两个未标记数据的插值分割与这些数据的分割图的插值一致。该方法代表了一种特定类型的数据自适应正则化范式，有助于在高置信度值下最小化标记数据的过拟合。所提出的方法优于对抗和生成模型，因为它不需要额外的计算。在两个公开的MRI数据集：ACDC和MMWHS，实验结果表明，该方法的优越性相比，现有的半监督模型。代码可在：https://github.com/hritam-98/ICT-MedSeg
2022-02-03 cs.AI cs.CV eess.IV
Adaptive Interactive Segmentation for Multimodal Medical Imaging via Selection Engine
Hangzhou Dianzi University（杭州电子科技大学）；Chinese PLA General Hospital（中国人民解放军总医院）；Communication University of Zhejiang（浙江传媒学院）
针对多模态医学影像分割的适应性与泛化性挑战，提出基于SAM2的策略驱动交互式分割模型SISeg，集成选择引擎AFSE优化提示帧选择，在10个多模态数据集上验证了其强大性能。
2024-11-29 cs.AI cs.CV cs.LG
In-context learning for medical image segmentation
Tohoku University Graduate School of Medicine（东北大学大学院医学系研究科）；Tohoku University Hospital（东北大学医院）；St. Marianna University Graduate School of Medicine（圣玛丽安娜医科大学大学院医学系研究科）
提出上下文级联分割方法，基于UniverSeg框架通过迭代传播切片信息，在HVSMR数据集上显著提升心脏图像分割的跨切片边界一致性，减少标注负担。
2025-02-28 cs.AI cs.CV eess.IV
ASC-Net: Unsupervised Medical Anomaly Segmentation Using an Adversarial-based Selective Cutting Network
University of Georgia（佐治亚大学）；Zhongnan Hospital of Wuhan University（武汉大学中南医院）；Shanghai Jiao Tong University（上海交通大学）
在本文中，我们考虑在医学图像中的无监督异常分割的问题，这引起了越来越多的关注，近年来由于昂贵的像素级的专家注释和存在大量的未注释的正常和异常的图像扫描。我们引入了一个分割网络，该网络利用对抗学习将图像划分为两个切割，其中一个切割落入用户提供的参考分布中。这种基于对抗性的选择性切割网络（ASC-Net）桥接了基于聚类的深度分割和基于对抗性的异常/新颖性检测算法这两个领域。我们的ASC-Net从正常和异常的医疗扫描中学习，以在没有任何监督掩码的情况下分割医疗扫描中的异常。我们在三个公共数据集上评估了这种无监督的异常分割模型，即，BraTS 2019用于脑肿瘤分割，LiTS用于肝脏病变分割，MS-SEG 2015用于脑病变分割，以及用于脑肿瘤分割的私人数据集。与现有方法相比，我们的模型在无监督异常分割任务中表现出巨大的性能提升。虽然与监督学习算法相比，仍有进一步提高性能的空间，但有希望的实验结果和有趣的观察结果揭示了使用用户定义的知识构建用于医疗异常识别的无监督学习算法。
2021-12-16 cs.AI cs.CV eess.IV
CNN-based Segmentation of Medical Imaging Data
Ludwig-Maximilians-Universität München（慕尼黑大学）；Volkswagen Group（大众集团）
卷积神经网络已经被应用于各种各样的计算机视觉任务。语义分割的最新进展使其能够应用于医学图像分割。虽然大多数CNN使用二维内核，但最近基于CNN的医学图像分割出版物采用了三维内核，允许完全访问医学图像的三维结构。虽然与语义分割密切相关，但医学图像分割包括需要解决的特定挑战，例如标记数据的稀缺性，在地面真值中发现的高类别不平衡以及三维图像的高内存需求。在这项工作中，一个基于CNN的方法与三维滤波器的演示和应用手和脑MRI。讨论了对现有CNN架构的两个修改，以及解决上述挑战的方法。虽然大多数现有的医学图像分割文献都集中在软组织和主要器官上，但这项工作在中枢神经系统和手部骨骼的数据上都得到了验证。
2017-07-25 cs.CV
Generalist Vision Foundation Models for Medical Imaging: A Case Study of Segment Anything Model on Zero-Shot Medical Segmentation
The Chinese University of Hong Kong（香港中文大学）；Imperial College London（帝国理工学院）
论文评估 SAM 在九个医学分割基准上的零样本能力，发现其跨领域表现不稳且部分结构失效，但少量数据微调即可显著改善，显示通用视觉基础模型经适配可支持精准临床诊断。
2023-06-05 cs.CV
Joint-ViVo: Selecting and Weighting Visual Words Jointly for Bag-of-Features based Tissue Classification in Medical Images
医学图像中感兴趣区域（ROI）的组织类型自动分类是计算机辅助诊断（CAD）中的一个重要应用，如乳腺X线照片中的乳腺实质组织分类、高分辨率计算机断层扫描（HRCT）中的肺部疾病模式分类等。在本文中，我们研究使用袋的功能策略，在医学成像应用中的组织类型进行分类。这里考虑了两个重要的问题：视觉词汇学习和加权。虽然已经有很多算法来处理它们，但它们都是独立处理的，即先学习词汇，然后直方图加权。受联合学习特征和分类器的Auto-Context的启发，我们尝试开发一种联合学习词汇和权重的新颖算法。新算法称为Joint-ViVo，以迭代方式工作。在每次迭代中，我们首先通过最大化ROI三元组的边缘来学习每个视觉词的权重，然后基于学习到的权重为下一次迭代选择最有区别的视觉词。我们测试我们的算法在三个组织分类任务：识别脑组织类型的磁共振成像（MRI），分类肺组织的HRCT图像，并分类乳腺组织密度在乳房X线照片。实验结果表明，Joint-ViVo算法能够有效地对组织进行分类。
2013-04-05 cs.CV stat.ML
MedSeg-R: Reasoning Segmentation in Medical Images with Multimodal Large Language Models
Department of Radiology, The First Affiliated Hospital, Zhejiang University School of Medicine, Hangzhou, Zhejiang, China（放射科、浙江大学医学院附属第一医院、浙江大学医学院）
针对现有医学图像分割模型依赖明确指令、缺乏推理能力的问题，提出基于MLLMs的端到端框架MedSeg-R，配套构建大规模数据集MedSeg-QA，在多基准上实现高精度分割与可解释文本分析。
2025-06-12 cs.CV
MoME: Mixture of Visual Language Medical Experts for Medical Imaging Segmentation
Department of Computer Science, University of California, Irvine（加州大学尔湾分校计算机科学系）；School of Medicine, University of California, Irvine（加州大学尔湾分校医学院）
本研究提出MoME，将大语言模型中的专家混合范式适配于医学视觉语言任务，通过多尺度视觉特征与文本嵌入实现动态专家选择，在10个数据集上展现出强劲的分割性能。
2025-10-30 cs.CV
ET-Net: A Generic Edge-aTtention Guidance Network for Medical Image Segmentation
Tianjin University（天津大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）
分割是医学图像分析中的一项基本任务。然而，大多数现有的方法集中在主区域提取，而忽略了边缘信息，这是有用的，以获得准确的分割。在本文中，我们提出了一种通用的医学分割方法，称为边缘注意力引导网络（ET-网），它嵌入了边缘注意力表示来指导分割网络。具体地，边缘引导模块用于学习早期编码层中的边缘注意表示，然后将其转移到多尺度解码层，使用加权聚合模块进行融合。四个分割任务的实验结果（即，视网膜图像中的视盘/杯和血管分割，以及胸部X射线和CT图像中的肺部分割）表明，保留边缘注意表示有助于最终的分割精度，并且我们提出的方法优于当前最先进的分割方法。我们的方法的源代码可以在https://github.com/ZzzJzzZ/ETNet上获得。
2019-07-25 cs.CV
Cross-Domain Distribution Alignment for Segmentation of Private Unannotated 3D Medical Images
University of Southern California（南加州大学）
针对3D医学图像标注困难与隐私限制问题，提出一种无源域无监督域适应方法，通过估计源域内部学习分布生成伪标签进行自训练优化，在真实3D医学数据集上实现了SOTA性能。
2024-10-11 cs.CV
CE-Net: Context Encoder Network for 2D Medical Image Segmentation
School of Mechatronic Engineering and Automation, Shanghai University（上海大学机电工程与自动化学院）；Cixi Institute of Biomedical Engineering, Chinese Academy of Sciences（中国科学院慈溪生物医学工程研究所）；Inception Institute of Artificial Intelligence（Inception人工智能研究所）；Institute for Infocomm Research, Agency for Science, Technology and Research, Singapore（新加坡科技研究局信息通信研究院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
医学图像分割是医学图像分析的重要步骤。随着卷积神经网络在图像处理中的快速发展，深度学习已被用于医学图像分割，如视盘分割、血管检测、肺部分割、细胞分割等。然而，连续池化和步幅卷积操作导致一些空间信息的丢失。在本文中，我们提出了一个上下文编码器网络（简称为CE-Net），以捕获更多的高层信息，并保留空间信息的二维医学图像分割。CE-Net主要包括三个主要部分：特征编码模块、上下文提取模块和特征解码模块。我们使用预训练的ResNet块作为固定特征提取器。上下文提取器模块由新提出的密集无核卷积（DAC）块和残差多核池（RMP）块组成。我们将所提出的CE-Net应用于不同的2D医学图像分割任务。综合实验结果表明，该方法在视盘分割、血管检测、肺部分割、细胞轮廓分割和视网膜光学相干断层成像层分割等方面优于原始U-Net方法和其他最先进的方法。
2019-03-07 cs.CV
Transformation Consistent Self-ensembling Model for Semi-supervised Medical Image Segmentation
The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）
深度卷积神经网络在各种医学图像计算任务上取得了显著进展。将监督式深度学习方法应用于医学图像时的一个常见问题是缺乏标记数据，这是非常昂贵且耗时的。在本文中，我们提出了一种新的半监督方法的医学图像分割，其中网络是优化的加权组合的一个共同的监督损失标记输入和标记和未标记的数据的正则化损失。为了利用未标记的数据，我们的方法鼓励训练中的网络在不同的正则化下对相同的输入进行一致的预测。针对半监督分割问题，我们在自集成模型中引入了一种包括旋转和翻转在内的一致性变换方案，增强了正则化对像素级预测的效果。针对半监督分割任务，我们在自集成模型中引入了变换一致性策略，以增强像素级预测的正则化效果。我们已经在三个典型但具有挑战性的医学图像分割任务上广泛验证了所提出的半监督方法：（i）来自国际皮肤成像协作（ISIC）2017数据集上的皮肤镜检查图像的皮肤病变分割，以及（iii）来自肝脏肿瘤分割挑战（LiTS）数据集上的体积CT扫描的肝脏分割。与现有技术相比，我们提出的方法在具有挑战性的2D/3D医学图像上显示出优越的分割性能，证明了我们的半监督方法用于医学图像分割的有效性。
2020-05-08 cs.CV
SimTxtSeg: Weakly-Supervised Medical Image Segmentation with Simple Text Cues
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, China（教育部新一代人工智能技术及交叉应用重点实验室）；Nanjing University of Science and Technology（南京理工大学）；Northwestern Polytechnical University（西北工业大学）
本文提出SimTxtSeg框架，利用简单文本提示生成高质量伪标签并实现跨模态融合，包含文本到视觉提示转换器和文本引导分割模型，在结肠息肉和MRI脑肿瘤分割任务上达到最新性能。
2024-09-25 cs.CV
Text-Promptable Propagation for Referring Medical Image Sequence Segmentation
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）；Deakin University（迪肯大学）
针对引用医学图像序列分割任务中现有模型难以跨序列跟踪目标及缺乏文本交互引导的问题，提出Text-Promptable Propagation模型，通过跨模态交互与Transformer传播实现目标识别与跟踪，构建大规模基准并取得优异性能。
2025-04-12 cs.CV
MedDINOv3: How to adapt vision foundation models for medical image segmentation?
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）；Emory University School of Medicine（埃默里大学医学院）
针对医学图像分割中基础模型适应难的问题，提出MedDINOv3框架，通过多尺度token聚合架构和CT-3M领域自适应预训练，在四个基准上达到或超越SOTA，证明视觉基础模型可作为统一骨干。
2025-10-15 cs.CV
MIST: A Simple and Scalable End-To-End 3D Medical Imaging Segmentation Framework
The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）；Rice University（莱斯大学）
本文提出MIST，一个简单、模块化、端到端的3D医学图像分割框架，通过标准化训练、测试和评估流程，解决现有方法难以公平比较的问题，并在BraTS数据集上验证了其准确性和多GPU可扩展性。
2024-11-18 cs.AI cs.CV cs.LG
Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
注释良好的医学数据集使深度神经网络（DNN）能够在提取病变相关特征方面获得强大的能力。由于需要高水平的专业知识，构建如此大型且设计良好的医疗数据集成本高昂。基于ImageNet的模型预训练是一种常见的做法，可以在数据量有限的情况下获得更好的泛化。然而，它遭受自然和医学图像之间的域差距。在这项工作中，我们在超声（US）领域而不是ImageNet上预训练DNN，以减少医疗US应用中的领域差距。为了学习基于未标记的US视频的US图像表示，我们提出了一种新的基于元学习的对比学习方法，即Meta Ultrasound对比学习（Meta-USCL）。为了解决对比学习中获得语义一致的样本对的关键挑战，我们提出了一个正对生成模块以及一个基于元学习的自动样本加权模块。在肺炎检测、乳腺癌分类和乳腺肿瘤分割等多个计算机辅助诊断（CAD）问题上的实验结果表明，所提出的自监督方法达到了最先进水平（SOTA）。这些代码可在https://github.com/Schuture/Meta-USCL上获得。
2022-12-08 cs.CV cs.LG
TP-Seg: Task-Prototype Framework for Unified Medical Lesion Segmentation
School of Artificial Intelligence, Jiangxi Normal University（江西师范大学人工智能学院）；East China Normal University（华东师范大学）；Yale University（耶鲁大学）
本文提出TP-Seg框架，通过双路径专家结构平衡共享与任务特定表示，结合原型引导解码器实现细粒度任务语义建模，优于多种分割方法，展现强泛化和临床应用价值。
2026-04-01 cs.CV
A Novel Convolutional-Free Method for 3D Medical Imaging Segmentation
AI Geeks
本文提出一种完全基于Transformer和自注意力的无卷积三维医学图像分割模型，通过联合损失函数解决厚薄层CT域适应问题，并构建薄层多语义分割基准数据集，实验证明其优于传统与混合架构。
2025-02-08 cs.CV eess.IV
Anomaly Detection-Inspired Few-Shot Medical Image Segmentation Through Self-Supervision With Supervoxels
UiT The Arctic University of Norway（特罗姆瑟大学（挪威北极圈大学））
最近的工作表明，标签有效的Few-Shot学习通过自我监督可以实现有前途的医学图像分割结果。然而，Few-Shot分割模型通常依赖于语义类的原型表示，导致局部信息的丢失，从而降低性能。这对于医学图像分割问题中通常较大且高度异质的背景类是特别成问题的。以前的作品试图通过学习每个类的额外原型来解决这个问题，但由于原型是基于有限数量的切片，我们认为这种临时解决方案不足以捕获背景属性。受此启发，并观察到前景类（例如，一个器官）是相对均匀的，我们提出了一种新的异常检测启发的方法来Few-Shot医学图像分割，我们避免明确建模的背景。相反，我们只依赖于一个单一的前景原型来计算所有查询像素的异常分数。然后通过使用学习的阈值对这些异常分数进行阈值化来执行分割。借助于一种新的自我监督任务，利用三维结构的医学图像，通过超体素，我们提出的异常检测启发的Few-Shot医学图像分割模型优于以前的国家的最先进的方法在两个代表性的MRI数据集的腹部器官分割和心脏分割的任务。
2022-03-03 cs.CV eess.IV
Exploring SAM Ablations for Enhancing Medical Segmentation in Radiology and Pathology
本文通过分解 SAM 组件并开展微调消融实验，评估其在脑肿瘤与乳腺癌分割中的准确性、可靠性及医学应用潜力。
2023-09-30 cs.CV cs.LG
PyMIC: A deep learning toolkit for annotation-efficient medical image segmentation
University of Electronic Science and Technology of China（电子科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Johns Hopkins University（约翰斯·霍普金斯大学）；West China Hospital, Sichuan University（四川大学华西医院）
背景和目的：开源深度学习工具包是开发医学图像分割模型的驱动力之一。现有的工具包主要集中在完全监督分割，需要完整和准确的像素级注释，这是耗时的，难以获得的分割任务，这使得学习不完美的标签非常需要降低注释成本。我们的目标是开发一个新的深度学习工具包，以支持医学图像分割的注释高效学习。方法：我们提出的名为PyMIC的工具包是一个用于医学图像分割任务的模块化深度学习库。除了支持开发用于全监督分割的高性能模型的基本组件外，它还包含几个针对不完美注释的学习量身定制的高级组件，例如加载注释和未发布的图像，未注释，部分或不准确注释图像的损失函数，以及多个网络之间共同学习的训练过程等。用于医学图像分割的弱监督和噪声鲁棒学习方法。结果如下：我们提出了几个基于PyMIC的说明性医学图像分割任务：（1）在完全监督学习上实现有竞争力的性能;（2）仅对10%的训练图像进行注释的半监督心脏结构分割;（3）使用潦草注释的弱监督分割;（4）从噪声标签中学习胸部X光片分割。结论：PyMIC工具包易于使用，有助于有效开发注释不完善的医学图像分割模型。它是模块化和灵活的，这使研究人员能够开发高性能的模型，低注释成本。源代码可在https://github.com/HiLab-git/PyMIC上获得。
2023-02-05 cs.CV eess.IV
Slice Imputation: Intermediate Slice Interpolation for Anisotropic 3D Medical Image Segmentation
South China University of Technology（华南理工大学）；Rochester Institute of Technology（罗切斯特理工学院）
我们引入了一种新的基于帧插值的切片填充方法，以提高各向异性3D医学图像的分割精度，其中切片的数量及其相应的分割标签可以在各向异性3D医学体积中的两个连续切片之间增加。与以往的切片间插补方法不同，该方法仅关注轴向方向上的平滑度，本研究旨在提高轴向、矢状和冠状三个方向上插值3D医学体积的平滑度。所提出的多任务切片间插补方法，特别是，采用了平滑损失函数，以评估平滑度的插值三维医疗体积在通过平面方向（矢状和冠状）。它不仅提高了穿过平面方向的插值3D医学体积的分辨率，而且还将它们转换为各向同性表示，从而带来更好的分割性能。在大脑中的整个肿瘤分割，肝脏肿瘤分割，前列腺分割的实验表明，我们的方法优于竞争切片插补方法在计算机断层扫描和磁共振图像的体积在大多数情况下。
2022-03-21 cs.CV cs.LG eess.IV
From CNN to Transformer: A Review of Medical Image Segmentation Models
University of Electronic Science and Technology of China（电子科技大学）；Deyang People’s Hospital（德阳市人民医院）；Sichuan Provincial People’s Hospital（四川省人民医院）；Chinese Academy of Sciences Sichuan Translational Medicine Research Hospital（中国科学院四川转化医学研究医院）
本文综述了从CNN到Transformer的四类代表性医学图像分割模型，在结核病胸片和卵巢肿瘤两个基准数据集上定量比较其性能，并探讨了当前挑战与未来趋势，为相关研究者快速构建特定区域分割模型提供参考。
2023-08-10 cs.CV cs.LG eess.IV
Bridging 2D and 3D Segmentation Networks for Computation Efficient Volumetric Medical Image Segmentation: An Empirical Study of 2.5D Solutions
Beihang University（北京航空航天大学）；Hefei Innovation Research Institute, Beihang University（北京航空航天大学合肥创新研究院）；Beijing Advanced Innovation Centre for Biomedical Engineering（北京生物医学工程先进创新中心）；Beijing Advanced Innovation Centre for Big Data-Based Precision Medicine（北京大数据精准医疗先进创新中心）
最近，深度卷积神经网络在医学图像分割方面取得了巨大成功。然而，与自然图像的分割不同，大多数医学图像（诸如MRI和CT）是体积数据。为了充分利用体信息，3D CNN被广泛使用。然而，3D CNN具有较高的推理时间和计算成本，这阻碍了其进一步的临床应用。此外，随着参数数量的增加，过拟合的风险更高，特别是对于数据和注释获取成本昂贵的医学图像。为了解决这个问题，已经提出了许多2.5D分割方法，以利用体积空间信息，具有更少的计算成本。尽管这些工作导致各种分割任务的改进，据我们所知，以前还没有这些方法的大规模实证比较。在本文中，我们的目的是提出一个审查的最新发展的2.5维方法的体积医学图像分割。此外，比较这些方法的性能和有效性，我们提供了一个实证研究，这些方法对三个代表性的分割任务，涉及不同的方式和目标。我们的实验结果表明，3D CNN可能并不总是最佳选择。尽管所有这些2.5D方法都可以为2D基线带来性能增益，但并非所有方法都能在不同的数据集上获得优势。我们希望我们的研究结果和结论将被证明是有用的社区探索和开发高效的体积医学图像分割方法。
2022-02-07 cs.CV eess.IV
Segmentation Ability Map: Interpret deep features for medical image segmentation
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）
深度卷积神经网络（CNN）已广泛用于医学图像分割。在大多数研究中，仅利用输出层来计算最终的分割结果，并且深度学习特征的隐藏表示尚未得到很好的理解。在本文中，我们提出了一种原型分割（ProtoSeg）方法来计算基于深度特征的二进制分割图。我们通过计算特征分割图和地面实况之间的Dice来衡量特征的分割能力，称为分割能力得分（简称SA得分）。相应的SA得分可以量化不同层和单元中深度特征的分割能力，以了解用于分割的深度神经网络。此外，我们的方法可以提供一个平均SA分数，它可以给出一个性能估计的输出测试图像没有地面真理。最后，我们使用所提出的ProtoSeg方法直接在输入图像上计算分割图，以进一步了解每个输入图像的分割能力。在脑MRI中的肿瘤分割、皮肤图像中的病变、CT图像中的COVID相关异常、腹部MRI中的前列腺分割和CT图像中的胰腺肿块分割上呈现结果。我们的方法可以为医学图像分割的解释和可解释的AI系统提供新的见解。我们的代码可从以下网站获得：\url{https://github.com/shengfly/ProtoSeg}。
2022-12-19 cs.CV eess.IV
Expert-Adaptive Medical Image Segmentation
Swinburne University of Technology（斯威本科技大学）
本文针对医学图像分割中专家标注差异导致模型难以适应新专家的问题，提出一种结合多专家标注、多任务DNN训练和轻量级微调的专家自适应方法，并在有限脑MRI数据上验证了其有效性。
2024-05-01 cs.CV cs.NE
Spatially Dependent U-Nets: Highly Accurate Architectures for Medical Imaging Segmentation
Institute for Machine Learning, ETH Zurich（苏黎世联邦理工学院机器学习研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Champalimaud Foundation（尚帕利莫基金会）
在临床实践中，医学成像中的感兴趣区域通常需要通过精确的图像分割过程来识别。该图像分割步骤的质量严重影响患者状态的后续临床评估。为了实现高精度的自动图像分割，我们引入了一种新型的深度神经网络架构，该架构利用了解剖结构的固有空间相干性，并且能够很好地捕获分割像素/体素空间中的长距离空间依赖性。与基于卷积层的最先进的解决方案相比，我们的方法利用了最近引入的空间依赖层，这些空间依赖层具有无限的感受野，并明确地对空间相干性的归纳偏差进行建模。我们的方法表现良好，常用的U-Net和U-Net++架构，证明了改进的Dice和Jaccardscore在三个不同的医疗分割任务：细胞核分割显微镜图像，息肉分割结肠镜视频，肝脏分割腹部CT扫描。
2021-03-22 cs.CV eess.IV
TransBTSV2: Towards Better and More Efficient Volumetric Segmentation of Medical Images
University of Science and Technology Beijing（北京科技大学）；University of Central Florida（中佛罗里达大学）
Transformer利用自注意机制进行全局（长距离）信息建模，近年来在自然语言处理和计算机视觉领域取得了成功。卷积神经网络能够捕获局部特征，但很难从全局特征空间建模显式的长距离依赖关系。然而，局部和全局特征对于密集预测任务至关重要，特别是对于3D医学图像分割。在本文中，我们提出了进一步的尝试，利用Transformer在3D CNN的三维医学图像体积分割，并提出了一种新的网络命名为transBTSV 2的编码器-解码器结构的基础上。与TransBTS不同，所提出的TransBTSV 2不限于脑肿瘤分割（BTS），而是专注于一般的医学图像分割，为医学图像的体积分割提供更强大，更有效的3D基线。作为一种混合的CNN-Transformer架构，TransBTSV 2无需任何预训练即可实现医学图像的精确分割，具有CNN的强归纳偏差和Transformer强大的全局上下文建模能力。通过对Transformer模块内部结构的重新设计，以及引入可变形瓶颈模块来捕获形状感知的局部细节，实现了一个高效的、性能优越的架构。在四个医学图像数据集（BraTS 2019，BraTS 2020，LiTS 2017和KiTS 2019）上的广泛实验结果表明，与最先进的脑肿瘤，肝肿瘤和肾肿瘤分割方法相比，TransBTSV 2实现了相当或更好的结果。代码将在https://github.com/Wenxuan…
2022-05-17 cs.CV eess.IV
CaraNet: Context Axial Reverse Attention Network for Segmentation of Small Medical Objects
Vanderbilt University（范德堡大学）；The George Washington University（乔治华盛顿大学）；Korea University（高丽大学）
准确、可靠地分割医学图像对于疾病的诊断和治疗具有重要意义。这是一个具有挑战性的任务，因为各种各样的对象的大小，形状和扫描方式。最近，许多卷积神经网络（CNN）已被设计用于分割任务，并取得了巨大的成功。然而，很少有研究充分考虑了对象的大小，因此大多数小对象分割表现不佳。这可能对疾病的早期发现产生重大影响。本文提出了一种上下文轴向保留注意力网络（CaraNet），以提高小对象的分割性能相比，最近的几个国家的最先进的模型。我们在脑肿瘤（BraTS 2018）和息肉（Kvasir-SEG，CVC-ColonDB，CVC-ClinicDB，CVC-300和ETIS-LaribPolypDB）分割数据集上测试了CaraNet。我们的CaraNet达到了顶级的平均骰子分割精度，结果显示CaraNet在分割小的医学对象方面具有明显的优势。
2022-01-13 cs.CV eess.IV
When SAM Meets Medical Images: An Investigation of Segment Anything Model (SAM) on Multi-phase Liver Tumor Segmentation
Southeast University（东南大学）；Nanjing Center for Applied Mathematics（南京应用数学中心）；Zhongda Hospital, School of Medicine, Southeast University（东南大学医学院附属中大医院）
本文探究了SAM模型在多期肝脏肿瘤分割中的表现，发现其与预期性能存在差距，但作为交互式医学图像分割的标注工具具有强大潜力。
2023-12-21 cs.CV eess.IV
Decompose-and-Integrate Learning for Multi-class Segmentation in Medical Images
University of Notre Dame（圣母大学）；The Hong Kong Polytechnic University（香港理工大学）
医学专家标注的医学图像分割图包含丰富的空间信息。在本文中，我们提出了分解注释图学习解开和更丰富的功能转换在医学图像中的分割问题。我们的新方案包括两个主要阶段：分解和集成。分解：通过注释图分解，原始分割问题被分解为多个分割子问题;这些新的分割子问题通过训练多个深度学习模块来建模，每个模块都有自己的一组特征变换。整合：一个过程总结了前一阶段中模块的解;然后形成原始分割问题的最终解。提出了多种注释地图分解方法，并开发了一种新的端到端可训练的K到1深度网络框架，用于实现我们提出的“分解和集成”学习方案。在实验中，我们证明了我们的分解和整合分割，利用最先进的完全卷积网络（例如，3D中的DenseVoxNet和2D中的CUMedNet），提高了多个3D和2D数据集的分割性能。消融研究证实了我们提出的医学图像学习计划的有效性。
2019-06-07 cs.CV cs.LG eess.IV
CaraNet: Context Axial Reverse Attention Network for Segmentation of Small Medical Objects
Vanderbilt University（范德比尔特大学）；The George Washington University（乔治华盛顿大学）
准确、可靠地分割医学图像对于疾病的诊断和治疗具有重要意义。这是一个具有挑战性的任务，因为各种各样的对象的大小，形状和扫描方式。最近，许多卷积神经网络（CNN）已被设计用于分割任务，并取得了巨大的成功。然而，很少有研究充分考虑了对象的大小，因此大多数小对象分割表现不佳。这可能对疾病的早期发现产生重大影响。本文提出了一种上下文轴向反向注意力网络（CaraNet），以提高小对象的分割性能相比，最近几个国家的最先进的模型。CaraNet采用轴向保留注意（ARA）和通道特征金字塔（CFP）模块挖掘医学小目标的特征信息。我们通过六个不同的测量指标来评估我们的模型。我们在脑肿瘤（BraTS 2018）和息肉（Kvasir-SEG，CVC-ColonDB，CVC-ClinicDB，CVC-300和ETIS-LaribPolypDB）分割数据集上测试了CaraNet。我们的CaraNet达到了顶级的平均骰子分割精度，结果显示CaraNet在分割小的医学对象方面具有明显的优势。
2023-01-31 cs.CV eess.IV
MKIS-Net: A Light-Weight Multi-Kernel Network for Medical Image Segmentation
UNSW（新南威尔士大学）；Dongguk University（东国大学）；Defence Science and Technology Group（国防科学技术集团）
图像分割是医学成像中的一项重要任务。它构成了各种临床诊断方法，治疗和计算机辅助手术的支柱。在本文中，我们提出了一个多核图像分割网络（MKIS-Net），它使用多个内核来创建一个有效的感受野，提高分割性能。由于其多核设计，MKIS-Net是一种具有少量可训练参数的轻量级架构。此外，这些多核感受野也有助于更好的分割结果。我们证明了MKIS-Net在几个任务上的有效性，包括视网膜血管分割，皮肤病变分割和胸部X射线分割。与最先进的方法相比，所提出的网络的性能具有相当的竞争力，并且通常是优越的。此外，在某些情况下，MKIS-Net的可训练参数比现有的医学图像分割替代方案少一个数量级以上，并且比其他轻量级架构小至少四倍。
2022-10-15 cs.CV cs.LG eess.IV
SQA-SAM: Segmentation Quality Assessment for Medical Images Utilizing the Segment Anything Model
Nanjing University of Science and Technology（南京理工大学）；Digital Medical Research Center, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院数字医学研究中心）；The Chinese University of Hong Kong（香港中文大学）；University of Notre Dame（圣母大学）
本研究提出新型医学图像分割质量评估方法SQA-SAM，利用通用分割基础模型SAM，基于MedSeg预测生成视觉提示得到SAM分割图并设计对齐评分，实验显示该评分与真实分割质量的Dice系数呈中到强正相关。
2023-12-15 cs.CV cs.LG eess.IV
Machine Vision Guided 3D Medical Image Compression for Efficient Transmission and Accurate Segmentation in the Clouds
Flordia International University（佛罗里达国际大学）；University of Notre Dame（圣母大学）；Northeastern University（东北大学）；Guangdong General Hospital（广东省人民医院）
由于各种基于深度神经网络（DNN）的框架的高计算复杂度以及需要处理的医学图像的体积越来越大，基于云的医学图像分析最近变得流行。已经证明，对于医学图像，从本地到云的传输比云本身的计算要昂贵得多。为此，3D图像压缩技术已被广泛应用以减少数据流量。然而，大多数现有的图像压缩技术是围绕人类视觉开发的，即，它们被设计成使人眼可感知的失真最小化。在本文中，我们将使用基于深度学习的医学图像分割作为工具，并证明有趣的是，机器和人类对压缩质量的看法不同。高质量的医学图像压缩。人类视觉可能导致较差的分割精度。然后，我们设计了一个面向机器视觉的3D图像压缩框架，用于使用DNN进行分割。我们的方法自动提取和保留的图像特征是最重要的分割。在HVSMR 2016挑战数据集上对广泛采用的分割框架进行的综合实验表明，与现有的JPEG 2000方法相比，我们的方法可以在相同的压缩率下实现更高的分割精度，或者在相同的分割精度下实现更好的压缩率。据作者所知，这是第一个用于云中分割的机器视觉引导的医学图像压缩框架。
2019-04-09 cs.CV cs.LG stat.ML
Beyond CNNs: Exploiting Further Inherent Symmetries in Medical Images for Segmentation
Macquarie University（麦考瑞大学）；University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）
肿瘤的自动分割是医学图像分析和计算机辅助诊断的关键步骤。虽然现有的基于卷积神经网络（CNN）的方法已经达到了最先进的性能，但在医学肿瘤分割中仍然存在许多挑战。这是因为常规CNN只能利用平移不变性，而忽略了医学图像中存在的其他固有对称性，如旋转和反射。为了克服这一缺点，我们提出了一种新的组等变分割框架，通过编码这些固有的对称性来学习更精确的表示。首先，在每个方向上设计了基于核的同变运算，可以有效地解决现有方法中学习对称性的差距。然后，为了保持分割网络全局等变，我们设计了具有逐层对称约束的独特组层。通过利用进一步的对称性，新的分割CNN可以大大降低样本复杂度和滤波器的冗余度（大约2/3）。更重要的是，基于我们的新框架，我们证明了新构建的GER-UNet在现实世界的临床数据上优于其常规的基于CNN的同行和最先进的分割方法。具体来说，我们的分割框架的组层可以无缝集成到任何流行的基于CNN的分割架构中。
2020-05-08 cs.CV cs.LG eess.IV
Evaluating Utility of Memory Efficient Medical Image Generation: A Study on Lung Nodule Segmentation
提出一种内存高效的逐块DDPM生成带肺结节分割的合成CT图像，实验表明仅用合成数据训练或用于增强真实数据均能提升分割性能，有效缓解医学影像数据稀缺问题。
2024-10-16 cs.CV cs.LG eess.IV
Unified Focal loss: Generalising Dice and cross entropy-based losses to handle class imbalanced medical image segmentation
University of Cambridge（剑桥大学）；University of Salerno（萨莱诺大学）
自动分割方法是医学图像分析的一个重要进展。机器学习技术，特别是深度神经网络，是大多数医学图像分割任务的最新技术。类不平衡的问题对医学数据集构成了重大挑战，病变通常相对于背景占据相当小的体积。用于深度学习算法训练的损失函数在对类别不平衡的鲁棒性方面有所不同，这对模型收敛有直接影响。最常用的分割损失函数是基于交叉熵损失、骰子损失或两者的组合。我们提出了统一的焦点损失，一个新的层次框架，概括骰子和交叉熵为基础的损失处理类的不平衡。我们在五个公开的、类别不平衡的医学成像数据集上评估了我们提出的损失函数：CVC-ClinicDB、用于血管提取的数字视网膜图像（DRIVE）、乳腺超声2017（BUS 2017）、脑肿瘤分割2020（BraTS 20）和肾肿瘤分割2019（KiTS 19）。我们比较了我们的损失函数的性能与六个骰子或交叉熵为基础的损失函数，在2D二进制，3D二进制和3D多类分割任务，表明我们提出的损失函数是强大的类不平衡，并始终优于其他损失函数。源代码可从以下网址获得：https://github.com/mlyg/unified-focal-loss
2021-11-24 cs.CV cs.LG eess.IV
Assessing the Role of Random Forests in Medical Image Segmentation
University of Augsburg（奥格斯堡大学）；University Hospital Augsburg（奥格斯堡大学医院）
神经网络代表了一个研究领域，它可以在使用GPU的医学图像分割领域中快速取得非常好的结果。一种可能的方法来实现良好的结果没有GPU是随机森林。为此，将两种随机森林方法与最先进的深度卷积神经网络进行了比较。为了进行比较，使用了PhC-C2 DH-U373和视网膜成像数据集。评测结果表明，深度卷积神经网络取得了最佳效果。然而，随机森林方法之一也实现了类似的高性能。我们的研究结果表明，随机森林方法是深度卷积神经网络的一个很好的替代方案，因此，允许在没有GPU的情况下使用医学图像分割。
2021-03-30 cs.CV cs.LG eess.IV
UNet++: A Nested U-Net Architecture for Medical Image Segmentation
Arizona State University（亚利桑那州立大学）
在本文中，我们提出了UNet++，一个新的，更强大的架构，用于医学图像分割。我们的架构本质上是一个深度监督的编码器-解码器网络，其中编码器和解码器子网络通过一系列嵌套的密集跳过路径连接。重新设计的跳过路径旨在减少编码器和解码器子网络的特征图之间的语义差距。我们认为，当来自解码器和编码器网络的特征映射在语义上相似时，优化器将处理更容易的学习任务。我们在多个医学图像分割任务中对UNet++与U-Net和宽U-Net架构进行了比较：胸部低剂量CT扫描中的结节分割，显微镜图像中的细胞核分割，腹部CT扫描中的肝脏分割以及结肠镜检查视频中的息肉分割。我们的实验表明，具有深度监督的UNet++在U-Net和宽U-Net上分别实现了3.9和3.4点的平均IoU增益。
2018-07-18 cs.CV cs.LG eess.IV
MetaPix: Domain Transfer for Semantic Segmentation by Meta Pixel Weighting
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）
训练用于语义分割的深度神经模型需要收集大量像素级标记数据。为了缓解现实世界中存在的数据稀缺问题，可以利用标签容易获得的合成数据。先前的工作已经表明，语义分割模型的性能可以通过与真实和合成示例联合训练来提高，其中对合成数据进行适当的加权。这种加权是通过启发式学习的，以最大限度地提高合成和真实示例之间的相似性。在我们的工作中，我们通过元学习来学习合成数据的像素级加权，即，加权的学习应该仅使目标任务上的损失最小化。我们通过梯度上梯度技术将目标损失传播回加权模型的参数来实现这一点。实验表明，我们的方法只有一个单一的Meta模块可以优于一个复杂的组合的对抗性特征对齐，重建损失，加上分层启发式加权像素，区域和图像级别。
2021-10-05 cs.AI cs.CV
Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks
Lingran Song, Yucheng Zhou, Jianbing Shen（作者）
本文提出医学诊断分割任务及M3DS数据集，并设计Sim4Seg框架，利用区域感知视觉-语言相似性掩码和测试时扩展策略，同时提升多模态多疾病医学图像的分割与诊断性能。
2025-11-10 cs.AI cs.CV
Medical Image Segmentation with InTEnt: Integrated Entropy Weighting for Single Image Test-Time Adaptation
Duke University（杜克大学）；Department of Radiology（放射学系）；Department of Computer Science（计算机科学系）；Department of Biostatistics & Bioinfomatics（生物统计学与生物信息学系）
针对医学成像中仅有单张无标签测试图像的测试时自适应难题，提出基于集成熵加权的方法对目标域统计量的多种估计进行加权积分，克服了批归一化层统计量不稳定的问题，在3个医学图像数据集上平均超越领先方法2.9%的Dice系数。
2024-02-16 cs.AI cs.CV
Zero-Shot Gaze-based Volumetric Medical Image Segmentation
Research Center of the Artificial Intelligence Institute（人工智能研究所研究中心）
针对三维医学图像交互式分割依赖手动提示的问题，本文提出将眼动注视作为零样本提示模态，并在 SAM-2 与 MedSAM-2 上用合成及真实数据验证其省时且可作为互补输入的价值。
2025-06-10 cs.AI cs.CV
Distance Guided Channel Weighting for Semantic Segmentation
Nanyang Technological University（南洋理工大学）；Beihang University（北京航空航天大学）
最近的工作在通过利用深度神经网络捕获具有高通道数的特征来提高多个计算机视觉任务的性能方面取得了巨大成功。然而，许多通道提取的特征是没有区别的，包含大量的冗余信息。在本文中，我们解决上述问题，通过引入距离导引信道加权（DGCW）模块。DGCW模块是以逐像素上下文提取的方式构建的，其通过在建模其与其他像素的关系时对每个像素的特征向量的不同通道进行加权来增强特征的区分度。该方法可以充分利用特征图中的高区分度信息，而忽略特征图中的低区分度信息，并能捕捉到特征图中的长距离依赖关系。此外，通过将DGCW模块与基线分割网络相结合，我们提出了距离引导信道加权网络（DGCWNet）。我们进行了大量的实验，以证明DGCWNet的有效性。特别是，它在Cityscapes上实现了81.6%的mIoU，只有精细的注释数据用于训练，并且在另外两个语义分割数据集上也获得了令人满意的性能，即Pascal Context和ADE 20 K。代码将很快在https://github.com/LanyunZhu/DGCWNet上提供。
2022-05-13 cs.CV
Medical SAM3: A Foundation Model for Universal Prompt-Driven Medical Image Segmentation
University of Central Florida, Orlando, USA（佛罗里达大学）；University College London, London, UK（伦敦大学学院）；University of Illinois Urbana-Champaign, Champaign, USA（伊利诺伊大学厄巴纳-香槟分校）；University of Trento, Trento, Italy（特伦托大学）；The Hong Kong Polytechnic University, China（香港理工大学）；University of Pennsylvania, Philadelphia, USA（宾夕法尼亚大学）
Medical SAM3通过微调SAM3模型，提升医学图像分割的通用提示驱动能力，解决领域偏移和复杂结构推理问题。
2026-01-15 cs.AI cs.CV
CTS: A Consistency-Based Medical Image Segmentation Model
Harbin Engineering University（哈尔滨工程大学）；The Second Affiliated Hospital of Mudanjiang Medical University（牡丹江医学院第二附属医院）
针对扩散模型在医学图像分割中采样慢的问题，提出基于一致性模型的CTS方法，通过多尺度特征监督与损失引导实现收敛，单次采样即可取得更优分割效果。
2024-05-15 cs.AI cs.CV
BerDiff: Conditional Bernoulli Diffusion Model for Medical Image Segmentation
Institute of Science and Technology for Brain-inspired Intelligence（脑启发智能科学与技术研究院）；Fudan University（复旦大学）
针对医学图像分割的模糊性与不确定性问题，提出采用伯努利噪声的条件扩散模型BerDiff，可生成准确多样的分割掩码并加速推理，在多模态数据集上性能优于现有最先进方法。
2023-04-10 cs.AI cs.CV
Probabilistic Modeling of Multi-rater Medical Image Segmentation for Diversity and Personalization
Zhejiang University（浙江大学）；University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）
ProSeg通过概率建模实现医学图像分割的多样化和个性化，结合专家偏好和边界模糊性，提升分割结果的多样性和个性化水平。
2025-11-30 cs.AI cs.CV
