Domain Specific, Semi-Supervised Transfer Learning for Medical Imaging
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
带注释的医学成像数据的有限可用性对深度学习算法提出了挑战。虽然迁移学习一般最大限度地减少了这一障碍，但跨不同领域的知识转移效率较低。另一方面，较小的架构被发现在学习更好的功能方面更有吸引力。因此，我们提出了一个轻量级的架构，使用混合非对称内核（MAKNet），以减少参数的数量显着。此外，我们使用半监督学习训练所提出的架构，为大型医疗数据集提供伪标签，以协助迁移学习。建议的MAKNet提供了更好的分类性能与$60 - 70\%$更少的参数比流行的架构。实验结果还强调了特定领域知识对于有效的迁移学习的重要性。
2020-05-24 cs.CV
BYOLMed3D: Self-Supervised Representation Learning of Medical Videos using Gradient Accumulation Assisted 3D BYOL Framework
医学图像分析的应用严重缺乏医学专家正确注释的大量数据。监督学习算法需要大量的平衡数据来学习鲁棒的表示。通常，监督学习算法需要各种技术来处理不平衡数据。另一方面，自监督学习算法对数据中的不平衡是鲁棒的，并且能够学习鲁棒的表示。在这项工作中，我们训练一个三维BYOL自监督模型，使用梯度累积技术来处理大量的样本，在一批通常需要在一个自监督算法。据我们所知，这项工作是这一领域的第一项工作。我们将ACL撕裂损伤检测下游任务中的实验结果与当代自我监督预训练方法以及使用Kinetics-400预训练权重初始化的ResNet 3D-18进行了比较。从下游的任务实验，很明显，所提出的框架优于现有的基线。
2022-11-12 cs.CV
Efficient Self-Supervised Adaptation for Medical Image Analysis
KTH Royal Institute of Technology（皇家理工学院）；Science for Life Laboratory（生命科学实验室）
本文提出 ESSA 框架，将参数高效微调用于医学图像的自监督适配，其中 APLA 在多任务上超越全参数 SSA 与有监督微调，并显著降低显存、提升吞吐。
2025-09-27 cs.CV
Evaluating the Robustness of Self-Supervised Learning in Medical Imaging
Technische Universität München（慕尼黑工业大学）；Klinikum rechts der Isar（伊萨尔河右岸医院）；TranslaTUM - Central Institute for Translational Cancer Research（慕尼黑转化癌症研究中心）；University of Zurich（苏黎世大学）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）
自我监督已被证明是一种有效的学习策略时，训练目标任务的小注释数据集。虽然目前的研究集中在创建新的借口任务，学习有意义的和可重用的表示为目标任务，这些努力获得边际性能增益相比，完全监督学习。与此同时，很少有人注意到研究的鲁棒性的网络训练在一个自我监督的方式。在这项工作中，我们证明了通过自监督学习训练的网络具有更好的鲁棒性和泛化能力相比，完全监督学习在医学成像的背景下。我们在X射线中的肺炎检测和CT中的多器官分割上的实验产生了一致的结果，揭示了自我监督对于学习鲁棒特征表示的隐藏好处。
2021-05-14 cs.CV
SSMD: Semi-Supervised Medical Image Detection with Adaptive Consistency and Heterogeneous Perturbation
West China Hospital, Sichuan University（四川大学华西医院）；The University of Hong Kong（香港大学）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong（香港中文大学深圳大数据研究院）；Deepwise Healthcare（深睿医疗）
半监督分类和分割方法在医学图像分析中得到了广泛的研究。这两种方法都可以提高具有额外未标记数据的全监督方法的性能。然而，半监督目标检测作为医学图像分析的一项基础性工作，在医学图像分析领域还没有得到足够的重视。在本文中，我们提出了一种新的半监督医学图像检测器（SSMD）。SSMD背后的动机是通过正则化每个位置的预测以保持一致，为未标记的数据提供免费而有效的监督。为了实现上述想法，我们开发了一种新的自适应一致性成本函数来正则化预测中的不同分量。此外，我们引入异构扰动策略，在特征空间和图像空间的工作，使建议的检测器是有希望产生强大的图像表示和强大的预测。大量的实验结果表明，所提出的SSSD实现了国家的最先进的性能，在广泛的设置。我们还通过全面的消融研究证明了每个拟议模块的优势。
2021-06-03 cs.CV
Self-Supervised Alignment Learning for Medical Image Segmentation
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对现有自监督医学图像分割预训练未充分利用3D图像2D切片空间对应性的问题，提出含局部对齐损失和全局位置损失的自监督对齐学习框架，在标注有限的CT、MRI数据集上性能与现有方法相当。
2024-06-22 cs.CV
Medical supervised masked autoencoders: Crafting a better masking strategy and efficient fine-tuning schedule for medical image classification
Hangzhou Dianzi University（杭州电子科技大学）
提出医学监督掩码自编码器（MSMAE），利用监督注意力图进行精确掩码，解决MAE在医学图像分类中病变遗漏和预训练-微调不一致问题，实现最先进性能并显著提升效率。
2023-05-10 cs.CV
Preservational Learning Improves Self-supervised Medical Image Models by Reconstructing Diverse Contexts
The University of Hong Kong（香港大学）；ShanghaiTech University（上海科技大学）；Deepwise AI Lab（深睿人工智能实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）
保持最大信息量是设计自监督学习方法的原则之一。为了达到这个目的，对比学习采用了一种内隐的方式，即对比图像对。然而，我们认为，这是不完全最佳的，简单地使用对比估计的保存。此外，引入一个显式的解决方案，以保持更多的信息是必要的和补充。从这个角度来看，我们引入保留学习来重建不同的图像上下文，以保留更多的信息在学习的表示。与对比损失一起，我们提出了用于学习自监督医学表示的保留对比表示学习（PCRL）。PCRL在预训练-微调协议下提供了非常有竞争力的结果，在5个分类/分割任务中大大优于自监督和监督同行。
2022-04-13 cs.CV
The GraphNet Zoo: An All-in-One Graph Based Deep Semi-Supervised Framework for Medical Image Classification
Nabla Technologies（Nabla技术公司）；University of Cambridge（剑桥大学）
我们考虑的问题，分类的医学图像数据集时，我们有数量有限的标签。这是非常常见但具有挑战性的设置，因为标记的数据是昂贵的，收集耗时，可能需要专业知识。目前的深度监督学习分类方法无法解决这样的问题。然而，使用半监督学习，可以使用显著减少的标记数据量来产生准确的分类。因此，半监督学习非常适合于医学图像分类。然而，在医学领域几乎没有采用半监督方法。在这项工作中，我们提出了一个基于图的深度半监督分类的一体化框架，据我们所知，这是第一次用最小标签的方法在医疗数据中以前所未有的规模展示。我们通过将分类器定义为基于能量的模型和深度网络之间的组合来引入混合模型的概念。我们的能量泛函建立在基于图p-Laplacian的狄利克雷能量之上。我们的框架包括基于$\ell_1$和$\ell_2$规范的能量。然后，我们将这个能量模型连接到一个深度网络，以生成一个更丰富的特征空间来构建一个更强大的图。我们的框架可以被设置为适应任何复杂的数据集。通过大量的数值比较，我们证明了我们的方法很容易与完全监督的最先进的技术竞争，用于疟疾细胞，乳房X光检查和胸部X射线分类的应用，同时只使用20%的标签。
2020-06-26 cs.CV
An Evaluation of Non-Contrastive Self-Supervised Learning for Federated Medical Image Analysis
Jadavpur University（贾达沃普尔大学）；University of Toronto（多伦多大学）
隐私和标注瓶颈是深刻影响基于机器学习的医学图像分析实用性的两大问题。虽然在这些领域取得了重大进展，但这些问题尚未完全解决。在本文中，我们试图解决这些问题的正面和系统地探讨非对比度自监督学习（SSL）算法下的联邦学习（FL）模拟医学图像分析的适用性。我们进行彻底的实验，最近提出的国家的最先进的非对比框架下的标准FL设置。以SoTA对比学习算法Simplified作为我们的比较基准，我们对我们选择的4种非对比算法在非独立同分布下的性能进行了基准测试。数据条件和不同数量的客户端。我们提出了一个整体的评价，这些技术的6个标准化的医学成像数据集。我们进一步分析了从我们的研究结果中推断出的不同趋势，旨在根据我们的研究结果找到进一步研究的方向。据我们所知，我们是第一个对医学成像的联邦自监督学习进行如此彻底分析的人。我们所有的源代码将在论文被接受后公开。
2023-03-09 cs.CV
Fine-Grained Self-Supervised Learning with Jigsaw Puzzles for Medical Image Classification
Ajou University（亚洲大学）
本文提出细粒度自监督学习方法FG-SSL，通过分层块和拼图任务学习医学图像中的细微病变特征，无需非对称模型和负采样，在ISIC2018、APTOS2019和ISIC2017数据集上取得优于现有方法的分类性能。
2023-08-10 cs.CV
Exploring Self-Supervised Representation Learning For Low-Resource Medical Image Analysis
Jadavpur University（贾达布尔大学）；University of Toronto（多伦多大学）
研究自监督学习在小规模医学图像数据集上的适用性，评估4种SSL方法，发现域内低资源预训练可与ImageNet迁移学习媲美，首次全面探索低资源医学数据集的自监督。
2023-06-29 cs.CV
Deeply Supervised Layer Selective Attention Network: Towards Label-Efficient Learning for Medical Image Classification
Wuhan University（武汉大学）
医学图像的标注依赖于专业知识，很难在短时间内获得大量高质量的标注医学图像。因此，充分利用小数据集中有限的标记样本，建立高性能的模型是解决医学图像分类问题的关键。在本文中，我们提出了一个深度监督层选择性注意力网络（LSANet），它综合使用标签信息的特征级和预测级的监督。在特征层监督方面，为了更好地融合低层特征和高层特征，提出了一种新的视觉注意模块--层选择性注意（LSA），重点关注不同层的特征选择。LSA引入了一种权值分配方案，可以在整个训练过程中动态调整每个辅助分支的权值因子，进一步增强深度监督学习，保证其泛化能力。对于预测级监督，我们采用知识协同策略，通过成对知识匹配促进各监督分支之间的层次信息交互。使用公共数据集MedMNIST，这是一个大规模的生物医学图像分类基准，涵盖了不同的医学专业，我们评估LSANet上的多个主流CNN架构和各种视觉注意力模块。实验结果表明，我们所提出的方法相比其相应的同行有很大的改进，表明LSANet可以提供一个有前途的解决方案，标签有效的学习在医学图像分类领域。
2022-09-28 cs.CV
Towards Data-Efficient Medical Imaging: A Generative and Semi-Supervised Framework
Dept. of Electrical and Electronic Engineering Imperial College London（电气与电子工程系帝国理工学院伦敦）；Centre for Vision, Speech and Signal Processing University of Surrey（视觉、语音和信号处理中心萨里大学）
针对医学影像标注稀缺问题，提出SSGNet生成式半监督框架，结合类别特定生成与迭代伪标签增强现有模型，在多个基准上提升分类分割性能。
2025-10-07 cs.CV
Self-supervised Visualisation of Medical Image Datasets
Hertie Institute for AI in Brain Health（赫蒂脑健康人工智能研究院）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Heidelberg University（海德堡大学）；IWR, Heidelberg University（海德堡大学IWR研究所）
本研究应用自监督方法 $t$-SimCNE 可视化医学图像数据集，通过引入任意旋转的数据增强策略提升类可分性，生成的 2D 表征能展示医学相关结构并辅助数据探索与标注。
2024-07-24 cs.CV
Exploring Low-Resource Medical Image Classification with Weakly Supervised Prompt Learning
Sun Yat-Sen University（中山大学）；Huawei Technologies Co.,Ltd.（华为技术有限公司）
针对医学图像标注昂贵导致的低资源分类难题，提出弱监督提示学习模型MedPrompt，自动生成医学提示，摆脱专家依赖，在少样本下超越手工提示方法，并支持零样本分类。
2024-02-06 cs.CV
Supervised Transfer Learning at Scale for Medical Imaging
Google Research（谷歌研究院）；Google Health（谷歌健康）
迁移学习是一种标准技术，用于提高有限数据任务的性能。然而，对于医学成像，迁移学习的价值不太清楚。这可能是由于通常的自然图像预训练（例如ImageNet）和医学图像之间的大域不匹配。然而，迁移学习的最新进展已经显示出从规模上的实质性改进。我们研究现代方法是否可以改变医学成像迁移学习的命运。为此，我们研究了Kolesnikov等人提出的大规模预训练网络，用于三种不同的成像任务：胸部X射线摄影，乳房X射线摄影和皮肤病学。我们研究了传输性能和关键属性的部署在医疗领域，包括：分布外泛化，数据效率，子组公平性，和不确定性估计。有趣的是，我们发现，对于其中一些属性，从自然图像到医学图像的转移确实非常有效，但只有在足够大的规模下才能进行。
2021-01-21 cs.CV
Contrastive Semi-Supervised Learning for 2D Medical Image Segmentation
对比学习（CL）是一种新的表示学习方法，它鼓励学习图像表示中的类间可分性和类内紧致性。由于医学图像通常在图像中包含多个语义类，因此使用CL来学习局部特征（而不是全局）的表示非常重要。在这项工作中，我们提出了一种新的半监督2D医学分割解决方案，将CL应用于图像补丁，而不是完整的图像。这些补丁是有意义的构造使用不同的类的语义信息，通过伪标记。我们还提出了一种新的一致性正则化（CR）计划，它与CL协同工作。它解决了确认偏差的问题，并鼓励在特征空间中更好地聚类。我们在四个公共医疗分割数据集和我们介绍的一个新的组织病理学数据集上评估了我们的方法。我们的方法在所有数据集上都比最先进的半监督分割方法得到了一致的改进。
2021-08-06 cs.CV
Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels
ETS Montreal（蒙特利尔高等工程技术学院）
在未标记数据的大型数据集上使用对比学习预训练识别模型已经显示出极大的潜力来提高下游任务的性能，例如，图像分类。然而，在医学成像等领域，收集未标记的数据可能具有挑战性且昂贵。在这项工作中，我们提出了适应对比学习与元标签注释，即使没有额外的未标记的数据是可用的，以提高模型的性能在医学图像分割。元标签（如3D MRI扫描中2D切片的位置或所用设备的类型）通常在采集过程中免费提供。我们使用元标签对图像编码器进行预训练，并对半监督训练进行正则化，其中使用简化的注释数据集进行训练。最后，为了充分利用弱注释，使用自定进度的学习方法来帮助学习并区分有用的标签和噪声。在三个不同的医学图像分割数据集上的结果表明，我们的方法：i）大大提高了在几次扫描上训练的模型的性能，ii）优于以前的对比和半监督方法，iii）接近在完整数据上训练的模型的性能。
2021-08-22 cs.CV
High resolution weakly supervised localization architectures for medical images
在医学成像中，类激活图（CAM）通过指向感兴趣区域作为主要的解释工具。由于来自CAM的定位精度受到模型特征图的分辨率的约束，因此可以预期通常具有大特征图的分割模型将产生更准确的CAM。然而，我们发现，由于任务不匹配，情况并非如此。虽然分割模型是为具有像素级注释的数据集开发的，但在大多数医学成像数据集中仅图像级注释可用。我们的实验表明，全局平均池（GAP）和组归一化是恶化CAM定位精度的罪魁祸首。为了解决这个问题，我们提出了金字塔定位网络（PYLON），这是一种高精度弱监督定位模型，在NIH的胸部X射线14数据集上实现了0.62的平均点定位精度，而传统CAM模型的平均点定位精度为0.45。源代码和扩展结果可在https://github.com/cmb-chula/pylon上获取。
2020-10-22 cs.CV
Mask What Matters: Controllable Text-Guided Masking for Self-Supervised Medical Image Analysis
Beijing Normal–Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
针对医学影像标注稀缺及现有自监督掩码图像建模效率低、语义对齐差的问题，提出可控文本引导掩码框架Mask What Matters，用视觉语言模型定位区域实现差异化掩码，在多模态医学任务上以更低掩码比例超越现有方法。
2025-10-04 cs.CV
A Self supervised learning framework for imbalanced medical imaging datasets
本文提出AMIMV方法，通过新的增强策略解决医学影像分类中的数据稀缺和类别不平衡问题，并评估了八种SSL方法在长尾分布和有限监督下的性能。
2026-04-02 cs.CV
Uncertainty-Guided Cross Attention Ensemble Mean Teacher for Semi-supervised Medical Image Segmentation
Northwestern University（西北大学）；Bennett University（班尼特大学）
本文提出UG-CEMT框架，结合交叉注意力集成均值教师、不确定性引导一致性正则化与锐度感知最小化，通过增强子网络差异提升半监督医学图像分割性能，仅用10%标注数据即逼近全监督效果。
2024-12-19 cs.CV
SimTxtSeg: Weakly-Supervised Medical Image Segmentation with Simple Text Cues
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, China（教育部新一代人工智能技术及交叉应用重点实验室）；Nanjing University of Science and Technology（南京理工大学）；Northwestern Polytechnical University（西北工业大学）
本文提出SimTxtSeg框架，利用简单文本提示生成高质量伪标签并实现跨模态融合，包含文本到视觉提示转换器和文本引导分割模型，在结肠息肉和MRI脑肿瘤分割任务上达到最新性能。
2024-09-25 cs.CV
UniMiSS: Universal Medical Self-Supervised Learning via Breaking Dimensionality Barrier
The University of Adelaide（阿德莱德大学）；Northwestern Polytechnical University（西北工业大学）
自监督学习（SSL）为医学图像分析提供了巨大的机会，而医学图像分析以其缺乏注释而闻名。然而，由于其高成像成本和隐私限制，聚合大量（未标记）3D医学图像（如计算机断层扫描（CT））仍然具有挑战性。在本文中，我们主张引入丰富的2D图像，如胸部X光片，以弥补3D数据的不足，旨在建立一个通用的医学自我监督表示学习框架，称为UniMiSS。下面的问题是如何打破维度障碍，\ie，使其能够执行SSL与2D和3D图像？为了实现这一点，我们设计了一个金字塔U型医用Transformer（MiT）。它由可切换贴片嵌入（SPE）模块和Transformers组成。SPE模块根据输入维度自适应地切换到2D或3D面片嵌入。嵌入的面片将转换为序列，而不考虑其原始尺寸。Transformers以序列到序列的方式对长期依赖关系进行建模，从而使UniMiSS能够从2D和3D图像中学习表示。以MiT为骨干，我们以自蒸馏的方式执行UniMiSS。我们对六个3D/2D医学图像分析任务进行了昂贵的实验，包括分割和分类。结果表明，所提出的UniMiSS在各种下游任务上都取得了令人满意的性能，大大优于ImageNet预训练和其他高级SSL同行。代码可从\def \UrlFont{\rm\small\ttfamily} \url{https://github.com/YtongXie/UniMiSS-code}获得。
2022-08-16 cs.CV
Weakly and Semi Supervised Detection in Medical Imaging via Deep Dual Branch Net
University of Haifa（海法大学）；IBM Research（IBM研究院）；Bar-Ilan University（巴伊兰大学）
这项研究提出了一种新的深度学习架构，用于通过对乳房X线照片的实验说明医学成像中异常的多类分类和定位。该网络结合了两个学习分支。一个分支是用于具有新添加的正常区域类的区域分类。第二分支是区域检测分支，用于相对于彼此对区域进行排序。我们的方法能够在弱监督和半监督设置下以全乳房X线照片分辨率检测异常。一种新的目标函数允许将局部注释并入模型中。我们提出了我们的计划的分类和本地化的几个性能指标的影响，以评估病变注释工作的成本效益。我们的评价主要是在$\sim$ 3，000张乳腺X线照片的大型多中心乳腺X线照片数据集上进行的，结果不同。弱监督学习的结果表明，与以前的方法相比，有显着的改善。我们表明，耗时的本地注释参与监督学习可以解决弱监督的方法，可以利用本地注释数据的子集。弱监督和半监督方法与检测相结合，可以产生一个成本效益和可解释的模型，供放射科医生在该领域采用。
2020-03-19 cs.CV
Weakly-supervised Generative Adversarial Networks for medical image classification
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University of Science and Technology（浙江科技学院）
弱监督学习是近年来研究的热点。在本文中，我们提出了一种新的医学图像分类算法，称为弱监督生成对抗网络（WSGAN），它只使用少量的真实图像没有标签，以产生假图像或掩模图像，以扩大训练集的样本量。首先，我们结合MixMatch为假图像和未标记图像生成伪标签来进行分类。其次，将对比学习和自注意力机制引入到该问题中，以提高分类精度。第三，循环一致性损失很好地解决了模式坍塌的问题。最后，我们设计了全局和局部分类器，以补充分类所需的关键信息。在四个医学图像数据集上的实验结果表明，WSGAN可以在使用少量标记和未标记数据的情况下获得相对较高的学习性能。例如，WSGAN的分类精度比排名第二的MIXMATCH高11%，OCT数据集上有100个标记图像和1000个未标记图像。此外，我们还进行了消融实验，以验证我们的算法的有效性。
2021-11-30 cs.CV
Self-supervised Learning from 100 Million Medical Images
Siemens Healthineers（西门子医疗）；University of Michigan（密歇根大学）
为医学影像评估构建准确而强大的人工智能系统不仅需要研究和设计先进的深度学习模型，还需要创建大量精心策划的带注释训练样本集。然而，构建这样的数据集通常是非常昂贵的--这是由于注释任务的复杂性和解释医学图像所需的高水平的专业知识（例如，放射科专家）。为了克服这一局限性，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征的自监督学习方法。为此，我们利用了超过100，000，000张各种形式的医学图像的大型训练数据集，包括放射摄影，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导各种下游任务的监督和混合自监督/监督机制中的模型训练。我们强调了这种策略在放射摄影、CT和MR中具有挑战性的图像评估问题上的许多优势：1）与最先进的技术相比，准确性显著提高（例如，对于来自胸部X射线摄影扫描的异常检测和脑CT上的出血检测，AUC提高3-7%）; 2）与不使用预训练相比，训练期间模型收敛加速高达85%（例如，当训练用于在MR扫描中检测脑转移瘤的模型时为83%）; 3）增加对各种图像增强的鲁棒性，例如强度变化、旋转或反映在现场看到的数据变化的缩放。
2022-01-04 cs.CV
SM2C: Boost the Semi-supervised Segmentation for Medical Image by using Meta Pseudo Labels and Mixed Images
Chongqing University（重庆大学）；Third Military Medical University（陆军军医大学）
针对医学图像半监督分割中的过拟合与泛化问题，提出SM2C框架，通过放大图像尺寸、多类混合和目标形状抖动三种策略增强语义特征学习，在三个基准数据集上显著优于现有方法。
2024-03-24 cs.CV
Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model
The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
训练深度神经网络通常需要大量的标记数据来获得良好的性能。然而，在医学图像分析中，获得数据的高质量标签是费力且昂贵的，因为准确地注释医学图像需要临床医生的专业知识。在本文中，我们提出了一种新的关系驱动的半监督框架的医学图像分类。它是一种基于一致性的方法，通过鼓励扰动下给定输入的预测一致性来利用未标记数据，并利用自集成模型为未标记数据产生高质量的一致性目标。考虑到人类的诊断往往是指以前的类似情况下，作出可靠的决定，我们引入了一种新的样本关系一致性（SRC）范式，有效地利用未标记的数据建模不同样本之间的关系信息。优于现有的基于一致性的方法，简单地执行个人预测的一致性，我们的框架显式地执行扰动下不同样本之间的语义关系的一致性，鼓励模型探索额外的语义信息从未标记的数据。我们已经进行了广泛的实验，以评估我们的方法对两个公共基准医疗图像分类数据集，即，皮肤病变诊断采用ISIC 2018挑战，胸部疾病分类采用ChestX-ray 14。我们的方法在单标签和多标签图像分类场景上的性能优于许多最先进的半监督学习方法。
2020-05-15 cs.CV
ROAM: Random Layer Mixup for Semi-Supervised Learning in Medical Imaging
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；ETH Zurich（苏黎世联邦理工学院）
医学图像分割是机器学习方法面临的主要挑战之一。然而，深度学习方法深刻地依赖于大量的注释数据，这是耗时且昂贵的。然而，半监督学习方法通过在训练过程中利用大量的未标记数据以及少量的标记数据来解决这个问题。最近，MixUp正则化器已被成功地引入到半监督学习方法中，表现出优越的性能。MixUp通过在输入空间对数据进行线性插值，使用新的数据点来增强模型。我们认为这种选择是有限的。相反，我们提出了ROAM，这是一种RandOm lAyer Mixup，它鼓励网络对随机选择的空间中的插值数据点不那么自信。ROAM生成了更多的数据点，这是以前从未见过的，因此它避免了过度拟合，提高了泛化能力。我们进行了广泛的实验，以验证我们的方法在三个公开的数据集上的全脑图像分割。ROAM在全监督（89.5%）和半监督（87.0%）设置中实现了最先进的（SOTA）结果，全脑分割的相对改善分别高达2.40%和16.50%。
2020-11-16 cs.CV
AIRNet: Self-Supervised Affine Registration for 3D Medical Images using Neural Networks
在这项工作中，我们提出了一个自监督学习方法的仿射图像配准的三维医学图像。与基于优化的方法不同，我们的仿射图像配准网络（AIRNet）被设计为直接估计两个输入图像之间的变换参数，而不使用任何表示配准质量的度量作为优化函数。但是，由于手动识别任何两个图像之间的转换参数的成本很高，因此我们利用大量廉价的未标记数据来生成用于模型训练的合成数据集。此外，AIRNet的结构使我们能够学习图像的判别特征，这些特征对于配准目的是有用的。我们所提出的方法进行了评估的磁共振图像的轴向视图的人脑，并与传统的图像配准方法的性能进行了比较。实验表明，我们的方法实现了更好的整体性能配准的图像从不同的患者和模态与100倍的执行时间加速。
2018-10-15 cs.CV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University（石溪大学）；Jadavpur University（贾达普大学）；University of Toronto（多伦多大学）；Kyungpook National University（庆北国立大学）
由于标记数据的稀缺性，对比自监督学习（SSL）框架最近在一些医学图像分析任务中显示出巨大的潜力。然而，现有的对比机制是次优的密集像素级分割任务，由于他们无法挖掘本地功能。为此，我们将度量学习的概念扩展到分割任务，使用密集（不）相似性学习来预训练深度编码器网络，并采用半监督范式来微调下游任务。具体来说，我们提出了一个简单的卷积投影头来获得密集的像素级特征，以及一个新的对比损失来利用这些密集的投影，从而改善局部表示。下游任务设计了一个双向一致性正则化机制，包括两个流模型训练。经过比较，我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码：https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Consensus Based Medical Image Segmentation Using Semi-Supervised Learning And Graph Cuts
IBM Research - Australia（IBM研究 - 澳大利亚）
医学图像分割需要从多个专家注释中获得共识地面实况分割。提出了一种新的方法，获得共识分割的专家使用图割（GC）和半监督学习（SSL）。流行的方法使用迭代期望最大化（EM）来估计最终的注释和量化注释器的性能。这种技术有陷入局部极小值的风险。我们提出了一个自我一致性（SC）的分数来量化注释者的一致性，使用低级别的图像特征。SSL通过考虑全局特征和局部图像一致性来预测丢失的注释。SC得分还用作使用图切割优化的二阶马尔可夫随机场（MRF）成本函数中的惩罚成本以导出最终共识标签。图割不需要迭代就能得到全局最大值.对合成图像、克罗恩病患者的真实数据和视网膜图像的实验结果表明，我们的最终分割比竞争方法更准确，更一致。
2018-05-21 cs.CV
INSITE: labelling medical images using submodular functions and semi-supervised data programming
Indian Institute of Technology - Bombay（印度理工学院孟买分校）
针对医学图像标注资源受限问题，本文提出 INSITE，利用子模块化有信息子集选择和范例驱动的半监督数据编程自动标注未标注图像，并证明其优于现有半监督方法。
2024-02-11 cs.CV
Federated Semi-supervised Medical Image Classification via Inter-client Relation Matching
The Chinese University of Hong Kong（香港中文大学）；Beihang University（北京航空航天大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
联邦学习（FL）已经越来越流行，以协作分布式医疗机构来训练深度网络。然而，尽管现有的FL算法只允许监督训练设置，但由于缺乏预算或专业知识，现实中大多数医院通常无法负担复杂的数据标记。本文研究了一个实际但具有挑战性的FL问题，称为\textit{Federated Semi-supervised Learning}（FSSL），其目的是通过联合利用来自标记和未标记客户端的数据（即，医院）。我们提出了一种新的方法来解决这个问题，它改进了传统的一致性正则化机制与一个新的客户端之间的关系匹配计划。所提出的学习方案通过对齐提取的疾病关系来明确地连接标记和未标记客户端之间的学习，从而减轻未标记客户端的任务知识的不足，并促进来自未标记样本的判别信息。我们验证了我们的方法在两个大规模的医学图像分类数据集。我们的方法的有效性已被证明与国家的最先进的明确改进，以及彻底的消融分析上的两个任务\footnote{Code will be made available at \url{https://github.com/liuquande/FedIRM}}。
2021-06-16 cs.CV
Semi-Supervised Medical Image Segmentation with Co-Distribution Alignment
Minjiang University（闽江学院）；Fuzhou University（福州大学）；Wuyi University（武夷学院）；Fujian Agriculture and Forestry University（福建农林大学）
针对医学图像分割标注成本高、类别分布不均的问题，提出共分布对齐（Co-DA）半监督分割方法，结合超期望交叉熵损失过滤噪声，在多个公开数据集上以少量标注数据取得优于现有方法的性能。
2023-07-24 cs.CV
SSL-MedSAM2: A Semi-supervised Medical Image Segmentation Framework Powered by Few-shot Learning of SAM2
School of Computer Science, University of Nottingham, UK（Nottingham大学计算机科学学院）
SSL-MedSAM2通过SAM2的少样本学习和nnUNet的迭代监督学习，在肝脏分割任务中实现了高精度的半监督医学图像分割。
2025-12-12 cs.CV
Transfer or Self-Supervised? Bridging the Performance Gap in Medical Imaging
本文对比迁移学习与自监督学习在医学影像任务中的性能和鲁棒性，通过同源数据不同预训练方式及小规模医学数据集实验，分析数据不平衡、稀缺和域不匹配的影响并给出部署建议。
2024-12-09 cs.AI cs.CV
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney（悉尼大学）；North University of China（中北大学）；University of Technology Sydney（悉尼科技大学）
针对医学图像标注数据稀缺问题，提出将自监督BYOL集成到半监督模型的方法，经无标注预训练、伪标与标注数据合并训练及迭代微调，在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Big Self-Supervised Models Advance Medical Image Classification
Google Research and Health（谷歌研究与健康）
自我监督预训练，然后进行监督微调，在图像识别中取得了成功，特别是当标记的例子很少时，但在医学图像分析中受到的关注有限。本文研究了自监督学习作为医学图像分类预训练策略的有效性。我们对两个不同的任务进行了实验：数码相机图像的皮肤病皮肤状况分类和多标签胸部X射线分类，并证明了ImageNet上的自监督学习，然后对未标记的特定领域医学图像进行额外的自监督学习，显着提高了医学图像分类器的准确性。我们介绍了一种新的多实例对比学习（MICLe）方法，该方法使用每个患者病例的基础病理的多个图像，当可用时，为自我监督学习构建更多信息的阳性对。结合我们的贡献，我们在皮肤病学和胸部X射线分类上分别实现了6.7%的top-1准确率和1.1%的平均AUC提高，优于ImageNet上预训练的强监督基线。此外，我们还证明了大型自监督模型对分布偏移具有鲁棒性，并且可以使用少量标记的医学图像进行有效学习。
2021-04-01 cs.CV cs.LG eess.IV
Self-supervised learning methods and applications in medical imaging analysis: A survey
Jordan University of Science and Technology（约旦科技大学）
缺乏高质量的带注释的医学成像数据集是与医学成像分析领域的机器学习应用相冲突的主要问题，并阻碍了其发展。自监督学习是最近的一种训练范式，它能够在不需要人工注释的情况下学习鲁棒的表示，这可以被认为是注释医学数据稀缺的有效解决方案。本文综述了图像数据自监督学习方法的最新研究方向，并重点介绍了其在医学成像分析领域的应用。本文涵盖了计算机视觉领域的一组最新的自监督学习方法，因为它们适用于医学成像分析，并将其分类为预测，生成和对比方法。此外，本文涵盖了医学成像分析中自监督学习领域的40篇最新研究论文，旨在揭示该领域的最新创新。最后，文章总结了该领域未来可能的研究方向。
2022-07-20 cs.CV cs.LG eess.IV
A Systematic Benchmarking Analysis of Transfer Learning for Medical Image Analysis
Arizona State University（亚利桑那州立大学）；Stanford University（斯坦福大学）；Mayo Clinic（梅奥诊所）
来自监督ImageNet模型的迁移学习经常用于医学图像分析。然而，还没有进行大规模的评估来衡量新开发的用于医学图像分析的预训练技术的有效性，留下了几个重要的问题没有答案。作为这个方向的第一步，我们对在iNat2021上预训练的模型的可移植性进行了系统的研究，iNat2021是最新的大规模细粒度数据集，14个顶级自监督ImageNet模型与监督ImageNet模型相比，在7个不同的医疗任务上。此外，我们提出了一种实用的方法，通过在医学图像上连续（预）训练监督ImageNet模型来弥合自然图像和医学图像之间的领域差距。我们的全面评估产生了新的见解：（1）细粒度数据上的预训练模型产生了更适合医学分割任务的独特局部表示，（2）自监督ImageNet模型比监督ImageNet模型更有效地学习整体特征，（3）持续的预训练可以弥合自然和医学图像之间的领域差距。我们希望此次迁移学习的大规模开放评测能够指导医学影像学领域深度学习的未来研究。作为开放科学，所有代码和预训练模型都可以在我们的GitHub页面https://github.com/JLiangLab/BenchmarkTransferLearning上找到。
2021-08-12 cs.CV eess.IV
A Lightweight Medical Image Classification Framework via Self-Supervised Contrastive Learning and Quantum-Enhanced Feature Modeling
The Second Clinical Medical College, Nanjing Medical University（南京医科大学第二临床医学院）
本文提出一种结合自监督对比学习和量子增强特征建模的轻量级医学图像分类框架，通过MobileNetV2和量子电路实现高效模型，实验表明其在性能上优于传统方法。
2026-01-23 cs.CV cs.LG
MedMAE: A Self-Supervised Backbone for Medical Imaging Tasks
University of British Columbia（不列颠哥伦比亚大学）
针对医学影像标注数据稀缺及域偏移问题，提出大规模无标注数据集及基于掩码自编码器的自监督骨干网络MedMAE，在四项医学影像任务上优于现有预训练模型。
2024-07-20 cs.CV eess.IV
Systematic comparison of semi-supervised and self-supervised learning for medical image classification
Tufts University, School of Engineering（塔夫茨大学工程学院）
本文系统比较了医学图像分类中13种半监督与自监督方法，在4个数据集上验证了现实规模验证集下超参数调优的有效性，并发现MixMatch能带来最可靠的准确率提升。
2024-03-29 cs.CV cs.LG
Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges
Heriot-Watt University（赫瑞瓦特大学）
针对医学影像数据集规模小、类别不平衡等问题，本文研究用着色和对比学习等自监督任务预训练胶囊网络，在PICCOLO息肉分类任务上准确率提升5.26%。
2025-02-07 cs.CV cs.LG
Semi-supervised learning for medical image classification using imbalanced training data
La Trobe University（拉筹伯大学）
医学图像分类通常具有挑战性，原因有两个：由于昂贵且耗时的注释协议而缺乏标记的示例，以及由于更广泛人群中疾病阳性个体的相对稀缺而导致的不平衡的类别标签。半监督学习（SSL）方法存在用于处理标签的缺乏，但是它们通常不解决类不平衡的问题。在这项研究中，我们提出了自适应混合一致性损失（ABCL），在扰动为基础的SSL方法的一致性损失的下降替代。ABCL抵消数据倾斜，根据类频率自适应混合的目标类分布的一致性损失。我们的实验与ABCL揭示了改进未加权平均召回两个不同的不平衡的医学图像分类数据集相比，现有的一致性损失，不是为了抵消类的不平衡。
2021-08-20 cs.CV cs.LG
Enhancing Weakly Supervised 3D Medical Image Segmentation through Probabilistic-aware Learning
Carnegie Mellon University（卡内基梅隆大学）；Towson University（托森大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；University of Maryland（马里兰大学）
提出概率感知弱监督学习流程，整合伪标签生成、多头自注意力网络和概率损失函数，在CT和MRI数据上超越现有弱监督方法，最高提升Dice分数18.1%。
2025-06-20 cs.CV eess.IV
DiRA: Discriminative, Restorative, and Adversarial Learning for Self-supervised Medical Image Analysis
Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）
判别学习、恢复性学习和对抗性学习已经被证明对计算机视觉和医学成像中的自监督学习方案有益。然而，现有的努力忽略了它们在三元设置中彼此之间的协同效应，我们设想，这可以显着有利于深度语义表示学习。为了实现这一愿景，我们开发了DiRA，这是第一个以统一的方式将区分性，恢复性和对抗性学习结合起来的框架，可以从未标记的医学图像中协作收集互补的视觉信息，用于细粒度的语义表示学习。我们广泛的实验表明，DiRA（1）鼓励三种学习成分之间的协作学习，从而在器官，疾病和模态之间实现更普遍的表示;（2）优于完全监督的ImageNet模型，并提高了小数据体系的鲁棒性，降低了多个医学成像应用的注释成本;（3）学习细粒度的语义表示，仅通过图像级注释促进准确的病变定位;以及（4）增强最先进的修复方法，揭示DiRA是联合表示学习的一般机制。所有代码和预训练模型都可以在https：//github.com/JLiangLab/DiRA上找到。
2022-04-21 cs.CV eess.IV
Self-supervised Feature Learning for 3D Medical Images by Playing a Rubik's Cube
Tsinghua University（清华大学）；Tencent（腾讯）
随着深度学习的发展，越来越多的研究试图建立三维立体医学数据的计算机辅助诊断系统。然而，由于3D医学数据的注释难以获取，注释的3D医学图像的数量通常不足以很好地训练深度学习网络。深入挖掘原始数据信息的自监督学习是解决对训练数据要求不高问题的潜在方法之一。在本文中，我们提出了一个自监督学习框架的体积医学图像。一种新的代理任务，即，魔方恢复，制定预训练三维神经网络。代理任务涉及两个操作，即，立方体重排和立方体旋转，这迫使网络从原始3D数据中学习平移和旋转不变特征。与从头开始训练策略相比，从预训练的网络进行微调可以在各种任务上获得更好的准确性，例如，脑出血分类和脑肿瘤分割。我们表明，我们的自监督学习方法可以在不使用额外数据的情况下大幅提高三维深度学习网络在体积医学数据集上的准确性。据我们所知，这是第一个专注于3D神经网络的自监督学习的工作。
2019-10-05 cs.CV cs.LG eess.IV
Semise: Semi-supervised learning for severity representation in medical image
Hanoi University of Science and Technology（河内理工大学）；University of Southern California（南加州大学）；VinUni-Illinois Smart Health Center, VinUniversity（VinUniversity-VinUniversity伊利诺伊智能健康中心）
本文提出融合自监督与监督学习的 SEMISE 方法，利用有标注及增强数据缓解医学图像标注稀缺问题，并在分类和分割任务上分别提升 12% 与 3%。
2025-01-07 cs.CV eess.IV
Self-Supervised-RCNN for Medical Image Segmentation with Limited Data Annotation
University of Calgary（卡尔加里大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (AMII)（阿尔伯塔机器智能研究所（AMII））
许多基于机器学习的医学图像分析的成功方法使用监督学习方法，这些方法通常需要由专家注释的大型数据集来实现高精度。然而，医学数据标注是耗时和昂贵的，特别是对于分割任务。为了解决有限标记医学图像数据的学习问题，本文提出了一种基于未标记MRI扫描的自监督预训练的替代深度学习训练策略。我们的预训练方法首先将不同的失真随机应用于未标记图像的随机区域，然后预测失真的类型和信息丢失。为此，Mask-RCNN架构的改进版本已被适配为定位失真位置并恢复原始图像像素。基于Osteoarthritis Initiative数据集，评估了所提出的方法在不同预训练和微调场景下分割任务的有效性。与从头开始训练相比，使用这种自我监督的预训练方法将Dice分数提高了20%。所提出的自监督学习是简单、有效的，并且适用于不同范围的医学图像分析任务，包括异常检测、分割和分类。
2022-07-17 cs.AI cs.CV cs.LG
CAiD: Context-Aware Instance Discrimination for Self-supervised Learning in Medical Imaging
Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）
最近，自我监督的实例判别方法在从未标记的摄影图像中学习视觉表示方面取得了显着的成功。然而，考虑到摄影图像和医学图像之间的显著差异，基于实例的目标的功效，专注于学习图像中最具鉴别力的全局特征（即，自行车的轮子），在医学成像中仍然是未知的。我们的初步分析表明，医学图像在解剖学方面的高度全局相似性阻碍了用于捕获一组不同特征的实例判别方法，从而对其在医学下游任务上的性能产生负面影响。为了缓解这一限制，我们开发了一个简单而有效的自监督框架，称为上下文感知实例识别（CAiD）。CAiD旨在通过提供从未标记医学图像的不同局部上下文编码的更精细和更具鉴别力的信息来改进实例鉴别学习。我们从三个方面进行了系统的分析，以研究学习特征的效用：（i）可推广性和可转移性，（ii）嵌入空间中的可分性，以及（iii）可重用性。我们广泛的实验表明，CAiD（1）丰富了从现有实例判别方法中学习到的表示;（2）通过从单个医学图像中充分捕获更精细的上下文信息来提供更多的判别特征;（3）与标准实例判别方法相比，提高了低/中级特征的可重用性。作为开放科学，所有代码和预训练模型都可以在我们的GitHub页面上找到：https://github.com/JLiangLab/CAiD。
2022-04-15 cs.CV eess.IV
