Medi-CAT: Contrastive Adversarial Training for Medical Image Classification
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道工业大学）
本文提出Medi-CAT训练策略，结合大规模预训练视觉Transformer与对抗和对比学习，在MedMNIST医学图像分类任务中同时缓解欠拟合和过拟合，并取得最高4.1%的性能提升。
2023-10-31 cs.CV cs.LG eess.IV
DoubleTake: Contrastive Reasoning for Faithful Decision-Making in Medical Imaging
Rutgers University（罗格斯大学）
DoubleTake通过对比推理框架提升医学影像决策的准确性和可靠性，实现显著的性能提升。
2026-02-02 cs.CV cs.LG
A Review of Predictive and Contrastive Self-supervised Learning for Medical Images
The University of Sydney（悉尼大学）；James Cook University（詹姆斯·库克大学）
本文综述了用于医学图像的对比式自监督学习方法，重点分析自然图像SSL算法的医学适配、最新进展与未来方向。
2024-03-30 cs.CV
Federated Contrastive Learning for Volumetric Medical Image Segmentation
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）
监督式深度学习需要大量的标记数据来实现高性能。然而，在医学成像分析中，每个站点可能只有有限的数据和标签，这使得学习无效。联邦学习（FL）可以通过学习共享模型来帮助解决这一问题，同时将训练数据保持在本地以保护隐私。传统的FL需要完全标记的数据进行训练，由于高昂的标记成本和专业知识的要求，这是不方便的，有时甚至是不可行的。对比学习（CL）作为一种自监督学习方法，可以有效地从未标记的数据中学习，以预训练神经网络编码器，然后对具有有限注释的下游任务进行微调。然而，当在FL中采用CL时，每个客户端上有限的数据多样性使得联邦对比学习（FCL）无效。在这项工作中，我们提出了一个FCL框架体积医学图像分割有限的注释。更具体地说，我们交换了FCL预训练过程中的功能，以便为每个站点提供不同的对比数据，以实现有效的本地CL，同时保持原始数据的私密性。基于交换的特征，全局结构匹配进一步利用结构相似性将本地特征与远程特征对齐，使得可以在不同站点之间学习统一的特征空间。在心脏MRI数据集上的实验表明，与最先进的技术相比，所提出的框架大大提高了分割性能。
2022-04-23 cs.CV cs.LG eess.IV
MedCLIP: Contrastive Learning from Unpaired Medical Images and Text
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe（奥多比公司）；Carle Illinois College of Medicine（卡尔伊利诺伊医学院）
现有的视觉-文本对比学习（如CLIP）旨在匹配成对的图像和字幕嵌入，同时将其他嵌入分开，这提高了表示的可移植性并支持zero-shot预测。然而，医学图像文本数据集的数量级低于互联网上的一般图像和标题。此外，先前的方法遇到许多假阴性，即，来自不同患者的图像和报告可能具有相同的语义，但被错误地视为阴性。在本文中，我们解耦图像和文本的多模态对比学习，从而缩放可用的训练数据在一个组合的幅度与低成本。我们还提出用基于医学知识的语义匹配损失来取代InfoNCE损失，以消除对比学习中的假阴性。我们证明了MedCLIP是一个简单而有效的框架：它在zero-shot预测，监督分类和图像-文本检索方面优于最先进的方法。令人惊讶的是，我们观察到只有20 K预训练数据，MedCLIP胜过最先进的方法（使用大约200 K数据）。我们的代码可在https://github.com/RyanWangZf/MedCLIP上获得。
2022-10-18 cs.CL cs.CV
Contrastive learning for unsupervised medical image clustering and reconstruction
University of Rome Tor Vergata（罗马第二大学）；University of Cambridge（剑桥大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A·马蒂诺斯生物医学成像中心）
与临床建立的疾病类别相比，缺乏大型标记的医学成像数据集以及显著的个体间变异性，对在精确医学范例中利用医学成像信息提出了重大挑战，其中原则上可以采用密集的患者特异性数据来制定个体预测和/或将患者分层为更精细的-颗粒组可能遵循更均匀的轨迹，因此可以进行临床试验。为了有效地探索有效的自由度潜在的变化，在医学图像中的无监督的方式，在这项工作中，我们提出了一个无监督的自动编码器框架，增强了对比度损失，以鼓励高分离的潜在空间。该模型在（医学）基准数据集上进行了验证。由于根据聚类分配将聚类标签分配给每个示例，因此我们将性能与监督迁移学习基线进行比较。我们的方法实现了类似的性能，监督架构，表明在潜在空间中的分离再现专家的医疗卫生机构分配的标签。所提出的方法可能是有益的患者分层，探索新的细分较大的类或病理连续，或由于其采样能力的变化设置，数据增强在医学图像处理。
2022-09-24 cs.CV cs.LG
Positional Contrastive Learning for Volumetric Medical Image Segmentation
University of Notre Dame（圣母大学）；University of Pittsburgh（匹兹堡大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
深度学习的成功在很大程度上取决于大型标记训练集的可用性。然而，在医学图像领域，由于严格的隐私保护和昂贵的标记工作，很难获得大的标记数据集。对比学习是一种无监督学习技术，在从未标记数据中学习图像级表示方面已被证明是强大的。然后可以转移或微调学习的编码器，以提高具有有限标签的下游任务的性能。对比学习中的关键步骤是生成对比数据对，这对于自然图像分类来说相对简单，但是对于医学图像分割来说相当具有挑战性，因为在数据集中存在相同的组织或器官。因此，当应用于医学图像分割时，大多数最先进的对比学习框架不可避免地引入了大量的假阴性对，从而导致分割质量下降。为了解决这个问题，我们提出了一种新的位置对比学习（PCL）框架，通过利用体积医学图像中的位置信息来生成对比数据对。在CT和MRI数据集上的实验结果表明，与现有方法相比，在半监督环境和迁移学习环境下，所提方法均能显著提高分割性能。
2021-09-28 cs.CV
Discriminative Cross-Modal Data Augmentation for Medical Imaging Applications
University of California San Diego（加利福尼亚大学圣地亚哥分校）
虽然深度学习方法在医学图像分析中取得了巨大成功，但它们需要大量医学图像进行训练。由于数据隐私问题和医学注释器的不可用，通常很难获得大量标记的医学图像用于模型训练。在本文中，我们研究跨模态数据增强，以减轻在医学成像领域的数据不足的问题。我们提出了一个有区别的不成对图像到图像的翻译模型，该模型将源模态中的图像翻译成目标模态中的图像，其中翻译任务与下游预测任务联合进行，并且翻译由预测指导。两个应用程序的实验证明了我们的方法的有效性。
2020-10-07 cs.CV cs.LG eess.IV
Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation
Chang Gung Memorial Hospital（长庚纪念医院）
医疗报告生成是一项具有挑战性的任务，因为它是耗时的，需要经验丰富的放射科医生的专业知识。医学报告生成的目标是准确地捕获和描述图像发现。以往的研究工作都是用不同领域的大数据集对视觉编码神经网络进行预训练，无法学习特定医学领域的通用视觉表征。在这项工作中，我们提出了一个医疗报告生成框架，使用对比学习的方法来预训练的视觉编码器，不需要额外的Meta信息。此外，我们采用肺部分割作为对比学习框架中的增强方法。这种分割引导网络专注于对肺部区域内的视觉特征进行编码。实验结果表明，该框架提高了性能和质量的生成的医疗报告定量和定性。
2023-01-08 cs.CV cs.LG
ProCo: Prototype-aware Contrastive Learning for Long-tailed Medical Image Classification
Xiaohe Healthcare, ByteDance（字节跳动小荷健康）；The University of Hong Kong（香港大学）
医学图像分类在医学图像分析中得到了广泛的应用。然而，由于在医学领域的数据采集和标记的困难，医学图像数据集通常是高度不平衡的。为了解决这个问题，以前的作品利用类样本作为重新加权或重新采样的先验，但特征表示通常仍然不够有区别。在本文中，我们采用对比学习来解决长尾医疗不平衡问题。具体来说，我们首先提出类别原型和对抗原型实例来生成代表性对比对。然后，原型重校准策略，提出了解决高度不平衡的数据分布。最后，设计了一个统一的原型损失训练我们的框架。整体框架，即原型感知的对比学习（ProCo），以端到端的方式统一为单级流水线，以缓解医学图像分类中的不平衡问题，这也是一个明显的进步，因为它们遵循传统的两级流水线。在两个高度不平衡的医学图像分类数据集上进行的大量实验表明，我们的方法大大优于现有的最先进的方法。
2022-09-01 cs.CV
Local Contrastive Learning for Medical Image Recognition
Yale University（耶鲁大学）；Rice University（莱斯大学）；University of Texas Health Science Center（德克萨斯大学健康科学中心）
基于深度学习（DL）的放射图像分析方法的激增，对专家标记的放射学数据产生了巨大的需求。最近的自我监督的框架，减轻了需要从相关的放射学报告获得监督的专家标签。然而，这些框架很难区分医学图像中不同病理之间的细微差异。此外，它们中的许多不提供图像区域和文本之间的解释，使得放射科医生难以评估模型预测。在这项工作中，我们提出了局部区域对比学习（LRSTO），一个灵活的微调框架，增加了显着的图像区域选择以及跨模态交互层。我们的研究结果的一个外部验证集的胸部X射线表明，LRSTOM识别显着的局部图像区域，并提供有意义的解释对放射学文本，同时提高zero-shot性能的几个胸部X射线医学发现。
2023-03-24 cs.CV cs.LG
An Evaluation of Non-Contrastive Self-Supervised Learning for Federated Medical Image Analysis
Jadavpur University（贾达沃普尔大学）；University of Toronto（多伦多大学）
隐私和标注瓶颈是深刻影响基于机器学习的医学图像分析实用性的两大问题。虽然在这些领域取得了重大进展，但这些问题尚未完全解决。在本文中，我们试图解决这些问题的正面和系统地探讨非对比度自监督学习（SSL）算法下的联邦学习（FL）模拟医学图像分析的适用性。我们进行彻底的实验，最近提出的国家的最先进的非对比框架下的标准FL设置。以SoTA对比学习算法Simplified作为我们的比较基准，我们对我们选择的4种非对比算法在非独立同分布下的性能进行了基准测试。数据条件和不同数量的客户端。我们提出了一个整体的评价，这些技术的6个标准化的医学成像数据集。我们进一步分析了从我们的研究结果中推断出的不同趋势，旨在根据我们的研究结果找到进一步研究的方向。据我们所知，我们是第一个对医学成像的联邦自监督学习进行如此彻底分析的人。我们所有的源代码将在论文被接受后公开。
2023-03-09 cs.CV
ConFUDA: Contrastive Fewshot Unsupervised Domain Adaptation for Medical Image Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））；Stanford University（斯坦福大学）
无监督领域自适应（UDA）旨在将从标记的源领域学习到的知识转移到未标记的目标领域。UDA背景下的对比学习（CL）可以帮助更好地分离特征空间中的类。然而，在图像分割中，由于逐像素对比度损失的计算而导致的大的存储器占用使得其无法使用。此外，标记的目标数据在医学成像中不容易获得，并且获得新的样本不经济。因此，在这项工作中，我们解决了一个更具挑战性的UDA任务时，只有几个（fewshot）或一个单一的（oneshot）图像可从目标域。我们应用了风格转换模块来缓解目标样本的稀缺性。然后，为了使源特征和目标特征对齐，并解决传统对比度丢失的记忆问题，提出了基于质心的对比学习（CCL）和质心范数正则化器（CNR），以优化方向和幅度上的对比度对。此外，我们还提出了多分区形心对比学习（MPCCL）来进一步减少目标特征的方差。MS-CMRSeg数据集上的Fewshot评估表明，与基线相比，ConFUDA在目标域上的分割性能提高了0.34的Dice分数，并且在更严格的oneshot设置中提高了0.31的Dice分数。
2022-06-08 cs.CV cs.LG
Contrastive learning of global and local features for medical image segmentation with limited annotations
Computer Vision Lab, ETH Zurich（计算机视觉实验室，苏黎世联邦理工学院）
监督式深度学习成功的一个关键要求是大型标记数据集--这是医学图像分析中难以满足的条件。自监督学习（SSL）可以通过提供一种使用未标记数据预训练神经网络的策略来帮助这方面的工作，然后对具有有限注释的下游任务进行微调。对比学习是SSL的一种特殊变体，是学习图像级表示的强大技术。在这项工作中，我们提出了扩展的对比学习框架的体积医学图像的分割在半监督设置有限的注释，利用特定领域和特定问题的线索的策略。具体来说，我们提出了（1）新的对比策略，利用跨体积医学图像的结构相似性（特定领域的线索）和（2）对比损失的本地版本，以学习对每像素分割有用的局部区域的独特表示（特定问题的线索）。我们对三个磁共振成像（MRI）数据集进行了广泛的评估。在有限的注释设置，所提出的方法产生了实质性的改善相比，其他自我监督和半监督学习技术。当与一个简单的数据增强技术相结合，所提出的方法达到8%的基准性能，仅使用两个标记的MRI卷进行训练，对应于只有4%（ACDC）的训练数据用于训练的基准。该代码在https://github.com/krishnabits001/domain_specific_cl上公开。
2020-10-30 cs.CV cs.LG eess.IV
Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval
Texas A&M University-San Antonio（德州农工大学圣安东尼奥分校）
该研究针对医学图像与报告跨域检索场景，构建遮挡检索任务基准测试四种主流对比学习模型的鲁棒性，发现模型均对分布外数据敏感，领域训练数据和模型鲁棒性提升是关键方向。
2025-01-15 cs.AI cs.CL cs.CV
Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
深度学习已经证明了使用足够大量的带有手动标签的训练数据在医学图像分割方面的显著改进。获得具有代表性的标签需要专业知识和详尽的劳动。在本文中，我们的目标是提高性能的半监督学习的医学图像分割有限的标签使用自集成对比学习技术。为此，我们提出了训练一个编码器-解码器网络在图像级与少量的标记图像，更重要的是，我们学习潜在的表示直接在特征级通过对未标记的图像施加对比损失。该方法增强了类内紧致性和类间可分性，从而得到更好的像素分类器。此外，我们设计了一个学生编码器的在线学习和指数移动平均版本，它被称为教师编码器，以提高性能迭代自组装的方式。为了构建对比样本与未标记的图像，两个采样策略，利用结构相似性的医学图像和利用伪标签的建设，称为区域感知和解剖感知的对比采样，进行了研究。我们在MRI和CT分割数据集上进行了广泛的实验，并证明在有限的标签设置中，所提出的方法达到了最先进的性能。此外，使用伪标签即时准备对比样本的解剖感知策略实现了对特征表示的更好的对比正则化。
2021-06-10 cs.CV
A Lightweight Medical Image Classification Framework via Self-Supervised Contrastive Learning and Quantum-Enhanced Feature Modeling
The Second Clinical Medical College, Nanjing Medical University（南京医科大学第二临床医学院）
本文提出一种结合自监督对比学习和量子增强特征建模的轻量级医学图像分类框架，通过MobileNetV2和量子电路实现高效模型，实验表明其在性能上优于传统方法。
2026-01-23 cs.CV cs.LG
Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning
Department of Systems Engineering, Stevens Institute of Technology, Hoboken, New Jersey, USA（系统工程系，史蒂文斯理工学院）；Department of Nuclear Medicine, Kaohsiung Chang Gung Memorial Hospital, Kaohsiung, Taiwan（高雄长庚纪念医院核医学部）；Institute of Statistics, National University of Kaohsiung, Kaohsiung, Taiwan（国立高雄大学统计研究所）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（深圳先进技术研究院，中国科学院）
本文提出跨图模态对比学习框架CGMCL，通过构建跨模态图并在共享潜在空间对齐图像与非图像特征，提升多模态医学图像分类的准确性、可解释性和早期疾病预测能力。
2025-11-10 cs.CV eess.IV
Improving Medical Multi-modal Contrastive Learning with Expert Annotations
Aalto University（阿尔托大学）
本研究提出整合放射科医生眼动热图标注的eCLIP模型，通过热图处理器与mixup增强解决医学多模态对比学习的数据稀缺与模态鸿沟问题，适用于各类CLIP变体，在多任务上实现嵌入质量提升。
2024-07-15 cs.CV cs.LG
CoRe: Joint Optimization with Contrastive Learning for Medical Image Registration
Insitute of Medical Informatics, University of Luebeck, Luebeck, Germany（吕贝克大学医学信息学研究所）
本文提出CoRe框架，将对比学习直接整合到配准模型中，通过联合优化对比和配准目标，提升特征表示的鲁棒性，实验表明在腹部和胸腔配准任务中性能优于基线方法。
2026-04-21 cs.CV
Contrastive Learning Meets Transfer Learning: A Case Study In Medical Image Analysis
Vanderbilt University（范德堡大学）
注释的医学图像通常比标记的自然图像更稀有，因为它们受到领域知识和隐私约束的限制。迁移和对比学习的最新进展从不同的角度为解决这些问题提供了有效的解决方案。最先进的迁移学习（例如，大迁移（BiT））和对比学习（例如，简单的暹罗对比学习（SimSiam））的方法已被独立调查，而不考虑这种技术的互补性。考虑到缓慢的收敛速度是现代对比学习方法的关键限制，使用迁移学习来加速对比学习将是有吸引力的。在本文中，我们研究了BiT与SimSiam对齐的可行性。从实证分析来看，不同的规范化技术（BiT中的Group Norm与SimSiam中的Batch Norm）是使BiT适应SimSiam的关键障碍。当将BiT与SimSiam结合使用时，我们评估了在CIFAR-10和HAM 10000数据集上使用BiT、SimSiam和BiT+SimSiam的性能。结果表明，BiT模型加快了SimSiam的收敛速度。当一起使用时，该模型提供了优于其对应物的性能。我们希望这项研究能够激励研究人员重新审视将大型预训练模型与对比学习模型聚合起来进行图像分析的任务。
2021-03-04 cs.CV
COROLLA: An Efficient Multi-Modality Fusion Framework with Supervised Contrastive Learning for Glaucoma Grading
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
青光眼是一种可导致失明的眼科疾病，早期发现和治疗非常重要。眼底图像和光学相干断层扫描（OCT）图像都是广泛使用的诊断青光眼的方式。然而，现有的青光眼分级方法主要利用单一的模态，忽略了眼底和OCT之间的互补信息。在本文中，我们提出了一个有效的多模态监督对比学习框架，名为COROLLA，青光眼分级。通过层分割以及厚度计算和投影，从原始OCT体积中提取视网膜厚度图并用作替代模态，从而以更少的内存使用实现更有效的计算。鉴于医学图像样本之间的高度结构和分布相似性，我们采用监督对比学习来提高模型的区分能力，并具有更好的收敛性。此外，特征级融合的配对眼底图像和厚度图进行，以提高诊断的准确性。在GAMMA数据集上，与最先进的方法相比，我们的COROLLA框架实现了压倒性的青光眼分级性能。
2022-01-25 cs.CV eess.IV
Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels
ETS Montreal（蒙特利尔高等工程技术学院）
在未标记数据的大型数据集上使用对比学习预训练识别模型已经显示出极大的潜力来提高下游任务的性能，例如，图像分类。然而，在医学成像等领域，收集未标记的数据可能具有挑战性且昂贵。在这项工作中，我们提出了适应对比学习与元标签注释，即使没有额外的未标记的数据是可用的，以提高模型的性能在医学图像分割。元标签（如3D MRI扫描中2D切片的位置或所用设备的类型）通常在采集过程中免费提供。我们使用元标签对图像编码器进行预训练，并对半监督训练进行正则化，其中使用简化的注释数据集进行训练。最后，为了充分利用弱注释，使用自定进度的学习方法来帮助学习并区分有用的标签和噪声。在三个不同的医学图像分割数据集上的结果表明，我们的方法：i）大大提高了在几次扫描上训练的模型的性能，ii）优于以前的对比和半监督方法，iii）接近在完整数据上训练的模型的性能。
2021-08-22 cs.CV
Contrastive Centroid Supervision Alleviates Domain Shift in Medical Image Classification
Baidu Inc（百度公司）
基于深度学习的医学成像分类模型通常会遇到域偏移问题，当训练数据和真实世界数据在成像设备制造商、图像采集协议、患者人群等方面存在差异时，分类性能会下降。该方法通过在训练过程中对实例和类质心之间的对比度损失进行额外的监督，可以提高目标域分类性能。与现有的无监督领域自适应和领域泛化方法相比，FCCL方法性能更好，而且只需要单个源域的标记图像数据，不需要目标域。我们通过大量的实验验证，FCCL可以实现至少三种成像方式，即眼底照片，皮肤镜图像，H & E组织图像的优异性能。
2022-05-31 cs.CV
ConPro: Learning Severity Representation for Medical Images using Contrastive Learning and Preference Optimization
University of Southern California（南加州大学）；College of Engineering & Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；VinUniversity
本文提出ConPrO方法，通过将对比学习与偏好优化结合，把严重程度类别的距离偏好注入潜在向量，在分类任务上超越基线并实现有价值的严重程度排序。
2024-04-29 cs.AI cs.CV
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院哈索·普拉特纳数字健康研究所）
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈，这证实了对从未标记数据中学习的新算法的需求。在这项工作中，我们提出了ContIG，这是一种自监督方法，可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法，将每个人的多个模态集成到同一个模型中，即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法，以更好地理解图像和遗传方式之间的跨模态关联。最后，我们对模型学习到的特征进行全基因组关联研究，揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
SparseContrast: Dynamic Sparse Attention for Efficient and Accurate Contrastive Learning in Medical Imaging
Delhi Technological University（德里技术大学）
本文提出SparseContrast框架，通过动态稀疏注意力机制提升医学影像对比学习效率与准确性，尤其在低数据环境下用于胸部X光疾病检测。
2026-07-30 cs.CV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University（石溪大学）；Jadavpur University（贾达普大学）；University of Toronto（多伦多大学）；Kyungpook National University（庆北国立大学）
由于标记数据的稀缺性，对比自监督学习（SSL）框架最近在一些医学图像分析任务中显示出巨大的潜力。然而，现有的对比机制是次优的密集像素级分割任务，由于他们无法挖掘本地功能。为此，我们将度量学习的概念扩展到分割任务，使用密集（不）相似性学习来预训练深度编码器网络，并采用半监督范式来微调下游任务。具体来说，我们提出了一个简单的卷积投影头来获得密集的像素级特征，以及一个新的对比损失来利用这些密集的投影，从而改善局部表示。下游任务设计了一个双向一致性正则化机制，包括两个流模型训练。经过比较，我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码：https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Shanghai Clinical Research and Trial Center（上海临床研究与试验中心）
针对医学影像对比预训练缺乏大规模文本报告的问题，提出即插即用的McGIP模块，利用放射科医生的眼动数据构建正样本对引导对比预训练，在两类影像和眼动数据上验证了其实用性与临床应用潜力。
2023-12-12 cs.CV
Self-Supervised Pre-Training with Contrastive and Masked Autoencoder Methods for Dealing with Small Datasets in Deep Learning for Medical Imaging
Ulm University（乌尔姆大学）；Ulm University Medical Center（乌尔姆大学医学中心）
针对医学影像标注数据集小的问题，本文比较了对比学习与掩码自编码器SparK两种自监督预训练方法，发现SparK在小数据集微调时鲁棒性更强，推荐用于小样本医学影像任务。
2023-11-02 cs.AI cs.CV cs.LG
Contrastive Domain Disentanglement for Generalizable Medical Image Segmentation
University of Electronic Science and Technology of China（电子科技大学）；Shanghai AI Lab（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
有效地利用判别特征是卷积神经网络在医学图像分割中实现卓越性能的关键，也是跨多个领域模型泛化的重要因素，其中让模型识别多站点数据集之间的领域特定和领域不变信息是领域泛化的合理策略。不幸的是，大多数最近的解缠网络不能直接适应未知领域的数据集，因为提供的数据分布的限制。为了解决这个问题，我们提出了对比域解纠缠（CDD）网络的广义医学图像分割。我们首先引入一个解缠网络分解成一个解剖表示因子和一个模态表示因子的医学图像。然后，风格对比损失的建议，鼓励来自同一领域的情态表征分布尽可能接近，而不同的领域是彼此疏远。最后，我们提出了一个领域增强策略，可以随机生成新的领域模型泛化训练。在多位点眼底图像视杯和视盘分割数据集上的实验结果表明，CDD具有良好的模型泛化能力。我们提出的CDD优于几个国家的最先进的方法在域概括分割。
2022-05-13 cs.CV
MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
本文提出多模态预训练框架MGI，结合Mamba基因编码器与ViT影像编码器，利用自监督对比学习对齐基因组与医学影像，在TCGA数据集预训练并在肿瘤分割任务中表现优异。
2024-06-02 cs.CV
MvCo-DoT:Multi-View Contrastive Domain Transfer Network for Medical Report Generation
Hebei University of Technology（河北工业大学）；Shenzhen University（深圳大学）；TU Wien（维也纳技术大学）；University of Oxford（牛津大学）
本文提出首个多视图医学报告生成模型 MvCo-DoT，通过多视图对比学习与域迁移网络，使模型在仅用单视图输入时也能达到接近多视图的性能，并在 IU X-Ray 数据集上全面超越现有方法。
2023-04-15 cs.CV
SupReMix: Supervised Contrastive Learning for Medical Imaging Regression with Mixup
Yong Loo Lin School of Medicine, National University of Singapore（杨潞龄医学院，新加坡国立大学）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）；ETH Zurich（苏黎世联邦理工学院）
针对医学图像回归中现有方法忽略特征表示质量、分类对比学习直接应用效果不佳的问题，提出SupReMix方法，通过含锚点和不含锚点的Mixup混合样本构建难对比对融入序数信息，显著提升多模态医学影像回归性能。
2025-03-23 cs.AI cs.CV cs.LG
CMViM: Contrastive Masked Vim Autoencoder for 3D Multi-modal Representation Learning for AD classification
The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）；Shandong University（山东大学）；Research Institute for Smart Ageing, The Hong Kong Polytechnic University（香港理工大学智能老龄化研究院）
本文提出CMViM框架，结合掩码Vim自编码器与模态内和模态间对比学习，实现3D多模态医学图像的高效表示学习，在AD分类任务上AUC提升2.7%。
2024-03-25 cs.CV
TopoCL: Topological Contrastive Learning for Medical Imaging
本文提出TopoCL框架，通过拓扑结构对比学习提升医学影像分析性能，结合拓扑增强的对比学习方法和层次拓扑编码器，实现视觉与拓扑表征的融合，实验表明在多个数据集上取得显著提升。
2026-03-15 cs.AI cs.CV
A Domain-specific Perceptual Metric via Contrastive Self-supervised Representation: Applications on Natural and Medical Images
Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）；Southern University of Science and Technology（南方科技大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
量化两幅图像的感知相似性是低级计算机视觉中的一个长期问题。自然图像领域通常依赖于监督学习，例如，预训练的VGG，以获得潜在表示。然而，由于域偏移，来自自然图像域的预训练模型可能不适用于其他图像域，例如医学成像。值得注意的是，在医学成像中，评估感知相似性仅由在不同医学领域接受过广泛培训的专家执行。因此，医学成像仍然缺乏任务特定的，客观的感知措施。这项工作回答了这样一个问题：是否有必要依靠监督学习来获得一个有效的表示，可以衡量感知相似性，或者自我监督就足够了？为了了解最近的对比自监督表示（CSR）是否可以拯救，我们从自然图像开始，系统地评估CSR作为众多当代架构和任务的度量，并将其与现有方法进行比较。我们发现，在自然图像域中，CSR的行为与监督的一个在几个感知测试作为一个度量，在医疗领域，CSR更好地量化感知相似性有关的专家的评级。我们还证明了CSR可以显着提高图像质量在两个图像合成任务。最后，我们广泛的研究结果表明，感知是一个新兴的CSR属性，它可以适应许多图像域，而不需要注释。
2022-12-03 cs.CV cs.MM eess.IV
Probing Intrinsic Medical Task Relationships: A Contrastive Learning Perspective
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过对比学习框架TaCo，探讨医学视觉任务之间的内在关系，分析30种任务在不同医学影像数据集中的表示特性，揭示任务间的相似性与关联性。
2026-04-07 cs.CV
Contrastive Semi-Supervised Learning for 2D Medical Image Segmentation
对比学习（CL）是一种新的表示学习方法，它鼓励学习图像表示中的类间可分性和类内紧致性。由于医学图像通常在图像中包含多个语义类，因此使用CL来学习局部特征（而不是全局）的表示非常重要。在这项工作中，我们提出了一种新的半监督2D医学分割解决方案，将CL应用于图像补丁，而不是完整的图像。这些补丁是有意义的构造使用不同的类的语义信息，通过伪标记。我们还提出了一种新的一致性正则化（CR）计划，它与CL协同工作。它解决了确认偏差的问题，并鼓励在特征空间中更好地聚类。我们在四个公共医疗分割数据集和我们介绍的一个新的组织病理学数据集上评估了我们的方法。我们的方法在所有数据集上都比最先进的半监督分割方法得到了一致的改进。
2021-08-06 cs.CV
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此，基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中，文本输入，例如，专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此，有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中，提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示，文本特征强化，和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明，与现有方法相比，该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Multi-View Contrastive Learning for Robust Domain Adaptation in Medical Time Series Analysis
UCLA（加州大学洛杉矶分校）
本文提出一种基于多视图对比学习的医学时间序列域自适应框架，融合时间模式、导数动态和频域特征，在EEG、ECG和EMG等数据集上显著优于现有迁移学习方法。
2025-09-19 cs.AI cs.LG
Recurrent Contrastive Learning for Imbalanced Medical Image Classification
针对医学图像分类的类别不平衡问题，提出循环对比学习方法，通过复用历史特征扩充尾类支持区域，经多数据集验证性能优于强基线。
2026-08-05 cs.CV
Masked Contrastive Reconstruction for Cross-modal Medical Image-Report Retrieval
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）
针对跨模态医学影像-报告检索的模态异质性问题，提出以掩码数据为唯一输入的MCR预训练框架与MbA模态对齐策略，减少任务干扰、降低训练成本，在MIMIC-CXR数据集上取得最优检索性能。
2023-12-27 cs.AI cs.CV
Preservational Learning Improves Self-supervised Medical Image Models by Reconstructing Diverse Contexts
The University of Hong Kong（香港大学）；ShanghaiTech University（上海科技大学）；Deepwise AI Lab（深睿人工智能实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）
保持最大信息量是设计自监督学习方法的原则之一。为了达到这个目的，对比学习采用了一种内隐的方式，即对比图像对。然而，我们认为，这是不完全最佳的，简单地使用对比估计的保存。此外，引入一个显式的解决方案，以保持更多的信息是必要的和补充。从这个角度来看，我们引入保留学习来重建不同的图像上下文，以保留更多的信息在学习的表示。与对比损失一起，我们提出了用于学习自监督医学表示的保留对比表示学习（PCRL）。PCRL在预训练-微调协议下提供了非常有竞争力的结果，在5个分类/分割任务中大大优于自监督和监督同行。
2022-04-13 cs.CV
C3S3: Complementary Competition and Contrastive Selection for Semi-Supervised Medical Image Segmentation
Zhejiang University of Technology（浙江工业大学）
针对半监督医学图像分割中边界细节捕捉不准的问题，提出C3S3模型。该模型通过结果驱动的对比学习模块优化边界定位，并利用动态互补竞争模块生成高质量伪标签，显著提升了分割精度与边界清晰度。
2025-06-25 cs.AI cs.CV
NoteContrast: Contrastive Language-Diagnostic Pretraining for Medical Text
Brigham and Women’s Hospital（布里格姆妇女医院）；Harvard Medical School（哈佛医学院）
针对医学笔记诊断编码，提出基于ICD-10代码序列模型、医学文本大语言模型和对比预训练的集成方法，在多个MIMIC-III任务上超越现有最优模型。
2024-12-16 cs.CL cs.LG
Annotation by Clicks: A Point-Supervised Contrastive Variance Method for Medical Semantic Segmentation
Carleton University（卡尔顿大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能讲席）
医学图像分割方法通常依赖于大量的密集注释图像进行模型训练，这是众所周知的昂贵和耗时的收集。为了减轻这一负担，弱监督技术已被利用来训练分割模型与较便宜的注释。本文提出了一种新的点监督对比方差医学图像语义分割方法（PSCV），它只需要一个像素点从每个器官类别进行注释。该方法通过使用一种新的对比方差（CV）损失来利用未标记的像素和标记像素上的部分交叉熵损失来训练基本分割网络。CV损失函数被设计为利用医学图像中器官的统计空间分布特性及其方差分布图表示来对未标记的像素执行区分性预测。在两个标准医学图像数据集上的实验结果表明，该方法在点监督医学图像语义分割任务上优于现有的弱监督方法.
2022-12-23 cs.AI cs.CV cs.LG
MedM2G: Unifying Medical Multi-Modal Generation via Cross-Guided Diffusion with Visual Invariant
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；ZIU-UIUC Institute, Zhejiang University（浙江大学ZIU-UIUC研究院）；School of Public Health, Zhejiang University（浙江大学公共卫生学院）
针对现有医学生成模型任务独立、多模态知识不足的问题，提出带视觉不变性的交叉引导扩散框架MedM2G，统一多类医学生成任务，在10个数据集的5项任务上超越现有最优水平。
2024-03-07 cs.CV cs.LG eess.IV
It's Not a Modality Gap: Characterizing and Addressing the Contrastive Gap
University of Alberta（阿尔伯塔大学）
本文证明CLIP等双编码器对比模型中的模态鸿沟源于对比损失本身，将其重新定义为对比鸿沟，并通过引入均匀性与对齐约束改进CLIP损失，从而弥合鸿沟并提升下游任务性能。
2024-06-06 cs.CL cs.CV cs.IR
Benchmarking Vision-Language Contrastive Methods for Medical Representation Learning
Vector Institute（矢量研究院）；York University（约克大学）；University of Toronto（多伦多大学）
本文通过统一设置基准评测八种医学视觉-语言对比学习方法，发现通用表征可迁移、多模态训练无需额外单模态训练，且细粒度特征更有益。
2024-06-11 cs.CV cs.LG
Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation
New York University（纽约大学）；Yale University（耶鲁大学）
对比学习在医学图像分割的背景下已经显示出对注释稀缺问题的巨大希望。现有的方法通常假设一个平衡的类分布标记和未标记的医学图像。然而，现实中的医学图像数据通常是不平衡的（即，多类别标签不平衡），这自然会产生模糊的轮廓，并且通常会错误地标记稀有对象。此外，目前还不清楚是否所有阴性样本都是阴性的。在这项工作中，我们提出了行动，解剖意识的ConTrastive dIstillatiON框架，半监督医学图像分割。具体来说，我们首先开发了一个迭代对比蒸馏算法，通过软标签的负面，而不是二元监督之间的积极和消极的对。我们还从随机选择的阴性集合中捕获与阳性集合相比语义上更相似的特征，以加强采样数据的多样性。其次，我们提出了一个更重要的问题：我们真的可以处理不平衡的样本，以产生更好的性能？因此，ACTION的关键创新是以最小的额外内存占用来学习整个数据集的全局语义关系和相邻像素之间的局部解剖特征。在训练过程中，我们通过主动采样一组稀疏的硬负像素来引入解剖对比度，这可以生成更平滑的分割边界和更准确的预测。在两个基准数据集和不同的未标记设置上的广泛实验表明，ACTION显著优于当前最先进的半监督方法。
2023-03-10 cs.AI cs.CV cs.LG
Weakly-Supervised 3D Medical Image Segmentation using Geometric Prior and Contrastive Similarity
City University of Hong Kong（香港城市大学）；Beihang University（北京航空航天大学）
针对三维医学图像弱监督分割，本文提出融合点云几何先验与对比相似性损失的框架，以增强边界框监督并区分低对比度组织，在三个公开数据集上优于现有方法。
2023-02-04 cs.CV cs.LG eess.IV
Momentum Contrastive Voxel-wise Representation Learning for Semi-supervised Volumetric Medical Image Segmentation
Yale University（耶鲁大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比学习（CL）的目的是学习有用的表示，而不依赖于医学图像分割的背景下，专家的注释。现有的方法主要对比单个正向量（即，同一图像的增强）相对于该批次的整个剩余部分内的一组底片，通过简单地将所有输入特征映射到同一恒定向量中。尽管令人印象深刻的经验性能，这些方法有以下缺点：（1）它仍然是一个艰巨的挑战，以防止崩溃的问题微不足道的解决方案;（2）我们认为，不是所有的体素在同一图像是同样积极的，因为存在不同的解剖结构与同一图像。在这项工作中，我们提出了一种新的对比逐体素表示学习（CVRL）方法，有效地学习低级别和高级别的功能，通过捕捉3D空间上下文和丰富的解剖信息沿功能和批量尺寸。具体来说，我们首先介绍了一种新的CL策略，以确保功能多样性的3D表示尺寸之间的提升。我们通过双层对比优化来训练框架（即，低级和高级）在3D图像上。在两个基准数据集和不同的标记设置上的实验证明了我们提出的框架的优越性。更重要的是，我们还证明了我们的方法继承了标准CL方法的硬度感知属性的好处。
2022-03-07 cs.CV cs.LG eess.IV
Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
我们提出了模态间隙，一个有趣的几何现象的表示空间的多模态模型。具体来说，我们表明，不同的数据形式（如图像和文本）嵌入在手臂的长度在他们的共享表示在多模态模型，如CLIP。我们的系统分析表明，这种差距是由模型初始化和对比学习优化相结合造成的。在模型初始化中，我们从经验和理论上证明了普通深度神经网络的表示仅限于窄锥。因此，在具有两个编码器的多模态模型中，当模型被初始化时，两个模态的表示被清楚地分开。在优化过程中，对比学习使不同模态保持一定的距离，该距离受损失函数中的温度参数的影响。我们的实验进一步证明，改变模态间隙距离在提高模型的下游zero-shot分类性能和公平性方面具有显著影响。我们的代码和数据可在https://modalitygap.readthedocs.io/上获得
2022-10-19 cs.AI cs.CL cs.CV
