Federated Contrastive Learning for Decentralized Unlabeled Medical Images
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；University of Oxford（牛津大学）；Oxford, UK（英国牛津（这里仅保留城市和国家，实际机构为牛津大学））
计算机视觉中的标签效率范例是基于对未标记数据的自监督对比预训练，然后用少量标签进行微调。在临床领域实际使用联合计算环境和学习医学图像带来了特定的挑战。在这项工作中，我们提出了FedMoCo，一个强大的联邦对比学习（FCL）框架，它可以有效地利用分散的未标记的医疗数据。FedMoCo有两个新颖的模块：元数据传输、节点间统计数据增强模块和自适应聚合、基于表征相似性分析的聚合模块。据我们所知，这是第一个关于医学图像的FCL工作。我们的实验表明，FedMoCo可以始终优于FedAvg，一个开创性的联邦学习框架，在提取有意义的表示下游任务。我们进一步表明，FedMoCo可以大幅减少下游任务（如COVID-19检测）所需的标记数据量，以实现合理的性能。
2021-09-15 cs.CV cs.LG eess.IV
Positional Contrastive Learning for Volumetric Medical Image Segmentation
University of Notre Dame（圣母大学）；University of Pittsburgh（匹兹堡大学）；Guangdong Provincial People’s Hospital（广东省人民医院）
深度学习的成功在很大程度上取决于大型标记训练集的可用性。然而，在医学图像领域，由于严格的隐私保护和昂贵的标记工作，很难获得大的标记数据集。对比学习是一种无监督学习技术，在从未标记数据中学习图像级表示方面已被证明是强大的。然后可以转移或微调学习的编码器，以提高具有有限标签的下游任务的性能。对比学习中的关键步骤是生成对比数据对，这对于自然图像分类来说相对简单，但是对于医学图像分割来说相当具有挑战性，因为在数据集中存在相同的组织或器官。因此，当应用于医学图像分割时，大多数最先进的对比学习框架不可避免地引入了大量的假阴性对，从而导致分割质量下降。为了解决这个问题，我们提出了一种新的位置对比学习（PCL）框架，通过利用体积医学图像中的位置信息来生成对比数据对。在CT和MRI数据集上的实验结果表明，与现有方法相比，在半监督环境和迁移学习环境下，所提方法均能显著提高分割性能。
2021-09-28 cs.CV
CPR: Chained Perceptual Refinement for Coarse-to-Fine Medical Image Classification
Nanjing University of Posts and Telecommunications（南京邮电大学）；University of Leicester（莱斯特大学）；University of Exeter（埃克塞特大学）；University of Surrey（萨里大学）
研究针对高分辨率医学图像分析难题，提出CPR框架，将其视为从全局到局部的决策过程，能动态预测细化区域，保持骨干网络输入大小固定，实验表明该方法在精度和效率上表现优异。
2026-07-07 cs.CV
Unified Medical Image-Text-Label Contrastive Learning With Continuous Prompt
Beijing University of Posts and Telecommunications（北京邮电大学）
针对医学图像-文本预训练的数据稀缺、假阴性样本多及手工提示敏感问题，提出基于连续提示的UMCL统一图像-文本-标签对比学习框架，扩展训练数据并提升多项下游任务性能。
2023-07-12 cs.CV cs.LG eess.IV
ProCo: Prototype-aware Contrastive Learning for Long-tailed Medical Image Classification
Xiaohe Healthcare, ByteDance（字节跳动小荷健康）；The University of Hong Kong（香港大学）
医学图像分类在医学图像分析中得到了广泛的应用。然而，由于在医学领域的数据采集和标记的困难，医学图像数据集通常是高度不平衡的。为了解决这个问题，以前的作品利用类样本作为重新加权或重新采样的先验，但特征表示通常仍然不够有区别。在本文中，我们采用对比学习来解决长尾医疗不平衡问题。具体来说，我们首先提出类别原型和对抗原型实例来生成代表性对比对。然后，原型重校准策略，提出了解决高度不平衡的数据分布。最后，设计了一个统一的原型损失训练我们的框架。整体框架，即原型感知的对比学习（ProCo），以端到端的方式统一为单级流水线，以缓解医学图像分类中的不平衡问题，这也是一个明显的进步，因为它们遵循传统的两级流水线。在两个高度不平衡的医学图像分类数据集上进行的大量实验表明，我们的方法大大优于现有的最先进的方法。
2022-09-01 cs.CV
Enhancing Multimodal Medical Image Classification using Cross-Graph Modal Contrastive Learning
Department of Systems Engineering, Stevens Institute of Technology, Hoboken, New Jersey, USA（系统工程系，史蒂文斯理工学院）；Department of Nuclear Medicine, Kaohsiung Chang Gung Memorial Hospital, Kaohsiung, Taiwan（高雄长庚纪念医院核医学部）；Institute of Statistics, National University of Kaohsiung, Kaohsiung, Taiwan（国立高雄大学统计研究所）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China（深圳先进技术研究院，中国科学院）
本文提出跨图模态对比学习框架CGMCL，通过构建跨模态图并在共享潜在空间对齐图像与非图像特征，提升多模态医学图像分类的准确性、可解释性和早期疾病预测能力。
2025-11-10 cs.CV eess.IV
An Evaluation of Non-Contrastive Self-Supervised Learning for Federated Medical Image Analysis
Jadavpur University（贾达沃普尔大学）；University of Toronto（多伦多大学）
隐私和标注瓶颈是深刻影响基于机器学习的医学图像分析实用性的两大问题。虽然在这些领域取得了重大进展，但这些问题尚未完全解决。在本文中，我们试图解决这些问题的正面和系统地探讨非对比度自监督学习（SSL）算法下的联邦学习（FL）模拟医学图像分析的适用性。我们进行彻底的实验，最近提出的国家的最先进的非对比框架下的标准FL设置。以SoTA对比学习算法Simplified作为我们的比较基准，我们对我们选择的4种非对比算法在非独立同分布下的性能进行了基准测试。数据条件和不同数量的客户端。我们提出了一个整体的评价，这些技术的6个标准化的医学成像数据集。我们进一步分析了从我们的研究结果中推断出的不同趋势，旨在根据我们的研究结果找到进一步研究的方向。据我们所知，我们是第一个对医学成像的联邦自监督学习进行如此彻底分析的人。我们所有的源代码将在论文被接受后公开。
2023-03-09 cs.CV
The Role of Local Alignment and Uniformity in Image-Text Contrastive Learning on Medical Images
Technical University of Munich（慕尼黑工业大学）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）；Imperial College London（伦敦帝国理工学院）
图像-文本对比学习已被证明是预训练医学图像模型的有效方法。当针对局部下游任务（如语义分割或目标检测）时，将图像区域与句子对齐的额外局部对比度损失已显示出有希望的结果。我们研究了局部对比损失如何与全局（每个样本）对比损失相关，以及它们对本地化医疗下游任务的影响。理论比较的基础上，我们建议删除局部损失的一些组件，并取代其他由一个新的分布前，强制执行每个样本内的一致性表示。我们在胸部X射线任务上实证研究了这种方法，发现它非常有效，在18个任务中的12个任务上没有局部损失。
2023-03-02 cs.CV cs.LG
Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）
深度学习已经证明了使用足够大量的带有手动标签的训练数据在医学图像分割方面的显著改进。获得具有代表性的标签需要专业知识和详尽的劳动。在本文中，我们的目标是提高性能的半监督学习的医学图像分割有限的标签使用自集成对比学习技术。为此，我们提出了训练一个编码器-解码器网络在图像级与少量的标记图像，更重要的是，我们学习潜在的表示直接在特征级通过对未标记的图像施加对比损失。该方法增强了类内紧致性和类间可分性，从而得到更好的像素分类器。此外，我们设计了一个学生编码器的在线学习和指数移动平均版本，它被称为教师编码器，以提高性能迭代自组装的方式。为了构建对比样本与未标记的图像，两个采样策略，利用结构相似性的医学图像和利用伪标签的建设，称为区域感知和解剖感知的对比采样，进行了研究。我们在MRI和CT分割数据集上进行了广泛的实验，并证明在有限的标签设置中，所提出的方法达到了最先进的性能。此外，使用伪标签即时准备对比样本的解剖感知策略实现了对特征表示的更好的对比正则化。
2021-06-10 cs.CV
Efficient Few-Shot Medical Image Analysis via Hierarchical Contrastive Vision-Language Learning
Autonomous University of Nuevo León（新莱昂自治大学）
针对医学图像小样本分类标注数据不足的问题，提出带分层对比对齐的自适应视觉-语言微调框架HiCA，通过两阶段微调实现多模态表征多层级对齐，在两个医学基准数据集的小样本、零样本任务上均达SOTA，兼具鲁棒性与可解释性。
2025-01-16 cs.CL cs.CV
Medi-CAT: Contrastive Adversarial Training for Medical Image Classification
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道工业大学）
本文提出Medi-CAT训练策略，结合大规模预训练视觉Transformer与对抗和对比学习，在MedMNIST医学图像分类任务中同时缓解欠拟合和过拟合，并取得最高4.1%的性能提升。
2023-10-31 cs.CV cs.LG eess.IV
CoRe: Joint Optimization with Contrastive Learning for Medical Image Registration
Insitute of Medical Informatics, University of Luebeck, Luebeck, Germany（吕贝克大学医学信息学研究所）
本文提出CoRe框架，将对比学习直接整合到配准模型中，通过联合优化对比和配准目标，提升特征表示的鲁棒性，实验表明在腹部和胸腔配准任务中性能优于基线方法。
2026-04-21 cs.CV
Contrastive Learning Meets Transfer Learning: A Case Study In Medical Image Analysis
Vanderbilt University（范德堡大学）
注释的医学图像通常比标记的自然图像更稀有，因为它们受到领域知识和隐私约束的限制。迁移和对比学习的最新进展从不同的角度为解决这些问题提供了有效的解决方案。最先进的迁移学习（例如，大迁移（BiT））和对比学习（例如，简单的暹罗对比学习（SimSiam））的方法已被独立调查，而不考虑这种技术的互补性。考虑到缓慢的收敛速度是现代对比学习方法的关键限制，使用迁移学习来加速对比学习将是有吸引力的。在本文中，我们研究了BiT与SimSiam对齐的可行性。从实证分析来看，不同的规范化技术（BiT中的Group Norm与SimSiam中的Batch Norm）是使BiT适应SimSiam的关键障碍。当将BiT与SimSiam结合使用时，我们评估了在CIFAR-10和HAM 10000数据集上使用BiT、SimSiam和BiT+SimSiam的性能。结果表明，BiT模型加快了SimSiam的收敛速度。当一起使用时，该模型提供了优于其对应物的性能。我们希望这项研究能够激励研究人员重新审视将大型预训练模型与对比学习模型聚合起来进行图像分析的任务。
2021-03-04 cs.CV
Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels
ETS Montreal（蒙特利尔高等工程技术学院）
在未标记数据的大型数据集上使用对比学习预训练识别模型已经显示出极大的潜力来提高下游任务的性能，例如，图像分类。然而，在医学成像等领域，收集未标记的数据可能具有挑战性且昂贵。在这项工作中，我们提出了适应对比学习与元标签注释，即使没有额外的未标记的数据是可用的，以提高模型的性能在医学图像分割。元标签（如3D MRI扫描中2D切片的位置或所用设备的类型）通常在采集过程中免费提供。我们使用元标签对图像编码器进行预训练，并对半监督训练进行正则化，其中使用简化的注释数据集进行训练。最后，为了充分利用弱注释，使用自定进度的学习方法来帮助学习并区分有用的标签和噪声。在三个不同的医学图像分割数据集上的结果表明，我们的方法：i）大大提高了在几次扫描上训练的模型的性能，ii）优于以前的对比和半监督方法，iii）接近在完整数据上训练的模型的性能。
2021-08-22 cs.CV
Contrastive Centroid Supervision Alleviates Domain Shift in Medical Image Classification
Baidu Inc（百度公司）
基于深度学习的医学成像分类模型通常会遇到域偏移问题，当训练数据和真实世界数据在成像设备制造商、图像采集协议、患者人群等方面存在差异时，分类性能会下降。该方法通过在训练过程中对实例和类质心之间的对比度损失进行额外的监督，可以提高目标域分类性能。与现有的无监督领域自适应和领域泛化方法相比，FCCL方法性能更好，而且只需要单个源域的标记图像数据，不需要目标域。我们通过大量的实验验证，FCCL可以实现至少三种成像方式，即眼底照片，皮肤镜图像，H & E组织图像的优异性能。
2022-05-31 cs.CV
SparseContrast: Dynamic Sparse Attention for Efficient and Accurate Contrastive Learning in Medical Imaging
Delhi Technological University（德里技术大学）
本文提出SparseContrast框架，通过动态稀疏注意力机制提升医学影像对比学习效率与准确性，尤其在低数据环境下用于胸部X光疾病检测。
2026-07-30 cs.CV
DoubleTake: Contrastive Reasoning for Faithful Decision-Making in Medical Imaging
Rutgers University（罗格斯大学）
DoubleTake通过对比推理框架提升医学影像决策的准确性和可靠性，实现显著的性能提升。
2026-02-02 cs.CV cs.LG
ConPro: Learning Severity Representation for Medical Images using Contrastive Learning and Preference Optimization
University of Southern California（南加州大学）；College of Engineering & Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；VinUniversity
本文提出ConPrO方法，通过将对比学习与偏好优化结合，把严重程度类别的距离偏好注入潜在向量，在分类任务上超越基线并实现有价值的严重程度排序。
2024-04-29 cs.AI cs.CV
IDEAL: Improved DEnse locAL Contrastive Learning for Semi-Supervised Medical Image Segmentation
Stony Brook University（石溪大学）；Jadavpur University（贾达普大学）；University of Toronto（多伦多大学）；Kyungpook National University（庆北国立大学）
由于标记数据的稀缺性，对比自监督学习（SSL）框架最近在一些医学图像分析任务中显示出巨大的潜力。然而，现有的对比机制是次优的密集像素级分割任务，由于他们无法挖掘本地功能。为此，我们将度量学习的概念扩展到分割任务，使用密集（不）相似性学习来预训练深度编码器网络，并采用半监督范式来微调下游任务。具体来说，我们提出了一个简单的卷积投影头来获得密集的像素级特征，以及一个新的对比损失来利用这些密集的投影，从而改善局部表示。下游任务设计了一个双向一致性正则化机制，包括两个流模型训练。经过比较，我们的IDEAL方法在心脏MRI分割上的公平边缘优于SoTA方法。可用代码：https://github.com/hritam-98/IDEAL-ICASSP23
2023-03-02 cs.CV
Federated Contrastive Learning for Volumetric Medical Image Segmentation
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）
监督式深度学习需要大量的标记数据来实现高性能。然而，在医学成像分析中，每个站点可能只有有限的数据和标签，这使得学习无效。联邦学习（FL）可以通过学习共享模型来帮助解决这一问题，同时将训练数据保持在本地以保护隐私。传统的FL需要完全标记的数据进行训练，由于高昂的标记成本和专业知识的要求，这是不方便的，有时甚至是不可行的。对比学习（CL）作为一种自监督学习方法，可以有效地从未标记的数据中学习，以预训练神经网络编码器，然后对具有有限注释的下游任务进行微调。然而，当在FL中采用CL时，每个客户端上有限的数据多样性使得联邦对比学习（FCL）无效。在这项工作中，我们提出了一个FCL框架体积医学图像分割有限的注释。更具体地说，我们交换了FCL预训练过程中的功能，以便为每个站点提供不同的对比数据，以实现有效的本地CL，同时保持原始数据的私密性。基于交换的特征，全局结构匹配进一步利用结构相似性将本地特征与远程特征对齐，使得可以在不同站点之间学习统一的特征空间。在心脏MRI数据集上的实验表明，与最先进的技术相比，所提出的框架大大提高了分割性能。
2022-04-23 cs.CV cs.LG eess.IV
Mining Gaze for Contrastive Learning toward Computer-Assisted Diagnosis
School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Shanghai Clinical Research and Trial Center（上海临床研究与试验中心）
针对医学影像对比预训练缺乏大规模文本报告的问题，提出即插即用的McGIP模块，利用放射科医生的眼动数据构建正样本对引导对比预训练，在两类影像和眼动数据上验证了其实用性与临床应用潜力。
2023-12-12 cs.CV
MedCLIP: Contrastive Learning from Unpaired Medical Images and Text
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe（奥多比公司）；Carle Illinois College of Medicine（卡尔伊利诺伊医学院）
现有的视觉-文本对比学习（如CLIP）旨在匹配成对的图像和字幕嵌入，同时将其他嵌入分开，这提高了表示的可移植性并支持zero-shot预测。然而，医学图像文本数据集的数量级低于互联网上的一般图像和标题。此外，先前的方法遇到许多假阴性，即，来自不同患者的图像和报告可能具有相同的语义，但被错误地视为阴性。在本文中，我们解耦图像和文本的多模态对比学习，从而缩放可用的训练数据在一个组合的幅度与低成本。我们还提出用基于医学知识的语义匹配损失来取代InfoNCE损失，以消除对比学习中的假阴性。我们证明了MedCLIP是一个简单而有效的框架：它在zero-shot预测，监督分类和图像-文本检索方面优于最先进的方法。令人惊讶的是，我们观察到只有20 K预训练数据，MedCLIP胜过最先进的方法（使用大约200 K数据）。我们的代码可在https://github.com/RyanWangZf/MedCLIP上获得。
2022-10-18 cs.CL cs.CV
Contrastive Domain Disentanglement for Generalizable Medical Image Segmentation
University of Electronic Science and Technology of China（电子科技大学）；Shanghai AI Lab（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）
有效地利用判别特征是卷积神经网络在医学图像分割中实现卓越性能的关键，也是跨多个领域模型泛化的重要因素，其中让模型识别多站点数据集之间的领域特定和领域不变信息是领域泛化的合理策略。不幸的是，大多数最近的解缠网络不能直接适应未知领域的数据集，因为提供的数据分布的限制。为了解决这个问题，我们提出了对比域解纠缠（CDD）网络的广义医学图像分割。我们首先引入一个解缠网络分解成一个解剖表示因子和一个模态表示因子的医学图像。然后，风格对比损失的建议，鼓励来自同一领域的情态表征分布尽可能接近，而不同的领域是彼此疏远。最后，我们提出了一个领域增强策略，可以随机生成新的领域模型泛化训练。在多位点眼底图像视杯和视盘分割数据集上的实验结果表明，CDD具有良好的模型泛化能力。我们提出的CDD优于几个国家的最先进的方法在域概括分割。
2022-05-13 cs.CV
Anomaly Detection in Medical Imaging with Deep Perceptual Autoencoders
Philips Research（飞利浦研究院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Goethe University Frankfurt（法兰克福歌德大学）
异常检测是指根据已知的正常数据样本识别异常输入的问题。尽管最近深度学习在识别图像异常方面取得了进展，但这些方法仍然无法处理复杂的医学图像，例如胸部X光片中几乎不可见的异常和淋巴结转移。为了解决这个问题，我们引入了一种新的强大的图像异常检测方法。它依赖于经典的自动编码器方法，具有重新设计的训练管道来处理高分辨率，复杂的图像和计算图像异常分数的鲁棒方法。我们重新审视了完全无监督异常检测的问题陈述，在模型设置期间根本没有提供异常示例。我们建议放松这个不切实际的假设，使用非常少的异常的限制变化，只是启动搜索的模型的超参数。我们评估我们的解决方案自然图像数据集与已知的基准，以及两个医疗数据集包含放射学和数字病理学图像。所提出的方法提出了一个新的强大的基线图像异常检测，并优于国家的最先进的方法在复杂的医学图像分析任务。
2021-09-13 cs.CV
Fine-tuned Generative Adversarial Network-based Model for Medical Image Super-Resolution
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本文通过迁移学习微调预训练Real-ESRGAN模型，利用高阶退化模型提升胸部X光片和视网膜图像的超分辨率感知质量。
2024-11-22 cs.CV eess.IV
MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
本文提出多模态预训练框架MGI，结合Mamba基因编码器与ViT影像编码器，利用自监督对比学习对齐基因组与医学影像，在TCGA数据集预训练并在肿瘤分割任务中表现优异。
2024-06-02 cs.CV
MvCo-DoT:Multi-View Contrastive Domain Transfer Network for Medical Report Generation
Hebei University of Technology（河北工业大学）；Shenzhen University（深圳大学）；TU Wien（维也纳技术大学）；University of Oxford（牛津大学）
本文提出首个多视图医学报告生成模型 MvCo-DoT，通过多视图对比学习与域迁移网络，使模型在仅用单视图输入时也能达到接近多视图的性能，并在 IU X-Ray 数据集上全面超越现有方法。
2023-04-15 cs.CV
Contrastive learning of global and local features for medical image segmentation with limited annotations
Computer Vision Lab, ETH Zurich（计算机视觉实验室，苏黎世联邦理工学院）
监督式深度学习成功的一个关键要求是大型标记数据集--这是医学图像分析中难以满足的条件。自监督学习（SSL）可以通过提供一种使用未标记数据预训练神经网络的策略来帮助这方面的工作，然后对具有有限注释的下游任务进行微调。对比学习是SSL的一种特殊变体，是学习图像级表示的强大技术。在这项工作中，我们提出了扩展的对比学习框架的体积医学图像的分割在半监督设置有限的注释，利用特定领域和特定问题的线索的策略。具体来说，我们提出了（1）新的对比策略，利用跨体积医学图像的结构相似性（特定领域的线索）和（2）对比损失的本地版本，以学习对每像素分割有用的局部区域的独特表示（特定问题的线索）。我们对三个磁共振成像（MRI）数据集进行了广泛的评估。在有限的注释设置，所提出的方法产生了实质性的改善相比，其他自我监督和半监督学习技术。当与一个简单的数据增强技术相结合，所提出的方法达到8%的基准性能，仅使用两个标记的MRI卷进行训练，对应于只有4%（ACDC）的训练数据用于训练的基准。该代码在https://github.com/krishnabits001/domain_specific_cl上公开。
2020-10-30 cs.CV cs.LG eess.IV
Contrastive learning for unsupervised medical image clustering and reconstruction
University of Rome Tor Vergata（罗马第二大学）；University of Cambridge（剑桥大学）；Athinoula A. Martinos Center for Biomedical Imaging（阿西诺拉·A·马蒂诺斯生物医学成像中心）
与临床建立的疾病类别相比，缺乏大型标记的医学成像数据集以及显著的个体间变异性，对在精确医学范例中利用医学成像信息提出了重大挑战，其中原则上可以采用密集的患者特异性数据来制定个体预测和/或将患者分层为更精细的-颗粒组可能遵循更均匀的轨迹，因此可以进行临床试验。为了有效地探索有效的自由度潜在的变化，在医学图像中的无监督的方式，在这项工作中，我们提出了一个无监督的自动编码器框架，增强了对比度损失，以鼓励高分离的潜在空间。该模型在（医学）基准数据集上进行了验证。由于根据聚类分配将聚类标签分配给每个示例，因此我们将性能与监督迁移学习基线进行比较。我们的方法实现了类似的性能，监督架构，表明在潜在空间中的分离再现专家的医疗卫生机构分配的标签。所提出的方法可能是有益的患者分层，探索新的细分较大的类或病理连续，或由于其采样能力的变化设置，数据增强在医学图像处理。
2022-09-24 cs.CV cs.LG
Contrastive Learning of Medical Visual Representations from Paired Images and Text
FUJIFILM Corporation（富士胶片公司）；AWS AI Labs（AWS人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
学习医学图像的视觉表示（例如，X射线）是医学图像理解的核心，但由于缺乏人工注释，其进展一直受到阻碍。现有的工作通常依赖于从ImageNet预训练中转移的微调权重，由于图像特征差异巨大，这是次优的，或者从与医学图像配对的文本报告数据中提取基于规则的标签，这是不准确的，难以推广。同时，最近的一些研究显示了令人兴奋的结果，从自然图像的无监督对比学习，但我们发现这些方法帮助不大的医学图像，因为它们的高类间相似性。我们提出了ConVIRT，一种替代的无监督策略，通过利用自然发生的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比目标用成对文本数据预训练医学图像编码器的新方法是领域不可知的，并且不需要额外的专家输入。我们通过将我们的预训练权重转移到4个医学图像分类任务和2个zero-shot检索任务来测试ConVIRT，并表明它导致图像表示在大多数设置中大大优于强基线。值得注意的是，在所有4个分类任务中，我们的方法只需要ImageNet初始化对应物的10%的标记训练数据，就可以实现更好或相当的性能，证明了卓越的数据效率。
2022-09-19 cs.CL cs.CV cs.LG
Lesion-based Contrastive Learning for Diabetic Retinopathy Grading from Fundus Images
Sun Yat-sen University（中山大学）；Southern University of Science and Technology（南方科技大学）
手动注释医学图像是非常昂贵的，特别是对于大规模的数据集。自监督对比学习已经被探索用于从未标记的图像中学习特征表示。然而，与自然图像不同，对比学习在医学图像中的应用相对有限。在这项工作中，我们提出了一个自我监督的框架，即基于病变的对比学习自动糖尿病视网膜病变（DR）分级。代替将整个图像作为常见对比学习方案中的输入，采用病变块来鼓励特征提取器学习对于DR分级具有高度区分性的表示。我们还研究了不同的数据增强操作，在定义我们的对比预测任务。在公开访问的数据集EyePACS上进行了大量的实验，证明我们提出的框架在线性评估和传输容量评估方面对DR分级表现出色。
2021-07-17 cs.CV eess.IV
Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation
Chang Gung Memorial Hospital（长庚纪念医院）
医疗报告生成是一项具有挑战性的任务，因为它是耗时的，需要经验丰富的放射科医生的专业知识。医学报告生成的目标是准确地捕获和描述图像发现。以往的研究工作都是用不同领域的大数据集对视觉编码神经网络进行预训练，无法学习特定医学领域的通用视觉表征。在这项工作中，我们提出了一个医疗报告生成框架，使用对比学习的方法来预训练的视觉编码器，不需要额外的Meta信息。此外，我们采用肺部分割作为对比学习框架中的增强方法。这种分割引导网络专注于对肺部区域内的视觉特征进行编码。实验结果表明，该框架提高了性能和质量的生成的医疗报告定量和定性。
2023-01-08 cs.CV cs.LG
Local Contrastive Learning for Medical Image Recognition
Yale University（耶鲁大学）；Rice University（莱斯大学）；University of Texas Health Science Center（德克萨斯大学健康科学中心）
基于深度学习（DL）的放射图像分析方法的激增，对专家标记的放射学数据产生了巨大的需求。最近的自我监督的框架，减轻了需要从相关的放射学报告获得监督的专家标签。然而，这些框架很难区分医学图像中不同病理之间的细微差异。此外，它们中的许多不提供图像区域和文本之间的解释，使得放射科医生难以评估模型预测。在这项工作中，我们提出了局部区域对比学习（LRSTO），一个灵活的微调框架，增加了显着的图像区域选择以及跨模态交互层。我们的研究结果的一个外部验证集的胸部X射线表明，LRSTOM识别显着的局部图像区域，并提供有意义的解释对放射学文本，同时提高zero-shot性能的几个胸部X射线医学发现。
2023-03-24 cs.CV cs.LG
Less is More: Selective Reduction of CT Data for Self-Supervised Pre-Training of Deep Learning Models with Contrastive Learning Improves Downstream Classification Performance
Ulm University（乌尔姆大学）；Ulm University Medical Center（乌尔姆大学医学中心）
本文针对医学图像相似性影响对比学习效果的问题，提出基于深度嵌入、信息论和哈希的选择性数据削减策略，通过减少冗余提升预训练质量和效率，在多个医学图像分类任务上显著提高AUC并加速预训练。
2024-10-18 cs.AI cs.CV eess.IV
Probing Intrinsic Medical Task Relationships: A Contrastive Learning Perspective
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过对比学习框架TaCo，探讨医学视觉任务之间的内在关系，分析30种任务在不同医学影像数据集中的表示特性，揭示任务间的相似性与关联性。
2026-04-07 cs.CV
TopoCL: Topological Contrastive Learning for Medical Imaging
本文提出TopoCL框架，通过拓扑结构对比学习提升医学影像分析性能，结合拓扑增强的对比学习方法和层次拓扑编码器，实现视觉与拓扑表征的融合，实验表明在多个数据集上取得显著提升。
2026-03-15 cs.AI cs.CV
Contrastive Semi-Supervised Learning for 2D Medical Image Segmentation
对比学习（CL）是一种新的表示学习方法，它鼓励学习图像表示中的类间可分性和类内紧致性。由于医学图像通常在图像中包含多个语义类，因此使用CL来学习局部特征（而不是全局）的表示非常重要。在这项工作中，我们提出了一种新的半监督2D医学分割解决方案，将CL应用于图像补丁，而不是完整的图像。这些补丁是有意义的构造使用不同的类的语义信息，通过伪标记。我们还提出了一种新的一致性正则化（CR）计划，它与CL协同工作。它解决了确认偏差的问题，并鼓励在特征空间中更好地聚类。我们在四个公共医疗分割数据集和我们介绍的一个新的组织病理学数据集上评估了我们的方法。我们的方法在所有数据集上都比最先进的半监督分割方法得到了一致的改进。
2021-08-06 cs.CV
Anatomy-Aware Contrastive Representation Learning for Fetal Ultrasound
University of Oxford（牛津大学）；Tel-Aviv University（特拉维夫大学）
自监督对比表示学习提供了从未标记的医学数据集学习有意义的视觉表示以用于迁移学习的优势。然而，将当前的对比学习方法应用于医学数据而不考虑其特定于域的解剖特征可能导致外观和语义不一致的视觉表示。在本文中，我们提出了通过解剖学感知的对比学习（AWCL），它结合了解剖信息，以增强正/负对采样的对比学习的方式，以改善医学图像的视觉表示。所提出的方法被证明用于自动胎儿超声成像任务，使得来自相同或不同的超声扫描的解剖学上相似的阳性对被拉在一起，从而改善表示学习。我们实证研究了包含粗粒度和细粒度的解剖信息对对比学习的影响，发现保留类内差异的细粒度解剖信息的学习比其对应物更有效。我们还分析了解剖比例对我们的AWCL框架的影响，并发现使用更多不同但解剖相似的样本来组成阳性对会产生更好的质量表示。在大规模胎儿超声数据集上的实验表明，我们的方法对于学习表示是有效的，可以很好地转移到三个临床下游任务，并且与ImageNet监督和当前最先进的对比学习方法相比，具有更好的性能。特别是，AWCL在跨域分割任务上比ImageNet监督方法高出13.8%，比最先进的基于对比的方法高出7.1%。
2022-08-22 cs.CV eess.IV
Distributed Contrastive Learning for Medical Image Segmentation
University of Pittsburgh（匹兹堡大学）；University of Notre Dame（圣母大学）；George Mason University（乔治梅森大学）
监督式深度学习需要大量的标记数据来实现高性能。然而，在医学成像分析中，每个站点可能只有有限的数据和标签，这使得学习无效。联邦学习（FL）可以从分散的数据中学习共享模型。但是传统的FL需要完全标记的数据进行训练，这是非常昂贵的。自监督对比学习（CL）可以从未标记的数据中学习进行预训练，然后通过有限的注释进行微调。然而，当在FL中采用CL时，每个站点上有限的数据多样性使得联邦对比学习（FCL）无效。在这项工作中，我们提出了两个联邦自监督学习框架的体积医学图像分割有限的注释。第一种具有高精度，适合具有高速连接的高性能服务器。第二个特点是通信成本较低，适合移动设备。在第一个框架中，在FCL期间交换功能，为每个站点提供不同的对比数据，以实现有效的本地CL，同时保持原始数据的私密性。全局结构匹配将本地和远程特征对齐，以在不同站点之间形成统一的特征空间。在第二个框架中，为了减少特征交换的通信成本，我们提出了一种不依赖于负样本的优化方法FCLOpt。为了减少模型下载的通信，我们提出了预测目标网络更新（PTNU），预测目标网络的参数。基于PTNU，我们提出了距离预测（DP）来删除目标网络的大部分上传。在心脏MRI数据集上的实验表明，与现有技术相比，所提出的两个框架大大提高了分割和泛化性能。
2022-08-07 cs.CV cs.LG eess.IV
A Lightweight Medical Image Classification Framework via Self-Supervised Contrastive Learning and Quantum-Enhanced Feature Modeling
The Second Clinical Medical College, Nanjing Medical University（南京医科大学第二临床医学院）
本文提出一种结合自监督对比学习和量子增强特征建模的轻量级医学图像分类框架，通过MobileNetV2和量子电路实现高效模型，实验表明其在性能上优于传统方法。
2026-01-23 cs.CV cs.LG
Pneumonia Detection on Chest X-ray using Radiomic Features and Contrastive Learning
Cockrell School of Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校科克雷尔工程学院）；School of Information, The University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）；Weill Cornell Medicine（威尔康奈尔医学院）
胸部X射线由于其非侵入性而成为最常见的医学诊断之一。胸部X光图像的数量激增，但阅读胸部X光片仍然是由放射科医生手动执行的，这造成了巨大的消耗和延迟。传统上，放射组学作为放射学的一个子领域，可以从医学图像中提取大量的定量特征，在深度学习时代到来之前就展示了其促进医学影像诊断的潜力。随着深度学习的兴起，深度神经网络对胸部X射线诊断的解释能力仍然不透明。在这项研究中，我们提出了一个新的框架，利用放射组学特征和对比学习来检测肺炎的胸部X射线。在RSNA Pneumonia Detection Challenge数据集上的实验表明，我们的模型取得了优于几种最先进模型的结果（F1得分> 10%），并提高了模型的可解释性。
2022-05-04 cs.CV eess.IV
Improving Medical Multi-modal Contrastive Learning with Expert Annotations
Aalto University（阿尔托大学）
本研究提出整合放射科医生眼动热图标注的eCLIP模型，通过热图处理器与mixup增强解决医学多模态对比学习的数据稀缺与模态鸿沟问题，适用于各类CLIP变体，在多任务上实现嵌入质量提升。
2024-07-15 cs.CV cs.LG
Contrastive Cross-Modal Pre-Training: A General Strategy for Small Sample Medical Imaging
University of Kentucky（肯塔基大学）；Eastern Kentucky University（东肯塔基大学）
针对给定的医学成像任务训练神经网络的关键挑战通常是难以获得足够数量的手动标记的示例。相比之下，通常在医疗记录中容易获得的文本成像报告包含由专家编写的丰富但非结构化的解释，作为标准临床实践的一部分。我们建议使用这些文本报告作为一种形式的弱监督，以提高神经网络的图像判读性能，而不需要额外的手动标记的例子。我们使用图像-文本匹配任务来训练特征提取器，然后使用小的标记数据集在迁移学习设置中对监督任务进行微调。最终的结果是一个神经网络，它可以自动解释图像，而无需在推理过程中提供文本报告。这种方法可以应用于文本图像对容易获得的任何任务。我们在三个分类任务上评估了我们的方法，并发现了一致的性能改进，将对标记数据的需求减少了67%-98%。
2021-09-09 cs.CL cs.CV cs.LG
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究所）；TU Kaiserslautern（凯泽斯劳滕工业大学）；Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院哈索·普拉特纳数字健康研究所）
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈，这证实了对从未标记数据中学习的新算法的需求。在这项工作中，我们提出了ContIG，这是一种自监督方法，可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法，将每个人的多个模态集成到同一个模型中，即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法，以更好地理解图像和遗传方式之间的跨模态关联。最后，我们对模型学习到的特征进行全基因组关联研究，揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
Recurrent Contrastive Learning for Imbalanced Medical Image Classification
针对医学图像分类的类别不平衡问题，提出循环对比学习方法，通过复用历史特征扩充尾类支持区域，经多数据集验证性能优于强基线。
2026-08-05 cs.CV
Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval
Texas A&M University-San Antonio（德州农工大学圣安东尼奥分校）
该研究针对医学图像与报告跨域检索场景，构建遮挡检索任务基准测试四种主流对比学习模型的鲁棒性，发现模型均对分布外数据敏感，领域训练数据和模型鲁棒性提升是关键方向。
2025-01-15 cs.AI cs.CL cs.CV
Cyclic 2.5D Perceptual Loss for Cross-Modal 3D Medical Image Synthesis: T1w MRI to Tau PET
Department of Artificial Intelligence, Hanyang University, Seoul, South Korea（人工智能系，翰阳大学，首尔，韩国）；Department of Electronic Engineering, Hanyang University, Seoul, South Korea（电子工程系，翰阳大学，首尔，韩国）；Division of Computer Engineering, Hankuk University of Foreign Studies, Yongin, South Korea（计算机工程系，韩国外语大学， Yongin，韩国）；Division of AI Data Convergence, Hankuk University of Foreign Studies, Yongin, South Korea（AI数据融合系，韩国外语大学， Yongin，韩国）；Division of Language & AI, Hankuk University of Foreign Studies, Seoul, South Korea（语言与AI系，韩国外语大学，首尔，韩国）
本文提出循环2.5D感知损失用于从T1加权MRI生成tau PET，通过交替优化不同切面提升体积一致性，并标准化SUVR以提高准确性。
2026-04-15 cs.CV eess.IV
Preservational Learning Improves Self-supervised Medical Image Models by Reconstructing Diverse Contexts
The University of Hong Kong（香港大学）；ShanghaiTech University（上海科技大学）；Deepwise AI Lab（深睿人工智能实验室）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）深圳大数据研究院）
保持最大信息量是设计自监督学习方法的原则之一。为了达到这个目的，对比学习采用了一种内隐的方式，即对比图像对。然而，我们认为，这是不完全最佳的，简单地使用对比估计的保存。此外，引入一个显式的解决方案，以保持更多的信息是必要的和补充。从这个角度来看，我们引入保留学习来重建不同的图像上下文，以保留更多的信息在学习的表示。与对比损失一起，我们提出了用于学习自监督医学表示的保留对比表示学习（PCRL）。PCRL在预训练-微调协议下提供了非常有竞争力的结果，在5个分类/分割任务中大大优于自监督和监督同行。
2022-04-13 cs.CV
FBA-Net: Foreground and Background Aware Contrastive Learning for Semi-Supervised Atrium Segmentation
Tulane University（杜兰大学）
提出FBA-Net，通过对比学习前景与背景表示进行半监督3D医学图像分割，在左心房数据集上仅用20%标注数据即达到91.31%的Dice分数，接近全监督性能。
2023-06-27 cs.CV
How Can We Make GAN Perform Better in Single Medical Image Super-Resolution? A Lesion Focused Multi-Scale Approach
University of Cambridge（剑桥大学）；Royal Brompton Hospital（皇家布朗普顿医院）；Imperial College London（帝国理工学院）
单图像超分辨率（SISR）是一个非常重要的低层次计算机视觉任务。基于生成对抗网络（GAN）的深度学习架构的快速发展实现了高效和有效的SISR，以提高数码相机捕获的自然图像的空间分辨率。然而，医学图像的SISR仍然是一个非常具有挑战性的问题。这是由于（1）与自然图像相比，通常医学图像具有较低的信噪比，（2）在自然图像上预训练的基于GAN的模型可能在医学图像中合成不切实际的模式，这可能影响临床解释和诊断，以及（3）普通GAN架构可能遭受不稳定的训练和崩溃模式，这也可能影响SISR结果。在本文中，我们提出了一种新的病灶聚焦SR（LFSR）方法，它结合了GAN，以实现感知逼真的SISR结果的脑肿瘤MRI图像。更重要的是，我们使用最近开发的GAN变体进行测试和比较，例如，Wasserstein GAN（WGAN）和带梯度惩罚的WGAN（WGAN-GP），并提出了一种新的多尺度GAN（MS-GAN GAN），以实现更稳定、高效的训练和提高超分辨结果的感知质量。基于定量评估和我们设计的平均意见得分，所提出的LFSR加上MS-GAN在感知质量和效率方面都有更好的表现。
2019-01-10 cs.CV cs.LG eess.IV
C3S3: Complementary Competition and Contrastive Selection for Semi-Supervised Medical Image Segmentation
Zhejiang University of Technology（浙江工业大学）
针对半监督医学图像分割中边界细节捕捉不准的问题，提出C3S3模型。该模型通过结果驱动的对比学习模块优化边界定位，并利用动态互补竞争模块生成高质量伪标签，显著提升了分割精度与边界清晰度。
2025-06-25 cs.AI cs.CV
Enhancing medical vision-language contrastive learning via inter-matching relation modelling
the University of Sydney（悉尼大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）；Shanghai Jiao Tong University（上海交通大学）；Institute of Translational Medicine（转化医学研究院）
本文提出RECLF框架，通过语义关系推理模块和重要性关系推理模块建模局部匹配间关系，增强医学视觉-语言对比学习，在多个下游任务上取得一致提升。
2025-02-07 cs.CV
A Clinical-oriented Multi-level Contrastive Learning Method for Disease Diagnosis in Low-quality Medical Images
Northeastern University（东北大学）；Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education（医学图像智能计算教育部重点实验室）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization（工业智能与系统优化全国前沿科学中心）
本文提出面向临床的多级对比学习框架，通过构建多层级正负样本对并结合自步学习的动态难样本挖掘，提升低质量医学图像中的病灶特征提取与诊断性能。
2024-04-07 cs.CV
CA-GCL: Cross-Anatomy Global-Local Contrastive Learning for Robust 3D Medical Image Understanding
University of Electronic Science and Technology of China（电子科技大学）；Mohamed bin Zayed University of Artificial Intelligence（莫扎德人工智能大学）
本文提出CA-GCL框架，通过全局对比学习和临床感知文本增强，解决3D医学图像理解中文本嵌入空间退化问题，提升零样本异常检测性能和跨数据集泛化能力。
2026-07-03 cs.CV
