Evaluating the Explainability of Vision Transformers in Medical Imaging
Department of Computing, Imperial College London, UK（计算系，帝国理工学院伦敦分校，英国）
本研究评估ViT、DeiT、DINO和Swin Transformer在医学影像中的可解释性，发现DINO结合Grad-CAM提供最忠实和局部化的解释，支持ViTs在临床诊断中的可靠集成。
2025-10-13 cs.CV
Modality-bridge Transfer Learning for Medical Image Classification
KAIST（韩国科学技术院）
本文提出了一种基于迁移学习的医学图像分类新方法，以缓解医学领域中标记数据不足的问题。代替从源到少量标记目标数据的直接迁移学习，我们提出了一种模态桥迁移学习，其采用与目标数据库相同的医学成像采集模态中的桥数据库。通过学习从源到桥以及从桥到目标的投影函数，可以计算源之间的域差异（例如，自然图像）和目标（例如，X射线图像）可以减轻。实验结果表明，与各种迁移学习方法相比，该方法即使对少量标记的目标医学图像也能取得较高的分类性能。
2017-08-10 cs.CV
On dataset transferability in medical image classification
IT University of Copenhagen（哥本哈根信息技术大学）；CONICET - Universidad de Buenos Aires（CONICET-布宜诺斯艾利斯大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文针对医学图像分类中现有可迁移性估计方法的不足，提出一种结合特征质量与梯度的新度量指标，并在源数据集可迁移性和跨域可迁移性两个场景中验证其优于现有方法。
2024-12-28 cs.CV
Advanced Medical Image Representation for Efficient Processing and Transfer in Multisite Clouds
University Politehnica of Bucharest（布加勒斯特理工大学）
本文提出一种融合元数据、本体分类、MapReduce云处理和重复数据删除压缩的高级医学图像表示方法，在多站点云环境中实现平均27%的数据传输时间优化。
2023-04-29 cs.CV cs.DC eess.IV
Supervised Transfer Learning at Scale for Medical Imaging
Google Research（谷歌研究院）；Google Health（谷歌健康）
迁移学习是一种标准技术，用于提高有限数据任务的性能。然而，对于医学成像，迁移学习的价值不太清楚。这可能是由于通常的自然图像预训练（例如ImageNet）和医学图像之间的大域不匹配。然而，迁移学习的最新进展已经显示出从规模上的实质性改进。我们研究现代方法是否可以改变医学成像迁移学习的命运。为此，我们研究了Kolesnikov等人提出的大规模预训练网络，用于三种不同的成像任务：胸部X射线摄影，乳房X射线摄影和皮肤病学。我们研究了传输性能和关键属性的部署在医疗领域，包括：分布外泛化，数据效率，子组公平性，和不确定性估计。有趣的是，我们发现，对于其中一些属性，从自然图像到医学图像的转移确实非常有效，但只有在足够大的规模下才能进行。
2021-01-21 cs.CV
MedQ-Deg: A Multidimensional Benchmark for Evaluating MLLMs Across Medical Image Quality Degradations
Fudan University（复旦大学）；Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）；Imperial College London（伦敦帝国理工学院）
MedQ-Deg是一个多维基准，用于评估医疗图像质量退化下多模态大语言模型的性能，揭示模型在不同退化类型下的表现差异及置信度校准问题。
2026-03-08 cs.CV
Robustness of transferability estimation metrics for medical imaging
IT University of Copenhagen（哥本哈根信息技术大学）
该研究针对医学影像迁移学习，探究目标数据集及评估指标对迁移性评估指标排序的影响，发现其与参考排序一致性低，揭示了TE指标鲁棒性的不足。
2026-08-12 cs.CV eess.IV
MetaLR: Meta-tuning of Learning Rates for Transfer Learning in Medical Imaging
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Fudan University（复旦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出元学习学习率调节器MetaLR，通过在线为不同层自动学习合适学习率，解决医学影像迁移学习中手动选层微调费时且易遗忘医学表示能力的问题，并在多个医学应用上超越现有最优微调策略。
2023-05-29 cs.CV cs.LG eess.IV
MedAtlas: Evaluating LLMs for Multi-Round, Multi-Task Medical Reasoning Across Diverse Imaging Modalities and Clinical Text
University of Science and Technology of China（中国科学技术大学）；Eastern Institute of Technology（东方理工大学）；Shanghai Jiao Tong University（上海交通大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
针对现有医疗多模态基准单图像单轮任务的局限，提出MedAtlas基准框架，通过多轮对话、多模态图像交互等四大特征评估LLM医疗推理能力，揭示现有模型差距并推动可信医疗AI发展。
2025-08-13 cs.CV
Domain Specific, Semi-Supervised Transfer Learning for Medical Imaging
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
带注释的医学成像数据的有限可用性对深度学习算法提出了挑战。虽然迁移学习一般最大限度地减少了这一障碍，但跨不同领域的知识转移效率较低。另一方面，较小的架构被发现在学习更好的功能方面更有吸引力。因此，我们提出了一个轻量级的架构，使用混合非对称内核（MAKNet），以减少参数的数量显着。此外，我们使用半监督学习训练所提出的架构，为大型医疗数据集提供伪标签，以协助迁移学习。建议的MAKNet提供了更好的分类性能与$60 - 70\%$更少的参数比流行的架构。实验结果还强调了特定领域知识对于有效的迁移学习的重要性。
2020-05-24 cs.CV
Towards Evaluating Explanations of Vision Transformers for Medical Imaging
University of Warsaw（华沙大学）；Warsaw University of Technology（华沙理工大学）
本文针对胸部 X 光分类 ViT，比较多种解释方法，并从忠实性、敏感性和复杂性评估，发现 transformer 版 LRP 表现最佳。
2023-04-12 cs.CV cs.LG
Evaluating Self-Supervised Learning in Medical Imaging: A Benchmark for Robustness, Generalizability, and Multi-Domain Impact
University of Tübingen（图宾根大学）
本文基于 MedMNIST 在 11 个医学数据集上系统评估 8 种 SSL 方法，考察鲁棒性、OOD 检测、跨数据集泛化及低标签场景性能。
2025-07-26 cs.AI cs.CV cs.LG
Evaluating Visual Explanations of Attention Maps for Transformer-based Medical Imaging
Ghent University Global Campus（根特大学全球校区）；Ghent University（根特大学）
本研究在四个医学影像数据集上系统比较了注意力图与其他可解释性方法在视觉Transformer中的表现，发现注意力图虽优于GradCAM但不及Transformer专用方法，其可解释性效果具有情境依赖性。
2025-03-12 cs.AI cs.CV
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology（埃因霍温理工大学）；Erasmus Medical Center（伊拉斯谟医学中心）；University of Copenhagen（哥本哈根大学）；University Medical Center Utrecht（乌得勒支大学医学中心）
机器学习（ML）算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长，但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此，已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习，无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系，以及未来研究的机会。
2018-09-14 cs.CV
One Map Does Not Fit All: Evaluating Saliency Map Explanation on Multi-Modal Medical Images
Simon Fraser University（西蒙弗雷泽大学）；The University of British Columbia（不列颠哥伦比亚大学）
能够向临床最终用户解释预测是利用人工智能模型支持临床决策的必要条件。对于医学图像，显着图是最常见的解释形式。这些地图突出了AI模型预测的重要特征。虽然已经提出了许多显着图方法，但尚不清楚它们在解释多模态医学图像上的决策方面的表现如何，其中每个模态/通道都具有相同的潜在生物医学现象的不同临床意义。理解这种模态依赖特征对于临床用户解释AI决策至关重要。为了解决这个临床上重要但技术上被忽视的问题，我们提出了MSFI（模态特定特征重要性）度量来检查显着性图是否可以突出模态特定的重要特征。MSFI对模态优先级和模态特定特征定位的临床要求进行编码。我们对16种常用的显着性图方法（包括临床医生用户研究）进行的评估表明，尽管大多数显着性图方法一般都能捕获模态重要性信息，但大多数方法都未能始终如一地精确突出模态特定的重要特征。评估结果指导显着图方法的选择，并提供见解，提出新的针对临床应用。
2021-07-11 cs.CV cs.LG
Evaluating the Performance of StyleGAN2-ADA on Medical Images
The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）；Rice University（莱斯大学）；University of California San Diego（加州大学圣地亚哥分校）
虽然生成对抗网络（GANs）在医学成像中表现出了希望，但它们有四个主要限制阻碍了它们的实用性：计算成本，数据要求，可靠的评估措施和训练复杂性。我们的工作调查了StyleGAN 2-ADA在高分辨率医学成像数据集上的新应用中的每一个障碍。我们的数据集由来自非对比和对比增强计算机断层扫描（CT）扫描的含肝脏轴向切片组成。此外，我们还利用了由各种成像模式组成的四个公共数据集。我们使用迁移学习（来自Flickr-Faces-HQ数据集）和数据增强（水平翻转和自适应增强）训练了一个StyleGAN 2网络。该网络的生成质量是用Fréchet起始距离（FID）定量测量的，并用7名放射科医生和放射肿瘤学家进行的视觉图灵测试定性测量的。StyleGAN 2-ADA网络在我们的肝脏CT数据集上实现了FID 5.22（$\pm$ 0.17）。它还在公开可用的SLIVER 07，ChestX-ray 14，ACDC和Medical Segmentation Decathlon（脑肿瘤）数据集上创下了10.78，3.52，21.17和5.39的新记录FID。在视觉图灵测试中，临床医生在42%的时间内将生成的图像评为真实图像，接近随机猜测。我们的计算消融研究表明，迁移学习和数据增强稳定了训练并提高了生成图像的感知质量。我们观察到FID与人类对医学图像的感知评价一致。最后，我们的工作发现，StyleGAN 2…
2022-10-07 cs.CV cs.LG eess.IV
EvalBlocks: A Modular Pipeline for Rapidly Evaluating Foundation Models in Medical Imaging
Radboud University Medical Center（拉德堡德大学医学中心）；Diagnostic Image Analysis Group, Radboud University Medical Center, Nijmegen, The Netherlands（荷兰奈梅亨拉德堡德大学医学中心诊断图像分析组）
本文提出EvalBlocks，一种模块化框架，用于高效评估医学影像基础模型，通过集中跟踪实验和结果，实现快速迭代和模型创新。
2026-04-01 cs.CV cs.LG
Enhanced Transfer Learning Through Medical Imaging and Patient Demographic Data Fusion
National Physical Laboratory（英国国家物理实验室）
在这项工作中，我们研究的性能增强的医学成像数据的分类时，图像特征相结合，与相关的非图像数据。我们比较了八种最先进的深度神经网络在仅使用图像特征时与与患者元数据相结合时在分类任务中的性能。我们利用迁移学习，将ImageNet上预训练的网络直接用作特征提取器，并在目标域上进行微调。我们的实验表明，性能可以显着提高与元数据的列入，并使用可解释性的方法来确定哪些功能导致这些增强。此外，我们的研究结果表明，自然医学成像（例如光学图像）的性能增强最受益于直接使用预训练模型，而非自然图像（例如非成像数据的表示）最受益于微调预训练网络。这些增强在计算时间上的额外成本可以忽略不计，因此是其他应用程序的实用方法。
2021-11-29 cs.CV cs.LG eess.IV
Reference Based Color Transfer for Medical Volume Rendering
University of Central Florida（中佛罗里达大学）
医学成像的好处是巨大的。医学图像提供了大量的解剖信息，这有助于医生进行有效的疾病诊断和决定最佳的医疗过程。从传统的单色医学图像（如CT扫描、X射线或MRI图像）到解剖结构的彩色3D表示的过渡进一步增强了医学专业人员提取有价值的医学信息的能力。我们研究中提出的框架首先通过找到两个医学图像之间的深层语义对应来执行颜色转移：彩色参考图像和单色CT扫描或MRI图像。我们扩展了这种基于参考的彩色化技术的思想，从一堆灰度医学图像中执行彩色体渲染。此外，我们还建议使用一个有效的参考图像推荐系统，以帮助选择好的参考图像。与我们的方法，我们成功地进行彩色医学体可视化，并基本上消除了痛苦的过程中，用户交互的传递函数，以获得颜色和不透明度参数的体渲染。
2022-10-14 cs.CV cs.GR cs.LG
The Performance of Transferability Metrics does not Translate to Medical Tasks
University of Campinas（坎皮纳斯大学）
本文系统评估七种可迁移性评分在三类医学图像应用及分布外场景中的表现，发现它们均无法可靠一致地预测目标任务性能。
2023-08-14 cs.AI cs.CV
Transfusion: Understanding Transfer Learning for Medical Imaging
Cornell University（康奈尔大学）；Google Brain（谷歌大脑）
使用标准大型模型和相应的预训练权重从自然图像数据集（特别是ImageNet）进行迁移学习已成为医学成像深度学习应用的事实方法。然而，自然图像分类和目标医疗任务之间在数据大小、特征和任务规范方面存在根本差异，并且对转移的影响了解甚少。在本文中，我们探讨医学影像学的迁移学习的性质。对两个大规模医学成像任务的性能评估表明，令人惊讶的是，传输对性能几乎没有好处，简单，轻量级的模型可以执行到ImageNet架构的转换。研究学习的表示和特征，我们发现与迁移学习的一些差异是由于标准模型的过度参数化，而不是复杂的特征重用。我们隔离有用的功能重用发生，并概述了更有效的模型探索的影响。我们还探讨了功能独立的利益转移所产生的重量缩放。
2019-10-29 cs.CV cs.LG stat.ML
Transfer or Self-Supervised? Bridging the Performance Gap in Medical Imaging
本文对比迁移学习与自监督学习在医学影像任务中的性能和鲁棒性，通过同源数据不同预训练方式及小规模医学数据集实验，分析数据不平衡、稀缺和域不匹配的影响并给出部署建议。
2024-12-09 cs.AI cs.CV
Evaluating the Fairness of Deep Learning Uncertainty Estimates in Medical Image Analysis
Centre for Intelligent Machines, McGill University（麦吉尔大学智能机器中心）
尽管深度学习（DL）模型在许多医学图像分析任务中取得了巨大成功，但将所产生的模型部署到实际临床环境中需要：（1）它们在不同的子人群中表现出鲁棒性和公平性，以及（2）DL模型预测的置信度以不确定性的形式准确表达。不幸的是，最近的研究确实显示了人口统计学亚组（例如，种族、性别、年龄），表明模型缺乏公平性。尽管ML文献中已经提出了几种方法来减轻DL模型中缺乏公平性的问题，但它们完全关注组之间的绝对性能，而不考虑它们对不确定性估计的影响。在这项工作中，我们提出了第一次探索流行的公平模型的影响，克服偏见在医疗图像分析的底线性能方面的子群，以及它们对不确定性量化的影响。我们对三种不同的临床相关任务进行了广泛的实验：（i）皮肤病变分类，（ii）脑肿瘤分割，（iii）阿尔茨海默病临床评分回归。我们的研究结果表明，流行的ML方法，如数据平衡和分布式鲁棒优化，成功地减轻了一些任务的模型性能方面的公平性问题。然而，这可能是以与模型预测相关的不确定性估计较差为代价的。如果要在医学图像分析中采用公平模型，则必须减轻这种权衡。
2023-03-06 cs.CV cs.CY cs.LG
Transfer learning from a sparsely annotated dataset of 3D medical images
Radboud University Medical Center（拉德堡德大学医学中心）；Fraunhofer MEVIS（弗劳恩霍夫医学影像研究所）
本研究针对医学成像领域缺乏大型数据集的问题，基于稀疏标注3D医学图像训练3D U-Net基础模型开展迁移学习，验证了其在小样本器官分割任务中的性能提升效果，并公开模型权重。
2023-11-08 cs.AI cs.CV cs.LG
Development of CNN Architectures using Transfer Learning Methods for Medical Image Classification
Dakota State University（达科他州立大学）
本文通过时间线映射模型研究基于迁移学习的CNN架构在医学图像分类中的发展，为选择最优且最先进的CNN架构提供决策依据。
2024-10-22 cs.AI cs.CV
Exploring connections of spectral analysis and transfer learning in medical imaging
IT University of Copenhagen（丹麦IT大学）
该研究通过分析模型梯度功率谱密度与人工频率捷径，揭示自然图像与医学图像预训练模型的学习优先级差异，并证明源数据编辑可增强模型抵抗捷径学习的能力。
2024-07-22 cs.CV
Evaluating Explainable AI on a Multi-Modal Medical Imaging Task: Can Existing Algorithms Fulfill Clinical Requirements?
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）；The University of British Columbia（不列颠哥伦比亚大学）
针对多模态医学影像中可解释AI的临床需求，提出模态特定特征重要性（MSFI）指标，并通过计算评估和临床用户研究发现现有16种热力图算法均不满足要求，为XAI算法设计提供指导。
2023-10-16 cs.AI cs.CV
Tasting the cake: evaluating self-supervised generalization on out-of-distribution multimodal MRI data
Georgia Institute of Technology（佐治亚理工学院）；TReNDS Center（TReNDS中心）；Delft University of Technology（代尔夫特理工大学）
自监督学习在自然图像基准测试方面取得了显著的进步。然而，在这一领域的医学成像领域的工作较少。各种备选方案中的最佳模式尚未确定。此外，很少有工作评估了新的自我监督方法的当前适用性限制。在本文中，我们评估了一系列目前的对比自我监督方法的分布外泛化，以评估其适用于医学成像。我们表明，自监督模型并不像预期的那样强大，基于他们的结果在自然成像基准，可以优于监督学习与辍学。我们还表明，这种行为可以反击广泛的增强。我们的研究结果强调了需要分布外泛化标准和基准，以在医学成像界采用自我监督的方法。
2022-05-23 cs.CV
Evaluating Pre-trained Convolutional Neural Networks and Foundation Models as Feature Extractors for Content-based Medical Image Retrieval
Danube Private University（多瑙私立大学）；University of Isfahan（伊斯法罕大学）；Austrian Center for Medical Innovation and Technology（奥地利医学创新与技术中心）
本研究评估预训练CNN和基础模型作为医学图像检索的特征提取器，发现基础模型在2D图像上显著优于CNN，UNI和CONCH分别最佳，且较小图像尺寸仍可保持竞争力。
2025-03-26 cs.CV
Cats, not CAT scans: a study of dataset similarity in transfer learning for 2D medical image classification
Eindhoven University of Technology（埃因霍温理工大学）；IT University of Copenhagen（哥本哈根信息技术大学）
迁移学习是医学图像分类的常用策略，特别是通过对源数据进行预训练和对目标数据进行微调。关于如何选择合适的源数据，目前还没有达成共识，在文献中，我们可以找到有利于大型自然图像数据集（如ImageNet）的证据，以及有利于更专业的医学数据集的证据。在本文中，我们进行了系统的研究与9个源数据集与自然或医学图像，和三个目标医学数据集，所有与2D图像。我们发现ImageNet是导致最高性能的来源，但更大的数据集不一定更好。我们还研究了数据相似性的不同定义。我们发现，共同的直觉相似性可能是不准确的，因此不足以预测一个合适的源先验。最后，我们讨论了在这一领域进一步研究所需的几个步骤，特别是关于其他类型（例如3D）的医学图像。我们的实验和预训练模型可通过\url{https://www.github.com/vcheplygina/cats-scans}获得
2021-07-13 cs.CV
Understanding the Mechanisms of Deep Transfer Learning for Medical Images
GE Global Research（通用电气全球研究中心）
自动学习特定于任务的特征表示的能力已经导致了深度学习方法的巨大成功。当大量训练数据稀缺时，例如在医学成像问题中，迁移学习非常有效。在本文中，我们系统地研究了将卷积神经网络（在ImageNet图像上训练以执行图像分类）转移到超声图像中的肾脏检测问题的过程。我们研究了检测性能如何取决于转移的程度。我们表明，一个转移和调整的CNN可以优于一个国家的最先进的功能工程管道和这两种技术的混合实现了20\%的高性能。我们还研究了如何从我们的网络的中间响应图像的演变。最后，我们将这些响应与最先进的图像处理滤波器进行比较，以便更深入地了解迁移学习如何能够有效地管理广泛变化的成像机制。
2017-04-20 cs.CV
Med3D: Transfer Learning for 3D Medical Image Analysis
Tencent YouTu X-Lab（腾讯优图X-Lab）
深度学习的性能受到训练数据量的显著影响。从ImageNet等大规模数据集中预训练的模型成为加速训练收敛和提高准确性的强大武器。类似地，基于大数据集的模型对于3D医学图像中的深度学习的开发非常重要。然而，由于三维医学成像中数据采集和注释的困难，构建足够大的数据集是极具挑战性的。我们从几个医学挑战中聚合数据集，以构建具有不同模态、靶器官和病理的3DSeg-8数据集。为了提取一般的医学三维（3D）特征，我们设计了一个异构的3D网络Med 3D来共同训练多领域3DSeg-8，从而形成一系列预训练模型。我们将Med 3D预训练模型转移到LIDC数据集中的肺分割、LIDC数据集中的肺结节分类和LiTS挑战中的肝脏分割。实验表明，与在Kinetics数据集上预训练的模型相比，Med 3D可以将目标3D医疗任务的训练收敛速度加快2倍，与从头开始训练相比，Med 3D可以将准确率提高3%到20%。将我们的Med 3D模型转移到最先进的DenseASPP分割网络上，在单个模型的情况下，我们实现了94.6\%Dice系数，接近LITS挑战的顶级算法的结果。
2019-07-17 cs.CV
Rethinking Transfer Learning for Medical Image Classification
University of Minnesota（明尼苏达大学）
本文提出TruncatedTL，一种差分迁移学习策略，通过重用和微调预训练模型的底层并丢弃其余层，在医学图像分类中实现更优性能与紧凑模型。
2024-05-26 cs.CV cs.LG eess.IV
Causal Transfer in Medical Image Analysis
University of Waterloo（滑铁卢大学）
本文探讨了医学图像分析中因果迁移方法，整合因果推理与跨域表示学习，以解决领域偏移问题，提升临床AI的鲁棒性和泛化能力。
2026-06-05 cs.CV
Medical-Checklist: Assessing the Comprehension of Medical Images by Multimodal Models
介绍医学检查表这一基准测试，通过给模型一张图像及一正一误两个标题进行二元测试，可统一评估不同多模态模型，验证其对医学概念的理解，评估其处理分布外输入的能力，用其评估四个先进模型发现它们理解图像能力待提升。
2026-07-27 cs.CV
Effect of Pre-Training Scale on Intra- and Inter-Domain Full and Few-Shot Transfer Learning for Natural and Medical X-Ray Chest Images
Juelich Supercomputing Center, Research Center Juelich（于利希研究中心于利希超级计算中心）；Helmholtz AI（亥姆霍兹AI）；LAION
在预训练中增加模型、数据和计算预算规模已被证明可以在语言建模和自然图像识别的大量工作中大大提高模型泛化和迁移学习。然而，大多数关于较大规模的积极影响的研究都是在域内设置的范围内进行的，源数据和目标数据非常接近。为了研究在执行完整和Few-Shot传输时，域内和域外设置的较大规模的影响，我们首次将大型开放式医学X射线胸部成像数据集结合在一起，以达到与ImageNet-1 k相当的医学成像领域规模，ImageNet-1 k通常用于自然图像领域的预训练。然后，我们进行有监督的预训练，同时改变网络大小和源数据规模和域，无论是大型自然（ImageNet-1 k/21 k）还是大型医学胸部X射线数据集，并将预训练的模型转移到不同的自然或医学目标。由于域内自然-自然和医学-医学转移的预训练规模较大，我们观察到了很大的改善。对于域间自然医学转移，我们发现由于在全拍摄状态下较大X射线目标上的较大预训练规模而导致的改进，而对于较小目标和Few-Shot状态，改进是不可见的。值得注意的是，在非常大的自然ImageNet-21 k上预训练的大型网络在执行向大型X射线目标的传输时，与在最大可用医学X射线数据上预训练的网络一样好或更好。我们的结论是，在预训练中大幅增加模型和通用的、与医学领域无关的自然图像源数据规模可以实现向医学领域特定目标的高质量域外转移，从而消除对实践中通常不可用的大型医学领域特定源数据的…
2022-12-19 cs.AI cs.CV cs.LG
MvCo-DoT:Multi-View Contrastive Domain Transfer Network for Medical Report Generation
Hebei University of Technology（河北工业大学）；Shenzhen University（深圳大学）；TU Wien（维也纳技术大学）；University of Oxford（牛津大学）
本文提出首个多视图医学报告生成模型 MvCo-DoT，通过多视图对比学习与域迁移网络，使模型在仅用单视图输入时也能达到接近多视图的性能，并在 IU X-Ray 数据集上全面超越现有方法。
2023-04-15 cs.CV
Adversarial-Robust Transfer Learning for Medical Imaging via Domain Assimilation
Missouri University of Science and Technology（密苏里科技大学）
本文针对医学影像迁移学习中自然与医学图像域差异导致的对抗脆弱性问题，提出引入纹理与颜色适应及纹理保持的域同化方法，有效降低攻击效力并提升模型鲁棒性与可信度。
2024-02-25 cs.CV cs.LG
C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network
Hebei University of Technology（河北工业大学）；Vienna University of Technology（维也纳工业大学）；University of Oxford（牛津大学）；Shenzhen University（深圳大学）
针对现有医学报告生成方法多依赖单视图数据、推理受限及语义一致性不足的问题，提出C^2M-DoT模型，通过多视图对比学习、域迁移网络与跨模态一致性损失，实现单视图输入下的高质量多视图医学报告生成，性能优于现有最优基线。
2023-10-09 cs.CV
Unsupervised Deep Transfer Feature Learning for Medical Image Classification
University of Sydney（悉尼大学）；Royal Prince Alfred Hospital（阿尔弗雷德王子医院）；Shanghai Jiao Tong University（上海交通大学）
使用监督式深度学习的图像分类的准确性和鲁棒性取决于大规模带注释的训练数据的可用性。然而，由于人工注释的复杂性，可获得的注释数据很少。为了克服这个问题，一种流行的方法是通过以下方式使用跨不同领域的可转移知识：1）使用已经在大规模通用图像上预训练的通用特征提取器（即，transfer-learned），但不适于从医学图像捕获特征;或者2）用相对较少数量的注释图像微调通用知识。我们的目标是通过使用一种新的分层无监督特征提取器来减少对注释训练数据的依赖，该特征提取器具有放置在预训练的卷积神经网络之上的卷积自动编码器。我们的方法将来自预训练域的丰富和通用的图像特征约束到来自未注释的医学图像域的局部图像特征的复杂表示。我们的方法比迁移学习方法具有更高的分类精度，并且与最先进的监督微调方法相比具有竞争力。
2019-03-26 cs.CV
MID: Mask-Image Distributional Divergence for Evaluating Medical Image Segmentation
EURECOM（欧洲通信研究与教育中心）；Sorbonne Université（索邦大学）；King’s College London（伦敦国王学院）；Technische Universität Graz（格拉茨工业大学）
该研究提出分布级医学图像分割评估指标MID，无需样本级真实掩码配对，可捕捉掩码真实性与图像-掩码一致性，能检测分布偏移、识别错位并生成可靠模型排名。
2026-10-16 cs.AI cs.CV
A Two-Stage Federated Transfer Learning Framework in Medical Images Classification on Limited Data: A COVID-19 Case Study
New Mexico State University（新墨西哥州立大学）
COVID-19疫情迅速蔓延，导致全球医疗资源短缺。COVID-19诊断的效率变得非常重要。随着深度学习和卷积神经网络（CNN）在医学图像分析中的广泛应用和验证，它已成为计算机辅助诊断的有力工具。然而，在深度学习和神经网络的帮助下，医学图像分类存在两个最显著的挑战，其中之一是难以获得足够的样本，这可能导致模型过拟合。隐私问题主要带来了另一个挑战，因为医疗相关记录通常被视为患者的私人信息，并受到GDPR和HIPPA等法律的保护。联邦学习可以确保模型训练分散在不同的设备上，并且它们之间没有数据共享，这保证了隐私。然而，由于数据位于不同的设备上，每个设备的可访问数据可能受到限制。由于迁移学习已经在处理有限数据方面得到了良好的验证，因此，在本文中，我们尝试使用CNN实现联邦学习和迁移学习技术，以使用肺部CT扫描对COVID-19进行分类。我们还探讨了数据集分布在客户端对联邦学习的影响，以及模型训练的训练周期数。最后，我们通过联邦学习获得了非常高的性能，证明了我们在利用准确性和隐私方面的成功。
2022-05-26 cs.CR cs.CV cs.LG
MedMerge: Merging Models for Effective Transfer Learning to Medical Imaging Tasks
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对医学成像领域数据稀缺导致迁移学习性能受限的问题，提出MedMerge方法，通过学习内核级权重融合不同初始化的模型以结合多任务特征，在多任务测试中F1分数最多提升7%。
2025-04-15 cs.CV
Unlabeled Data Deployment for Classification of Diabetic Retinopathy Images Using Knowledge Transfer
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
卷积神经网络（CNN）在医学图像处理中具有广泛的应用前景。医学图像是丰富的，但缺乏注释数据。迁移学习用于解决标记数据不足的问题，并赋予CNN更好的训练能力。迁移学习可用于许多不同的医学应用;然而，迁移下的模型应具有与原始网络相同的大小。知识蒸馏是最近提出的一种将模型中的知识转移到另一个模型中的方法，可以弥补迁移学习的不足。但是，有些知识可能无法通过知识蒸馏得到蒸馏。提出了一种新的基于迁移学习的知识蒸馏方法，将一个模型的全部知识迁移到另一个模型。所提出的方法可以是有益的和实用的医学图像分析，其中少量的标记数据是可用的。所提出的过程进行测试糖尿病视网膜病变分类。仿真结果表明，使用所提出的方法，一个广泛的网络的知识可以转移到一个较小的模型。
2020-02-09 cs.CV
Contrastive Learning Meets Transfer Learning: A Case Study In Medical Image Analysis
Vanderbilt University（范德堡大学）
注释的医学图像通常比标记的自然图像更稀有，因为它们受到领域知识和隐私约束的限制。迁移和对比学习的最新进展从不同的角度为解决这些问题提供了有效的解决方案。最先进的迁移学习（例如，大迁移（BiT））和对比学习（例如，简单的暹罗对比学习（SimSiam））的方法已被独立调查，而不考虑这种技术的互补性。考虑到缓慢的收敛速度是现代对比学习方法的关键限制，使用迁移学习来加速对比学习将是有吸引力的。在本文中，我们研究了BiT与SimSiam对齐的可行性。从实证分析来看，不同的规范化技术（BiT中的Group Norm与SimSiam中的Batch Norm）是使BiT适应SimSiam的关键障碍。当将BiT与SimSiam结合使用时，我们评估了在CIFAR-10和HAM 10000数据集上使用BiT、SimSiam和BiT+SimSiam的性能。结果表明，BiT模型加快了SimSiam的收敛速度。当一起使用时，该模型提供了优于其对应物的性能。我们希望这项研究能够激励研究人员重新审视将大型预训练模型与对比学习模型聚合起来进行图像分析的任务。
2021-03-04 cs.CV
Learning Features, Not Layouts: Feature-Axis Attention as a Transfer Prior for Medical Imaging
University College Dublin（都柏林大学学院）
该研究设计了解耦空间与特征轴注意力的FAD-ViT，发现将全局注意力转向特征轴可在不损失从零训练性能的前提下，大幅提升医学成像任务的迁移能力，且参数与计算成本更低。
2026-10-12 cs.CV
Evaluating General Purpose Vision Foundation Models for Medical Image Analysis: An Experimental Study of DINOv2 on Radiology Benchmarks
University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Boston University（波士顿大学）；King Abdullah International Medical Research Center（阿卜杜拉国王国际医学研究中心）
本研究针对医学图像分析中标注成本高、模型泛化性差的问题，在多种放射学模态与任务、不同训练设置下全面评估开源视觉基础模型DINOv2的性能，证实其优于现有相关模型，为医学影像预训练策略优化提供参考。
2024-09-14 cs.AI cs.CV
Evaluating the Impact of Medical Image Reconstruction on Downstream AI Fairness and Performance
Department of Data Science, Dana-Farber Cancer Institute（丹娜-法伯癌症研究所数据科学系）；AI in Medicine, Technical University of Munich（慕尼黑工业大学医学人工智能）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Computing, Imperial College London（伦敦帝国理工学院计算系）；Harvard Medical School（哈佛医学院）
研究通过结合重建与诊断AI模型，评估不同重建方法对下游任务性能和公平性的影响，发现传统指标无法准确反映任务表现，且重建可能放大性别偏见，但整体偏移量较小。
2026-04-13 cs.AI cs.CV
Parameter-Efficient Fine-Tuning for Medical Image Analysis: The Missed Opportunity
The University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；School of Engineering（工程学院）
本研究通过六个医学数据集和700余次实验系统评估17种PEFT算法，证明其在低数据医学图像分类与生成任务中最高可提升22%性能，为社区提供基准与建议。
2024-06-10 cs.AI cs.CV
Evaluating LLM -- Generated Multimodal Diagnosis from Medical Images and Symptom Analysis
University of Piraeus（比雷埃夫斯大学）
提出一种两阶段LLM评估范式，通过结构化交互和领域特定分析评估GPT-4-Vision-Preview在病理学多模态医学诊断中的正确性，发现其准确率约84%并揭示特定知识路径的弱点。
2024-01-28 cs.AI cs.CL cs.CV
Knowledge Transfer Scaling Laws for 3D Medical Imaging
Vanderbilt University（范德比大学）；Zhejiang University（浙江大学）；McGill University（麦吉尔大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了三维医学影像中不同域的预训练扩展规律，提出基于可转移性的数据分配方法，提升跨域迁移效果，实验表明该方法在疾病分类和器官分割任务中表现更优。
2026-05-07 cs.AI cs.CV cs.LG
DiSSECT: Structuring Transfer-Ready Medical Image Representations through Discrete Self-Supervision
Department of Computer Science, Indian Institute of Technology Jodhpur（计算机科学系，印度理工学院贾布尔）
本文提出DiSSECT框架，通过多尺度向量量化在自监督学习中引入离散表示瓶颈，使模型学习结构感知特征并抑制捷径学习，在分类与分割任务上以极少微调实现高性能和高标签效率。
2025-09-23 cs.AI cs.CV
Revisiting Hidden Representations in Transfer Learning for Medical Imaging
IT University of Copenhagen（哥本哈根信息技术大学）
本文通过比较 ImageNet 与 RadImageNet 预训练在七个医学分类任务上的表现，发现 ImageNet 预训练的 ResNet50 通常更优，且两者学习到的中间表示不同但预测相似，表明迁移学习优势并非主要来自早期层特征重用。
2023-12-05 cs.CV cs.LG
Cats or CAT scans: transfer learning from natural or medical image source datasets?
Eindhoven University of Technology（埃因霍温理工大学）
迁移学习是医学图像分析中广泛使用的一种学习策略。我们可以先用其他可能更大的源数据集训练网络，而不是只用感兴趣的目标任务中的有限数据量来训练网络，从而创建一个更健壮的模型。源数据集不必与目标任务相关。对于肺部CT图像中的分类任务，我们可以使用头部CT图像或猫的图像作为源。虽然头部CT图像看起来更类似于肺部CT图像，但猫图像的数量和多样性可能会导致整体模型更好。在这项调查中，我们回顾了一些进行了类似比较的论文。虽然哪种策略是最好的答案似乎是“这取决于”，我们讨论了一些研究方向，我们需要采取作为一个社区，以获得更多的了解这个话题。
2019-01-10 cs.AI cs.CV cs.LG
