探索零样本 CLIP 在间质性肺疾病分类中的多功能性
Exploring the Versatility of Zero-Shot CLIP for Interstitial Lung Disease Classification
AI总结：
本文提出利用零样本多模态模型 CLIP 进行间质性肺疾病分类，通过提取 CT 图像块蒙太奇并结合领域自适应预训练（DAPT），在无需标注数据下实现 0.893 的 AUROC，展现了多模态模型在标注稀缺医学任务中的潜力。
摘要：
间质性肺疾病（ILD）由于表现多样且影像特征重叠，带来了诊断挑战。为解决此问题，我们提出一种利用 CLIP（一种多模态（图像和文本）自监督模型）进行 ILD 分类的机器学习方法。我们在整个工作流程中广泛集成了零样本 CLIP，从体积 CT 扫描中初步提取图像块，到使用“图像块蒙太奇”进行 ILD 分类。此外，我们研究了使用任务特定图像（用 ILD 特定提示为 CLIP 提取的 CT“图像块蒙太奇”）和/或文本（放射学报告中肺部特定部分）进行领域自适应预训练（DAPT）CLIP 如何影响下游 ILD 分类性能。通过利用 CLIP 提取的“图像块蒙太奇”和 DAPT，我们取得了强大的零样本 ILD 分类结果，包括 0.893 的 AUROC，无需任何标注训练数据。这项工作突出了像 CLIP 这样的多模态模型在标注数据稀缺的医学图像分类任务中的多功能性和潜力。
英文摘要：
Interstitial lung diseases (ILD) present diagnostic challenges due to their varied manifestations and overlapping imaging features. To address this, we propose a machine learning approach that utilizes CLIP, a multimodal (image and text) self-supervised model, for ILD classification. We extensively integrate zero-shot CLIP throughout our workflow, starting from the initial extraction of image patches from volumetric CT scans and proceeding to ILD classification using "patch montages". Furthermore, we investigate how domain adaptive pretraining (DAPT) CLIP with task-specific images (CT "patch montages" extracted with ILD-specific prompts for CLIP) and/or text (lung-specific sections of radiology reports) affects downstream ILD classification performance. By leveraging CLIP-extracted "patch montages" and DAPT, we achieve strong zero-shot ILD classification results, including an AUROC of 0.893, without the need for any labeled training data. This work highlights the versatility and potential of multimodal models like CLIP for medical image classification tasks where labeled data is scarce.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
