In deep learning era, pretrained models play an important role in medical image analysis, in which ImageNet pretraining has been widely adopted as the best way. However, it is undeniable that there exists an obvious domain gap between natural images and medical images. To bridge this gap, we propose a new pretraining method which learns from 700k radiographs given no manual annotations. We call our method as Comparing to Learn (C2L) because it learns robust features by comparing different image representations. To verify the effectiveness of C2L, we conduct comprehensive ablation studies and evaluate it on different tasks and datasets. The experimental results on radiographs show that C2L can outperform ImageNet pretraining and previous state-of-the-art approaches significantly. Code and models are available.
Enhancing Network Initialization for Medical AI Models Using Large-Scale, Unlabeled Natural Images
University Hospital RWTH Aachen（亚琛工业大学附属医院）；Technische Universität Dresden（德累斯顿工业大学）；University Hospital Carl Gustav Carus Dresden（德累斯顿卡尔·古斯塔夫·卡鲁斯大学医院）；Else Kröner Fresenius Center for Digital Health（Else Kröner Fresenius 数字健康中心）；University Hospital Heidelberg（海德堡大学医院）；National Center for Tumor Diseases（国家肿瘤疾病中心）
Quantifying Radiographic Knee Osteoarthritis Severity using Deep Convolutional Neural Networks
Insight Centre for Data Analytics, Dublin City University（都柏林城市大学数据洞察中心）；School of Health and Human Performance, Dublin City University（都柏林城市大学健康与人体表现学院）
RadTex: Learning Efficient Radiograph Representations from Text Reports
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Massachusetts Institute of Technology（麻省理工学院）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Harvard Medical School（哈佛医学院）
Resolution scaling governs DINOv3 transfer performance in chest radiograph classification
Lab for AI in Medicine, RWTH Aachen University（人工智能医学实验室，亚琛工业大学）；Department of Diagnostic and Interventional Radiology, University Hospital RWTH Aachen（诊断与介入放射学部门，亚琛大学医院）；Department of Urology, Stanford University（泌尿科，斯坦福大学）；Department of Radiology, Stanford University（放射科，斯坦福大学）；Institute for Computational Genomics, Joint Research Center for Computational Biomedicine, University Hospital RWTH Aachen（计算基因组研究所，计算生物医学联合研究中心，亚琛大学医院）；Else Kroener Fresenius Center for Digital Health, Technical University Dresden（数字健康中心，德累斯顿技术大学）；Department of Medicine I, University Hospital Dresden（第一医学部，德累斯顿大学医院）；National Center for Tumor Diseases (NCT), University Hospital Heidelberg（肿瘤疾病国家中心（NCT），海德堡大学医院）
Site-Level Fine-Tuning with Progressive Layer Freezing: Towards Robust Prediction of Bronchopulmonary Dysplasia from Day-1 Chest Radiographs in Extremely Preterm Infants
Saarland University（萨尔兰大学）；University Hospital of Saarland（萨尔兰大学医院）；Clinical Centre Karlsruhe（卡尔斯鲁厄临床中心）；Helmholtz Institute for Pharmaceutical Research Saarland（亥姆霍兹萨尔兰药物研究所）；University Hospital of Augsburg（奥格斯堡大学医院）
Self-Supervised Learning for Knee Osteoarthritis: Diagnostic Limitations and Prognostic Value of Hospital Data
Department of Physics, J.K. Institute of Science（物理系，J.K. 科学研究所）；World Scientific University（世界科学大学）；University of Intelligent Studies（智能研究大学）；Center for Data Science, New York University（数据科学中心，纽约大学）；Bernard and Irene Schwartz Center for Biomedical Imaging, New York University Langone Health（伯纳德和艾琳·施瓦茨生物医学成像中心，纽约大学朗格尼健康中心）；Department of Radiology, New York University Langone Health（放射学系，纽约大学朗格尼健康中心）；Perlmutter Cancer Center, New York University Langone Health（珀尔马特癌症中心，纽约大学朗格尼健康中心）
Advanced Deep Learning Techniques for Classifying Dental Conditions Using Panoramic X-Ray Images
Informatics, Oakland University, Rochester, Michigan, USA（信息学，奥克兰大学）；Department of Computer Science, Bowling Green State University, Ohio, USA（计算机科学系，布恩维尔州立大学）
AFiRe: Anatomy-Driven Self-Supervised Learning for Fine-Grained Representation in Radiographic Images
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai Eye Diseases Prevention and Treatment Center, Shanghai Eye Hospital（上海市眼病防治中心、上海眼科医院）；School of Communication and Electronic Engineering, East China Normal University（华东师范大学通信与电子工程学院）
Fused Deep Convolutional Neural Network for Precision Diagnosis of COVID-19 Using Chest X-Ray Images
Christian Brothers University（基督教兄弟大学）；University of Dayton（代顿大学）
随着全球冠状病毒病（COVID-19）病例数超过1000万，对诊断能力的需求增加。提高诊断能力的主要变量是降低成本、周转或诊断时间以及前期设备成本和可获得性。机器学习COVID-19诊断的两个候选方法是计算机断层扫描（CT）扫描和胸部X光平片。虽然CT扫描的灵敏度更高，但与普通胸部X射线相比，它们具有更高的成本，维护要求和周转时间。美国放射学会（ACR）推荐使用便携式胸部X射线摄影（CXR），因为使用CT会给放射学服务带来巨大负担。因此，X射线图像与机器学习技术相结合被提议作为COVID-19诊断的一线分诊工具。在本文中，我们提出了一种计算机辅助诊断（CAD），通过微调在ImageNet数据集上预训练的几个神经网络（ResNet 18，ResNet 50，DenseNet 201）来准确分类COVID-19和正常受试者的胸部X射线扫描。这些神经网络融合在一个并行的架构和投票标准的候选对象类之间的最终分类决策，其中每个神经网络的输出是代表一个单一的投票。在弱标记COVID-19-CT-CXR数据集上进行了几项实验，该数据集由从PubMed Central Open Access子集中提取的263张COVID-19 CXR图像与25张正常分类CXR图像组成。这些实验显示了一个乐观的结果和能力，该模型优于许多国家的最先进的算法在几个措施。使用k折交叉验证和装袋分类器集成，我们实现了99.…
Does Bigger Mean Better? Comparitive Analysis of CNNs and Biomedical Vision Language Modles in Medical Diagnosis
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Independent Researcher（独立研究者）；Duke University（杜克大学）；University of Michigan Ann Arbor（密歇根大学安娜堡分校）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加州大学 Irvine 分校）
Bag of Instances Aggregation Boosts Self-supervised Distillation
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）；Huazhong University of Science & Technology（华中科技大学）
自监督学习的最新进展经历了显着的进步，特别是对于基于对比学习的方法，它将每个图像及其增强视为一个单独的类，并试图将它们与所有其他图像区分开来。然而，由于大量的样本，这种借口任务本质上遭受缓慢的收敛和难以优化。这对于小规模模型尤其如此，我们发现与监督模型相比，性能急剧下降。在本文中，我们提出了一个简单而有效的无监督学习的蒸馏策略。其亮点在于，相似样本之间的关系很重要，可以无缝地转移到学生身上，以提高成绩。我们的方法，被称为BINGO，是Bag of InstaNces aggregatiOn的缩写，旨在将教师学到的关系转移到学生身上。这里的实例包表示教师构建的一组相似样本，并分组在一个包中，蒸馏的目标是聚合学生关于包中实例的紧凑表示。值得注意的是，BINGO在小规模模型上实现了新的最先进性能，即，在ImageNet上分别使用ResNet-18和ResNet-34作为主干进行线性评估，获得了65.5%和68.9%的top-1准确率，显著超过了基线（52.5%和57.4%的top-1准确率）。该代码可在https://github.com/haohang96/bingo上获得。
