Lesion Analysis and Diagnosis with Mask-RCNN
Andrey Sorokin
该项目将Mask R-CNN方法应用于ISIC 2018挑战任务：病变边界分割（任务1），病变属性检测（任务2），病变诊断（任务3），后者的解决方案是使用任务1的训练模型和简单的投票程序。
This project applies Mask R-CNN method to ISIC 2018 challenge tasks: lesion boundary segmentation (task1), lesion attributes detection (task 2), lesion diagnosis (task 3), a solution to the latter is using a trained model for task 1 and a simple voting procedure.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Self Supervised Lesion Recognition For Breast Ultrasound Diagnosis
以前基于深度学习的计算机辅助诊断（CAD）系统将同一病变的多个视图视为独立图像。由于超声图像仅描述3D病变的部分2D投影，因此这种范例忽略了病变的不同视图之间的语义关系，这与超声医师从至少两个视图分析病变的传统诊断不一致。在本文中，我们提出了一个多任务框架，它补充了良性/恶性分类任务与病变识别（LR），这有助于利用单个病变的多个视图之间的关系来学习病变的完整表示。具体来说，LR任务采用对比学习来鼓励表征，即拉取同一病变的多个视图，排斥不同病变的视图。因此，该任务促进了不仅对病变的视图变化不变，而且还捕获细粒度特征以区分不同病变的表示。实验结果表明，所提出的多任务框架提高了良性/恶性分类的性能，因为两个子任务相互补充，并增强了超声图像的学习表示。
A Semantic Segmentation Network Based Real-Time Computer-Aided Diagnosis System for Hydatidiform Mole Hydrops Lesion Recognition in Microscopic View
葡萄胎是最常见的妊娠滋养细胞疾病之一，具有恶性潜能。对于病理学家来说，HM切片是水肿病变诊断的重要依据。在病理科，HM病变的多种显微镜表现和显微镜下有限的视野意味着需要具有丰富诊断经验的医生来防止漏诊和误诊。特征提取可以显著提高诊断过程的准确性和速度。计算机辅助诊断（CAD）作为一种卓越的辅助诊断技术，已广泛应用于临床实践。我们构建了一个基于深度学习的CAD系统，以实时识别显微镜视图中的HM水肿病变。该系统由三个模块组成;图像拼接模块和边缘扩展模块对图像进行处理，以改善积水病变识别模块的结果，该模块采用语义分割网络、我们新颖的复合损失函数和逐步训练函数，以达到识别积水病变的最佳性能。我们使用HM水肿数据集评估了我们的系统。实验表明，我们的系统是能够实时响应，并正确地显示整个显微镜视图与准确标记HM水肿病变。
Consecutive Knowledge Meta-Adaptation Learning for Unsupervised Medical Diagnosis
基于深度学习的计算机辅助诊断（CAD）在学术研究和临床应用中引起了人们的关注。然而，卷积神经网络（CNN）诊断系统严重依赖于标记良好的病变数据集，并且对数据分布变化的敏感性也限制了CNN在CAD中的潜在应用。无监督域自适应（UDA）方法是为了解决昂贵的注释和域间隙问题而开发的，并在医学图像分析中取得了显着的成功。然而，现有的UDA方法仅将从源病变域学习的知识适应于单个靶病变域，这与临床场景相反：待诊断的新的未标记的靶域总是以在线和连续的方式到达。此外，现有方法的性能在先前学习的靶病变域上显著降低，这是由于新学习的知识取代先前学习的知识（即，灾难性的遗忘）。针对上述问题，本文提出了一个元自适应框架CLKM，主要由语义自适应阶段SAP和表征自适应阶段RAP组成，以在线、连续的方式学习诊断模型。在SAP中，从源病变域学习的语义知识被转移到连续的靶病变域。在RAP中，特征提取器被优化以跨源和多个靶病变域对齐可转移的表示知识。
DRDr II: Detecting the Severity Level of Diabetic Retinopathy Using Mask RCNN and Transfer Learning
DRDr II是机器学习和深度学习的混合体。它建立在其前身的成功基础上，即DRDr，该模型经过训练，可以检测，定位和创建糖尿病视网膜病变（DR）患者眼中两种类型病变（渗出液和微动脉瘤）的分割掩模;并将整个模型用作其管道核心的固体特征提取器，以检测DR病例的严重程度。我们采用了一个大数据集，其中包含从全球各地收集的超过3.5万张眼底图像，经过两个阶段的预处理和特征提取，我们成功地预测了正确的严重程度，准确率超过92%。
Spitzoid Lesions Diagnosis based on GA feature selection and Random Forest
Spitzoid病变大致分为Spitz痣（SN）、非典型Spitz肿瘤（AST）和Spitz黑色素瘤（SM）。这些病变的准确诊断是皮肤病理学家面临的最大挑战之一;这是由于它们之间的高度相似性。数据挖掘技术被成功地应用于这些复杂的情况。本研究旨在开发一种人工智能模型来支持Spitzoid病变的诊断。一个私人的spitzoid病变数据集已被用来评估本研究中提出的系统。拟议的制度有三个阶段。在第一阶段，采用SMOTE方法解决数据不平衡问题;在第二阶段，为了剔除不相关的特征，采用遗传算法选择重要特征。这降低了计算复杂度，加快了数据挖掘过程。在第三阶段中，随机森林分类器被用来对两种不同类别的病变（Spitz痣或非典型Spitz肿瘤）做出决定。我们提出的方案的性能进行评估，使用准确性，灵敏度，特异性，G-均值，F-测量，ROC和AUC。使用我们的SMOTE-GA-RF模型（具有基于GA的16个特征）获得的结果显示出良好的性能，准确度为0.97，F测量值为0.98，AUC为0.98，G均值为0.97。本研究获得的结果有可能开辟新的诊断机会spitzoid病变。
Knowledge-aware Deep Framework for Collaborative Skin Lesion Segmentation and Melanoma Recognition
深度学习技术在皮肤科医生的临床检查中表现出了卓越的性能。然而，黑色素瘤的诊断仍然是一个具有挑战性的任务，由于将有用的皮肤科医生的临床知识纳入学习过程中的困难。在本文中，我们提出了一种新的知识感知深度框架，该框架将一些临床知识纳入两个重要的黑色素瘤诊断任务的协作学习中，即，皮肤病变分割和黑素瘤识别。具体而言，利用知识的形态学表达的病变区域和黑色素瘤识别的周边区域，基于病变池和形状提取（LPSE）计划的设计，转移到黑色素瘤识别从皮肤病变分割获得的结构信息。同时，为了将黑色素瘤识别中的皮肤病变诊断知识传递到皮肤病变分割中，设计了一种有效的诊断引导特征融合（DGFF）策略。此外，我们提出了一个递归的相互学习机制，进一步促进任务间的合作，从而迭代地提高皮肤病变分割和黑色素瘤识别模型的联合学习能力。两个公开的皮肤病变数据集上的实验结果表明，所提出的方法对黑色素瘤分析的有效性。
Liver Tumor Screening and Diagnosis in CT with Pixel-Lesion-Patient Network
针对CT肝肿瘤筛查与诊断问题，提出PLAN框架，结合mask transformer与图像级分类器实现病灶分割分类及患者级诊断，在多期数据集上表现优于主流模型且与资深医生相当。
Meta-information-aware Dual-path Transformer for Differential Diagnosis of Multi-type Pancreatic Lesions in Multi-phase CT
胰腺癌是癌症相关死亡的主要原因之一。准确检测、分割和鉴别诊断胰腺病变的完整分类，即，正常、七种主要类型的病变以及其他病变，对于帮助患者管理和治疗的临床决策至关重要。然而，现有的工作集中在非常特定的病变类型（PDAC）或组的分割和分类。此外，没有以前的工作考虑使用病变患病率相关的非成像患者信息，以协助鉴别诊断。为此，我们开发了一种元信息感知的双路径Transformer，并利用胰腺病变完整分类的分类和分割的可行性。具体而言，所提出的方法由基于CNN的分割路径（S路径）和基于变换器的分类路径（C路径）组成。S-路径的重点是使用基于UNet的网络通过语义分割进行初始特征提取。C路径利用提取的特征和元信息进行患者级分类，基于双路径Transformer块的堆栈，其增强了全局上下文信息的建模。收集了3，096例患者的大规模多期CT数据集，这些患者具有病理学证实的胰腺病变类别标签、放射科医生对病变的体素手动注释和患者元信息，用于训练和评价。我们的研究结果表明，我们的方法可以实现胰腺病变的完整分类的准确分类和分割，接近放射科医生报告的准确性，并显着优于以前的基线。结果还表明，添加公共元信息，即，性别和年龄，可以提高模型的性能，从而证明元信息对帮助胰腺疾病诊断的重要性。
Lesion-aware network for diabetic retinopathy diagnosis
针对糖尿病视网膜病变细粒度任务的特征提取与不均衡数据问题，提出带注意力机制的病变感知网络LANet，含LAM和FPM模块，在筛查与分割任务上均优于主流方法。
Two Segmentation Methods for the Diagnosis of Malignant Melanoma
恶性黑色素瘤的自动诊断在很大程度上依赖于对可疑病灶的分割方法。我们建议的参数选择方法（PSM）和最大面积法（MAM）的分割病变的诊断。在这里，这些分割方法相比，皮肤癌专家的分割和其他三个传统的算法。恶性黑色素瘤的诊断的基础上建议，三个传统的，专家的分割进行了比较的敏感性，特异性和准确性。
Learning from Pseudo Lesion: A Self-supervised Framework for COVID-19 Diagnosis
自2019年12月首次报告以来，2019冠状病毒病（COVID-19）已在全球迅速蔓延，胸部计算机断层扫描（CT）已成为其诊断的主要工具之一。近年来，基于深度学习的方法在无数图像识别任务中表现出令人印象深刻的性能。然而，它们通常需要大量带注释的数据进行训练。受COIVD-19患者CT扫描中常见的毛玻璃混浊（GGO）的启发，本文提出了一种新的基于伪病变生成和恢复的COVID-19诊断自监督预训练方法。我们使用Perlin噪声（一种基于梯度噪声的数学模型）来生成病变样图案，然后将其随机粘贴到正常CT图像的肺部区域，以生成伪COVID-19图像。然后，使用正常和伪COVID-19图像对来训练基于U-Net的编码器-解码器架构，以进行图像恢复，这不需要任何标记数据。然后使用COVID-19诊断任务的标记数据对预训练的编码器进行微调。采用两个由CT图像组成的公开COVID-19诊断数据集进行评估。综合实验结果表明，所提出的自监督学习方法可以提取更好的COVID-19诊断特征表示，所提出的方法的准确性优于监督模型预训练的大规模图像上SARS-CoV-2数据集和济南COVID-19数据集分别为6.57%和3.03%。
Segmentation Network with Compound Loss Function for Hydatidiform Mole Hydrops Lesion Recognition
病理形态学诊断是葡萄胎的标准诊断方法。作为一种具有恶变潜能的疾病，葡萄胎的水肿病变切片是诊断的重要依据。早期葡萄胎由于病变发展不完全，难以鉴别，导致临床诊断准确率低。图像语义分割网络作为一种优秀的机器学习技术，已被应用于许多医学图像识别任务。我们开发了一个基于新的损失函数和训练方法的葡萄胎水肿病变分割模型。该模型由不同的网络组成，这些网络在像素和病变级别分割切片图像。我们的复合损失函数为两个级别的分割结果分配权重以计算损失。然后，我们提出了一种分阶段的训练方法，以结合不同级别的各种损失函数的优点。我们评估我们的方法在一个葡萄胎积水数据集。实验结果表明，该模型与我们的损失函数和训练方法具有良好的识别性能，在不同的分割指标。
Automated detection of oral pre-cancerous tongue lesions using deep learning for early diagnosis of oral cavity cancer
早期发现口腔癌（OCC）是提高患者生存率的有效方法。然而，目前的初步筛选过程是人工完成的，对普通个人来说是昂贵的，特别是在世界各地的发展中国家。由于缺乏这方面的专家，这一问题更加复杂。使用人工智能（AI）自动化初始筛查过程以检测癌前病变可以证明是一种有效且廉价的技术，可以使患者得到相应的分流，以接受适当的临床管理。在这项研究中，我们应用并评估了六种使用转移学习的深度卷积神经网络（DCNN）模型的有效性，用于直接使用临床注释的摄影图像的小数据集来识别癌前舌病变，以诊断OCC的早期体征。基于Vgg19架构的DCNN模型能够区分良性和癌前舌病变，平均分类准确率为0.98，灵敏度为0.89，特异性为0.97。此外，ResNet50 DCNN模型能够区分五种类型的舌病变，即毛舌、裂纹舌、地图舌、草莓舌和口腔毛状白斑，平均分类准确率为0.97。使用（AI+医师）集成模型的初步结果表明，使用DCNN的舌病变自动初始筛选过程可以实现接近人类水平的分类性能，用于诊断患者的OCC早期体征。
SFUSNet: A Spatial-Frequency domain-based Multi-branch Network for diagnosis of Cervical Lymph Node Lesions in Ultrasound Images
针对超声图像颈部淋巴结病变诊断的研究空白，提出融合卷积与快速傅里叶变换的SFUSNet架构，结合空频域特征实现四类病变的高精度诊断，性能优于12种主流模型。
Early Melanoma Diagnosis with Sequential Dermoscopic Images
皮肤科医生通常通过评估皮肤病变的后续皮肤镜图像来诊断或排除早期黑色素瘤。然而，现有的早期黑色素瘤诊断算法是使用病变的单时间点图像开发的。忽视病变的时间、形态学改变可导致临界病例的误诊。在这项研究中，我们提出了一个框架，自动早期黑色素瘤诊断使用连续皮肤镜图像。为此，我们分三步构建我们的方法。首先，我们使用估计的欧几里德变换对齐皮肤病变的连续皮肤镜图像，通过计算连续图像之间的图像差异来提取病变生长区域，然后提出一个时空网络来从对齐的病变图像和相应的差异图像中捕获皮肤镜变化。最后，我们开发了一个早期诊断模块来计算随着时间的推移病变图像的恶性肿瘤的概率分数。我们收集了122例患者的179个连续皮肤镜成像数据来验证我们的方法。大量的实验表明，该模型优于其他常用的序列模型。我们还比较了我们的模型的诊断结果与七个经验丰富的皮肤科医生和五个注册。我们的模型实现了比临床医生更高的诊断准确率（分别为63.69%和54.33%），并提供了黑色素瘤的早期诊断（在首次随访图像上正确诊断的黑色素瘤为60.7%和32.7%）。这些结果表明，我们的模型可用于识别在疾病过程早期处于恶性转化高风险的黑色素细胞病变，从而重新定义黑色素瘤早期检测的可能性。
PLUS: Plug-and-Play Enhanced Liver Lesion Diagnosis Model on Non-Contrast CT Scans
PLUS是一个即插即用框架，旨在增强非对比增强CT上任意3D分割模型的局灶性肝脏病灶分析能力，在8651名患者实验中显著提升了病灶级和患者级F1分数，改善了恶性病灶筛查效果。
CovTANet: A Hybrid Tri-level Attention Based Network for Lesion Segmentation, Diagnosis, and Severity Prediction of COVID-19 Chest CT Scans
快速准确地诊断COVID-19是全球社会在控制这一日益严重的大流行病蔓延方面面临的主要挑战之一。本文提出了一种名为CovTANet的混合神经网络，利用胸部计算机断层扫描（CT）扫描为COVID-19的早期诊断、病变分割和严重程度预测提供端到端的临床诊断工具。引入多阶段优化策略以解决在感染的非常早期阶段的复杂诊断的挑战，其中最初优化有效的病变分割网络，随后将其集成到用于诊断和严重程度预测任务的联合优化框架中，从而提供感染区域的特征增强。此外，为了克服具有新颖和多样特征的COVID病变的扩散、模糊和形状变化的挑战，引入了一种新颖的分割网络，即基于三级注意力的分割网络（TA-SegNet）。该网络大大减少了后续编码解码阶段的语义差距，多尺度特征的巨大并行化可实现更快的收敛，与传统网络相比，性能有了相当大的提高。此外，还引入了一种新的三级关注机制，该机制在网络上重复使用，结合了通道，空间和像素关注方案，通过特征重新校准和增强操作更快，更有效地概括嵌入特征图中的上下文信息。通过对包含1110个胸部CT体积的大型公开数据集进行广泛实验，所有三项任务都取得了出色的表现，这表明拟议方案在大流行现阶段的有效性。
Improving AMD diagnosis by the simultaneous identification of associated retinal lesions
视网膜相关性黄斑变性（AMD）是发达国家失明的主要原因，特别是在老年人中。此外，由于全球人口老龄化，其发病率正在上升。在这种情况下，早期检测对于避免以后的视力障碍至关重要。然而，实施大规模筛查方案通常是不可行的，因为高危人群很大，分析必须由临床专家进行。此外，AMD的诊断被认为是特别困难的，因为它的特征在于许多不同的病变，在许多情况下，类似于其他黄斑疾病的病变。为了克服这些问题，一些工作已经提出了自动方法，用于检测视网膜造影图像中的AMD，最广泛使用的模式，用于筛选的疾病。如今，大多数这些作品使用卷积神经网络（CNN）将图像二进制分类为AMD和非AMD类。在这项工作中，我们提出了一种基于CNN的新方法，可以同时进行AMD诊断和潜在病变的分类。后一个次要任务尚未在该领域得到解决，并提供了补充有用的信息，提高诊断性能，并帮助理解的决定。使用视网膜造影图像训练CNN模型，所述视网膜造影图像具有用于AMD和病变存在两者的图像级标签，所述图像级标签相对容易获得。在多个公开数据集上进行的实验表明，该方法提高了AMD的检测，同时在大多数病变的识别中取得了令人满意的结果。
Weakly Supervised Lesion Detection and Diagnosis for Breast Cancers with Partially Annotated Ultrasound Images
针对乳腺癌超声CAD中粗标注限制诊断性能的问题，提出弱监督两阶段检测诊断网络TSDDNet，通过候选选择优化标注、自蒸馏联合优化，在检测和诊断任务上均达最优。
Weakly-supervised detection of AMD-related lesions in color fundus images using explainable deep learning
视网膜相关性黄斑变性（AMD）是一种影响黄斑的退行性疾病，黄斑是视网膜的视觉敏锐度的关键区域。如今，它是发达国家最常见的致盲原因。虽然已经开发了一些有前途的治疗方法，但在晚期阶段其有效性较低。这强调了大规模筛查计划的重要性。然而，实施这样的AMD计划通常是不可行的，因为风险人群很大，诊断具有挑战性。所有这些都促进了自动方法的发展。从这个意义上说，一些工作已经取得了积极的成果，AMD诊断使用卷积神经网络（CNN）。然而，没有一个包含可解释性机制，这限制了它们在临床实践中的使用。在这方面，我们提出了一种可解释的深度学习方法，通过联合识别其相关的视网膜病变来诊断AMD。在我们的建议中，使用图像级标签为联合任务训练端到端的CNN。所提供的病变信息具有临床意义，因为其允许评估AMD的发展阶段。此外，该方法允许从所识别的病变解释诊断。这是可能的，这要归功于使用具有自定义设置的CNN，该自定义设置将病变和诊断联系起来。此外，所提出的设置还允许以弱监督的方式获得粗略的病变分割图，进一步提高了可解释性。该方法的训练数据可以在临床医生没有太多额外工作的情况下获得。实验结果表明，我们的方法可以识别AMD及其相关病变令人满意，同时提供足够的粗分割地图的最常见的病变。
Probabilistic Radiomics: Ambiguous Diagnosis with Controllable Shape Analysis
放射组学分析近年来取得了巨大的成功。然而，传统的放射组学分析遭受不充分表达的手工制作的特征。最近，新兴的深度学习技术，例如，卷积神经网络（CNN）主导了计算机辅助诊断（CADx）的最新研究。不幸的是，作为黑盒预测器，我们认为CNN是“诊断”体素（或像素），而不是病变;换句话说，来自训练的CNN的视觉显著性不一定集中在病变上。另一方面，临床应用中的分类存在固有的模糊性：放射科医生可能会对具有挑战性的病例做出不同的诊断。为此，我们提出了一个可控的和可解释的{ \em概率放射组学}框架，通过结合放射组学分析和概率深度学习。在我们的框架中，三维CNN特征提取病变区域，然后编码到病变表示，通过一个可控的非局部形状分析模块（NSAM）的基础上自我注意。受变分自动编码器（VAE）的启发，模糊度先验网络用于近似人类专家的模糊度分布。通过结合模糊先验样本和病变表示获得最终诊断，整个网络称为$DenseSharp^{+}$是端到端可训练的。最后将该方法应用于LIDC-IDRI数据库上的肺结节诊断，验证了其有效性。
An Attention-based Weakly Supervised framework for Spitzoid Melanocytic Lesion Diagnosis in WSI
黑色素瘤是一种侵袭性肿瘤，造成大多数皮肤癌死亡。具体而言，斯皮茨样黑色素细胞肿瘤是最具挑战性的黑色素细胞病变之一，由于其模糊的形态特征。其诊断和预后的金标准是皮肤活检分析。在这个过程中，皮肤病理学家在显微镜下观察皮肤组织学切片，这是一项耗时且主观的任务。在过去的几年中，计算机辅助诊断（CAD）系统已经成为一个有前途的工具，可以支持病理学家在日常临床实践。尽管如此，还没有自动CAD系统被提出用于分析spitzoid病变。关于常见的黑色素瘤，没有提出的系统允许选择肿瘤区域和预测诊断为良性或恶性。受此启发，我们提出了一种新的端到端弱监督深度学习模型，该模型基于归纳迁移学习，使用改进的卷积神经网络（CNN）来细化潜在空间的嵌入特征。该框架由负责发现肿瘤块级模式的源模型和关注活检的特定诊断的目标模型组成。后者通过多实例学习工作流重新训练源模型的主干，以获得活检级评分。为了评估所提出的方法的性能，我们进行了广泛的实验，一个私人的皮肤数据库与斯皮茨样病变。测试结果达到的准确度为0.9231和0.80的源和目标模型，分别。此外，热图结果直接符合临床医生的医疗决策，甚至在某些情况下，突出了病理学家由于巨大的工作量而忽视的感兴趣的模式。
Comparative performance analysis of the ResNet backbones of Mask RCNN to segment the signs of COVID-19 in chest CT scans
COVID-19对全球的死亡人数和危重患者人数的增加造成了不利影响。根据联合国开发计划署（UNDP）针对COVID-19危机的社会经济计划，这场大流行病远远不止是一场健康危机：它正在影响社会和经济的核心。作为COVID-19诊断的一部分，基于胸部X射线的成像技术最近有了更大的发展，特别是使用卷积神经网络（CNN）来识别和分类图像。然而，鉴于监督标记的成像数据的限制，医疗诊断的分类和预测风险建模往往会妥协。本文旨在通过在肺部轴向CT（胸部计算机断层扫描）扫描中使用深度神经网络来识别和监测COVID-19对人类肺部的影响。我们采用Mask RCNN，以ResNet 50和ResNet 101为骨干，对受COVID-19冠状病毒影响的区域进行细分。使用已经出现症状的人类肺部区域，该模型将患者的状况分类为“轻度”或“警报”。此外，该模型被部署在谷歌云平台（GCP）上，以模拟模型的在线使用，以进行性能评估和准确性提高。ResNet 101主干模型产生0.85的F1分数和更快的预测分数，每个推理的平均时间为9.04秒。
Deeply Supervised Skin Lesions Diagnosis with Stage and Branch Attention
针对集成CNN过重、轻量网络特征深度不足的问题，提出HierAttn，以单损失的多阶段、多分支注意力和深度监督融合局部与全局特征，在两个皮肤病变数据集上取得轻量模型最优准确率和AUC。
Breast Ultrasound Computer-Aided Diagnosis Using Structure-Aware Triplet Path Networks
乳腺超声是检测和诊断乳腺癌的有效影像学手段。乳腺病变的结构特征在计算机辅助诊断（CAD）中起着重要的作用。本文设计了一种新的结构感知三重路径网络（SATPN），将分类和两个图像重建任务集成在一起，实现了在小训练集下对超声图像的准确诊断。具体而言，我们通过使用距离变换耦合高斯滤波器将原始乳腺US图像转换为BIRADS导向的特征图（BFM）来增强临床批准的乳腺病变结构特征。然后，将转换后的BFM用作SATPN的输入，SATPN独立地执行病变分类任务和用于良性和恶性图像重建任务的两个无监督堆叠卷积自动编码器（SCAE）网络。我们通过平衡图像重建误差和分类标签预测误差，使用交替学习策略训练SATPN。在测试阶段，病变标记通过加权投票确定重建误差和标记预测误差。我们将SATPN与使用原始图像作为输入的TPN以及我们以前开发的使用BFM作为输入的半监督深度学习方法的性能进行了比较。在两个乳腺US数据集上的实验结果表明，SATPN在三个网络中排名最好，分类准确率约为93.5%。这些结果表明，SATPN是有效的乳腺超声病变CAD使用小数据集的前景。
Hierarchical Classification of Pulmonary Lesions: A Large-Scale Radio-Pathomics Study
通过计算机断层扫描（CT）诊断肺部病变对于肺癌相关疾病的临床决策非常重要，但也具有挑战性。深度学习在肺癌的计算机辅助诊断（CADx）领域取得了巨大的成功，但由于放射学诊断的困难，它存在标签模糊性。考虑到侵入性病理分析作为肺癌诊断的临床金标准，在这项研究中，我们通过一个大规模的放射病理组学数据集解决了标签模糊问题，该数据集包含5，134个具有病理证实标签的放射CT图像，包括癌症（例如，侵袭性/非侵袭性腺癌，鳞状细胞癌）和非癌症疾病（例如，肺结核、错构瘤）。这个名为Pulmonary-RadPath的回顾性数据集能够开发和验证准确的深度学习系统，以非侵入性程序预测侵入性病理标签，即，放射性CT扫描本文提出了一个肺部病变的三级分级系统，它涵盖了癌症诊断中的大多数疾病。我们探讨了几种技术，分层分类在这个数据集上，并提出了一个泄漏密集层次方法，在实验中证明了有效性。我们的研究在数据规模（6倍大），疾病全面性和层次结构方面显着优于现有技术。令人鼓舞的结果表明了促进精准医疗的潜力。
Denoising of 3D MR images using a voxel-wise hybrid residual MLP-CNN model to improve small lesion diagnostic confidence
磁共振成像（MRI）图像中的微小病灶对于临床诊断多种疾病至关重要。然而，各种噪声很容易使MRI图像质量下降，严重影响了微小病变诊断的准确性。尽管已经提出了一些对MR图像进行去噪的方法，但缺乏用于提高小病变诊断置信度的特定任务去噪方法。在这项工作中，我们提出了一个逐体素的混合残差MLP-CNN模型去噪三维（3D）MR图像与小病变。我们结合了基本的深度学习架构MLP和CNN，以获得适当的图像去噪固有偏差，并通过添加残差连接来整合MLP和CNN中的每个输出层，以利用远程信息。我们评估了720 T2-FLAIR脑图像在不同的噪声水平的小病灶所提出的方法。结果表明，我们的方法在测试数据集上的定量和视觉评价相比，国家的最先进的方法的优越性。此外，两位经验丰富的放射科医生一致认为，在中等和高噪声水平下，我们的方法在恢复小病变和整体图像去噪质量方面优于其他方法。我们的方法的实现可以在https://github.com/laowangbobo/Residual_MLP_CNN_Mixer上获得。
Deep Learning based Novel Cascaded Approach for Skin Lesion Analysis
自动病变分析在皮肤癌诊断中至关重要，并确保有效治疗。皮肤镜图像中的此类皮肤癌的计算机辅助诊断可以显著减少临床医生的工作量并有助于提高诊断准确性。虽然研究人员正在广泛地致力于解决这个问题，但皮肤病变的早期检测和准确识别仍然具有挑战性。这项研究的重点是两个步骤的框架，皮肤病变分割，其次是分类病变分析。我们通过设计用于皮肤病变分割的编码器-解码器架构和基于CNN的分类网络来探索基于深度卷积神经网络的架构的有效性。本文从准确度、平均交并比和骰子相似系数三个方面对所提出的方法进行了定量评价。我们基于级联端到端深度学习的方法是同类方法中的第一种，由于预先分割，病变的分类准确性得到了显着提高。
Artificial Intelligence-Based Image Classification for Diagnosis of Skin Cancer: Challenges and Opportunities
最近，人们对开发用于诊断皮肤癌的人工智能（AI）计算机辅助诊断解决方案产生了极大的兴趣。随着皮肤癌发病率的增加，越来越多的人对皮肤癌的认识不足，以及缺乏足够的临床专业知识和服务，迫切需要人工智能系统来帮助这一领域的临床医生。大量的皮肤病变数据集是公开的，研究人员已经开发出基于AI的图像分类解决方案，特别是深度学习算法，以区分不同图像模式（如皮肤镜、临床和组织病理学图像）中的恶性皮肤病变和良性病变。尽管人工智能系统在不同皮肤病变的分类方面比皮肤科医生实现了更高的准确性，但这些人工智能系统在帮助临床医生诊断皮肤癌方面仍处于临床应用的早期阶段。在这篇综述中，我们讨论了用于诊断皮肤癌的基于数字图像的人工智能解决方案的进展，以及改进这些人工智能系统以支持皮肤科医生并提高其诊断皮肤癌的能力的一些挑战和未来机会。
Automatic Lesion Boundary Segmentation in Dermoscopic Images with Ensemble Deep Learning Methods
早期发现皮肤癌，特别是黑色素瘤，对于实现先进的治疗至关重要。由于皮肤癌数量的快速增长，对皮肤病变的计算机化分析的需求日益增长。用于皮肤病变的最先进的公共可用数据集通常伴随有非常有限的分割基础事实标记，因为它是费力且昂贵的。在皮肤镜图像中，病灶边界的分割对于病灶的准确定位和不同类型皮肤病灶的诊断至关重要。在这项工作中，我们提出使用全自动深度学习集成方法来精确分割皮肤镜图像中的病变边界。我们在ISIC-2017分割训练集上训练了Mask-RCNN和DeepLabv 3+方法，并在ISIC-2017测试集上评估了集成网络的性能。我们的研究结果表明，最好的集成方法分割皮肤病变的Jaccard指数为79.58%的ISIC-2017测试集。该集成方法在Jaccard指数上分别优于FrCN、FCN、U-Net和SegNet 2.48%、7.42%、17.95%和9.96%。此外，在ISIC-2017测试集上，所提出的集成方法对一些具有代表性的临床良性病例的准确率为95.6%，对黑色素瘤病例的准确率为90.78%，对脂溢性角化病病例的准确率为91.29%，表现出比FrCN，FCN，U-Net和SegNet更好的性能。
Exemplars and Counterexemplars Explanations for Image Classifiers, Targeting Skin Lesion Labeling
可解释的人工智能包括开发机制，通过使决策系统的决策变得可理解，从而允许决策系统和人类之间的交互。这在医疗领域等敏感环境中尤为重要。我们提出了一个用于皮肤病变诊断的用例研究，说明如何为医生提供关于最先进的深度神经网络分类器的决策的解释，该分类器经过训练以从示例中表征皮肤病变。我们的框架由一个经过训练的分类器，解释模块操作。后者能够为医生提供分类诊断的范例和反例，从而允许医生与自动诊断系统交互。样本是通过对抗自动编码器生成的。我们说明了具有代表性的例子系统的行为。
Deep Learning Based Analysis of Prostate Cancer from MP-MRI
前列腺癌的诊断面临着过度诊断的问题，过度诊断会导致不必要的治疗带来的破坏性副作用。研究表明，使用多参数磁共振图像进行活检可以大大有助于减轻过度诊断，从而减少对健康患者的副作用。本研究旨在研究使用深度学习技术来探索基于MRI作为输入的计算机辅助诊断。使用基于深度学习的方法解决了从病变分类为具有临床意义或不具有临床意义到病变检测和分割的几个诊断问题。本论文解决了两个主要问题，关于前列腺癌的诊断。首先，使用XmasNet进行了两个关于病变分类的大型实验。其次，进行检测和分割实验，首先在前列腺上，然后在前列腺癌病变上。前一个实验通过二维空间探索病变，而后者探索了使用三维输入的模型。对于这项任务，探索的3D模型是3D U-Net和预训练的3D ResNet-18。所有这些问题进行了严格的分析，共两个网络，两个裁剪技术，两个restriking技术，两个作物的大小，五个输入大小和数据扩增试验病变分类。而对于分割，实验了两种模型，两种输入大小和数据增强。然而，虽然病变临床意义的二进制分类以及前列腺的检测和分割已经达到了预期的结果（分别为0.870 AUC和0.915 dice评分），但PIRADS评分的分类和病变分割仍有很大的改进余地（分别为0.664准确度和0.690 dice评分）。
Refined-Segmentation R-CNN: A Two-stage Convolutional Neural Network for Punctate White Matter Lesion Segmentation in Preterm Infants
利用自动算法准确分割婴儿大脑点状白质病变（PWML）可以降低出生后发育的潜在风险。如何有效地分割PWML已成为近年来医学图像分割领域的研究热点之一。在本文中，我们构建了一个有效的两阶段PWML语义分割网络的基础上病变的特点，称为细化分割R-CNN（RS RCNN）。我们提出了一种启发式RPN（H-RPN），它可以利用周围的PWML启发式分割的周围信息。此外，我们还设计了一个轻量级的分割网络，以快速的方式分割病变。采用稠密连接条件随机场（DCRF）对分割结果进行优化。我们仅使用T1 w MRI分割PWML。实验结果表明，该模型可以很好地分割出普通大小甚至像素大小的病变。Dice相似系数为0.6616，敏感度为0.7069，特异度为0.9997，Hausdorff距离为52.9130。所提出的方法优于国家的最先进的算法。(The本文的代码可在https：//github.com/YalongLiu/Refined-Segmentation-R-CNN上获得）
Computer-aided Tumor Diagnosis in Automated Breast Ultrasound using 3D Detection Network
自动乳腺超声（Automated breast ultrasound，ABUS）是一种新的乳腺癌检测和诊断的影像学手段，它能提供直观的三维信息和冠状面信息，具有很高的诊断价值。然而，从ABUS图像手动筛查和诊断肿瘤是非常耗时的，并且可能会忽略异常。在这项研究中，我们提出了一种新的两阶段3D检测网络定位可疑病变区域，并进一步将病变分类为良性或恶性肿瘤。具体来说，我们提出了一个三维检测网络，而不是常用的分割网络来定位ABUS图像中的病变，因此我们的网络可以充分利用ABUS图像中的空间上下文信息。设计了一种新的相似性损失，以有效地区分病变和背景。然后采用分类网络将定位的病变识别为良性或恶性。采用IoU平衡的分类损失来提高分类和定位任务之间的相关性。我们的网络的有效性从418例患者的145个良性肿瘤和273个恶性肿瘤的收集数据集进行了验证。实验表明，我们的网络达到了97.66%的灵敏度与1.23假阳性（FP），并具有曲线下面积（AUC）值为0.8720。
A Computer-Aided Diagnosis System for Breast Pathology: A Deep Learning Approach with Model Interpretability from Pathological Perspective
目的：我们使用深度学习方法开发了一个计算机辅助诊断（CAD）系统，用于乳腺癌全切片图像（WSIs）的病变检测和分类。在这项研究中，从卷积神经网络（CNN）的分类区分的深层特征被证明使用病理知识的建议的CAD系统提供全面的可解释性。研究方法：在实验中，共收集了186个WSI切片，并将其分为三类：非癌、导管原位癌（DCIS）和浸润性导管癌（IDC）。而不是直接进行像素级分类成三类，我们设计了一个分层框架与多视图方案，执行病变检测区域建议在较高的放大率，然后进行病变分类在较低的放大率为每个检测到的病变。结果如下：通过5重交叉验证，三类分类的切片级准确率达到90.8%（99/109），在测试集上达到94.8%（73/77）。实验结果表明，基于深度学习模型的病变分类算法所学习到的形态特征和共生特性符合临床诊断规律。结论：深度特征的病理可解释性不仅增强了所提出的CAD系统的可靠性以获得医学专家的认可，而且还促进了用于病理学中各种任务的深度学习框架的开发。重要性：本文介绍了一个病理图像分析的CAD系统，它满足了临床的要求，可以接受的医学专家提供其解释从病理的角度。
Multi-task Ensembles with Crowdsourced Features Improve Skin Lesion Diagnosis
机器学习需要大量的注释数据。由于专家注释的高成本，众包，其中非专家被要求标记或概述图像，已被提议作为替代方案。尽管有许多有希望的结果被报道，但诊断众包标签的质量仍然不清楚。我们建议通过询问人群图像的视觉特征来解决这个问题，这些特征可以更直观地提供，并通过集成策略在多任务学习框架中使用这些特征。我们将我们提出的方法与来自ISIC 2017挑战数据集的一组2000个皮肤病变的基线模型进行了比较。基线模型仅预测来自皮肤病变图像的二进制标签，而我们的多任务模型还预测以下特征之一：病变的不对称性、边界不规则性和颜色。我们发现，具有单个众包功能的多任务模型对模型的影响有限，但当组合在一个集合中时，会导致更好的泛化。基线模型的受试者工作特征曲线下面积为0.794，多任务集成的受试者工作特征曲线下面积分别为0.811和0.808。最后，我们讨论了研究结果，确定了一些局限性，并建议进一步研究的方向。这些模型的代码可在https://github.com/raumannsr/hints_crowd上获得。
Skin Lesion Diagnosis Using Convolutional Neural Networks
本研究利用DenseNet121、带批量归一化的VGG16和ResNet50等卷积神经网络架构，结合mixup和测试时增强等技术，在8012张图像数据集上端到端训练皮肤病变诊断模型，实现七类病变及良恶性分类，性能优于传统方法。
The Skincare project, an interactive deep learning system for differential diagnosis of malignant skin lesions. Technical Report
皮肤科医生的短缺导致寻求皮肤科护理的患者等待时间很长。此外，据报道，全科医生的诊断准确率低于人工智能软件的准确率。本文介绍了护肤项目（H2020，EIT Digital）。贡献包括基于交互式机器学习（IML）的临床决策支持技术，这是数字欧洲医疗保健基础设施的参考架构（也参考EIT MCPS），用于聚合数字化患者信息的技术组件，以及将决策支持技术集成到临床试验台环境中。然而，其主要贡献是为患者和医生提供皮肤病学诊断和决策支持系统，这是一个用于恶性皮肤病变鉴别诊断的交互式深度学习系统。在本文中，我们描述了它的功能和用户界面，以促进机器从人类输入中学习。基线深度学习系统提供了最先进的结果，并有可能增强全科医生甚至皮肤科医生的能力，该系统是使用来自皮肤病学图像数据库（ISIC）的去识别病例开发和验证的，该数据库有大约20000个用于开发和验证的病例，由委员会认证的皮肤科医生提供，定义了每个病例的参考标准。ISIC允许进行鉴别诊断，这是一个八种诊断的排名列表，用于在诊断模糊的常见环境中规划治疗。我们给出了护肤项目的成果的总体描述，我们专注于IML中支持人与机器之间的通信和协调的步骤。这是医疗领域未来认知助手发展的一个组成部分，我们描述了必要的智能用户界面。
A deep learning model for classification of diabetic retinopathy in eye fundus images based on retinal lesion detection
糖尿病视网膜病变（DR）是糖尿病并发症影响视网膜的结果。如果不及时诊断和治疗，它会导致失明。眼科医生通过筛查每个患者并通过眼部成像分析视网膜病变来进行诊断。在实践中，这种分析既耗时又繁琐。提出了一种眼底DR图像自动分类模型。该方法识别与DR相关的主要眼部病变，并随后诊断疾病。所提出的方法遵循与临床医生相同的工作流程，提供可以在临床上解释以支持预测的信息。Kaggle EyePACS和Messidor-2数据集的一个子集，标记有眼部病变，是公开可用的。kaggle EyePACS子集用作训练集，Messidor-2用作病变和DR分类模型的测试集。对于DR诊断，我们的模型的曲线下面积、灵敏度和特异性分别为0.948、0.886和0.875，与最先进的方法竞争。
MT-TransUNet: Mediating Multi-Task Tokens in Transformers for Skin Lesion Segmentation and Classification
自动化皮肤癌诊断的最新进展已经产生了与董事会认证的皮肤科医生相当的性能。然而，这些方法将皮肤癌诊断制定为简单的分类任务，忽略了病变分割的潜在益处。我们认为，一个准确的病变分割可以补充分类任务与附加的病变信息，如不对称性，边界，强度和物理大小，反过来，一个忠实的病变分类可以支持与判别病变特征的分割任务。为此，本文提出了一种新的多任务框架，名为MT-TransUNet，这是能够分割和分类皮肤病变协同调解多任务令牌在Transformers。此外，我们还引入了双任务和参与区域一致性损失，以利用那些没有像素级注释的图像，确保模型在遇到具有增强的相同图像时的鲁棒性。我们的MT-TransUNet超过了ISIC-2017和PH 2中病变分割和分类任务的先前最先进水平;更重要的是，它保留了模型参数方面令人信服的计算效率（48 M ~vs.~ 130 M）和推理速度（0.17s~vs.~ 2.02s/图像）。代码将在https://github.com/JingyeChen/MT-TransUNet上提供。
Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis
本研究提出双层级关系框架，结合隐式图像块关系建模与显式图结构消息传递，在ISIC-2018、ISIC-2019皮肤病变诊断基准上提升了平衡准确率，其中集成网格结构的图注意力网络表现最优。
Liver Steatosis Segmentation with Deep Learning Methods
肝脂肪变性是指细胞内脂质的异常积累。准确定量肝组织病理学显微镜图像中的脂肪变性面积在肝脏疾病诊断和移植评估中起着重要作用。这样的定量分析通常需要精确的脂肪变性分割，这是具有挑战性的，因为大量存在高度重叠的脂肪变性液滴。在本文中，使用深度学习模型Mask-RCNN将脂肪变性液滴分割成团块。从Faster R-CNN扩展而来，Mask-RCNN除了边界框检测之外还可以预测对象掩码。通过迁移学习，所得到的模型能够分割重叠的脂肪变性区域，平均精度为75.87%，召回率为60.66%，F1评分为65.88%，Jaccard指数为76.97%，有望在未来的临床实践中支持肝脏疾病诊断和移植排斥反应预测。
Deep Transfer Learning for Automated Diagnosis of Skin Lesions from Photographs
黑色素瘤不是最常见的皮肤癌，但它是最致命的。目前，这种疾病是由皮肤科专家诊断的，这是昂贵的，需要及时获得医疗。深度学习的最新进展有可能提高诊断性能，加快紧急转诊并减轻临床医生的负担。通过智能手机，该技术可以覆盖那些通常无法获得此类医疗服务的人，例如世界偏远地区，由于财政限制或2020年COVID-19取消。为此，我们研究了各种迁移学习方法，方法是利用在ImageNet上预训练的模型参数，对黑色素瘤检测进行微调。我们比较了EfficientNet，MnasNet，MobileNet，DenseNet，SqueezeNet，ShuffleNet，GoogleNet，ResNet，ResNeXt，VGG和一个简单的CNN，有和没有迁移学习。我们发现移动网络，EfficientNet（具有迁移学习）实现了最佳的平均性能，接收器操作特征曲线（AUROC）下的面积为0.931 $\pm$ 0.005，精确召回曲线（AUPRC）下的面积为0.840 $\pm$ 0.010。这明显优于全科医生（0.83 $\pm$ 0.03 AUROC）和皮肤科医生（0.91 $\pm$ 0.02 AUROC）。
CAMEO: A Class-Activation-Mapped Equitable Overlay Framework for Fair and Robust Deep Learning-based Skin Condition Diagnosis
本研究提出CAMEO框架，利用可解释AI的稳定解释分离病变与背景并替换为合成皮肤，在保持准确率的同时将背景驱动错误减少近四倍，提升皮肤病变分类的稳健性与公平性。
Rethinking Annotation Granularity for Overcoming Shortcuts in Deep Learning-based Radiograph Diagnosis: A Multicenter Study
两个DL模型分别使用X线片级注释（有或无疾病）和细粒度病变级注释（病变边界框）开发，分别命名为CheXNet和CheXDet。在测试集（n= 2，922）上比较了模型的内部分类性能和病变定位性能，在NIH-Google（n= 4，376）和PadChest（n= 24，536）数据集上比较了外部分类性能，在NIH-ChestX-ray 14数据集（n=880）上比较了外部病变定位性能。还将模型与放射科医生在内部测试集的子集（n=496）上进行了比较。如果有足够的训练数据，这两个模型都可以对放射科医生进行验证。CheXDet在外部分类方面取得了显著改善，例如在NIH-Google（CheXDet ROC曲线下面积[AUC]：0.67，CheXNet AUC：0.51; p<.001）和PadChest（CheXDet AUC：0.78，CheXNet AUC：0.55; p<.001）上对骨折进行分类。对于所有数据集上的大多数异常，CheXDet实现了比CheXNet更高的病变检测性能，例如在检测内部集上的气胸（CheXDet jacknife alternative free-response ROC-figure of merit [JAFROC-FOM]：0.87，CheXNet JAFROC-FOM：0.13; p<.001）和NIH-ChestX-ray 14（CheXDe…
Improving the diagnosis of breast cancer based on biophysical ultrasound features utilizing machine learning
提高超声乳腺检查的诊断准确性仍然是一个重要的目标。在这项研究中，我们提出了一种基于生物物理特征的机器学习方法，用于乳腺癌检测，以提高性能，超越基准深度学习算法，并进一步提供病变内恶性肿瘤概率的彩色叠加视觉地图。这种整体框架被称为疾病特异性成像。之前，分别使用修改后的全卷积网络和修改后的GoogLeNet对150个乳腺病变进行了分割和分类。在这项研究中，在轮廓病变内进行多参数分析。基于生物物理学和形态学模型，从超声射频、包络和对数压缩数据中提取特征。采用高斯核的支持向量机构造非线性超平面，计算超平面与多参数空间中每个特征点的距离。该距离可以定量地评估病变，并且建议被颜色编码并覆盖到B模式图像上的恶性肿瘤的概率。对体内患者数据进行训练和评价。在我们的研究中，最常见类型和大小的乳腺病变的分类总体准确率超过98.0%，受试者工作特征曲线下面积为0.98，比放射科医生和深度学习系统的表现更精确。此外，概率和BI RADS之间的相关性使得能够定量指导来预测乳腺癌。因此，我们期望所提出的框架可以帮助放射科医生实现更准确和方便的乳腺癌分类和检测。
Evidence-Driven Differential Diagnosis of Malignant Melanoma
提出模块化多层次框架，整合病灶、患者和人群上下文，引入解剖部位感知掩码变换器及可学习人口统计嵌入，在 SIIM-ISIC 2020 上分别提升特异性 17.15% 和 7.14%，实现恶性黑色素瘤的循证鉴别诊断。
Generative Adversarial Networks based Skin Lesion Segmentation
提出基于对抗学习的EGAN框架用于皮肤病变分割，通过生成器和判别器模块及形态学平滑损失生成准确掩膜，在ISIC 2018数据集上超越现有方法，并设计轻量级MGAN框架以适应低算力环境。
Explainable Deep Learning Algorithm for Distinguishing Incomplete Kawasaki Disease by Coronary Artery Lesions on Echocardiographic Imaging
背景与目的：不完全型川崎病（KD）由于缺乏经典型KD的临床表现，常被误诊。然而，它与冠状动脉病变的患病率明显较高有关。通过超声心动图识别冠状动脉病变对于KD的及时诊断和良好的预后非常重要。此外，与KD类似，目前引起全球大流行的2019年冠状病毒病也表现为发热;因此，在儿童发热性疾病中明确区分KD至关重要。在这项研究中，我们旨在验证用于KD和其他急性发热疾病分类的深度学习算法。方法：对88例川崎病患儿和65例肺炎患儿行超声心动图检查。我们使用收集的数据训练了六个深度学习网络（VGG 19，Xception，ResNet 50，ResNext 50，SE-ResNet 50和SE-ResNext 50）。结果：SE-ResNext 50在分类的准确性、特异性和精确性方面表现出最佳性能。SE-ResNext 50的准确性为76.35%，敏感性为82.64%，特异性为58.12%。结论：我们的研究结果表明，深度学习算法在检测冠状动脉病变以促进KD诊断方面与经验丰富的心脏病专家具有相似的性能。
DSNet: Automatic Dermoscopic Skin Lesion Segmentation
皮肤病变的自动分割是黑色素瘤计算机辅助诊断（CAD）的关键步骤。尽管它的意义，皮肤病变分割仍然是一个具有挑战性的任务，由于其不同的颜色，纹理和难以区分的边界，并形成一个开放的问题。通过这项研究，我们提出了一个新的和自动的语义分割网络强大的皮肤病变分割皮肤镜皮肤网络（DSNet）。为了减少参数的数量以使网络轻量化，我们使用深度可分离卷积代替标准卷积，将学习到的鉴别特征投影到编码器不同阶段的像素空间上。此外，我们还实现了U-Net和全卷积网络（FCN 8 s），以与建议的DSNet进行比较。我们在两个公开的数据集上评估了我们提出的模型，即ISIC-2017和PH 2。ISIC-2017和PH 2数据集的平均交集（mIoU）分别为77.5%和87.0%，在mIoU方面优于ISIC-2017挑战获胜者1.0%。我们提出的网络在ISIC-2017数据集上的mIoU方面也分别优于U-Net和FCN 8 3.6%和6.8%。我们的皮肤病变分割网络优于其他方法，可以在两个不同的测试数据集上提供更好的分割掩模，从而提高黑色素瘤检测的性能。我们的训练模型以及源代码和预测掩码都是公开的。
ExAID: A Multimodal Explanation Framework for Computer-Aided Diagnosis of Skin Lesions
在临床工作流程中成功部署基于人工智能的计算机辅助诊断（CAD）系统的一个主要障碍是缺乏透明的决策。虽然常用的可解释的人工智能方法提供了一些对不透明算法的见解，但这种解释通常是令人费解的，除非是训练有素的专家，否则不容易理解。皮肤镜图像对皮肤病变恶性程度的判断需要特别清晰的解释，因为潜在的医学问题定义本身就不明确。这项工作提出了ExAID（皮肤病学可解释人工智能），这是一种用于生物医学图像分析的新框架，提供了多模态的基于概念的解释，包括易于理解的文本解释，并辅以视觉地图来证明预测的合理性。ExAID依赖于概念激活向量将人类概念映射到潜在空间中的任意深度学习模型所学习的概念，并依赖于概念定位图来突出输入空间中的概念。相关概念的识别，然后用来构建细粒度的文本解释，辅以概念明智的位置信息，以提供全面和连贯的多模态解释。所有信息都在诊断界面中全面呈现，供临床常规使用。一种教育模式为数据和模型探索提供了数据库级别的解释统计和工具，以帮助医学研究和教育。通过严格的定量和定性评估ExAID，我们显示了多模态解释CAD辅助的情况下，即使在错误的预测的效用。我们相信ExAID将为皮肤科医生提供一个他们都理解和信任的有效筛查工具。此外，它将是在其他生物医学成像领域的类似应用的基础。
Ocular Diseases Diagnosis in Fundus Images using a Deep Learning: Approaches, tools and Performance evaluation
从眼底图像中检测眼部病理对医疗保健提出了重要挑战。事实上，每种病理都有不同的严重程度阶段，可以通过验证特定病变的存在来推断。每个病变的特征在于形态学特征。此外，不同病理的几种病变具有相似的特征。我们注意到患者可能同时受到几种病理的影响。因此，眼部病理检测呈现出具有复杂分辨率原理的多类分类。已经提出了几种从眼底图像中检测眼部病变的方法。基于深度学习的方法具有更高的检测性能，因为它们能够根据检测目标配置网络。这项工作提出了基于深度学习的眼部病理检测方法的调查。首先，我们研究了现有的方法，无论是病变分割或病理分类。之后，我们提取处理的原则步骤，我们分析了建议的神经网络结构。随后，我们确定了采用深度学习架构所需的硬件和软件环境。此后，我们研究了有关的实验原则，以评估用于训练和测试阶段的方法和数据库。检测性能比和执行时间也报告和讨论。
Pseudo-Labeling for Small Lesion Detection on Diabetic Retinopathy Images
糖尿病视网膜病变（DR）是全球工作年龄人群失明的主要原因。每年约有300万至400万糖尿病患者因DR而失明。通过彩色眼底图像诊断DR是缓解这种问题的常用方法。然而，DR诊断是一项困难且耗时的任务，需要经验丰富的临床医生识别高分辨率图像上许多小特征的存在和意义。卷积神经网络（CNN）是近年来发展起来的一种生物医学图像自动分析方法。在这项工作中，我们研究DR眼底图像的病变检测与基于CNN的目标检测方法。眼底图像上的病变检测面临两个独特的挑战。第一个是我们的数据集没有完全标记，即，仅标记所有病变实例的子集。这些未标记的病变实例不仅不会对模型的训练做出贡献，而且会被错误地视为假阴性，导致模型向相反的方向移动。第二个挑战是病变实例通常非常小，使得它们难以被正常的对象检测器发现。为了解决第一个挑战，我们引入了一个迭代训练算法的半监督方法的伪标记，其中可以发现相当数量的未标记的病变实例，以提高性能的病变检测器。对于小尺寸目标问题，我们扩展了特征金字塔网络（FPN）的输入尺寸和深度，以产生一个大的CNN特征图，它可以保留小病灶的细节，从而提高病灶检测器的有效性。实验结果表明，我们提出的方法显着优于基线。
Transfer Learning in 4D for Breast Cancer Diagnosis using Dynamic Contrast-Enhanced Magnetic Resonance Imaging
使用动态对比度增强磁共振成像（DCE-MRI）的深度迁移学习在乳腺病变的表征中显示出强大的预测能力。然而，预训练的卷积神经网络（CNN）需要2D输入，限制了利用DCE-MRI中固有的丰富4D（体积和时间）图像信息的能力，这些信息对病变评估具有临床价值。从头开始训练3D CNN是一种利用医学图像中高维信息的常用方法，计算成本很高，并且不适合中等规模的医疗数据集。因此，我们提出了一种使用迁移学习的新方法，该方法结合了来自DCE-MRI的4D信息，其中体积信息通过沿着垂直于横向切片的投影的最大池化在特征级被折叠，并且时间信息包含在第二次对比减影图像中。我们的方法在1161个乳腺病变的数据集上产生了0.89+/-0.01的受试者工作特征曲线下面积，显著优于先前通过使用最大强度投影（MIP）图像在DCE-MRI中结合4D信息的方法。
Uncertainty-Aware and Explainable Ensemble Deep Learning Framework for Multi-Class Skin Lesion Classification
针对皮肤癌诊断的难点，提出集成MaxViT-Tiny与两类CNN模型的深度学习框架，结合MC Dropout估测不确定性、Grad-CAM++提供可解释性，在HAM10000数据集上取得优异分类性能，支撑可信计算机辅助诊断。
Evaluating Machine Learning-based Skin Cancer Diagnosis
该研究基于 HAM10000 评估 MobileNet 模型与自定义 CNN 的皮肤癌分类性能，结合显著性图、积分梯度及均等几率分析可解释性与肤色公平性，并用校准后处理降低误诊差异。
MFSNet: A Multi Focus Segmentation Network for Skin Lesion Segmentation
医学图像分割是医学图像分析的基础，它可以识别和定位疾病，监测形态变化，并提取有区别的特征用于进一步诊断。皮肤癌是全球最常见的癌症类型之一，其早期诊断对于从体内完全消除恶性肿瘤至关重要。本研究开发了一个人工智能（AI）框架，用于采用深度学习方法进行监督皮肤病变分割。所提出的框架，称为MFSNet（多焦点分割网络），使用不同比例的特征图计算最终的分割掩模使用原始输入RGB图像的皮肤病变。在这样做时，最初，对图像进行预处理以去除不需要的伪影和噪声。MFSNet采用Res2Net主干，这是一种最近提出的卷积神经网络（CNN），用于获得并行部分解码器（PPD）模块中使用的深度特征，以获得分割掩码的全局映射。在网络的不同阶段，卷积特征和多尺度映射用于两个边界注意力（BA）模块和两个反向注意力（RA）模块，以生成最终的分割输出。MFSNet在三个公开可用的数据集上进行评估：$PH^2$，ISIC 2017和HAM 10000，表现优于最先进的方法，证明了框架的可靠性。建议方法的相关代码可在https://github.com/Rohit-Kundu/MFSNet上查阅
GlanceSeg: Real-time microaneurysm lesion segmentation with gaze-map-guided foundation model for early detection of diabetic retinopathy
GlanceSeg是一种基于SAM的人机交互无标签框架，利用眼科医生注视图定位并分割眼底图像中的微血管瘤，实现早期糖尿病视网膜病变的实时检测，并通过领域知识过滤和微调提升性能。
T-CACE: A Time-Conditioned Autoregressive Contrast Enhancement Multi-Task Framework for Contrast-Free Liver MRI Synthesis, Segmentation, and Diagnosis
提出T-CACE框架直接从非对比MRI合成多期对比增强MRI，通过条件令牌编码、动态时间感知注意力掩码和时间分类一致性约束，在合成、分割和分类任务上优于现有方法，提升了诊断的安全性与效率。
Mask2Lesion: Mask-Constrained Adversarial Skin Lesion Image Synthesis
皮肤病变分割是皮肤癌诊断和治疗中的一项重要任务。尽管基于深度学习的方法显著提高了分割精度，但这些算法仍然依赖于足够大的数据集才能获得足够的结果。受生成对抗网络（GANs）巨大成功的启发，我们提出了一种基于GAN的原始数据集增强，以提高分割性能。特别地，我们使用训练数据集中可用的分割掩模来训练Mask2Lesion模型，并使用该模型在给定任意掩模的情况下生成新的病变图像，然后将其用于增强原始训练数据集。我们在ISBI ISIC 2017皮肤病变分割挑战数据集上测试了Mask2Lesion增强，与仅使用经典数据增强技术训练的模型相比，平均Dice评分提高了5.17%。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。