Unified Multi-Foundation-Model Slide Representation for Pan-Cancer Recognition and Text-Guided Tumor Localization
Department of Pathology, College of Medicine, The Ohio State University Wexner Medical Center(病理学系,医学学院,俄亥俄州立大学韦克斯纳医学中心);Department of Biomedical Engineering, The Ohio State University(生物医学工程系,俄亥俄州立大学)
本文提出ASTRA框架,通过整合异构基础模型表示,结合结构化病理标注字段,实现统一的滑片表示学习,支持多类别分类和文本引导的肿瘤定位。
2026-04-21 cs.CV
A Deep Learning based Pipeline for Efficient Oral Cancer Screening on Whole Slide Images
Uppsala University(乌普萨拉大学);Karolinska Universitetsjukhuset(卡罗林斯卡大学医院)
口腔癌的发病率在世界范围内迅速增加。癌症存活率最重要的决定因素是早期诊断。为了便于大规模筛查,我们提出了一个全自动的管道,用于在整个载玻片细胞学图像上进行口腔癌检测。该流水线包括基于完全卷积回归的细胞核检测,然后是每细胞焦点选择和基于CNN的分类。我们新颖的焦点选择步骤以人类水平的精度提供快速的每个细胞焦点决策。我们证明,该管道提供了有效的癌症分类的全载玻片细胞学图像,提高了以前的结果在准确性和可行性方面。完整的源代码可以在https://github.com/MIDA-group/OralScreen上找到。
2020-04-15 cs.CV eess.IV
Structure-aware scale-adaptive networks for cancer segmentation in whole-slide images
Queen Mary University of London(伦敦玛丽女王大学);Communication University of Zhejiang(浙江传媒学院);University of Leicester(莱斯特大学)
全切片图像中的癌症分割是估计存活肿瘤负荷的基本步骤,这对于癌症评估具有重要价值。然而,模糊的边界或与存活肿瘤区域分离的小区域等因素使其成为一项具有挑战性的任务。考虑到多尺度特征在各种视觉相关任务中的有用性,我们提出了一种结构感知的尺度自适应特征选择方法,用于高效准确的癌症分割。基于一个流行的编码器-解码器结构的分割网络,提出了一个尺度自适应模块,用于选择更鲁棒的特征来表示模糊的,非刚性的边界。此外,提出了一种结构相似性度量,以更好地处理小区域分割的组织结构意识。此外,先进的设计,包括几个注意力机制和选择核卷积应用于基线网络进行比较研究的目的。广泛的实验结果表明,与PAIP 2019挑战中提交的前十名结果相比,所提出的结构感知尺度自适应网络在肝癌分割方面表现出色。对结直肠癌分割的进一步评估表明,在考虑效率和准确性之间的权衡时,尺度自适应模块改善了基线网络或优于其他优秀的注意力机制设计。
2021-09-26 cs.CV cs.LG eess.IV
A Whole Slide Image Grading Benchmark and Tissue Classification for Cervical Cancer Precursor Lesions with Inter-Observer Variability
Yildiz Technical University(耶尔德兹理工大学);Istanbul Medipol University Hospital(伊斯坦布尔梅迪波尔大学医院);Istanbul Technical University(伊斯坦布尔理工大学)
宫颈癌是由人乳头状瘤病毒(HPV)引起的癌前病变发展而来的,是可以通过定期筛查预防的癌症之一。有两种类型的分级惯例被病理学家广泛接受。另一方面,观察者间的变异性是最终诊断的重要问题。本文介绍了一种宫颈癌前病变的全切片图像分级基准。宫颈上皮的乳头和重叠的细胞问题的处理和一个新的形态学特征,利用BM和所有核的主轴之间的相对取向的组织分类方法的开发和其性能进行评价。此外,观察者之间的差异也揭示了一个彻底的比较病理学家的决定,以及,最终的诊断。
2018-12-26 cs.CV
DeepSDCS: Dissecting cancer proliferation heterogeneity in Ki67 digital whole slide images
Institute of Cancer Research(癌症研究所);Royal Marsden Hospital(皇家马斯登医院)
Ki67是乳腺癌的重要生物标志物。组织学切片中阳性和阴性Ki67细胞的分类是确定癌症增殖状态的常用方法。然而,缺乏可推广和准确的方法来自动化大规模患者队列中的Ki67评分。在这项工作中,我们采用了一种基于超列描述符的新型深度学习技术,用于Ki67图像中的细胞分类。具体来说,我们开发了同时检测和细胞分割(DeepSDCS)网络来执行细胞分割和检测。采用VGG 16网络对训练数据进行训练和微调。我们提取每个细胞的超列描述符,形成特定层的激活向量,以捕获不同粒度的特征。使用随机梯度下降优化器传播来自这些层的对应于相同像素的特征,以产生细胞核的检测和最终的细胞分割。随后,将从细胞分割产生的种子传播到空间约束的卷积神经网络,用于将细胞分类为基质、淋巴细胞、Ki 67阳性癌细胞和Ki 67阴性癌细胞。我们在雌激素受体阳性乳腺癌的大规模临床试验中验证了其准确性。我们在Ki67染色的乳腺癌数据集的两个单独的测试集上实现了99.06%和89.59%的准确性,包括活检和全载玻片图像。
2018-06-28 cs.CV
Advances in Multiple Instance Learning for Whole Slide Image Analysis: Techniques, Challenges, and Future Directions
本综述梳理了多示例学习(MIL)应用于千兆像素级全切片图像(WSI)病理分析的挑战与各类技术方法,探讨其在癌细胞研究、可解释模型构建等方向的潜力,为领域研究者提供现状参考与未来方向启发。
2024-08-18 cs.CV cs.LG
CNN-based Approach for Cervical Cancer Classification in Whole-Slide Histopathology Images
Faculty of Sciences(理学院);Mohammed V University(穆罕默德五世大学);École Normale Supérieure(高等师范学院)
到2040年,宫颈癌每年将导致46万人死亡,其中约90%是撒哈拉以南非洲妇女。非洲的发病率不断上升,使宫颈癌成为世界卫生组织(世卫组织)在筛查、诊断和治疗方面的优先事项。传统上,癌症诊断主要依赖于组织病理学评估,这是一种非常容易出错的程序,需要智能计算机辅助系统作为低成本的患者安全机制,但数字病理学中缺乏标记数据限制了其适用性。在这项研究中,一些来自TCGA数据门户的宫颈组织数字切片被预处理以克服整个切片图像的障碍,并被包括在我们提出的VGG 16-CNN分类方法中。我们的结果实现了98.26%的准确率和97.9%的F1分数,这证实了迁移学习在这个弱监督任务上的潜力。
2020-05-28 cs.CV eess.IV
Unsupervised Learning of Deep-Learned Features from Breast Cancer Images
Marshall University(马歇尔大学);Troy University(特洛伊大学);Virginia State University(弗吉尼亚州立大学)
在整个载玻片图像中手动检测癌症需要大量的时间和精力,这是一个费力的过程。全切片图像分析的最新进展刺激了基于机器学习的方法的增长和发展,这些方法提高了癌症疾病诊断的效率和有效性。在本文中,我们提出了一种无监督学习方法检测乳腺浸润癌(BRCA)的整个载玻片图像中的癌症。所提出的方法是完全自动化的,在无监督学习过程中不需要人工参与。我们证明了所提出的方法在BRCA癌症检测中的有效性,并展示了机器如何在无监督学习过程中选择最合适的聚类。此外,我们提出了一个原型应用程序,使用户能够选择相关的组映射到整个幻灯片图像中的组相关的所有区域。
2020-06-21 cs.CV cs.LG eess.IV
Optimizing Lymphocyte Detection in Breast Cancer Whole Slide Imaging through Data-Centric Strategies
Université Paris Cité(巴黎城市大学);Laboratoire d'Informatique Paris Descartes (LIPADE)(巴黎笛卡尔计算机实验室(LIPADE))
本文提出以数据为中心的优化流程,通过数据集增强策略,在不修改YOLOv5架构的情况下提升乳腺癌全切片图像中淋巴细胞检测性能,并展示其泛化潜力。
2024-05-22 cs.CV cs.LG eess.IV
Colorectal Cancer Outcome Prediction from H&E Whole Slide Images using Machine Learning and Automatically Inferred Phenotype Profiles
School of Computer Science(计算机科学学院);School of Medicine(医学院);University of St Andrews(圣安德鲁斯大学)
数字病理学(DP)是一个新的研究领域,属于健康信息学的广泛保护伞。由于其潜在的重大公共卫生影响,近年来,DP一直吸引着大量的研究关注。然而,仍然存在广泛的重大概念和技术挑战,其中很少有比肿瘤学领域遇到的挑战更大的挑战。由于疾病的固有异质性,特别是非常大的图像,癌组织的数字病理切片的自动分析特别成问题。在本文中,我们介绍了一种新的基于机器学习的框架,用于从全数字化苏木精和伊红(H&E)染色的组织病理学切片中预测结直肠癌的结果。使用真实世界的数据集,我们证明了该方法的有效性,并提出了一个详细的分析,其不同的元素,证实了它的能力,提取和学习显着的,有区别的,和临床意义的内容。
2019-03-09 cs.CV eess.IV
Selecting Regions of Interest in Large Multi-Scale Images for Cancer Pathology
Stanford University(斯坦福大学)
最近在使用卷积神经网络(CNN)进行对象检测和图像分类方面的突破正在彻底改变医学成像的最新技术水平,特别是显微镜技术为计算机视觉算法提供了丰富的机会,以帮助医疗专业人员诊断从疟疾到癌症的疾病。显微镜载玻片的高分辨率扫描称为全载玻片图像(WSIs),可为癌症病理学家提供足够的信息,以便基于多尺度和分辨率下载玻片图像内特征的测量结果得出有关癌症存在、亚型和严重程度的结论。WSI的极高分辨率和从总体解剖结构到细胞核的特征尺度排除了使用标准CNN模型进行对象检测和分类,其通常被设计用于具有数百像素尺寸的图像和具有图像本身大小的对象。我们探索基于强化学习和波束搜索的并行方法,以学习逐步放大WSI,以检测包含两种类型肝癌之一的肝脏病理切片中的感兴趣区域(ROI),即肝细胞癌(HCC)和胆管癌(CC)。然后,这些ROI可以直接呈现给病理学家,以帮助测量和诊断或用于肿瘤亚型的自动分类。
2020-07-03 cs.CV cs.LG eess.IV
Aligning Knowledge Concepts to Whole Slide Images for Precise Histopathology Image Analysis
The University of Hong Kong(香港大学);Wake Forest University(维克森林大学)
针对WSIs分析中仅依赖训练数据学习的局限,提出基于知识概念的MIL框架ConcepPath,利用GPT-4从文献提取疾病特异性专家概念并结合可学习概念,在三项病理任务中显著优于现有SOTA方法。
2024-11-27 cs.CV cs.LG
Label Cleaning Multiple Instance Learning: Refining Coarse Annotations on Single Whole-Slide Images
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medicine(约翰斯·霍普金斯医学院)
在病理学样本的全切片图像(WSIs)中注释癌区域在临床诊断、生物医学研究和机器学习算法开发中起着关键作用。然而,生成详尽且准确的注释是劳动密集型的、具有挑战性的并且成本高。仅绘制粗略和近似的注释是一项更容易的任务,成本更低,并且减轻了病理学家的工作量。在本文中,我们研究的问题,细化这些近似注释在数字病理学,以获得更准确的。以前的一些工作已经探索了从这些不准确的注释中获得机器学习模型,但很少有人解决细化问题,其中错误标记的区域应该被明确识别和纠正,并且所有这些都需要-通常非常大-数量的训练样本。我们提出了一种方法,名为标签清洗多实例学习(LC-MIL),细化粗注释在一个单一的WSI,而不需要外部训练数据。从具有不准确标签的WSI中裁剪的补丁在多实例学习框架内联合处理,从而减轻其对预测模型的影响并改进分割。我们在具有乳腺癌淋巴结转移、肝癌和结直肠癌样本的异质WSI集上的实验表明,LC-MIL显着细化了粗糙的注释,甚至在从单个幻灯片学习时,也优于最先进的替代方案。此外,我们展示了如何真正的病理学家绘制的注释可以有效地细化和改进所提出的方法。所有这些结果都表明LC-MIL是一种有前途的轻量级工具,可以从粗注释的病理集提供细粒度注释。
2022-06-07 cs.CV cs.LG
Deep learning-based detection of morphological features associated with hypoxia in H&E breast cancer whole slide images
University College London(伦敦大学学院);East Carolina University Brody School of Medicine(东卡罗来纳大学布罗迪医学院)
本研究提出利用弱监督深度学习(WSDL)模型在常规H&E乳腺癌全切片图像中检测缺氧相关形态学特征,在240例样本测试中平均AUC达0.87,为病理工作流程提供了一种无需额外昂贵检测的缺氧评估新方法。
2023-11-21 cs.CV cs.LG q-bio.TO
Detection and Localization of Melanoma Skin Cancer in Histopathological Whole Slide Images
University of Stavanger(斯塔万格大学);Stavanger University Hospital(斯塔万格大学医院)
针对皮肤癌病例增长、病理医生不足的问题,提出基于单个CNN的深度学习方法,可在全切片图像中检测定位黑色素瘤病变并进行切片级诊断,在未知数据上F1达0.992、灵敏度达0.99。
2023-11-04 cs.CV cs.LG eess.IV
A completely annotated whole slide image dataset of canine breast cancer to aid human breast cancer research
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校);Freie Universität Berlin(柏林自由大学);Animal Medical Center(动物医学中心)
犬乳腺癌(CMC)已被用作研究人类乳腺癌发病机制的模型,并且通常使用相同的分级方案来评估两者中的肿瘤恶性程度。该分级方案的一个关键组成部分是有丝分裂像(MF)的密度。目前公开可用的人类乳腺癌数据集仅为全载玻片图像(WSIs)的小子集提供注释。我们提出了一个新的数据集的21个WSI的CMC完全注释MF。为此,病理学家筛选了所有WSI中的潜在MF和具有相似外观的结构。第二个专家盲目地分配标签,对于不匹配的标签,第三个专家分配最终的标签。此外,我们使用机器学习来识别以前未检测到的MF。最后,我们进行了表示学习和二维投影,以进一步提高注释的一致性。我们的数据集包括13,907个MF和36,379个硬阴性。我们在测试集上实现了0.791的平均F1得分,在人类乳腺癌数据集上达到了0.696。
2020-11-27 cs.AI cs.CV
Whole-slide-imaging Cancer Metastases Detection and Localization with Limited Tumorous Data
最近,各种深度学习方法在医学图像分析中取得了显著的成功,特别是在苏木精和伊红(H&E)染色的全载玻片图像(WSIs)中检测癌症转移方面。然而,为了获得良好的性能,这些研究成果依赖于数以百计的良好注释的WSI。在这项研究中,我们解决了肿瘤定位和检测问题的设置下的几个标记的整个幻灯片图像,并介绍了一个基于块的分析管道的基础上最新的反向知识蒸馏架构。为了解决训练样本集中正常和肿瘤样本的极不平衡问题,我们将焦点损失公式应用于模型优化的表示相似性度量。与现有技术相比,我们的方法在公共Camelyon16数据集上通过不到10%的训练样本实现了类似的性能。此外,这是第一个工作,显示了巨大的潜力的知识蒸馏模型在计算组织病理学。
2023-03-18 cs.CV eess.IV
Vision Transformers with Autoencoders and Explainable AI for Cancer Patient Risk Stratification Using Whole Slide Imaging
University of Technology Sydney(悉尼科技大学)
本文提出PATH-X框架,结合视觉Transformer、自动编码器和SHAP,利用TCGA全切片成像进行癌症患者风险分层与预测,在乳腺癌和胶质瘤中表现良好,并提升了模型可解释性。
2025-04-08 cs.CV cs.LG eess.IV
EOCSA: Predicting Prognosis of Epithelial Ovarian Cancer with Whole Slide Histopathological Images
Tianjin University(天津大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);Shandong University(山东大学)
卵巢癌是威胁世界各地妇女的最严重的癌症之一。上皮性卵巢癌(Epithelial ovarian cancer,EOC)是卵巢癌中最常见的一种,在妇科恶性肿瘤中死亡率高,预后差。生存分析结果能够为医生提供治疗建议。近年来,随着医学成像技术的发展,基于病理图像的生存预测方法被提出。在这项研究中,我们设计了一个名为EOCSA的深层框架,它基于病理全切片图像(WSIs)分析EOC患者的预后。具体来说,我们首先从WSI中随机提取补丁,并将它们分组到多个集群中。接下来,我们开发了一个名为DeepConvAttentionSurv(DCAS)的生存预测模型,该模型能够提取斑块级别的特征,去除歧视性较低的聚类,并精确预测EOC生存。特别地,通道注意、空间注意和神经元注意机制被用来提高特征提取的性能。然后从我们的权重计算方法中生成患者水平的特征,并最终使用LASSO-Cox模型估计生存时间。所提出的EOCSA在预测EOC的预后方面是高效和有效的,并且DCAS确保可以提取更多信息和区分性特征。据我们所知,我们的工作是第一个基于WSI和深度神经网络技术分析EOC生存的工作。实验结果表明,我们提出的框架已经达到了最先进的性能0.980 C指数。可在https://github.com/RanSuLab/EOCprognosis上查阅该方法的实施情况。
2022-10-11 cs.CV cs.LG eess.IV
Slide-based Graph Collaborative Training for Histopathology Whole Slide Image Analysis
University of Science and Technology of China(中国科学技术大学);the First Affiliated Hospital of USTC(中国科学技术大学第一附属医院);Beijing Advanced Innovation Center on Biomedical Engineering(北京生物医学工程高精尖创新中心)
针对现有WSI分析忽略切片间关联的问题,提出通用流水线SlideGCD,通过图协同训练将癌症发展先验知识融入端到端工作流以优化切片表示,在4个任务和7个SOTA框架上验证了有效性和鲁棒性。
2024-10-14 cs.CV
Automatic tumour segmentation in H&E-stained whole-slide images of the pancreas
Radboud University Medical Center(拉德堡德大学医学中心)
胰腺癌很快将成为西方社会癌症相关死亡的第二大原因。CT、MRI和超声等成像技术通常有助于提供初步诊断,但组织病理学评估仍然是最终确认疾病存在和预后的金标准。近年来,机器学习方法和病理组学管道在改善其他癌症实体(如乳腺癌和前列腺癌)的诊断和治疗方面显示出潜力。这些流程中至关重要的第一步通常是肿瘤区域的识别和分割。理想情况下,这一步是自动完成的,以防止耗时的手动注释。我们提出了一个多任务卷积神经网络来平衡疾病检测和分割精度。我们在不同分辨率的29名患者(共58张幻灯片)的数据集上验证了我们的方法。最好的单任务分割网络在15.56 $μ$ m的分辨率下实现了0.885(0.122)IQR的中值Dice。我们的多任务网络在此基础上有所改进,Dice得分中位数为0.934(0.077)IQR。
2022-01-24 cs.CV cs.LG eess.IV
CAMIL: Context-Aware Multiple Instance Learning for Cancer Detection and Subtyping in Whole Slide Images
The Institute of Cancer Research(癌症研究所);Centre for Medical Image Computing(医学影像计算中心);University College London(伦敦大学学院)
针对现有全切片图像分析的多示例学习模型忽略上下文导致分类错误的问题,提出融合邻域约束注意力与上下文先验的CAMIL架构,在三个癌症诊断基准上取得优于前沿方法的AUC,且提升了模型可解释性。
2024-10-10 cs.CV
Whole-Slide Image Focus Quality: Automatic Assessment and Impact on AI Cancer Detection
Google AI Healthcare(谷歌AI医疗保健)
数字病理学支持远程访问或咨询以及强大的图像分析算法。然而,载玻片数字化过程可能产生诸如失焦(OOF)之类的伪影。OOF通常只有在仔细检查时才能检测到,这可能会导致重新扫描和工作流延迟。虽然扫描时间操作员筛选整个载玻片OOF是可行的,但手动筛选仅影响部分载玻片的OOF是不切实际的。我们开发了一个卷积神经网络(ConvFocus),以彻底定位和量化数字化切片上OOF区域的严重程度。ConvFocus是使用我们改进的半合成OOF数据生成过程开发的,并使用跨越3种不同组织类型和3种不同染色类型的真实全切片图像进行评估,这些图像由两种不同的扫描仪进行数字化。将ConvFocus的预测与病理学家注释的514个不同区域的聚焦质量等级进行比较,这些区域代表37,700个35 x35 $μ$ m图像块,以及21个包含已知OOF模式的数字化“z-堆叠”全载玻片图像。当与病理学家分级的焦点质量相比时,ConvFocus在两台扫描仪上实现了0.81和0.94的斯皮尔曼等级系数,并从z堆栈扫描中再现了预期的OOF模式。我们还评估了OOF对最先进的转移性乳腺癌检测器的准确性的影响,并发现随着OOF的增加,性能持续下降。全面的全切片OOF分类可以在病理学家审查之前进行重新扫描,从而可能减少数字化焦点问题对临床工作流程的影响。我们表明,在我们的半合成OOF数据上训练的算法可以很好地推广到跨组织类型,染色和扫描仪的…
2019-02-05 cs.CV
Decoding Future Risk: Deep Learning Analysis of Tubular Adenoma Whole-Slide Images
Dept. of Pathology(病理学系);Honeywell International Inc.(霍尼韦尔国际公司);South Bend Medical Foundation(南本德医疗基金会);Dept. of Electrical and Computer Engineering(电气与计算机工程系)
本研究利用深度学习分析管状腺瘤全切片图像,旨在通过检测细微组织学特征预测患者未来患结直肠癌的风险。
2026-02-09 cs.CV cs.LG
Deep Interactive Learning-based ovarian cancer segmentation of H&E-stained whole slide images to study morphological patterns of BRCA mutation
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);University of Ulsan College of Medicine(蔚山大学医学院);Asan Medical Center(峨山医学中心);Ajou University School of Medicine(亚洲大学医学院);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
深度学习已被广泛用于分析数字化苏木精和伊红(H&E)染色的组织病理学全切片图像。使用深度学习的自动癌症分割可用于诊断恶性肿瘤,并找到新的形态学模式来预测分子亚型。为了训练逐像素癌症分割模型,来自病理学家的手动注释由于其耗时性质而通常是瓶颈。在本文中,我们提出了深度交互式学习,使用来自不同癌症类型的预训练分割模型来减少手动注释时间。代替对来自千兆像素全载玻片图像上的癌症和非癌症区域的所有像素进行注释,对来自分割模型的错误标记的区域进行注释并且利用附加注释对模型进行训练/微调的迭代过程可以减少时间。特别是,采用预训练的分割模型可以比从头开始注释进一步减少时间。我们通过3.5小时的手动注释,使用预训练的乳腺分割模型训练了准确的卵巢癌分割模型,该模型实现了0.74的交叉-联合,0.86的召回率和0.84的精度。利用自动提取的高级别浆液性卵巢癌斑块,我们尝试训练另一种深度学习模型来预测BRCA突变。细分模型和代码已在https://github.com/MSKCC-Computational-Pathology/DMMN-ovary上发布。
2022-03-28 cs.CV eess.IV
Efficient subtyping of ovarian cancer histopathology whole slide images using active sampling in multiple instance learning
University of Leeds(利兹大学);Leeds Teaching Hospitals NHS Trust(利兹教学医院NHS信托基金会)
组织病理学切片的弱监督分类是一项计算密集型任务,典型的整个切片图像(WSI)包含数十亿像素要处理。我们提出了判别区域主动采样多实例学习(DRAS-MIL),一个计算效率高的幻灯片分类方法,使用注意力分数集中在高度判别区域的采样。我们将其应用于卵巢癌组织学亚型的诊断,这是患者护理途径的重要组成部分,因为不同的亚型具有不同的遗传和分子特征,治疗方案和患者结局。我们使用从利兹教学医院NHS信托的147名上皮性卵巢癌患者中获得的714个WSI的数据集来区分最常见的亚型,高级别浆液性癌,与其他四种亚型(低级别浆液性癌,类浆液性癌,透明细胞癌和粘液性癌)相结合。我们证明了DRAS-MIL可以实现与穷举载玻片分析相似的分类性能,与标准基于注意力的MIL分类的0.8781相比,具有3倍交叉验证的AUC为0.8679。我们的方法使用的内存最多是标准方法的18%,而在GPU上进行评估时占用33%的时间,仅在CPU上仅占用14%的时间。减少预测时间和内存需求可能有利于临床部署和人工智能的民主化,减少计算硬件限制最终用户采用的程度。
2023-02-22 cs.CV eess.IV
Self supervised learning improves dMMR/MSI detection from histology slides across multiple cancers
Owkin, Inc.(Owkin公司)
微卫星不稳定性(MSI)是一种肿瘤表型,其诊断在很大程度上影响结直肠癌(CRC)的患者护理,并与所有实体瘤中对免疫治疗的反应相关。直接从H&E染色的载玻片检测MSI肿瘤的深度学习模型在改善MSI患者的诊断方面显示出了希望。先前用于MSI检测的深度学习模型依赖于在ImageNet数据集上预训练的神经网络,该数据集不包含任何医学图像。在这项研究中,我们利用了自我监督学习的最新进展,通过使用MoCo V2在TCGA数据集的组织学图像上训练神经网络。我们发现,这些网络始终优于使用ImageNet预训练的对应网络,并获得了MSI检测的最新结果,CRC和胃肿瘤的AUC分别为0.92和0.83。这些模型在外部CRC队列中推广良好(PAIP上的AUC为0.97),并改善了从一个器官到另一个器官的转移。最后,我们表明,预测图像区域表现出有意义的组织学模式,并使用MoCo功能突出了更相关的模式,根据专家病理学家。
2021-09-13 cs.CV cs.LG eess.IV
A Dilated Residual Hierarchically Fashioned Segmentation Framework for Extracting Gleason Tissues and Grading Prostate Cancer from Whole Slide Images
Khalifa University(哈利法大学);Beihang University(北京航空航天大学);University of Louisville(路易斯维尔大学)
前列腺癌(PCa)是男性中第二致命的癌症形式,并且可以通过检查Gleason组织的结构表示来进行临床分级。本文提出了\RV{a new method}分割格里森组织\RV{(patch-wise) in order to grade PCa from the whole slide images (WSI).}此外,所提出的方法包括两个主要贡献:1)一个协同的混合膨胀因子和层次分解的潜在空间表示有效格里森组织提取,和2)一个三层的损失函数,可以惩罚不同的语义分割模型,准确地提取高度相关的模式。除此之外,在包含10,516个完整载玻片扫描(约71.7M块)的大规模PCa数据集上对所提出的框架进行了广泛评估,其中它在提取Gleason组织方面优于最先进的方案3.22%(就平均交叉-联合而言),在PCa进展分级方面优于最先进的方案6.91%(就F1评分而言)。
2021-07-25 cs.CV eess.IV
ModalTune: Fine-Tuning Slide-Level Foundation Models with Multi-Modal Information for Multi-task Learning in Digital Pathology
Sunnybrook Research Institute(辛普森布鲁斯研究所在);University of Toronto(多伦多大学);Google Research(谷歌研究)
ModalTune通过引入多模态信息和大型语言模型,实现数字病理学中多任务学习的统一细调框架,提升癌症生存和亚型预测性能。
2025-07-30 cs.CV cs.LG eess.IV
Pathological Prior-Guided Multiple Instance Learning For Mitigating Catastrophic Forgetting in Breast Cancer Whole Slide Image Classification
Renmin Hospital of Wuhan University(武汉大学人民医院);EPITA Research Laboratory(EPITA研究实验室)
提出PaGMIL框架,利用微观和宏观病理先验增强多实例学习,通过选择代表性斑块和提示引导分类头,缓解乳腺癌全切片图像分类中的灾难性遗忘,并在多个公开数据集上优于现有持续学习方法。
2025-03-25 cs.CV
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc(拉德堡德大学医学中心)
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题,提出采用层次视觉变换器(H-ViTs)进行前列腺癌分级,实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
Unsupervised Mutual Transformer Learning for Multi-Gigapixel Whole Slide Image Classification
Khalifa University of Science and Technology(哈利法科学技术大学);ITU(信息技术大学(巴基斯坦拉合尔));the University of Warwick(华威大学)
针对全切片图像分类依赖人工标注的问题,提出基于互Transformer学习的无监督算法,通过伪标签生成与清理模块互训及判别式学习实现分类,在四个公开数据集上性能优于现有最优方法。
2023-05-03 cs.CV cs.LG
Pan-Cancer Diagnostic Consensus Through Searching Archival Histopathology Images Using Artificial Intelligence
Huron Digital Pathology(休伦数字病理学公司);University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所);McMaster University(麦克马斯特大学);University of Pittsburgh Medical Center(匹兹堡大学医学中心)
数字病理学的出现为组织病理学和细胞学开辟了新的视野。医学智能算法能够在数字化切片上操作,以帮助病理学家完成诊断任务。虽然涉及分类和分割方法的机器学习对病理学中的图像分析有明显的好处,但图像搜索代表了计算病理学的根本转变。将新患者的病理与已经诊断和策划的病例相匹配,为病理学家提供了一种新的方法,通过对类似病例的目视检查和计算多数投票建立共识来提高诊断准确性。在这项研究中,我们报告了搜索来自近11,000名描绘不同类型恶性肿瘤患者的全切片图像的最大公共存储库(美国国家癌症研究所的癌症基因组图谱[TCGA]计划)的结果。我们首次成功地索引和搜索了近30,000张高分辨率数字化幻灯片,这些幻灯片构成了16 TB的数据,由2000万个1000x1000像素的图像块组成。TCGA图像数据库覆盖25个解剖部位,包含32种癌症亚型。高性能存储和GPU功率用于实验。用保守的“多数表决”评估结果,以通过垂直搜索建立亚型诊断的共识,并证明两个冷冻切片载玻片的高准确度值(例如,膀胱尿路上皮癌93%、肾透明细胞癌97%和卵巢浆液性囊腺癌99%)和永久性组织病理学载玻片(例如,前列腺腺癌98%,皮肤黑色素瘤99%,胸腺瘤100%)。这项验证研究的关键发现是,如果每种癌症亚型都有足够多的可搜索病例,那么计算共识似乎可以用于诊断。
2019-11-20 cs.CV cs.LG eess.IV
Deep Learning Methods for Lung Cancer Segmentation in Whole-slide Histopathology Images -- the ACDC@LungHP Challenge 2019
College of Aerospace Science and Engineering, National University of Defense Technology(国防科技大学航空航天科学与工程学院);Eindhoven University of Technology(埃因霍温理工大学);ScreenPoint Medical(ScreenPoint Medical 公司);Pingan Technology(平安科技);Lunit Inc.(Lunit 公司);Queen Mary University of London(伦敦玛丽女王大学);Beihang University(北京航空航天大学);Beijing Advanced Innovation Center for Biomedical Engineering(北京生物医学工程高精尖创新中心)
在病理切片中准确分割肺癌是改善患者护理的关键步骤。我们提出了ACDC@LungHP(全切片肺组织病理学中的自动癌症检测和分类)挑战,以评估不同的计算机辅助诊断(CAD)方法对肺癌的自动诊断。ACDC@LungHP 2019专注于全载玻片成像(WSI)中癌症组织的分割(逐像素检测),使用来自200名患者的150张训练图像和50张测试图像的注释数据集。本文回顾了这一挑战,并总结了前10名提交的肺癌分割方法。采用假阳性率、假阴性率和DICE系数(DC)对所有方法进行评价。DC范围为0.7354 $\pm$ 0.1149至0.8372 $\pm$ 0.0858。最佳方法的DC接近观察者间一致性(0.8398 $\pm$ 0.0890)。所有方法都基于深度学习,并分为两组:多模型方法和单模型方法。总体而言,多模型方法显著优于单模型方法($\textit{p}$ < $0.01$),平均DC分别为0.7966和0.7544。基于深度学习的方法可能有助于病理学家找到可疑区域,以进一步分析WSI中的肺癌。
2020-08-21 cs.CV eess.IV
Assessing the risk of recurrence in early-stage breast cancer through H&E stained whole slide images
Research Team(研究团队);Deep Bio Inc.(Deep Bio公司);National Cancer Center(国立癌症中心);Korea University Guro Hospital(韩国大学Guro医院)
本研究利用深度学习分析H&E染色的整张滑片图像,以预测早期乳腺癌复发风险,展示了该方法在风险分层中的潜力。
2025-04-09 cs.CV eess.IV
Foundation Models for Slide-level Cancer Subtyping in Digital Pathology
Instituto Universitario de Investigación en Tecnología Centrada en el Ser Humano (HUMAN-Tech)(以人为本技术大学研究院(HUMAN-Tech));Universitat Politécnica de Valencia(瓦伦西亚理工大学);Valencian Graduate School and Research Network for Artificial Intelligence (valgraAI)(瓦伦西亚人工智能研究生院与研究网络(valgraAI))
本文比较了不同预训练策略的特征提取器在MIL框架下对WSI癌症亚型分类的性能,证明基础模型在六种皮肤癌亚型预测上优于ImageNet预训练模型。
2024-10-21 cs.CV
Mapping the landscape of histomorphological cancer phenotypes using self-supervised learning on unlabeled, unannotated pathology slides
University of Glasgow(格拉斯哥大学);New York University School of Medicine(纽约大学医学院);New York University Langone Health(纽约大学朗格尼医学中心);Karolinska Institutet(卡罗林斯卡学院);University College London Hospital(伦敦大学学院医院)
本文提出自监督方法HPL,无需注释即可从病理切片自动发现判别性特征,分组形成组织形态学表型库,揭示良性到恶性轨迹,并与肺癌患者生存及多癌种临床分子表型对齐。
2023-09-01 cs.CV cs.LG
Deep learning-based approach to reveal tumor mutational burden status from whole slide images across multiple cancer types
Renji Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属仁济医院);Tencent AI Lab(腾讯AI实验室);College of Computer Science, Sichuan University(四川大学计算机学院)
本文提出多尺度深度学习框架MC-TMB,从常规病理全切片图像中预测多种癌症的肿瘤突变负荷状态,在交叉验证和外部验证队列中均取得优于单尺度模型及其他方法的AUC表现。
2023-05-27 cs.CV
Sparse Task Vector Mixup with Hypernetworks for Efficient Knowledge Transfer in Whole-Slide Image Prognosis
STEPH通过超网络实现稀疏任务向量混合,提升全滑片图像预后中的知识转移效率
2026-03-11 cs.CV
A Precision Diagnostic Framework of Renal Cell Carcinoma on Whole-Slide Images using Deep Learning
Xi’an Jiaotong University(西安交通大学);Pennsylvania State University(宾夕法尼亚州立大学);the First Affiliated Hospital of Xi’an Jiaotong University(西安交通大学第一附属医院)
诊断病理学是肿瘤诊断的基础和金标准,为肿瘤的预后提供重要信息,为临床治疗提供重要依据。肿瘤区域检测、亚型和分级是肾细胞癌全切片图像(WSIs)诊断的基本指标。然而,病理诊断具有主观性,在诊断能力不足的医院,病理医师之间的观察和诊断存在差异。开发基于深度学习的RCC诊断系统的主要挑战是缺乏具有精确注释的大规模数据集。在这项工作中,我们提出了一个基于深度学习的框架,用于分析肾细胞癌患者的组织病理学图像,这有可能实现病理学家级别的诊断准确性。在癌症基因组图谱(TCGA)全载玻片组织病理学图像的高质量注释数据集上训练深度卷积神经网络(InceptionV3),以进行准确的肿瘤区域检测、RCC亚型分类和透明细胞癌亚型的ISUP等级分类。这些结果表明,我们的框架可以帮助病理学家在检测癌症区域和分类的亚型和等级,这可以适用于任何癌症类型,提供辅助诊断和促进临床共识。
2021-10-26 cs.CV cs.LG eess.IV
Visual attention analysis of pathologists examining whole slide images of Prostate cancer
Stony Brook University(石溪大学);University of Utah School of Medicine(犹他大学医学院)
我们研究了病理学家使用数字显微镜检查前列腺癌组织的全切片图像(WSIs)时的注意力。据我们所知,我们的研究是第一个详细报告病理学家如何导航前列腺癌的WSI,因为他们积累了诊断信息。我们收集了幻灯片导航数据(即,视口位置、放大水平和时间),并生成视觉注意力热图和扫描路径。每位病理学家检查了来自TCGA PRAD数据集的五个WSI,这些WSI由GU病理专家选择。我们检查并分析了每组病理学家在每个WSI检查后的视觉注意力分布。为了量化病理学家的注意力和WSI中癌症证据之间的关系,我们从泌尿生殖科专家那里获得了肿瘤注释。我们使用这些注释来计算视觉注意力的分布和注释的肿瘤区域之间的重叠,以识别强相关性。受此分析的启发,我们训练了一个深度学习模型来预测对看不见的WSI的视觉注意力。我们发现,通过使用各种空间和时间评估指标,我们的模型预测的注意力热图与17个WSI测试集上的地面实况注意力热图和肿瘤注释相关性很好。
2022-05-02 cs.CV eess.IV
An attention-based multi-resolution model for prostate whole slide imageclassification and localization
University of California, Los Angeles(加州大学洛杉矶分校);Cedars-Sinai Medical Center(西达赛奈医疗中心)
组织学检查通常被用作疾病诊断的“金标准”。计算机辅助诊断工具可以通过减少检查时间和观察者之间的差异来帮助改善当前的病理学工作流程。以前的癌症分级工作主要集中在对预定义的感兴趣区域(ROI)进行分类,或者依赖于大量的细粒度标签。在本文中,我们提出了一个两阶段的注意力为基础的多实例学习模型的幻灯片级癌症分级和弱监督ROI检测,并证明其在前列腺癌的使用。与现有的Gleason分类模型相比,我们的模型更进一步,利用可视化的显着图来选择信息瓦片细粒度的等级分类。该模型主要是在一个大规模的整体载玻片数据集上开发的,该数据集由来自718名患者的3,521个前列腺活检载玻片组成,只有载玻片水平标签。该模型实现了前列腺癌分级的最新性能,在独立测试集上分类良性、低级别(Gleason 3+3或3+4级)和高级别(Gleason 4+3级或更高)载玻片的准确率为85.11%。
2019-05-30 cs.CV eess.IV
Benchmarking Histopathology Foundation Models for Ovarian Cancer Bevacizumab Treatment Response Prediction from Whole Slide Images
Faculty of Science, University of British Columbia(不列颠哥伦比亚大学理学院);School of Biomedical Engineering, University of British Columbia(不列颠哥伦比亚大学生物医学工程学院);Department of Pathology and Laboratory Medicine, University of British Columbia(不列颠哥伦比亚大学病理学与实验医学系);Canada’s Michael Smith Genome Sciences Centre, BC Cancer Research Institute(加拿大迈克尔·史密斯基因组科学中心,BC癌症研究所)
本研究利用组织病理学基础模型结合多实例学习从全切片图像预测卵巢癌贝伐珠单抗治疗反应,最佳模型AUC达0.86,并能显著分层患者风险,突显其作为预后影像生物标志物的潜力。
2024-07-30 cs.CV cs.LG eess.IV
Efficient and generalizable prediction of molecular alterations in multiple cancer cohorts using H&E whole slide images
Tempus AI, Inc.(Tempus AI公司)
本研究提出多任务学习方法,利用H&E全切片图像同时预测多种DNA变异,在多个癌症队列中表现优异,尤其对罕见突变效果显著,且具有良好的泛化能力,为临床提供多预测的实用算法。
2024-07-22 cs.CV
Whole Slide Image Classification of Salivary Gland Tumours
University of Sheffield(谢菲尔德大学);King Saud University(沙特国王大学)
本研究使用多示例学习对唾液腺肿瘤的全幻灯片图像进行癌症分类,结合CTransPath特征提取器和CLAM聚合器,取得了超过0.88的F1分数和0.92的AUROC,展现了良好的分类性能。
2024-08-22 cs.CV eess.IV
Reinforced Auto-Zoom Net: Towards Accurate and Fast Breast Cancer Segmentation in Whole-slide Images
Petuum, Inc.(Petuum公司);Cornell University(康奈尔大学);UiT The Arctic University of Norway(挪威北极大学);Carnegie Mellon University(卡内基梅隆大学)
卷积神经网络在医学图像分析领域取得了重大突破。然而,乳腺癌分割的任务,在整个幻灯片图像(WSIs)仍然是欠探索。WSI是具有极高分辨率的大型组织病理学图像。受硬件和视场的限制,使用高放大率的面片会降低推理过程的速度,而使用低放大率的面片会导致信息的丢失。在本文中,我们的目标是实现乳腺癌分割的两个看似矛盾的目标:准确和快速预测。我们提出了一个简单而有效的框架加强自动缩放网络(RAZN)来解决这个任务。受病理学家使用数字显微镜进行放大操作的启发,RAZN学习了一个策略网络来决定是否需要在给定的感兴趣区域进行放大。由于放大动作是选择性的,因此RAZN对不平衡和噪声的地面真实标签具有鲁棒性,并且可以有效地减少过拟合。我们在公共乳腺癌数据集上评估了我们的方法。RAZN优于单尺度和多尺度基线方法,以较低的推理成本实现更好的准确性。
2018-07-29 cs.AI cs.CV
Whole Slide Images based Cancer Survival Prediction using Attention Guided Deep Multiple Instance Learning Networks
University of Texas at Arlington(得克萨斯大学阿灵顿分校);University of New South Wales(新南威尔士大学);UNSW Sydney(新南威尔士大学悉尼分校)
传统的基于图像的生存预测模型依赖于判别式补丁标记,这使得这些方法无法扩展到大型数据集。最近的研究表明,多实例学习(MIL)框架是有用的组织病理学图像时,没有注释的分类任务。与当前基于图像的生存模型仅限于从全切片图像(WSI)中导出的关键块或聚类不同,我们提出了深度注意力多实例生存学习(DeepAttnMISL),通过引入siamese MI-FCN和基于注意力的MIL池来有效地从WSI中学习成像特征,然后将WSI级别的信息聚合到患者级别。基于注意力的聚集比聚集技术在最近的生存模型更灵活和适应性。我们在两个大型癌症全切片图像数据集上评估了我们的方法,我们的结果表明,所提出的方法更有效,适用于大型数据集,并且在定位有助于准确预测癌症生存率的重要模式和特征方面具有更好的可解释性。所提出的框架也可用于评估个体患者的风险,从而有助于提供个性化的医疗。代码可在https://github.com/uta-smile/DeepAttnMISL_MEDIA上获得。
2020-09-23 cs.CV eess.IV
ScanNet: A Fast and Dense Scanning Framework for Metastatic Breast Cancer Detection from Whole-Slide Images
The Chinese University of Hong Kong(香港中文大学);Imsight Medical Technology Inc(宜远智能医疗科技有限公司);Xiamen University(厦门大学);The Hong Kong Polytechnic University(香港理工大学)
淋巴结转移是乳腺癌最重要的诊断指标之一,传统上由病理学家在显微镜下观察。近年来,计算机组织学诊断已成为医学图像计算中发展最快的领域之一,它减轻了病理学家的工作量,降低了误诊率。然而,由于具有巨大分辨率的大规模数据和硬模拟的存在,从整个载玻片图像中自动检测淋巴结转移仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的框架,利用全卷积网络进行有效的推理,以满足临床实践的速度要求,同时在不同的偏移下重建密集的预测,以确保对微观和宏观转移的准确检测。采用异步样本预取和硬否定挖掘策略,可以有效地训练网络。在2016年Camelyon Grand Challenge的基准数据集上进行的大量实验证实了我们方法的有效性。与最先进的方法相比,我们的方法在肿瘤定位任务上以更快的速度取得了优异的性能,并且在WSI分类任务上超过了人类的性能。
2017-07-30 cs.CV
A Computationally Efficient Multi-Section Whole Slide Image Analysis for Capturing Prostate Cancer Multifocality in Biochemical Recurrence Prediction
Pusan National University(釜山国立大学);Kyunghee University(庆熙大学);OmixAI Co. Ltd.(OmixAI公司);Oncocross Co. Ltd.(Oncocross公司)
本文提出一种高效的人工智能框架,通过多切片病理切片同时处理,全面分析前列腺癌肿瘤景观,提升生物化学复发预测的准确性,优于传统临床指标。
2026-10-28 cs.AI cs.CV
Multiscale Detection of Cancerous Tissue in High Resolution Slide Scans
University of Florida(佛罗里达大学)
我们提出了一种算法,多尺度肿瘤(嵌合细胞)检测高分辨率载玻片扫描。我们的数据集中肿瘤大小的广泛范围对当前的卷积神经网络(CNN)提出了挑战,当图像特征非常小(8像素)时,卷积神经网络通常会失败。我们的方法修改了CNN中不同层的有效感受野,以便可以在单个前向传递中检测到具有广泛变化尺度的对象。我们定义规则计算自适应的前锚箱,我们表明是可解的等比例间隔原则。我们的CNN架构中的两种机制减轻了我们数据中普遍存在的非歧视性特征的影响-一种中央凹检测算法,该算法结合了级联残差初始模块和具有附加上下文信息的反卷积模块。当集成到Single Shot MultiBox Detector(SSD)中时,这些附加功能可以更准确地检测小尺度物体。结果允许有效的实时分析病理学和相关的生物医学研究领域的医学图像。
2020-10-01 cs.CV
Clinically Relevant Latent Space Embedding of Cancer Histopathology Slides through Variational Autoencoder Based Image Compression
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Ronald Reagan University of California Los Angeles Medical Center(罗纳德·里根加州大学洛杉矶分校医学中心)
本文提出基于变分自编码器的图像压缩方法,以1:512压缩比处理癌症病理切片并保持临床验证准确度,优于SOTA,并验证了潜在空间嵌入在临床解释与加速数据搜索中的价值。
2023-03-23 cs.CV eess.IV q-bio.QM
PANDA-PLUS-Bench: A Clinical Benchmark for Evaluating Robustness of AI Foundation Models in Prostate Cancer Diagnosis
Brigham Young University(杨百翰大学)
PANDA-PLUS-Bench通过定制基准数据集评估AI基础模型在前列腺癌Gleason分级中的鲁棒性,揭示模型在生物特征捕获和跨滑片准确率上的差异。
2025-12-16 cs.CV
IHC Matters: Incorporating IHC analysis to H&E Whole Slide Image Analysis for Improved Cancer Grading via Two-stage Multimodal Bilinear Pooling Fusion
City University of Hong Kong(香港城市大学);McGill University(麦吉尔大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对IHC用于癌症分级的机器学习研究较少的问题,提出融合IHC与H&E的两阶段多模态双线性池化模型,在BCI数据集上取得0.953的准确率,提升了癌症分级性能。
2024-05-13 cs.CV
Detection of prostate cancer in whole-slide images through end-to-end training with image-level labels
Radboud University Medical Center(拉德堡德大学医学中心);Linköping University(林雪平大学)
前列腺癌是西方国家男性中最常见的癌症,每年有110万例新诊断。诊断前列腺癌的金标准是病理学家对前列腺组织的评估。为了潜在地帮助病理学家,已经开发了基于深度学习的癌症检测系统。许多最先进的模型都是基于补丁的卷积神经网络,因为整个扫描幻灯片的使用受到加速卡内存限制的阻碍。基于补丁的系统通常需要详细的像素级注释来进行有效的训练。然而,这种注释很少容易获得,与病理学家的临床报告相比,其包含幻灯片级别的标签。因此,开发不需要手动逐像素注释但可以仅使用临床报告学习的算法将是该领域的重大进步。在本文中,我们建议使用卷积层的流实现,训练一个现代的CNN(ResNet-34),在4712个前列腺活检上具有2100万个端到端参数。该方法通过将GPU内存需求降低2.4 TB,可以直接使用高分辨率的整个活检图像。我们证明,使用我们的流方法训练的现代CNN可以从高分辨率图像中提取有意义的特征,而无需额外的算法,达到与最先进的基于补丁和多实例学习方法相似的性能。通过规避手动注释的需要,这种方法可以作为组织病理学诊断中其他任务的蓝图。再现流模型的源代码可在https://github.com/DIAGNijmegen/pathology-streaming-pipeline获得。
2020-06-05 cs.CV eess.IV