RMDL: Recalibrated multi-instance deep learning for whole slide gastric image classification
The Chinese University of Hong Kong(香港中文大学);the Sixth Affiliated Hospital of Sun Yat-sen University(中山大学附属第六医院);Imsight Medical Technology Co., Ltd.(艾迈医疗科技有限公司)
全切片组织病理学图像在胃癌诊断中起着重要作用。然而,由于WSIs的大规模和各种大小的异常区域,如何选择信息区域和分析它们是在自动诊断过程中相当具有挑战性的。基于最具鉴别力实例的多实例学习方法有利于全切片胃图像的诊断。在本文中,我们设计了一个重新校准的多实例深度学习方法(RMDL)来解决这个具有挑战性的问题。我们首先选择的判别实例,然后利用这些实例来诊断疾病的基础上提出的RMDL方法。所设计的RMDL网络能够捕获实例依赖关系,并根据融合特征的重要性系数重新校准实例特征。此外,我们建立了一个大型的全载玻片胃组织病理学图像数据集与详细的像素级注释。在构建的胃数据集上的实验结果表明,与其他最先进的多实例学习方法相比,我们提出的框架的准确性有了显着的提高。此外,我们的方法是通用的,并可以扩展到其他诊断任务的不同类型的癌症的基础上WSIs。
2020-10-13 cs.CV
Scribble-based fast weak-supervision and interactive corrections for segmenting whole slide images
Institut Pasteur(巴斯德研究所);Télécom Paris, Institut Polytechnique de Paris(巴黎高等电信学校,巴黎综合理工学院)
本文提出一种动态交互式弱监督分割方法,通过最少的涂鸦交互解决全幻灯片组织病理学图像分割中数据集缺乏与交互范式缺失的问题,让病理学家以极少的交互次数获得高精度分割结果。
2024-02-13 cs.CV
Cutting out the middleman: measuring nuclear area in histopathology slides without segmentation
TU/e(埃因霍温理工大学);UMCU(乌得勒支大学医学中心)
切除的乳腺肿瘤组织学标本中细胞核的大小可预测患者的预后(细胞核大表示预后差)。病理学家在进行乳腺癌分级时会考虑细胞核的大小。此外,平均核面积(MNA)已被证明具有独立的预后价值。测量细胞核大小的直接方法是进行细胞核分割。我们假设,给定具有已知核位置的肿瘤区域的图像,可以通过采用机器学习模型直接从图像数据可靠地计算单个核的面积和区域统计,例如MNA,而无需核分割的中间步骤。为了实现这一目标,我们训练了一个深度卷积神经网络模型,该模型在每个核位置局部应用,并且可以可靠地测量单个核和MNA的面积。此外,我们展示了这样的方法可以扩展到执行相结合的核检测和测量,这让人想起粒度。
2016-06-20 cs.CV
Slide-based Graph Collaborative Training for Histopathology Whole Slide Image Analysis
University of Science and Technology of China(中国科学技术大学);the First Affiliated Hospital of USTC(中国科学技术大学第一附属医院);Beijing Advanced Innovation Center on Biomedical Engineering(北京生物医学工程高精尖创新中心)
针对现有WSI分析忽略切片间关联的问题,提出通用流水线SlideGCD,通过图协同训练将癌症发展先验知识融入端到端工作流以优化切片表示,在4个任务和7个SOTA框架上验证了有效性和鲁棒性。
2024-10-14 cs.CV
Segmentation of Overlapped Steatosis in Whole-Slide Liver Histopathology Microscopy Images
Stony Brook University(石溪大学);University of Brasília(巴西利亚大学);Emory University(埃默里大学)
用病理组织样本进行准确的脂肪变性定量具有很高的临床重要性。然而,在大多数临床实践中,这种病理学测量是手动进行的,由于大的采样偏差和差的再现性而受到严重的读取器可变性的影响。虽然开发了一些计算机化的自动化方法来量化脂肪变性区域,但它们对高分辨率全载玻片显微镜图像和准确的重叠脂肪变性划分的分析能力有限。在本文中,我们提出了一种方法,提取一个单独的整个组织片在高分辨率与最小的背景面积,通过估计组织限界框和旋转角度。其次是脂肪变性区域的分割和分离与高曲率点检测和椭圆拟合质量评估方法。我们验证了我们的方法与孤立和重叠的脂肪变性区域的肝组织图像的11例患者。实验结果表明,我们的方法是有前途的增强支持脂肪变性量化在肝脏疾病治疗的病理审查。
2018-06-24 cs.CV
Lesion-Aware Contrastive Representation Learning for Histopathology Whole Slide Images Analysis
Beihang University(北京航空航天大学);Hefei University of Technology(合肥工业大学)
局部表示学习一直是提高组织病理学整片图像分析性能的关键挑战。以前的表示学习方法遵循监督学习范式。然而,大规模WSI的手动注释是耗时且劳动密集型的。因此,自监督的对比学习近年来引起了广泛的关注。现有的对比学习方法将每个样本作为一个类来处理,存在类冲突问题,特别是在组织病理学图像分析领域。在本文中,我们提出了一种新的对比表示学习框架命名为病变感知对比学习(LACL)的组织病理学整张幻灯片图像分析。我们建立了一个基于存储体结构的病变队列来存储不同类别的WSI的表示,这允许对比模型在训练期间选择性地定义阴性对。此外,我们设计了一个队列细化策略来净化存储在病变队列中的表示。实验结果表明,LACL在不同数据集上的组织病理学图像表示学习中取得了最佳性能,在不同的WSI分类基准下均优于现有方法。该代码可在https://github.com/junl21/lacl上获得。
2022-06-27 cs.CV
Spatially-Aware Mixture of Experts with Log-Logistic Survival Modeling for Whole-Slide Images
针对病理全切片图像生存预测的难点,本文提出融合四项创新模块的计算病理学框架,在TCGA多癌种队列上取得最优生存预测性能,兼具更好的校准度与可解释性。
2025-11-17 cs.CV
Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images
Radboud University Medical Center(拉德堡德大学医学中心)
乳腺组织的组织病理学全切片图像(WSI)的自动分类需要在具有大背景区域的非常高的分辨率下进行分析。在本文中,我们提出了上下文感知的堆叠卷积神经网络(CNN)的分类乳腺WSIs正常/良性,导管原位癌(DCIS),浸润性导管癌(IDC)。我们首先训练一个CNN使用高像素分辨率补丁捕捉细胞级信息。然后,将该模型生成的特征响应作为输入馈送到第二个CNN,堆叠在第一个CNN的顶部。用大的输入补丁训练这种堆叠的架构能够学习细粒度(细胞)细节和组织结构的全局相互依赖性。我们的系统在包含221个H&E染色乳腺组织标本的WSI的数据集上进行训练和评估。该系统实现了非恶性和恶性载玻片的二进制分类的AUC为0.962,并获得了81.3%的三个类别的准确性分类的WSIs到正常/良性,DCIS和IDC,证明了其常规诊断的潜力。
2017-05-10 cs.CV
Learning Binary and Sparse Permutation-Invariant Representations for Fast and Memory Efficient Whole Slide Image Search
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
学习合适的整体幻灯片图像(WSIs)表示有效的检索系统是一个不平凡的任务。目前的方法得到的WSI嵌入是在欧氏空间中,对于有效的WSI检索不是理想的。此外,由于同时处理多组补丁,大多数当前方法需要高GPU存储器。为了解决这些挑战,我们提出了一个新的框架,利用深度生成建模和Fisher向量来学习二进制和稀疏WSI表示。我们引入了新的损失函数学习稀疏和二进制置换不变的WSI表示,采用基于实例的训练,实现更好的内存效率。在癌症基因组图谱(TCGA)和肝-肾-胃(LKS)数据集上验证学习的WSI表示。所提出的方法优于Yottixel(最近的搜索引擎的组织病理学图像)的检索精度和速度。此外,我们在公共基准LKS数据集上实现了与SOTA竞争的性能,用于WSI分类。
2022-09-23 cs.CV
The PAR dataset: Prostate biopsy whole slide images from an underrepresented Middle Eastern population
Koya University(科亚大学);Karolinska Institutet(卡罗林斯卡学院);Hawler Medical University(哈勒医科大学);PAR Private Hospital(PAR私立医院);University of Sulaimani(苏莱曼尼亚大学);Stavanger University Hospital(斯塔万格大学医院);University of Stavanger(斯塔万格大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学)
针对公开组织病理学数据集稀缺且多为西方人群数据,导致中东等地区人群人工智能模型通用性未知的问题,公开PAR数据集,包含伊拉克185例患者的前列腺穿刺活检全切片图像,可用于多种分析评估,支持全球不同人群病理学人工智能模型开发验证。
2026-07-23 cs.CV
CNN Cascades for Segmenting Whole Slide Images of the Kidney
RWTH Aachen University(亚琛工业大学);University Hospital Aachen(亚琛大学医院)
由于促进组织病理学组织的数字化的全载玻片扫描仪的增加的可用性,存在对基于计算机的图像分析系统的开发的强烈需求。在这项工作中,重点是肾小球的分割,构成了肾脏组织病理学中高度相关的结构,这在与CNN结合之前还没有被研究过。我们提出了两种不同的CNN级联分割应用稀疏对象。将这些方法应用于肾小球分割问题,并与传统的全卷积网络进行比较。总体而言,使用性能最佳的级联方法,单个CNN的性能优于单个CNN,并且获得了0.90的像素级Dice相似系数。结合定性和进一步的对象级分析,所获得的结果被评估为优秀,也与最近的方法相比。总之,我们可以说,特别是所提出的级联网络之一被证明是一个非常强大的工具,用于分割肾小球,提供最佳的分割精度,并保持计算时间在一个较低的水平。
2017-08-01 cs.CV
Slideflow: Deep Learning for Digital Histopathology with Real-Time Whole-Slide Visualization
University of Chicago Medical Center(芝加哥大学医学中心);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);University of Chicago(芝加哥大学)
针对组织病理学深度学习模型缺乏开源交互界面与跨框架实验困难的问题,开发了支持全切片图像处理、弱监督分类与实时可视化的灵活开源深度学习库Slideflow。
2023-04-09 cs.CV eess.IV q-bio.QM
Differentiable Zooming for Multiple Instance Learning on Whole-Slide Images
ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学);IBM Research Europe(IBM欧洲研究院);Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院)
多实例学习(MIL)方法在数字病理学中对千兆像素大小的全切片图像(WSIs)进行分类变得越来越流行。大多数MIL方法通过处理所有的组织块在单个WSI放大率下操作。这样的配方诱导高的计算要求,并约束的WSI级表示的上下文到一个单一的规模。一些MIL方法扩展到多个尺度,但计算要求更高。在本文中,受病理诊断过程的启发,我们提出了ZoomMIL,一种学习以端到端方式执行多级缩放的方法。ZoomMIL通过聚合来自多个放大倍数的组织上下文信息来构建WSI表示。所提出的方法在两个大型数据集上的WSI分类中优于最先进的MIL方法,同时显着减少了浮点运算(FLOP)的计算需求和高达40倍的处理时间。
2022-07-26 cs.CV
Clinically-Informed Modeling for Pediatric Brain Tumor Classification from Whole-Slide Histopathology Images
Dept. of Computer Science(计算机科学系);University of Texas at Austin(德克萨斯大学奥斯汀分校);School of Information(信息学院);Dell Children's Medical Center(德尔儿童医学中心);Dept. of OREI(OREI部门);University of Nevada, Reno(内华达大学里诺分校)
本文提出一种结合临床信息的对比学习框架,用于在有限数据和类别不平衡条件下提高儿童脑肿瘤全切片图像的细粒度分类性能。
2026-05-20 cs.CV
Kernel Attention Transformer (KAT) for Histopathology Whole Slide Image Classification
Beihang University(北京航空航天大学);Hefei University of Technology(合肥工业大学)
Transformer已被广泛应用于组织病理学全切片图像(WSI)分类中,用于肿瘤分级、预后分析等。然而,普通Transformer的标记自关注和位置嵌入策略的设计限制了其在千兆像素组织病理学图像中的应用效果和效率。在本文中,我们提出了一个核注意力Transformer(KAT)的组织病理学WSI分类。令牌的信息传输是通过令牌和与WSI上的一组位置锚相关的一组核之间的交叉注意来实现的。与常用的Transformer结构相比,KAT能更好地描述WSI局部区域的层次上下文信息,同时保持较低的计算复杂性.该方法进行了评估的胃数据集与2040 WSI和子宫内膜数据集与2560 WSI,并与6个国家的最先进的方法进行了比较。实验结果表明,所提出的KAT是有效的和高效的组织病理学WSI分类任务,是优于国家的最先进的方法。该代码可在www.example.com上获得。
2022-06-27 cs.CV
Learning to Predict RNA Sequence Expressions from Whole Slide Images with Applications for Search and Classification
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
深度学习方法广泛应用于数字病理学,以应对预后和诊断等临床挑战。作为最新的应用之一,深度模型也被用于从整个切片图像中提取分子特征。虽然分子测试携带丰富的信息,但它们通常是昂贵的,耗时的,并且需要额外的组织样本。在本文中,我们提出了tRNAfomer,这是一种基于注意力的拓扑结构,可以学习从图像中预测批量RNA-seq,并同时表示载玻片的整个载玻片图像。tRNAfomer使用多实例学习来解决弱监督问题,而像素级注释对图像不可用。我们进行了几个实验,并取得了更好的性能和更快的收敛速度相比,国家的最先进的算法。所提出的tRNAfomer可以作为计算病理学工具,通过结合活检样本的组织形态学和分子指纹来帮助促进新一代的搜索和分类方法。
2022-03-26 cs.CV eess.IV
Whole-slide-imaging Cancer Metastases Detection and Localization with Limited Tumorous Data
最近,各种深度学习方法在医学图像分析中取得了显著的成功,特别是在苏木精和伊红(H&E)染色的全载玻片图像(WSIs)中检测癌症转移方面。然而,为了获得良好的性能,这些研究成果依赖于数以百计的良好注释的WSI。在这项研究中,我们解决了肿瘤定位和检测问题的设置下的几个标记的整个幻灯片图像,并介绍了一个基于块的分析管道的基础上最新的反向知识蒸馏架构。为了解决训练样本集中正常和肿瘤样本的极不平衡问题,我们将焦点损失公式应用于模型优化的表示相似性度量。与现有技术相比,我们的方法在公共Camelyon16数据集上通过不到10%的训练样本实现了类似的性能。此外,这是第一个工作,显示了巨大的潜力的知识蒸馏模型在计算组织病理学。
2023-03-18 cs.CV eess.IV
QuST: QuPath Extension for Integrative Whole Slide Image and Spatial Transcriptomics Analysis
Pfizer Inc(辉瑞公司)
QuST是一款QuPath扩展工具,通过解决训练模式准备和分辨率差异等挑战,整合全切片图像与空间转录组学分析,为疾病生物学研究提供变革性方法。
2024-11-15 cs.CV eess.IV q-bio.QM
Computer-aided Detection of Squamous Carcinoma of the Cervix in Whole Slide Images
Northwestern Polytechnical University(西北工业大学);Tianjin Medical University(天津医科大学)
目的:子宫颈鳞状细胞癌是全球女性最常见的癌症之一。传统上,宫颈鳞癌的诊断最重要的是病理组织学检查,这是由病理学家在显微镜下完成的。然而,人类对病理切片的评价高度依赖于病理学家的经验,因此存在很大的观察者间和观察者内的差异。数字病理学与深度学习相结合,为提高组织病理学切片分析的客观性和效率提供了机会。方法:对300例宫颈鳞癌患者的800张切片进行苏木精-伊红染色。基于肿瘤及其邻近区域的形态异质性信息,我们使用流行的卷积神经网络架构(Inception-v3、InceptionResnet-v2和Resnet 50)建立了深度学习模型。然后将随机森林引入到特征提取和基于切片的分类中。结果:我们提出的模型在基于载玻片的肿瘤区分方面的整体性能突出,AUC得分> 0.94。然而,由于肿瘤组织的极端复杂性,全切片图像中的病灶位置识别是中等的(FROC得分> 0.52)。结论:我们的分析工作流程首次突出了宫颈鳞状细胞癌的定量视觉载玻片分析。重要性:本研究展示了一种通过利用新的计算方法来帮助病理学家和加速患者诊断的途径。
2019-05-27 cs.CV eess.IV
CNN-based Approach for Cervical Cancer Classification in Whole-Slide Histopathology Images
Faculty of Sciences(理学院);Mohammed V University(穆罕默德五世大学);École Normale Supérieure(高等师范学院)
到2040年,宫颈癌每年将导致46万人死亡,其中约90%是撒哈拉以南非洲妇女。非洲的发病率不断上升,使宫颈癌成为世界卫生组织(世卫组织)在筛查、诊断和治疗方面的优先事项。传统上,癌症诊断主要依赖于组织病理学评估,这是一种非常容易出错的程序,需要智能计算机辅助系统作为低成本的患者安全机制,但数字病理学中缺乏标记数据限制了其适用性。在这项研究中,一些来自TCGA数据门户的宫颈组织数字切片被预处理以克服整个切片图像的障碍,并被包括在我们提出的VGG 16-CNN分类方法中。我们的结果实现了98.26%的准确率和97.9%的F1分数,这证实了迁移学习在这个弱监督任务上的潜力。
2020-05-28 cs.CV eess.IV
FedWSIDD: Federated Whole Slide Image Classification via Dataset Distillation
Union Hospital, Tongji Medical College, Huazhong University of Science and Technology(华中科技大学同济医学院附属同济医院);Centre for Health Informatics, Australian Institute of Health Innovation, Macquarie University(澳大利亚健康创新研究所健康信息中心,麦觉大学)
提出FedWSIDD,一种基于数据集蒸馏的联邦全切片图像分类方法,通过传输合成切片而非模型参数,解决异构资源与隐私问题,并在CAMELYON16/17上提升性能。
2025-06-18 cs.CV eess.IV
HISTAI: An Open-Source, Large-Scale Whole Slide Image Dataset for Computational Pathology
HistAI
针对现有公开全切片图像数据集规模小、组织类型单一且临床元数据不足的问题,研究团队推出包含6万余张多组织切片、配丰富临床标注的开源多模态HISTAI数据集,助力计算病理学AI模型研发与创新。
2025-05-17 cs.CV eess.IV
Colorectal Cancer Outcome Prediction from H&E Whole Slide Images using Machine Learning and Automatically Inferred Phenotype Profiles
School of Computer Science(计算机科学学院);School of Medicine(医学院);University of St Andrews(圣安德鲁斯大学)
数字病理学(DP)是一个新的研究领域,属于健康信息学的广泛保护伞。由于其潜在的重大公共卫生影响,近年来,DP一直吸引着大量的研究关注。然而,仍然存在广泛的重大概念和技术挑战,其中很少有比肿瘤学领域遇到的挑战更大的挑战。由于疾病的固有异质性,特别是非常大的图像,癌组织的数字病理切片的自动分析特别成问题。在本文中,我们介绍了一种新的基于机器学习的框架,用于从全数字化苏木精和伊红(H&E)染色的组织病理学切片中预测结直肠癌的结果。使用真实世界的数据集,我们证明了该方法的有效性,并提出了一个详细的分析,其不同的元素,证实了它的能力,提取和学习显着的,有区别的,和临床意义的内容。
2019-03-09 cs.CV eess.IV
Region of Interest Detection in Melanocytic Skin Tumor Whole Slide Images
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
组织病理学图像分析中的感兴趣区域自动检测是一个具有挑战性和重要性的课题,对临床实践具有巨大的潜在影响。计算病理学中使用的深度学习方法帮助我们降低成本,提高感兴趣区域检测和癌症诊断的速度和准确性。在这项工作中,我们提出了一种基于块的黑色素细胞皮肤肿瘤的整体载玻片图像的感兴趣区域检测方法。我们使用一个包含165个原发性黑色素瘤和痣的苏木精和伊红全切片图像的数据集,并构建一个深度学习方法。该方法在包含5个TCGA-SKCM切片的保留测试数据集上表现良好(切片分类任务的准确率为93.94%,感兴趣区域检测任务的交集率为41.27%),显示了该模型在黑素细胞皮肤肿瘤上的出色性能。尽管我们在皮肤肿瘤数据集上进行了实验测试,但我们的工作还可以扩展到其他医学图像检测问题,例如各种肿瘤的分类和预测,以帮助和有益于不同肿瘤的临床评估和诊断。
2022-10-29 cs.CV cs.GR cs.LG
Unleashing the Infinity Power of Geometry: A Novel Geometry-Aware Transformer (GOAT) for Whole Slide Histopathology Image Analysis
Heilongjiang University(黑龙江大学)
针对全切片图像分析中几何信息利用不足的问题,提出几何感知Transformer(GOAT)弱监督框架,结合上下文感知注意力机制,利用肿瘤微环境几何特征提升病理图像分析性能。
2024-02-08 cs.CV eess.IV
Automatic Multi-Stain Registration of Whole Slide Images in Histopathology
University of Waterloo(滑铁卢大学)
多个生物标志物图像和组织形态的联合分析对于疾病诊断、治疗计划和药物开发是重要的。它需要在免疫组织化学和苏木精和伊红(H&E)显微镜载玻片的全载玻片图像(WSI)之间进行交叉染色比较。然而,以单细胞精度自动和快速交叉染色对齐巨大的千兆像素WSI是具有挑战性的。除了载玻片制备过程中引入的形态变形外,不同染色的细胞外观和组织形态也存在很大差异。在本文中,我们提出了一个两步自动的基于特征的交叉染色WSI对齐,以协助即使是微小的转移灶的淋巴结的评估定位。对齐图像对,允许平移、旋转和缩放。通过首先使用尺度不变图像变换(SIFT)检测两个图像中的地标,然后使用快速样本一致性(FSC)协议来寻找点对应并最终对齐图像,自动执行配准。使用Jaccard指数,采用目视和定量标准评价配准结果。与人工配准相比,该系统产生的结果的平均Jaccard相似性指数为0.942。
2021-07-29 cs.CV eess.IV
Dynamic Residual Encoding with Slide-Level Contrastive Learning for End-to-End Whole Slide Image Representation
School of Computer Science and Enginecring, Central South University(计算机科学与工程学院,中南大学);School of Computer Science(计算机科学学院);Enginecring, Central South University(工程学院,中南大学)
本文提出DRE-SLCL方法,通过记忆库存储图像块特征并结合动态残差编码与切片级对比学习,解决端到端WSI表示中GPU显存限制问题,在癌症亚型分型、识别和突变预测任务上验证了有效性。
2025-11-07 cs.AI cs.CV
Efficient subtyping of ovarian cancer histopathology whole slide images using active sampling in multiple instance learning
University of Leeds(利兹大学);Leeds Teaching Hospitals NHS Trust(利兹教学医院NHS信托基金会)
组织病理学切片的弱监督分类是一项计算密集型任务,典型的整个切片图像(WSI)包含数十亿像素要处理。我们提出了判别区域主动采样多实例学习(DRAS-MIL),一个计算效率高的幻灯片分类方法,使用注意力分数集中在高度判别区域的采样。我们将其应用于卵巢癌组织学亚型的诊断,这是患者护理途径的重要组成部分,因为不同的亚型具有不同的遗传和分子特征,治疗方案和患者结局。我们使用从利兹教学医院NHS信托的147名上皮性卵巢癌患者中获得的714个WSI的数据集来区分最常见的亚型,高级别浆液性癌,与其他四种亚型(低级别浆液性癌,类浆液性癌,透明细胞癌和粘液性癌)相结合。我们证明了DRAS-MIL可以实现与穷举载玻片分析相似的分类性能,与标准基于注意力的MIL分类的0.8781相比,具有3倍交叉验证的AUC为0.8679。我们的方法使用的内存最多是标准方法的18%,而在GPU上进行评估时占用33%的时间,仅在CPU上仅占用14%的时间。减少预测时间和内存需求可能有利于临床部署和人工智能的民主化,减少计算硬件限制最终用户采用的程度。
2023-02-22 cs.CV eess.IV
Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学);McMaster University(麦克马斯特大学);Shanghai Jiao Tong University(上海交通大学)
全切片成像(WSI)是一种新兴的数字病理学技术。自聚焦过程是影响WSI性能的主要因素。传统的自动聚焦方法要么由于重复的机械运动而耗时,要么需要额外的硬件,因此与当前的WSI系统不兼容。在本文中,我们提出了\textit{virtual autofocusing}的概念,它不依赖于机械调整进行重新聚焦,而是恢复在焦点图像离线学习为基础的方式。对于初始焦点位置,我们只需要进行两次成像,而传统的方法通常需要在每次扫描中进行多达21次的图像拍摄。考虑到两个捕获的失焦图像保留了关于底层对焦图像的部分信息,我们提出了一种基于U-Net启发的深度神经网络的方法,用于将它们融合到恢复的对焦图像中。所提出的方案是快速的组织切片扫描,使高通量的数字病理图像的生成。实验结果表明,我们的计划取得了令人满意的重聚焦性能。
2020-03-14 cs.CV eess.IV
Comparing ImageNet Pre-training with Digital Pathology Foundation Models for Whole Slide Image-Based Survival Analysis
Imperial College London, Department of Electrical and Electronic Engineering, London, UK(帝国理工学院伦敦分校,电子与电气工程系);Department of Pathology, Institut de Pathologie Multisite, Groupement Hospitalier Sud, Lyon University Hospital, Pierre-Bénite, France(病理学系,多站点病理研究所,南部医院集团,里昂大学医院,皮埃尔-贝内蒂,法国);University of Lyon, Université Claude Bernard Lyon 1, Lyon, France(里昂大学, Claude Bernard 里昂第一大学,里昂,法国)
该研究比较了ImageNet预训练与数字病理基础模型(如UNI和Hibou)在全切片图像生存分析中的效果,发现集成病理基础模型可提升基线准确率,但优势随MIL架构复杂度增加而减弱。
2025-08-04 cs.CV eess.IV
Region-guided CycleGANs for Stain Transfer in Whole Slide Images
CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央高等电力学院);Gustave Roussy Cancer Campus(古斯塔夫·鲁西癌症校区);Therapanacea(Therapanacea公司)
在全载玻片成像中,常用的基于苏木精和伊红(H&E)和免疫组织化学(IHC)染色的染色技术突出了组织景观的不同方面。在检测转移的情况下,IHC提供了一个独特的读数,很容易由病理学家解释。然而,IHC是一种更昂贵的方法,并非所有医疗中心都可用。因此,使用深度神经网络从H&E虚拟生成IHC图像成为一种有吸引力的替代方案。CycleGAN等深度生成模型学习两个图像域之间的语义一致映射,同时模拟每个域的纹理属性。因此,它们是污渍转移应用的合适选择。然而,它们仍然完全不受监督,并且不具有在染色转移中执行生物一致性的机制。在本文中,我们以感兴趣区域的形式提出了对CycleGAN的扩展。这允许CycleGAN从未配对的数据集中学习,此外,还有一个希望强制一致性的对象的部分注释。我们在整个载玻片图像上展示了一个用例,其中IHC染色提供了实验生成的转移细胞信号。我们证明了我们的方法在两个数据集上的组织病理学瓦片上的染色转移方面优于现有技术。我们的代码和模型可以在https://github.com/jcboyd/miccai2022-roigan上找到。
2022-08-26 cs.CV eess.IV
Clustered Patch Embeddings for Permutation-Invariant Classification of Whole Slide Images
Indian Institute of Technology Bombay(印度理工学院孟买分校)
提出一种利用编码器进行数据缩减并结合分类模型的方法,将整个全切片图像提炼为单个向量,实现置换不变的鲁棒表示,显著提升计算效率与病理评估准确性。
2024-11-13 cs.CV cs.LG eess.IV
WsiCaption: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Research Center for Industries of the Future, Westlake University(西湖大学未来产业研究中心);School of Engineering, Westlake University(西湖大学工程学院)
本文提出多实例生成模型MI-Gen,利用近万对高质量WSI-文本数据生成病理报告,在BRCA亚型分类任务上F1分数达0.838,超越现有方法。
2024-06-27 cs.AI cs.CL cs.CV
PathReasoning: A multimodal reasoning agent for query-based ROI navigation on whole-slide images
School of Computer Science and Engineering, University of Washington(华盛顿大学计算机科学与工程学院)
PathReasoning通过多模态推理代理实现基于查询的全滑片图像ROI导航,显著提升诊断准确性与报告生成效果。
2025-11-26 cs.AI cs.CV
Integrative Graph-Transformer Framework for Histopathology Whole Slide Image Representation and Classification
Stony Brook University(石溪大学);Georgia State University(佐治亚州立大学)
本文提出集成图-Transformer框架,通过结合图卷积网络与全局注意力模型的GTI模块,同时捕获局部相邻关系与全局依赖,有效提升了组织病理学全切片图像分类的准确率与AUROC。
2024-03-26 cs.CV eess.IV
Aligning Knowledge Concepts to Whole Slide Images for Precise Histopathology Image Analysis
The University of Hong Kong(香港大学);Wake Forest University(维克森林大学)
针对WSIs分析中仅依赖训练数据学习的局限,提出基于知识概念的MIL框架ConcepPath,利用GPT-4从文献提取疾病特异性专家概念并结合可学习概念,在三项病理任务中显著优于现有SOTA方法。
2024-11-27 cs.CV cs.LG
Hypergraph Mamba for Efficient Whole Slide Image Understanding
针对全切片图像分析中现有方法计算成本高的问题,提出WSI-HGMamba框架,融合超图神经网络与状态空间模型,实现高效且准确的高阶关系建模,计算量降低达7倍。
2025-08-04 cs.AI cs.CV
Focus Quality Assessment of High-Throughput Whole Slide Imaging in Digital Pathology
University of Toronto(多伦多大学);Huron Digital Pathology Inc.(休伦数字病理公司)
采用数字病理学工作流程进行临床使用所面临的挑战之一是需要自动化质量控制。由于扫描仪有时会不准确地确定焦点,因此产生的图像模糊会使扫描的载玻片恶化到不可用的程度。此外,当以大于或等于20 X图像分辨率扫描时,扫描的载玻片图像往往非常大。因此,为了使数字病理学在临床上有用,有必要使用计算工具来快速准确地量化图像聚焦质量并确定是否需要重新扫描图像。我们提出了一个无参考聚焦质量评估指标,专门为数字病理图像,操作通过使用偶导数滤波器基地的总和,合成一个人类视觉系统的内核,这是建模为镜头的点扩散函数的逆。然后,将该内核应用于数字病理图像,以修改由扫描仪的光学器件劣化的高频图像信息,并在补丁级别上量化聚焦质量。我们在几个实验中表明,我们的方法与地面实况$z$级数据比其他方法更好地相关,并且计算效率更高。我们还扩展了我们的方法来生成一个本地幻灯片级的焦点质量热图,它可以用于自动幻灯片质量控制,并通过与主观幻灯片质量评分的比较来证明我们的方法在临床扫描质量控制中的实用性。
2018-11-14 cs.CV eess.IV
Improving Quality Control of Whole Slide Images by Explicit Artifact Augmentation
AGH University of Krakow(克拉科夫AGH科技大学);University of Applied Sciences Western Switzerland (HES-SO)(瑞士西部应用科学大学(HES-SO));Radboud University Medical Center(拉德堡德大学医学中心);University of Padova(帕多瓦大学);University of Geneva(日内瓦大学)
本文提出一种通过外部库生成并混合伪影以增强全切片图像的方法,有效解决了组织病理学中伪影检测标注数据匮乏的问题,显著提升了伪影分类的AUROC指标,并开源了相关框架与权重。
2024-06-17 cs.AI cs.CE cs.CV
DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for Histopathology Whole Slide Image Classification
University of Liverpool(利物浦大学);Cixi Institute of Biomedical Engineering, Chinese Academy of Sciences(中国科学院慈溪生物医学工程研究所);China Science IntelliCloud Technology Co., Ltd(中科智云科技有限公司);Remark AI UK Limited(Remark AI英国有限公司)
多实例学习(MIL)已越来越多地用于组织病理学全切片图像(WSIs)的分类。然而,MIL的方法,这一特定的分类问题仍然面临着独特的挑战,特别是那些与小样本队列。在这些情况下,WSI载玻片(包)的数量有限,而单个WSI的分辨率很大,这导致从该载玻片中裁剪出大量补丁(实例)。为了解决这个问题,我们建议通过引入伪包的概念来增加包的数量,在伪包的基础上构建双层MIL框架以有效地使用内在特征。此外,我们还在基于注意力的MIL框架下推导了实例概率,并利用推导结果来帮助构建和分析所提出的框架。该方法在CAMELYON-16上的性能优于其他最新方法,并且在TCGA肺癌数据集上的性能也更好。建议的框架是准备扩展到更广泛的MIL应用。该代码可从以下网址获得:https://github.com/hrzhang1123/DTFD-MIL
2022-03-22 cs.AI cs.CV cs.LG
Regional Registration of Whole Slide Image Stacks Containing Highly Deformed Artefacts
Imaging Informatics Division(成像信息学部门);Bioinformatics Institute(生物信息学研究所);A*STAR(新加坡科技研究局);Lucence Diagnostics(Lucence诊断公司);Institute of Bioengineering and Nanotechnology(生物工程与纳米技术研究所);Singapore General Hospital(新加坡综合医院);National Cancer Centre Singapore(新加坡国家癌症中心);Institute of Molecular and Cell Biology(分子与细胞生物学研究所);National University of Singapore(新加坡国立大学);Singapore Eye Research Institute(新加坡眼科研究所);Image and Pervasive Access Lab(图像与普适访问实验室)
动机:高分辨率2D全切片成像提供了有关组织结构的丰富信息。如果这些2D图像可以堆叠成3D组织体积,则该信息可以丰富得多。然而,3D分析需要从2D图像堆栈精确重建组织体积。由于在将组织切割和固定在载玻片上时每个单独的组织切片经历的扭曲,该任务并非微不足道。对整个组织切片执行配准可能受到变形组织区域的不利影响。因此,区域登记更为有效。在本文中,我们提出了一个准确的和强大的区域配准算法,整个幻灯片图像的增量集中在感兴趣的区域周围的区域注册。结果如下:使用平均相似性指数作为度量标准,所提出的算法(平均$\pm$标准:$0.84 \pm 0.11$)和随后的精细配准算法($0.86 \pm 0.08$)优于最先进的线性全组织配准算法($0.74 \pm 0.19$)和该算法的区域版本($0.81 \pm 0.15$)。所提出的算法还优于最先进的非线性配准算法(原始:$0.82 \pm 0.12$,区域:$0.77 \pm 0.22$)的整个载玻片图像和最近提出的基于补丁的配准算法(补丁大小256:$0.79 \pm 0.16$,补丁大小512:$0.77 \pm 0.16$)的医学图像。可用性:C++实现代码可在github存储库https://github.com/MahsaPaknezhad/WSIRegistration上在线获取
2020-02-28 cs.CV cs.LG eess.IV
Data Efficient and Weakly Supervised Computational Pathology on Whole Slide Images
Brigham and Women’s Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);Broad Institute of Harvard and MIT(哈佛-麻省理工学院博德研究所);Dana-Farber Cancer Institute(达纳-法伯癌症研究所)
迅速崛起的计算病理学领域有可能实现客观诊断、治疗反应预测和识别与临床相关的新形态学特征。然而,基于深度学习的计算病理学方法要么需要在完全监督的设置中手动注释千兆像素的全载玻片图像(WSI),要么需要在弱监督的设置中手动注释数千个具有载玻片级别标签的WSI。此外,整个载玻片级计算病理学方法也遭受域适应性和可解释性问题。这些挑战阻碍了计算病理学广泛适应临床和研究目的。在这里,我们提出了CLAM -约束注意力多实例学习,一种易于使用,高吞吐量和可解释的WSI级处理和学习方法,只需要幻灯片级标签,同时具有数据效率,适应性和处理多类子类型问题的能力。CLAM是一种基于深度学习的弱监督方法,它使用基于注意力的学习来自动识别具有高诊断价值的子区域,以准确地对整个幻灯片进行分类,同时还利用所识别的代表性区域的实例级聚类来约束和细化特征空间。在三个独立的分析中,我们证明了CLAM的数据效率和适应性,以及它优于标准弱监督分类的性能。我们证明CLAM模型是可解释的,并且可用于识别已知和新的形态特征。我们进一步表明,使用CLAM训练的模型适用于独立的测试队列,手机显微镜图像和活检。CLAM是一种通用且适应性强的方法,可用于临床和研究环境中各种不同的计算病理学任务。
2020-05-22 cs.CV cs.LG eess.IV
Towards Effective and Efficient Context-aware Nucleus Detection in Histopathology Whole Slide Images
本文提出一种有效且高效的上下文感知核检测方法,通过聚合历史滑动窗口特征提升效率,并利用周围未标注样本增强模型适应性。
2026-02-07 cs.CV eess.IV
Automated Whole Slide Imaging for Label-Free Histology using Photon Absorption Remote Sensing Microscopy
PhotoMedicine Labs, University of Waterloo(滑铁卢大学光医学实验室);illumiSonics Inc.(illumiSonics公司)
本文提出首台透射模式光子吸收遥感显微镜的自动化无标记全玻片组织学平台,可在40倍成像后保留样本可染色性,并用pix2pix实现全玻片H&E虚拟染色模拟。
2023-05-16 cs.CV cs.SY eess.SY
RCNN for Region of Interest Detection in Whole Slide Images
Murdoch University(莫道克大学);Western Diagnostic Pathology(西部诊断病理中心);Pathwest Laboratory Medicine(Pathwest实验室医学中心)
近年来,数字病理学引起了极大的关注。全载玻片图像(WSI)的分析具有挑战性,因为它们非常大,即,千兆像素的分辨率。识别感兴趣区域(ROI)是病理学家进一步分析癌症检测和其他异常诊断感兴趣区域的第一步。在本文中,我们研究了RCNN的使用,这是一种深度机器学习技术,仅使用少量标记的WSI进行训练来检测此类ROI。为了进行实验,我们使用了来自西澳大利亚州公立医院病理服务的真实WSI。我们使用了60个WSI来训练RCNN模型,另外12个WSI用于测试。该模型在一组新的看不见的WSI上进行了进一步测试。结果表明,RCNN可以有效地用于从WSI中检测ROI。
2020-09-18 cs.CV cs.LG eess.IV
A Deep Learning-based Compression and Classification Technique for Whole Slide Histopathology Images
Anglia Ruskin University(安格利亚鲁斯金大学);Silicon Institute of Technology(硅谷技术学院)
本文提出一种基于自编码器的监督压缩方法,用于全切片组织病理学图像,通过保留语义表示实现高效压缩,并验证了压缩图像在分类任务中的良好性能。
2023-05-11 cs.CV cs.LG eess.IV
Region of Interest Detection in Melanocytic Skin Tumor Whole Slide Images -- Nevus & Melanoma
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Lineberger Comprehensive Cancer Center(莱恩伯格综合癌症中心)
本研究针对黑素细胞皮肤肿瘤全切片图像的感兴趣区域检测问题,构建内部深度学习方法实现切片层面的痣与黑色素瘤分类,在测试集上准确率达92.3%,且病理标注区域预测表现优异,可拓展至其他医学图像检测场景。
2024-05-16 cs.CV eess.IV q-bio.QM
The Whole Pathological Slide Classification via Weakly Supervised Learning
针对全切片病理图像分类,本文融合核异质性与图块空间相关性两种病理先验,构建含染色分离对比增强和邻接空间建模的MIL框架,在Camelyon16与TCGA-NSCLC上优于现有方法。
2023-07-12 cs.CV eess.IV q-bio.QM
A Deep Reinforcement Learning Framework for Rapid Diagnosis of Whole Slide Pathological Images
Northeastern University(东北大学);University of the Chinese Academy of Sciences(中国科学院大学);China Medical University(中国医科大学)
深度神经网络是组织病理学图像分析的研究热点,可以提高病理学家诊断的效率和准确性,也可以用于疾病筛查。整个切片病理图像可达10亿像素,包含丰富的组织特征信息,在训练和推理阶段需要将其划分为许多块。这将导致较长的收敛时间和较大的内存消耗。此外,在数字病理学领域,注释良好的数据集也很短缺。受病理学家临床诊断过程的启发,我们提出了一个弱监督深度强化学习框架,它可以大大减少网络推理所需的时间。利用神经网络分别建立了强化学习Agent的搜索模型和决策模型。搜索模型通过当前视场中不同放大倍数的图像特征预测下一个动作,决策模型用于返回当前视场图像的预测概率。通过多示例学习构建专家引导模型,不仅为搜索模型提供奖励,还通过知识蒸馏方法指导决策模型学习。实验结果表明,该方法可以实现快速推理和准确预测的整个幻灯片图像没有任何像素级的注释。
2022-05-05 cs.AI cs.CV eess.IV
Generating Seamless Virtual Immunohistochemical Whole Slide Images with Content and Color Consistency
University of Washington(华盛顿大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Pennsylvania(宾夕法尼亚大学)
针对分块虚拟染色WSI边界存在内容、纹理和颜色不一致的问题,本文提出CC-WSI-Net,通过内容与颜色一致性监督生成无缝IHC全切片图像,并经质量、检测及病理学家评估验证。
2024-10-01 cs.CV eess.IV q-bio.QM
Renal Cell Carcinoma Detection and Subtyping with Minimal Point-Based Annotation in Whole-Slide Images
Xi'an Jiaotong University(西安交通大学)
在医学成像中,获取大量的标记数据是一项费时费力的工作,尤其是在组织病理学方面。然而,从全切片图像(WSIs)中获取未标记的数据要容易得多,也便宜得多。半监督学习(SSL)是利用未标记数据和减少对标记数据需求的有效方法。出于这个原因,我们提出了一个框架,采用SSL方法准确地检测癌区域与一种新的注释方法称为基于最小点的注释,然后利用预测结果与创新的混合损失训练分类模型的子分型。注释者只需要在每个WSI中标记几个点并标记它们是否是癌症。三个显着的肾细胞癌(RCC)亚型的实验证明,与Min-Point注释的数据集训练的分类器的性能是与用于癌症区域检测的分割注释的数据集训练的分类器。在测试WSI的f1分数方面,子类型模型比仅使用诊断标签训练的模型高出12%。
2020-08-12 cs.CV cs.LG eess.IV
Snuffy: Efficient Whole Slide Image Classifier
Sharif University of Technology(谢里夫理工大学);Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
提出Snuffy架构,一种基于稀疏transformers的MIL池化方法,通过有限预训练和持续少样本预训练解决WSI分类的计算挑战,并在CAMELYON16和TCGA肺癌数据集上取得卓越准确率。
2025-03-02 cs.AI cs.CV cs.LG
SlideMix: Enhancing Whole Slide Image Analysis via Multimodal Shuffling
University of California, Irvine(加利福尼亚大学欧文分校);National University of Singapore(新加坡国立大学);PuzzleLogic Pte Ltd(PuzzleLogic私人有限公司)
SlideMix是适用于多实例学习全切片图像分析的模型无关多模态增强框架,通过检索增强VLM区域选择、原位图块混洗等提升诊断准确率与泛化能力,在11个WSI数据集上表现优于基线。
2026-09-02 cs.CV
Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
ContextVision AB(ContextVision公司)
数字病理学提供了将全卷积网络(FCN)应用于任务的绝佳机会,例如全载玻片图像(WSI)的语义分割。然而,标准的FCN面临着从WSI的金字塔排列继承的多分辨率方面的挑战。因此,需要专门设计用于学习和汇总不同级别信息的网络。在本文中,我们提出了两种新的多分辨率网络的基础上流行的“U网”架构,这是一个基准数据集上进行评估的二进制语义分割在WSI。所提出的方法优于U-Net,表现出卓越的学习和泛化能力。
2018-07-25 cs.CV