Cluster-to-Conquer: A Framework for End-to-End Multi-Instance Learning for Whole Slide Image Classification
University of Virginia(弗吉尼亚大学)
近年来,数字化全切片图像(WSIs)的可用性使得基于深度学习的计算机视觉技术能够用于自动疾病诊断。然而,WSI提出了独特的计算和算法挑战。WSI是千兆像素大小的($\sim$ 100 K像素),这使得它们无法直接用于训练深度神经网络。此外,通常只有幻灯片级别的标签可用于训练,因为详细的注释是乏味的,并且对于专家来说可能是耗时的。使用多实例学习(MIL)框架的方法已被证明可以克服这些挑战。当前最先进的方法将学习框架分为两个解耦的部分:用于编码补丁的卷积神经网络(CNN),然后是用于幻灯片级预测的独立聚合方法。在该方法中,聚合步骤与由CNN编码器学习的表示无关。我们提出了一个端到端的框架,集群补丁从WSI到${k}$组,样本${k}'$补丁从每个组的训练,并使用自适应注意力机制幻灯片水平预测;征服者(C2C)。我们已经证明,将WSI划分为聚类可以通过将其暴露于从补丁中提取的各种判别特征来改进模型训练。我们通过在簇中的补丁的注意力权重和均匀分布之间引入KL-发散损失来正则化聚类机制。该框架在幻灯片级交叉熵、补丁级交叉熵和KL发散损失方面进行了端到端优化(实现:https://github.com/YashSharma/C2C)。
2021-06-13 cs.CV cs.LG eess.IV
Compact and De-biased Negative Instance Embedding for Multi-Instance Learning on Whole-Slide Image Classification
针对WSI分类中图像块缺乏标注及切片间变异性问题,提出一种与MIL算法正交的半监督去偏方法,利用正常切片的免费标注显著提升了现有MIL算法的预测性能。
2025-08-11 cs.CV
Jigsaw Regularization in Whole-Slide Image Classification
Booth School of Business, The University of Chicago, IL, USA(芝加哥大学商学院)
本文提出一种基于图神经网络和Jigsaw正则化的新型方法,通过引入视觉基础模型嵌入和跨块空间意识,提升多实例学习在乳腺癌、头颈癌和结肠癌等基准数据集上的分类性能。
2026-03-20 cs.CV
Contrastive Cross-Bag Augmentation for Multiple Instance Learning-based Whole Slide Image Classification
提出对比跨包增强方法,从同类别所有包采样实例增加伪包多样性,并引入包级和组级对比学习,提升多实例学习全切片图像分类性能。
2025-08-05 cs.CV
AEM: Attention Entropy Maximization for Multiple Instance Learning based Whole Slide Image Classification
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Engineering, Westlake University(西湖大学工程学院)
针对多示例学习全切片图像分类中因注意力过度集中导致的过拟合问题,提出AEM正则化技术结合余弦权重退火惩罚注意力集中,在多种框架与机制下均取得卓越性能。
2025-06-30 cs.CV
Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院);Fudan University Shanghai Cancer Center(复旦大学附属肿瘤医院);Zhongshan Hospital, Fudan University(复旦大学中山医院)
针对少样本弱监督全切片图像分类数据与标签稀缺的问题,提出病理知识增强的多实例提示学习框架,整合多模态先验并建模层级关系,在三项临床任务上性能优于现有少样本方法。
2024-07-15 cs.CV
DGMIL: Distribution Guided Multiple Instance Learning for Whole Slide Image Classification
Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Fudan University(复旦大学)
多实例学习(MIL)被广泛用于分析组织病理学全切片图像(WSIs)。然而,现有的MIL方法不显式地对数据分布进行建模,而是通过训练分类器来区分地学习袋级或实例级决策边界。在本文中,我们提出了DGMIL:一个用于WSI分类和正补丁定位的特征分布引导的深度MIL框架。我们没有设计复杂的判别网络架构,而是揭示了组织病理学图像数据的固有特征分布可以作为实例分类的非常有效的指导。我们提出了一个集群条件的特征分布建模方法和一个基于伪标签的迭代特征空间细化策略,使在最终的特征空间的积极和消极的情况下,可以很容易地分离。CAMELYON 16数据集和TCGA肺癌数据集上的实验表明,我们的方法实现了新的SOTA的全局分类和积极的补丁定位任务。
2022-06-17 cs.CV
Hard Negative Sample Mining for Whole Slide Image Classification
Stony Brook University(石溪大学);Harvard Medical School(哈佛医学院)
本文针对弱监督全切片图像分类,提出在微调阶段挖掘难负样本并结合新的图像块级排序损失,以提升特征表示质量、降低训练成本,并在两个公开数据集上验证了有效性。
2024-10-03 cs.CV
FALFormer: Feature-aware Landmarks self-attention for Whole-slide Image Classification
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对全切片图像分类中现有多示例学习方法难以充分利用全局块间关联的问题,提出基于特征感知地标的Nyström自注意力模型FALFormer,在两个公开数据集上取得优于现有方法的性能,助力病理图像精准分析。
2024-07-11 cs.CV
Exploring Visual Prompts for Whole Slide Image Classification with Multiple Instance Learning
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
多实例学习(MIL)已经成为一种流行的方法,用于分类组织病理学全切片图像(WSIs)。然而,现有的方法通常依赖于来自大型自然图像数据集(如ImageNet)的预训练模型来生成实例特征,由于自然图像和组织病理学图像之间的显着差异导致域偏移,因此可能是次优的。在本文中,我们提出了一种新的,简单而有效的方法来学习特定领域的知识转换从预训练的模型到组织病理学图像。我们的方法需要使用提示组件来帮助预训练模型识别预训练数据集和目标组织病理学数据集之间的差异,从而提高MIL模型的性能。我们在两个公开的数据集Camelyon 16和TCGA-NSCLC上验证了我们的方法。大量的实验结果表明,我们的方法对不同的MIL模型和骨干的显着性能改善。在本文发表后,我们将发布我们方法的源代码。
2023-03-23 cs.CV
TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification
Tsinghua University(清华大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peking University(北京大学)
多示例学习是解决基于切片图像的病理诊断中弱监督分类问题的有力工具。然而,现有的多输入多输出方法通常基于独立同分布假设,忽略了不同实例之间的相关性。为了解决这个问题,我们提出了一个新的框架,称为相关MIL,并提供了收敛性证明。在此基础上,我们设计了一个基于Transformer的MIL(TransMIL),它同时探索了形态和空间信息。建议的TransMIL可以有效地处理不平衡/平衡和二进制/多个分类具有很大的可视化和可解释性。我们对三个不同的计算病理学问题进行了各种实验,并与最先进的方法相比,取得了更好的性能和更快的收敛速度。CAMELYON 16数据集上二元肿瘤分类的测试AUC可高达93.09%。在TCGA-NSCLC和TCGA-RCC数据集上,癌症亚型分类的AUC分别高达96.03%和98.82%。可在https://github.com/szc19990412/TransMIL上获得实现。
2021-10-31 cs.CV
RaLMPH: Reliability-aware Learning for Multi-Pathologist Harmonization in Whole-Slide Image Classification
Korea Advanced Institute of Science and Technology(韩国科学技术院);Seegene Medical Foundation(Seegene医学基金会)
提出RaLMPH框架,通过可靠性场建模局部邻域结构和专家不确定性,实现多病理学家标注的全切片图像标签协调,提升多实例学习性能。
2026-06-18 cs.CV
SOS: Selective Objective Switch for Rapid Immunofluorescence Whole Slide Image Classification
The University of Queensland(昆士兰大学);Sullivan Nicolaides Pathology(沙利文尼古拉德斯病理学公司)
在临床显微镜中处理千兆像素全载玻片图像(WSIs)的困难一直是实施计算机辅助诊断系统的长期障碍。由于现代计算资源不能以这种极大的规模执行计算,因此现有技术的方法利用基于补丁的处理来保持WSI的分辨率。然而,这些方法通常是资源密集型的,并且在处理时间上做出重大妥协。在本文中,我们证明了传统的补丁为基础的处理是多余的某些WSI分类任务,高分辨率只需要在少数情况下。这反映了在临床实践中观察到的情况;病理学家可以使用低倍物镜筛选载玻片,并且仅在他们不确定其结果的情况下才切换到高倍物镜。为了消除这些冗余,我们提出了一种方法,用于选择性地使用高分辨率处理的基础上的信心预测缩小WSIs -我们称之为选择性目标开关(SOS)。我们的方法在一个新的数据集上进行了验证,该数据集包含684个常规用于自身免疫性肝病研究的肝肾胃免疫荧光WSI。通过限制高分辨率处理的情况下,不能自信地在低分辨率分类,我们保持补丁级分析的准确性,同时减少了推理时间的7.74倍。
2020-03-11 cs.CV
Dual-stream attention-guided learning for weakly supervised whole slide image classification
College of Computer Science and Technology, College of Data Science, Taiyuan University of Technology(太原科技大学计算机科学与技术学院、数据科学学院);College of Humanities, Law and Foreign Languages, Taiyuan University of Technology(太原科技大学人文学院、法律与外语学院);College of Artificial Intelligence, Taiyuan University of Technology(太原科技大学人工智能学院);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络安全学院);School of Mathematics, Taiyuan University of Technology(太原科技大学数学学院)
提出双流注意力引导学习框架,通过师生双流架构和注意力引导伪标签,解决弱监督下全切片图像中关键区域识别和实例关系建模问题,在合成和真实病理数据集上优于现有方法。
2026-06-09 cs.CV
ProtoDiv: Prototype-guided Division of Consistent Pseudo-bags for Whole-slide Image Classification
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出ProtoDiv方案,利用动态优化的注意力包原型引导WSI伪包划分,以即插即用方式安全增强数据并保持样本一致性,在七个基线模型和两个公开数据集上显著提升了分类性能。
2023-04-13 cs.CV
Multi-Scale Prototypical Transformer for Whole Slide Image Classification
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
本文提出多尺度原型Transformer(MSPT),通过原型Transformer和多尺度特征融合模块解决WSI分类中实例不平衡及多尺度信息融合难题,在两个公开数据集上取得优于现有算法的性能。
2023-07-05 cs.CV
Do Center Biases Propagate? Robustness of Pathology Foundation Models in Whole-Slide Image Classification
Universitat Politècnica de València (UPV)(瓦伦西亚理工大学);Artikode Intelligence S.L.(Artikode Intelligence 有限公司)
本研究评估病理学基础模型在全切片图像分类中是否传播中心偏差,通过受控实验和AUCC指标发现中心信息会传播且鲁棒性依赖模型与聚合策略,ComBat效果不一致。
2026-09-24 cs.AI cs.CV
Augmenting the Pathology Lab: An Intelligent Whole Slide Image Classification System for the Real World
Proscia Inc.(Proscia 公司);Boonshoft School of Medicine, Wright State University School of Medicine(莱特州立大学医学院布恩肖夫特医学院);Dermatopathology Laboratory of Central States(中部各州皮肤病理学实验室);University of Florida College of Medicine(佛罗里达大学医学院);Cockerell Dermatopathology(科克雷尔皮肤病理学机构);Sidney Kimmel Medical College at Thomas Jefferson University(托马斯杰斐逊大学西德尼·金梅尔医学院)
疑似皮肤癌的标准护理诊断程序是由病理学家对苏木精-伊红染色的组织进行显微镜检查。病理学家之间的高度不一致和活检率上升的领域需要更高的效率和诊断再现性。我们提出并验证了一个深度学习系统,该系统将数字化皮肤病理学切片分为4类。该系统使用来自单个实验室的5,070张图像开发,并使用来自3个测试实验室的13,537张未经管理的图像集进行测试,使用由3个不同供应商制造的全载玻片扫描仪。该系统使用基于深度学习的置信度评分作为判断结果准确性的标准,其准确率高达98%,并使其可在现实世界中采用。在没有置信度评分的情况下,系统的准确率达到78%。我们预计,我们的深度学习系统将作为一个基础,能够更快地诊断皮肤癌,识别病例供专家审查,并有针对性地进行诊断分类。
2019-09-24 cs.CV cs.LG eess.IV
Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models
Mayo Clinic(妙佑医疗国际)
本研究在TCGA数据集上对多种组织病理学基础模型开展零样本全切片图像检索测试,基于Yottixel平台评估不同top-k检索的F1分数,发现现有模型零样本检索性能偏低。
2024-09-12 cs.AI cs.CV eess.IV
Morphology signal in whole slide image foundation models can automatically triage slides
Mayo Clinic(梅奥诊所)
该研究提出利用公开的全切片图像基础模型,通过零样本分类预测对患者的多张全切片图像排序,可准确识别肿瘤最多的切片,实现自动切片分类,且在多数据集上验证了有效性。
2026-09-03 cs.CV cs.LG
Comparison of Different Methods for Tissue Segmentation in Histopathological Whole-Slide Images
Radboud University Medical Center(拉德堡德大学医学中心)
组织分割是数字病理学中高效准确诊断的重要前提。然而,众所周知,例如由于组织类型,或者由于弱染色,全载玻片扫描仪可能无法检测所有组织区域,因为它们的组织检测算法不够鲁棒。在本文中,我们介绍了两种不同的卷积神经网络架构的整个幻灯片图像分割,准确地识别组织切片。我们还比较了算法的出版的传统方法。我们从三个实验室收集了54张不同染色和组织类型的全载玻片图像,以验证我们的算法。我们发现,虽然这两种方法没有显着差异,但它们优于传统方法(Jaccard指数为0.937和0.929 vs. 0.870,p <0.01)。
2017-04-03 cs.CV cs.LG
SlideGraph+: Whole Slide Image Level Graphs to Predict HER2Status in Breast Cancer
University of Warwick(华威大学);University of Nottingham(诺丁汉大学);Nottingham Breast Cancer Research Centre(诺丁汉乳腺癌研究中心)
人表皮生长因子受体2(HER 2)是一种重要的预后和预测因子,在15-20%的乳腺癌(BCa)中过表达。其状态的确定是选择治疗方案和确定的关键临床决策步骤。通过原位杂交(ISH),使用transromotics或免疫组织化学(IHC)评价HER 2状态,除了评分中手动观察偏倚方面的分析变异性外,还需要额外的成本和组织负担。在这项研究中,我们提出了一种新的基于图神经网络(GNN)的模型(称为SlideGraph+),直接从常规苏木精和伊红(H&E)切片的全切片图像预测HER 2状态。除了两个独立的测试数据集外,该网络还在癌症基因组图谱(TCGA)的载玻片上进行了训练和测试。我们证明了该模型优于最先进的方法,TCGA的ROC曲线下面积(AUC)值> 0.75,独立测试集为0.8。我们的实验表明,所提出的方法可以用于病例分诊以及在诊断环境中的预排序诊断测试。它也可以用于计算病理学中的其他弱监督预测问题。SlideGraph+代码可从https://github.com/wenqi006/SlideGraph获得。
2021-10-12 cs.CV cs.LG
Analysis Of Multi Field Of View Cnn And Attention Cnn On H&E Stained Whole-slide Images On Hepatocellular Carcinoma
肝细胞癌(HCC)是世界范围内癌症相关死亡的主要原因。全载玻片成像是一种扫描载玻片的方法,已用于诊断HCC。对于卷积神经网络应用,使用高分辨率的全切片图像是不可行的。因此,平铺整个切片图像是分配卷积神经网络进行分类和分割的常用方法。由于小视场不能捕获较大尺度上的信息,而大视场不能捕获细胞尺度上的信息,因此瓦片大小的确定影响算法的性能。在这项工作中,瓦片大小对分类问题的性能的影响进行了分析。此外,多视场CNN被分配用于利用由不同图块大小提供的信息,并且注意力CNN被分配用于给出投票最有贡献的图块大小的能力。据发现,采用一个以上的瓦片大小显着增加了3.97%的分类性能,这两种算法被发现成功的算法,它只使用一个瓦片大小。
2020-02-18 cs.CV cs.LG
GloFlow: Global Image Alignment for Creation of Whole Slide Images for Pathology from Video
深度学习在病理学中的应用假设存在病理学切片的数字全切片图像。然而,载玻片数字化受到载玻片扫描仪中精确电动载物台的高成本的阻碍,所述载物台需要用于载玻片缝合的位置信息。我们提出了GloFlow,一个两阶段的方法,用于创建一个完整的幻灯片图像,使用基于光流的图像配准与全局对齐,使用计算上易处理的图形修剪方法。在第一阶段中,我们训练光流预测器来预测连续视频帧之间的成对平移以近似缝合。在第二阶段中,使用该近似缝合来创建邻域图以产生校正的缝合。在一个模拟的数据集的视频扫描的WSI,我们发现,我们的方法优于已知的方法来幻灯片拼接,并缝合WSI类似于幻灯片扫描仪产生的。
2020-11-12 cs.CV cs.LG eess.IV
Deep Learning for Whole Slide Image Analysis: An Overview
University of St Andrews(圣安德鲁斯大学)
全载玻片成像的广泛采用增加了对有效和高效的千兆像素图像分析的需求。深度学习处于计算机视觉的前沿,展示了与以前的视觉理解方法相比的重大改进。然而,整个载玻片图像具有数十亿像素,并且遭受高形态异质性以及不同类型的伪影。总的来说,这些阻碍了深度学习的常规使用。为了使深度学习解决方案的临床转化成为现实,需要解决这些挑战。在本文中,我们回顾了使用整个幻灯片图像训练深度神经网络的跨学科尝试,并强调了这些方法背后的不同思想。
2019-10-18 cs.CV cs.LG eess.IV
BigCell: Generating Gigapixel Whole-Slide Images
Stony Brook University(石溪大学);Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学);The University of Utah(犹他大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
BigCell是首个生成千兆像素级全切片组织病理学图像的方法,通过流匹配Transformer等技术实现,其合成样本可提升切片级少样本分类性能最高18%。
2026-10-14 cs.CV cs.LG
A self-supervised framework for learning whole slide representations
University of Michigan(密歇根大学)
提出SPT框架,通过将WSI补丁视为令牌并融合语言与视觉变换策略,实现吉像素级全切片自监督表示学习,在多个病理诊断任务上显著优于基线。
2024-05-23 cs.AI cs.CV cs.LG
Ink removal from histopathology whole slide images by combining classification, detection and image generation models
University of Oxford(牛津大学);Oxford NIHR Biomedical Research Centre(牛津NIHR生物医学研究中心);John Radcliffe Hospital(约翰·拉德克利夫医院)
组织病理学切片通常由病理学家使用永久性墨水标记器进行标记,这些标记器不应被去除,因为它们构成病历的一部分。通常,肿瘤区域被标记用于突出特征或其他下游处理(例如基因测序)的目的。一旦数字化,就没有从整个载玻片图像中去除该信息的既定方法,限制了其在研究中的可用性。从这些高分辨率全载玻片图像中去除标记墨水是一个重要且复杂的问题,因为它们污染不同的区域并且以不一致的方式。我们提出了一个有效的管道使用卷积神经网络,在不影响信息和图像分辨率的情况下,在无墨水图像的结果。我们的流水线包括一个顺序的经典卷积神经网络,用于准确分类的污染图像瓦片,快速区域检测器和域自适应周期一致的对抗生成模型,用于恢复前景像素。四个不同的整个幻灯片图像的定量和定性结果表明,我们的方法产生视觉上连贯的无墨水的整个幻灯片图像。
2019-05-10 cs.CV cs.LG eess.IV
LRMIL: Efficient Low-Resolution Multiple Instance Learning via High-Resolution Knowledge Distillation for Whole Slide Image Classification
Department of Computer Science and Engineering, Korea University, Seoul, Korea(韩国大学计算机科学与工程系)
提出LRMIL框架,通过两阶段知识蒸馏将高分辨率知识迁移到低分辨率表示,在推理时仅使用低分辨率图像块,显著降低计算成本并提升分类性能。
2026-06-05 cs.CV cs.LG
Advances in Multiple Instance Learning for Whole Slide Image Analysis: Techniques, Challenges, and Future Directions
本综述梳理了多示例学习(MIL)应用于千兆像素级全切片图像(WSI)病理分析的挑战与各类技术方法,探讨其在癌细胞研究、可解释模型构建等方向的潜力,为领域研究者提供现状参考与未来方向启发。
2024-08-18 cs.CV cs.LG
Leveraging whole slide difficulty in Multiple Instance Learning to improve prostate cancer grading
本文提出利用整张切片难度提升前列腺癌Gleason分级的分类性能,通过多任务和加权分类损失方法改进诊断效果。
2026-03-10 cs.CV
Summary of Point Transformer with Federated Learning for Predicting Breast Cancer HER2 Status from Hematoxylin and Eosin-Stained Whole Slide Images
Towson University(陶森大学)
本研究提出基于联邦学习和点Transformer的方法,结合动态标签分布、辅助分类器与最远余弦采样,从H&E染色全切片图像预测乳腺癌HER2状态,在多站点数据上表现卓越且泛化性强。
2024-12-19 cs.AI cs.CV cs.LG
Improving Interpretability for Computer-aided Diagnosis tools on Whole Slide Imaging with Multiple Instance Learning and Gradient-based Explanations
Keen Eye(基恩眼公司);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
深度学习方法广泛用于医疗应用,以帮助医生进行日常工作。虽然性能达到专家水平,但可解释性(强调训练模型如何学习和学习了什么以及为什么做出特定决策)是深度学习方法需要解决的下一个重要挑战,以便完全集成在医学领域。在本文中,我们解决的问题,在整个幻灯片图像(WSI)分类的背景下的可解释性。我们形式化的WSI分类架构的设计,并提出了一个分段的可解释性的方法,依赖于基于梯度的方法,功能可视化和多实例学习上下文。我们的目的是解释如何根据图块级别评分做出决策,如何决定这些图块评分以及使用哪些功能并与任务相关。在Camelyon-16 WSI数据集上训练了两个WSI分类架构,突出了学习到的判别特征,并与病理学家验证了我们的方法之后,我们提出了一种基于提取的特征计算可解释性幻灯片级热图的新方法,该方法将AUC的瓦片级分类性能提高了29%以上。
2020-09-29 cs.CV cs.LG
MPath: Multimodal Pathology Report Generation from Whole Slide Images
TIA Centre, Department of Computer Science, University of Warwick, UK(沃里克大学计算机科学系TIA研究中心)
MPath通过多模态条件化方法,利用预训练的生物医学语言模型生成病理报告,展示了在病理报告生成中的有效性与可扩展性。
2025-12-10 cs.CV cs.LG
Region of Interest Detection in Melanocytic Skin Tumor Whole Slide Images
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
组织病理学图像分析中的感兴趣区域自动检测是一个具有挑战性和重要性的课题,对临床实践具有巨大的潜在影响。计算病理学中使用的深度学习方法帮助我们降低成本,提高感兴趣区域检测和癌症诊断的速度和准确性。在这项工作中,我们提出了一种基于块的黑色素细胞皮肤肿瘤的整体载玻片图像的感兴趣区域检测方法。我们使用一个包含165个原发性黑色素瘤和痣的苏木精和伊红全切片图像的数据集,并构建一个深度学习方法。该方法在包含5个TCGA-SKCM切片的保留测试数据集上表现良好(切片分类任务的准确率为93.94%,感兴趣区域检测任务的交集率为41.27%),显示了该模型在黑素细胞皮肤肿瘤上的出色性能。尽管我们在皮肤肿瘤数据集上进行了实验测试,但我们的工作还可以扩展到其他医学图像检测问题,例如各种肿瘤的分类和预测,以帮助和有益于不同肿瘤的临床评估和诊断。
2022-10-29 cs.CV cs.GR cs.LG
HistomicsML2.0: Fast interactive machine learning for whole slide imaging data
Weisberg Division of Computer Science, Marshall University(马歇尔大学魏斯伯格计算机科学分部);Kitware, Inc.(Kitware公司);Emory University School of Medicine(埃默里大学医学院);National Cancer Institute(美国国家癌症研究所);Cairo University(开罗大学);Northwestern University Feinberg School of Medicine(西北大学费恩伯格医学院)
从全载玻片图像中提取定量表型信息对于没有开发图像分析算法经验的研究人员来说是一个重大挑战。我们提出了新的软件,使快速学习的例子训练的机器学习分类器检测的组织学模式在整个载玻片成像数据集。HistomicsML2.0使用卷积网络,可轻松适应各种应用程序,提供基于Web的用户界面,并可作为软件容器来简化部署。
2020-01-30 cs.CV cs.LG eess.IV
Overcoming the limitations of patch-based learning to detect cancer in whole slide images
University of Toronto(多伦多大学);University of British Columbia(不列颠哥伦比亚大学);Sunnybrook Health Science Center(森尼布鲁克健康科学中心);Sunnybrook Research Institute(森尼布鲁克研究所)
在训练深度学习模型时,整个幻灯片图像(WSI)带来了独特的挑战。它们非常大,这使得有必要将每个图像分解为较小的块进行分析,必须在多个尺度上提取图像特征,以便捕获细节和上下文,并且可能存在极端的类别不平衡。在分析这些图像方面取得了重大进展,这主要归功于公共注释数据集的可用性。然而,我们假设,即使一种方法在挑战任务中得分很高,这种成功可能不会转化为更临床相关的工作流程中的良好性能。许多数据集由图像块组成,这些图像块可能会受到数据策展偏差的影响;其他数据集仅在整个幻灯片级别进行标记,并且只要最终决策是正确的,图像上缺乏注释可能会掩盖错误的局部预测。在本文中,我们概述了补丁或幻灯片级分类与需要在整个幻灯片中准确定位或分割癌症的方法之间的差异,并且我们通过实验验证了这两种情况下的最佳实践不同。我们在新辅助治疗后乳腺癌WSI上应用二元癌症检测网络,以找到概述癌症范围的肿瘤床,这是一项需要整个载玻片的灵敏度和精确度的任务。我们广泛研究了多种设计选择及其对结果的影响,包括架构和增强。此外,我们提出了一种阴性数据采样策略,该策略大大降低了假阳性率(幻灯片水平上为7%),并改善了与我们的问题相关的每个度量,肿瘤范围的误差减少了15%。
2020-12-01 cs.CV cs.LG eess.IV
Aligning Knowledge Concepts to Whole Slide Images for Precise Histopathology Image Analysis
The University of Hong Kong(香港大学);Wake Forest University(维克森林大学)
针对WSIs分析中仅依赖训练数据学习的局限,提出基于知识概念的MIL框架ConcepPath,利用GPT-4从文献提取疾病特异性专家概念并结合可学习概念,在三项病理任务中显著优于现有SOTA方法。
2024-11-27 cs.CV cs.LG
Auditing Data Leakage in Whole-Slide Image Multimodal Benchmarks
University of Virginia(弗吉尼亚大学);Merck & Co., Inc.(默克公司)
研究针对计算病理学中WSI VQA基准测试数据泄露问题,通过追踪标识符发现患者级和机构级泄露,证明其可从基础模型特征空间解码,导致准确率差距,当前评估无法区分推理与检索,最后给出无污染评估建议。
2026-07-15 cs.CV cs.LG
Comments on 'Fast and scalable search of whole-slide images via self-supervised deep learning'
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
本文是针对Chen等人提出的SISH组织学图像搜索方法的评论,指出该方法是Yottixel的增量改进、未引用MinMax二值化原始文献且命名不当,同时提及实验对比方面的其他问题。
2023-06-14 cs.CV cs.LG eess.IV
Slideflow: Deep Learning for Digital Histopathology with Real-Time Whole-Slide Visualization
University of Chicago Medical Center(芝加哥大学医学中心);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);University of Chicago(芝加哥大学)
针对组织病理学深度学习模型缺乏开源交互界面与跨框架实验困难的问题,开发了支持全切片图像处理、弱监督分类与实时可视化的灵活开源深度学习库Slideflow。
2023-04-09 cs.CV eess.IV q-bio.QM
Benchmarking Pathology Feature Extractors for Whole Slide Image Classification
University of St Andrews(圣安德鲁斯大学);Else Kröner Fresenius Center for Digital Health(埃尔瑟·克勒纳·弗雷森纽斯数字健康中心);TUD Dresden University of Technology(德累斯顿工业大学);University Hospital Aachen(亚琛大学医院);University Hospital Heidelberg(海德堡大学医院);University Hospital Dresden(德累斯顿大学医院)
本研究针对弱监督全切片图像分类任务,对14种病理特征提取器开展全面基准测试,发现跳过染色归一化不影响性能、特征提取器选择是性能关键、低倍切片可满足分类需求,为简化数字病理工作流程提供依据。
2024-06-21 cs.CV cs.LG
Tissue Artifact Segmentation and Severity Analysis for Automated Diagnosis Using Whole Slide Images
American International University-Bangladesh(孟加拉美国国际大学)
本文提出一种结合DoubleUNet分割与六模型集成网络评估组织伪影严重度的系统,在分割准确率上提升9%,严重度评估与病理学家相关性达97%,并集成于自动分析系统。
2024-03-13 cs.CV cs.LG eess.IV
HistoSegCap: Capsules for Weakly-Supervised Semantic Segmentation of Histological Tissue Type in Whole Slide Images
Concordia University(康考迪亚大学);University of Yazd(亚兹德大学);University of Toronto(多伦多大学)
本文提出基于胶囊网络的弱监督语义分割方法HistoSegCap,用于全幻灯片图像中组织学组织类型分析,在ADP数据集上的准确性和mIoU指标优于传统方法。
2024-02-16 cs.CV cs.LG eess.IV
SlideMix: Enhancing Whole Slide Image Analysis via Multimodal Shuffling
University of California, Irvine(加利福尼亚大学欧文分校);National University of Singapore(新加坡国立大学);PuzzleLogic Pte Ltd(PuzzleLogic私人有限公司)
SlideMix是适用于多实例学习全切片图像分析的模型无关多模态增强框架,通过检索增强VLM区域选择、原位图块混洗等提升诊断准确率与泛化能力,在11个WSI数据集上表现优于基线。
2026-09-02 cs.CV
SlideChat: A Large Vision-Language Assistant for Whole-Slide Pathology Image Understanding
Shanghai AI Laboratory(上海人工智能实验室);Xiamen University(厦门大学);East China Normal University(华东师范大学);Stanford University(斯坦福大学);Monash University(莫纳什大学)
针对现有多模态大模型仅聚焦病理图像斑块级分析、缺乏全切片上下文的问题,本文提出首个支持十亿像素全切片病理图像理解的视觉语言助手SlideChat,构建了最大规模WSI指令数据集SlideInstruction与多模态基准SlideBench,在22项任务中18项达SOTA。
2025-03-19 cs.AI cs.CV
SlideRunner - A Tool for Massive Cell Annotations in Whole Slide Images
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Freie Universität Berlin(柏林自由大学)
大规模的图像数据,如数字化的全切片组织学图像,对注释软件解决方案提出了挑战性的任务。今天,存在许多具有不同范围的良好解决方案。然而,对于单元格注释,我们发现许多不符合快速注释的先决条件。特别是在有丝分裂检测领域,假设检测精度可以显著受益于目前生产非常麻烦的较大注释数据库。此外,多个独立的(盲)专家标签是此类数据库的一大资产,但目前还没有用于这种注释的工具。为了减轻专家注释和分级的繁琐过程,我们介绍了SlideRunner,这是一种用于数字组织病理学的开源注释和可视化工具,与两位病理学家密切合作开发。SlideRunner能够设置对象中心(例如细胞)以及对象边界(例如肿瘤轮廓)等注释。它提供了单击注释以及多注释的盲模式,其中专家直接显示包含他尚未评级的细胞的显微镜图像。
2018-02-07 cs.CV
Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
ContextVision AB(ContextVision公司)
数字病理学提供了将全卷积网络(FCN)应用于任务的绝佳机会,例如全载玻片图像(WSI)的语义分割。然而,标准的FCN面临着从WSI的金字塔排列继承的多分辨率方面的挑战。因此,需要专门设计用于学习和汇总不同级别信息的网络。在本文中,我们提出了两种新的多分辨率网络的基础上流行的“U网”架构,这是一个基准数据集上进行评估的二进制语义分割在WSI。所提出的方法优于U-Net,表现出卓越的学习和泛化能力。
2018-07-25 cs.CV
Clustered Patch Embeddings for Permutation-Invariant Classification of Whole Slide Images
Indian Institute of Technology Bombay(印度理工学院孟买分校)
提出一种利用编码器进行数据缩减并结合分类模型的方法,将整个全切片图像提炼为单个向量,实现置换不变的鲁棒表示,显著提升计算效率与病理评估准确性。
2024-11-13 cs.CV cs.LG eess.IV
DPsurv: Dual-Prototype Evidential Fusion for Uncertainty-Aware and Interpretable Whole-Slide Image Survival Prediction
National University of Singapore;National University of Singapore Guangzhou Research Translation;Innovation Institute;Imperial College London;Peking Union Medical College Hospital, Chinese Academy of Medical Sciences \& Peking Union Medical College;Hunan University;Institute of High Performance Computing, Agency for Science, Technology;Research (A STAR)
提出DPsurv双原型证据融合网络,通过不确定性感知的生存区间预测和基于补丁原型分配图、组件原型及组件级相对风险聚合的可解释性,在五个公开数据集上取得最佳一致性指数和积分Brier分数。
2026-05-29 cs.CV cs.LG eess.IV
Adversarial Domain Adaptation for Classification of Prostate Histopathology Whole-Slide Images
Rutgers University(罗格斯大学);Rutgers Cancer Institute of New Jersey(新泽西罗格斯癌症研究所)
组织病理学切片的自动和准确的格里森分级对于前列腺癌的诊断、治疗和预后至关重要。通常,来自不同机构的组织病理学组织切片由于不同的组织制备和染色程序而显示出异质性外观,因此从一个领域学习的可预测模型可能不直接适用于新的领域。在这里,我们建议采用无监督的领域自适应转移的歧视性知识从源域到目标域,而不需要标记的图像在目标域。通过对抗训练来实现自适应,以在目标域上找到不变的特征空间以及所提出的Siamese架构,以添加适合于整个载玻片图像的正则化。我们在两个前列腺癌数据集上验证了该方法,与基线模型相比,Gleason评分得到了显着的分类改善。
2018-06-06 cs.CV
Whole-Slide Image Focus Quality: Automatic Assessment and Impact on AI Cancer Detection
Google AI Healthcare(谷歌AI医疗保健)
数字病理学支持远程访问或咨询以及强大的图像分析算法。然而,载玻片数字化过程可能产生诸如失焦(OOF)之类的伪影。OOF通常只有在仔细检查时才能检测到,这可能会导致重新扫描和工作流延迟。虽然扫描时间操作员筛选整个载玻片OOF是可行的,但手动筛选仅影响部分载玻片的OOF是不切实际的。我们开发了一个卷积神经网络(ConvFocus),以彻底定位和量化数字化切片上OOF区域的严重程度。ConvFocus是使用我们改进的半合成OOF数据生成过程开发的,并使用跨越3种不同组织类型和3种不同染色类型的真实全切片图像进行评估,这些图像由两种不同的扫描仪进行数字化。将ConvFocus的预测与病理学家注释的514个不同区域的聚焦质量等级进行比较,这些区域代表37,700个35 x35 $μ$ m图像块,以及21个包含已知OOF模式的数字化“z-堆叠”全载玻片图像。当与病理学家分级的焦点质量相比时,ConvFocus在两台扫描仪上实现了0.81和0.94的斯皮尔曼等级系数,并从z堆栈扫描中再现了预期的OOF模式。我们还评估了OOF对最先进的转移性乳腺癌检测器的准确性的影响,并发现随着OOF的增加,性能持续下降。全面的全切片OOF分类可以在病理学家审查之前进行重新扫描,从而可能减少数字化焦点问题对临床工作流程的影响。我们表明,在我们的半合成OOF数据上训练的算法可以很好地推广到跨组织类型,染色和扫描仪的…
2019-02-05 cs.CV
A Prototype-Guided Coarse Annotations Refining Approach for Whole Slide Images
Xiamen University(厦门大学)
本文提出一种原型引导的粗标注细化方法,通过构建非冗余原型和伪标签模块,并采用动态采样与微调策略,在多个全切片图像数据集上显著优于现有最先进方法。
2025-03-25 cs.CV
Restoration of marker occluded hematoxylin and eosin stained whole slide histology images using generative adversarial networks
Image Data Analytics, Informatics IT, Merck \& Co., Inc., West Point, PA 19486, USA Image Data Analytics, Informatics IT, Merck \& Co., Inc., Rahway, NJ 07065, USA
对于病理学家来说,用标记物直接在载玻片上注释组织的特定区域(例如肿瘤)是常见的。尽管这种做法在组织学全载玻片数字化出现之前是有帮助的,但由于数字病理成像技术的最新进展,它经常掩盖与免疫肿瘤学越来越相关的重要细节。目前的工作使用具有周期损失的生成对抗网络来去除这些注释,同时通过解决图像到图像的转换问题来保持组织的底层结构。我们训练我们的网络上多达300个完整的幻灯片图像与标记墨水,并显示70%的校正图像补丁是无法区分的,从原来未受污染的图像组织的人类专家。当我们用深度残差网络取代人类专家时,这一部分增加了97%。通过计算图像梯度幅度之间的相关性,我们证明了该方法对原始图像的保真度。在我们的数据集中,我们观察到每张载玻片上多达94,000个细胞核的复苏,其中大部分位于组织边界上。
2019-10-14 cs.AI cs.CV cs.LG