Magnifying Networks for Images with Billions of Pixels
University of St Andrews(圣安德鲁斯大学)
向端到端深度学习的转变在计算机视觉的许多领域带来了前所未有的进步。然而,深度神经网络是在分辨率很少超过$1,000 \times 1,000$像素的图像上训练的。因此,创建具有极高分辨率(平均可以是$100,000 \times 100,000$像素)的图像的扫描仪的日益增长的使用对该领域提出了新的挑战。大多数已发表的方法预处理高分辨率图像成一组较小的补丁,施加先验的信念上提取的补丁(放大率,视野,位置等)的最佳性能。在这里,我们引入放大网络(MagNets)作为千兆像素图像分析的替代深度学习解决方案,它不依赖于预处理阶段,也不需要处理数十亿像素。MagNets可以学习动态检索千兆像素图像的任何部分,在任何放大级别和视野下,以端到端的方式,具有最小的基础事实(单个全局,幻灯片级标签)。我们在公开的Camelyon16和Camelyon17数据集上的结果证实了MagNets的有效性和效率以及所提出的用于整个幻灯片图像分类的优化框架。重要的是,MagNet处理每张幻灯片上的补丁比任何现有方法都要少得多($10$到$300$的时间更少)。
2022-04-18 cs.CV cs.LG
Pathological Prior-Guided Multiple Instance Learning For Mitigating Catastrophic Forgetting in Breast Cancer Whole Slide Image Classification
Renmin Hospital of Wuhan University(武汉大学人民医院);EPITA Research Laboratory(EPITA研究实验室)
提出PaGMIL框架,利用微观和宏观病理先验增强多实例学习,通过选择代表性斑块和提示引导分类头,缓解乳腺癌全切片图像分类中的灾难性遗忘,并在多个公开数据集上优于现有持续学习方法。
2025-03-25 cs.CV
BROW: Better featuRes fOr Whole slide image based on self-distillation
Zhejiang Lab(之江实验室)
针对超高分辨率全切片图像处理难题,提出基于自蒸馏和transformer架构的基础模型BROW,利用多尺度金字塔全局视图和图像块打乱技术,在超1.1万张切片数据上预训练,下游任务验证了其有效性与泛化能力。
2023-09-15 cs.CV
PANDA-PLUS-Bench: A Clinical Benchmark for Evaluating Robustness of AI Foundation Models in Prostate Cancer Diagnosis
Brigham Young University(杨百翰大学)
PANDA-PLUS-Bench通过定制基准数据集评估AI基础模型在前列腺癌Gleason分级中的鲁棒性,揭示模型在生物特征捕获和跨滑片准确率上的差异。
2025-12-16 cs.CV
Hierarchical discriminative learning improves visual representations of biomedical microscopy
University of Michigan(密歇根大学);Invenio Imaging(Invenio 成像公司);New York University(纽约大学)
学习高质量、自我监督的视觉表示对于推进计算机视觉在生物医学显微镜和临床医学中的作用至关重要。以前的工作集中在自我监督的表示学习(SSL)方法,例如歧视,并将其直接应用于图像补丁,或视野,从用于癌症诊断的千兆像素全载玻片图像(WSIs)采样。然而,这种策略是有限的,因为它(1)假设来自同一患者的贴片是独立的,(2)忽略了临床生物医学显微镜的患者-载玻片-贴片层次结构,以及(3)需要强大的数据增强,这可能会降低下游性能。重要的是,来自患者肿瘤的WSI的采样块是捕获相同的潜在癌症诊断的一组不同的图像示例。这激发了HiDisc,这是一种数据驱动的方法,它利用临床生物医学显微镜固有的患者-载玻片-贴片层次结构来定义一种分层判别学习任务,该任务隐含地学习基础诊断的特征。HiDisc使用自监督对比学习框架,在该框架中,基于数据层次结构中的共同祖先定义正补丁对,并且将统一的补丁、载玻片和患者判别学习目标用于视觉SSL。我们使用两个生物医学显微镜数据集对HiDisc视觉表示进行了两个视觉任务的基准测试,并证明(1)HiDisc预训练优于当前最先进的癌症诊断和遗传突变预测的自我监督预训练方法,(2)HiDisc使用自然斑块多样性学习高质量的视觉表示,而无需强数据增强。
2023-03-02 cs.AI cs.CV cs.LG
A self-supervised framework for learning whole slide representations
University of Michigan(密歇根大学)
提出SPT框架,通过将WSI补丁视为令牌并融合语言与视觉变换策略,实现吉像素级全切片自监督表示学习,在多个病理诊断任务上显著优于基线。
2024-05-23 cs.AI cs.CV cs.LG
Advancing Multiple Instance Learning with Continual Learning for Whole Slide Imaging
Dept. of Computer Science(计算机科学系);City University of Hong Kong(香港城市大学);Noah’s Ark Lab, Huawei Canada(华为加拿大诺亚实验室);Guangzhou Bingli Technology Co., Ltd.(广州炳利科技有限公司)
针对传统多示例学习模型难以适配演进数据集、现有持续学习方法提升有限的问题,本文发现注意力MIL模型遗忘集中在注意力层,提出注意力知识蒸馏与伪包内存池组件,在WSI数据集上实现了准确率与内存效率的双重提升。
2025-05-15 cs.CV
Multimodal Knowledge Distillation for Gastric Adenocarcinoma Classification from Whole-Slide Images
Indian Institute of Technology, Jodhpur(印度理工学院焦特布尔分校)
提出多模态知识蒸馏框架,利用低秩融合训练教师模型,蒸馏至学生模型实现仅图像推理,在胃腺癌WSI分类中比现有方法平均准确率提升至少3.35%。
2026-10-07 cs.AI cs.CV
Minimal High-Resolution Patches Are Sufficient for Whole Slide Image Representation via Cascaded Dual-Scale Reconstruction
提出级联双尺度重建框架,通过两阶段选择性采样和局部到全局网络,仅用每张全切片图像平均9个高分辨率补丁实现稳健表示,在三个数据集上提升准确率6.3%、AUC 5.5%,优于百万级补丁方法。
2025-08-03 cs.CV
SlideCheck: Guiding Self-Supervised Pretraining of Pathology Foundation Models via Dataset Distributions
Beijing University of Chemical Technology(北京化工大学);South China Normal University(华南师范大学);Tsinghua University(清华大学)
提出SlideCheck工具,利用冻结病理基础模型的特征,通过双头MLP评分异常和恶性证据,引导自监督预训练数据筛选,实验表明数据分布影响模型下游性能。
2026-05-28 cs.AI cs.CV
Whole Slide Images based Cancer Survival Prediction using Attention Guided Deep Multiple Instance Learning Networks
University of Texas at Arlington(得克萨斯大学阿灵顿分校);University of New South Wales(新南威尔士大学);UNSW Sydney(新南威尔士大学悉尼分校)
传统的基于图像的生存预测模型依赖于判别式补丁标记,这使得这些方法无法扩展到大型数据集。最近的研究表明,多实例学习(MIL)框架是有用的组织病理学图像时,没有注释的分类任务。与当前基于图像的生存模型仅限于从全切片图像(WSI)中导出的关键块或聚类不同,我们提出了深度注意力多实例生存学习(DeepAttnMISL),通过引入siamese MI-FCN和基于注意力的MIL池来有效地从WSI中学习成像特征,然后将WSI级别的信息聚合到患者级别。基于注意力的聚集比聚集技术在最近的生存模型更灵活和适应性。我们在两个大型癌症全切片图像数据集上评估了我们的方法,我们的结果表明,所提出的方法更有效,适用于大型数据集,并且在定位有助于准确预测癌症生存率的重要模式和特征方面具有更好的可解释性。所提出的框架也可用于评估个体患者的风险,从而有助于提供个性化的医疗。代码可在https://github.com/uta-smile/DeepAttnMISL_MEDIA上获得。
2020-09-23 cs.CV eess.IV
From Patches to Patients: A study of the tile-to-slide performance transferability in Digital Pathology
Université Paris-Saclay, CentraleSupélec, Gustave Roussy, INSERM, IHU PRISM, Cancer Data Science Unit(巴黎-萨克雷大学、中央理工-高等电力学院、古斯塔夫·鲁西研究所、法国国家健康与医学研究院、IHU PRISM、癌症数据科学单元);Université Paris-Saclay, CentraleSupélec, MICS Laboratory(巴黎-萨克雷大学、中央理工-高等电力学院、MICS实验室)
研究斑块级线性探测能否作为全切片级性能的可靠代理,通过19个基础模型在42个切片级和16个斑块级任务上的基准测试,发现斑块与切片性能高度相关,斑块级基准测试可有效筛选候选模型。
2026-06-09 cs.CV
FALFormer: Feature-aware Landmarks self-attention for Whole-slide Image Classification
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对全切片图像分类中现有多示例学习方法难以充分利用全局块间关联的问题,提出基于特征感知地标的Nyström自注意力模型FALFormer,在两个公开数据集上取得优于现有方法的性能,助力病理图像精准分析。
2024-07-11 cs.CV
From Patches to Evidence Balls: Class-Conditioned Evidence Retrieval for Few-Shot Whole Slide Image Classification
XJTU(西安交通大学);JUFE(江西财经大学);University of Cambridge(剑桥大学);NUS(新加坡国立大学)
该研究针对小样本全切片图像分类任务,提出类别条件证据检索框架EviBall,通过组织证据球并结合任务特定类别查询,提升分类性能与可解释性,在四项相关任务上优于现有基线方法。
2026-08-04 cs.CV
Benchmarking Pathology Feature Extractors for Whole Slide Image Classification
University of St Andrews(圣安德鲁斯大学);Else Kröner Fresenius Center for Digital Health(埃尔瑟·克勒纳·弗雷森纽斯数字健康中心);TUD Dresden University of Technology(德累斯顿工业大学);University Hospital Aachen(亚琛大学医院);University Hospital Heidelberg(海德堡大学医院);University Hospital Dresden(德累斯顿大学医院)
本研究针对弱监督全切片图像分类任务,对14种病理特征提取器开展全面基准测试,发现跳过染色归一化不影响性能、特征提取器选择是性能关键、低倍切片可满足分类需求,为简化数字病理工作流程提供依据。
2024-06-21 cs.CV cs.LG
Compact and De-biased Negative Instance Embedding for Multi-Instance Learning on Whole-Slide Image Classification
针对WSI分类中图像块缺乏标注及切片间变异性问题,提出一种与MIL算法正交的半监督去偏方法,利用正常切片的免费标注显著提升了现有MIL算法的预测性能。
2025-08-11 cs.CV
Jigsaw Regularization in Whole-Slide Image Classification
Booth School of Business, The University of Chicago, IL, USA(芝加哥大学商学院)
本文提出一种基于图神经网络和Jigsaw正则化的新型方法,通过引入视觉基础模型嵌入和跨块空间意识,提升多实例学习在乳腺癌、头颈癌和结肠癌等基准数据集上的分类性能。
2026-03-20 cs.CV
LanGuSTE: Language-Guided Coarse-to-Fine Patch Selection for Efficient Whole Slide Image Analysis
该研究针对全切片图像分析的高计算成本问题,提出LanGuSTE框架,通过跨尺度视觉提示调优和粗到细补丁选择,在保持诊断性能的同时将处理时间降至约3倍。
2026-08-25 cs.CV
A Multi Center Breast FNAC Whole-Slide Cytology Dataset for AI-Assisted Patch-Wise Classification Using C1 to C5 Reporting Categories
构建了一个多中心乳腺细针穿刺细胞学(FNAC)全切片图像数据集,包含321例患者和470张WSI,提供专家标注的C1至C5类别补丁,用于AI辅助的补丁级分类。
2026-06-29 cs.AI cs.CV
Patch-based Convolutional Neural Network for Whole Slide Tissue Image Classification
Stony Brook University(石溪大学);Stony Brook Hospital(石溪医院)
卷积神经网络(CNN)是用于许多图像分类任务的最先进的模型。然而,为了自动识别癌症亚型,在千兆像素分辨率的全载玻片组织图像(WSI)上训练CNN目前在计算上是不可能的。癌症亚型的区分是基于在图像块尺度上观察到的细胞水平视觉特征。因此,我们认为在这种情况下,在图像块上训练块级分类器将比图像级分类器表现得更好或相似。挑战变成了如何智能地组合块级分类结果,并对并非所有块都是有区别的这一事实进行建模。我们建议训练一个决策融合模型,以聚合由补丁级CNN给出的补丁级预测,据我们所知,这在以前还没有被证明。此外,我们制定了一个新的期望最大化(EM)的方法,自动定位判别补丁鲁棒利用补丁的空间关系。我们将我们的方法应用于神经胶质瘤和非小细胞肺癌病例的亚型分类。我们的方法的分类精度是类似的病理学家之间的观察者之间的协议。虽然不可能在WSI上训练CNN,但我们通过实验证明,使用较小图像的可比非癌症数据集,基于块的CNN可以优于基于图像的CNN。
2016-03-09 cs.CV
FAST: A Dual-tier Few-Shot Learning Paradigm for Whole Slide Image Classification
Digital Medical Research Center, School of Basic Medical Sciences, Fudan University(复旦大学基础医学院数字医学研究中心);Fudan University(复旦大学);University of Piraeus(比雷埃夫斯大学)
FAST提出双层少样本学习范式,通过极少标注的图像块构建缓存分支和先验分支,充分挖掘WSI信息,以0.22%标注成本接近全监督分类性能。
2024-09-29 cs.CV
Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images
Radboud University Medical Center(拉德堡德大学医学中心)
乳腺组织的组织病理学全切片图像(WSI)的自动分类需要在具有大背景区域的非常高的分辨率下进行分析。在本文中,我们提出了上下文感知的堆叠卷积神经网络(CNN)的分类乳腺WSIs正常/良性,导管原位癌(DCIS),浸润性导管癌(IDC)。我们首先训练一个CNN使用高像素分辨率补丁捕捉细胞级信息。然后,将该模型生成的特征响应作为输入馈送到第二个CNN,堆叠在第一个CNN的顶部。用大的输入补丁训练这种堆叠的架构能够学习细粒度(细胞)细节和组织结构的全局相互依赖性。我们的系统在包含221个H&E染色乳腺组织标本的WSI的数据集上进行训练和评估。该系统实现了非恶性和恶性载玻片的二进制分类的AUC为0.962,并获得了81.3%的三个类别的准确性分类的WSIs到正常/良性,DCIS和IDC,证明了其常规诊断的潜力。
2017-05-10 cs.CV
Cross-Modal Prototype Allocation: Unsupervised Slide Representation Learning via Patch-Text Contrast in Computational Pathology
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The First Affiliated Hospital of Sun Yat-sen University(中山大学附属第一医院)
提出ProAlign跨模态无监督框架,利用大语言模型生成原型文本并通过病理切片-文本对比学习,结合无参数注意力聚合,在四个公共数据集上超越现有无监督方法并媲美弱监督模型。
2025-03-26 cs.CV
Cluster-to-Conquer: A Framework for End-to-End Multi-Instance Learning for Whole Slide Image Classification
University of Virginia(弗吉尼亚大学)
近年来,数字化全切片图像(WSIs)的可用性使得基于深度学习的计算机视觉技术能够用于自动疾病诊断。然而,WSI提出了独特的计算和算法挑战。WSI是千兆像素大小的($\sim$ 100 K像素),这使得它们无法直接用于训练深度神经网络。此外,通常只有幻灯片级别的标签可用于训练,因为详细的注释是乏味的,并且对于专家来说可能是耗时的。使用多实例学习(MIL)框架的方法已被证明可以克服这些挑战。当前最先进的方法将学习框架分为两个解耦的部分:用于编码补丁的卷积神经网络(CNN),然后是用于幻灯片级预测的独立聚合方法。在该方法中,聚合步骤与由CNN编码器学习的表示无关。我们提出了一个端到端的框架,集群补丁从WSI到${k}$组,样本${k}'$补丁从每个组的训练,并使用自适应注意力机制幻灯片水平预测;征服者(C2C)。我们已经证明,将WSI划分为聚类可以通过将其暴露于从补丁中提取的各种判别特征来改进模型训练。我们通过在簇中的补丁的注意力权重和均匀分布之间引入KL-发散损失来正则化聚类机制。该框架在幻灯片级交叉熵、补丁级交叉熵和KL发散损失方面进行了端到端优化(实现:https://github.com/YashSharma/C2C)。
2021-06-13 cs.CV cs.LG eess.IV
PATHS: A Hierarchical Transformer for Efficient Whole Slide Image Analysis
University of Cambridge(剑桥大学)
针对全切片图像分析中补丁噪声多、计算成本高的问题,提出分层选择Transformer模型PATHS,通过跨放大倍率递归筛选相关补丁,在TCGA五个数据集上以少样本处理实现更优切片级预测性能。
2024-11-27 cs.AI cs.CV
Task-oriented Embedding Counts: Heuristic Clustering-driven Feature Fine-tuning for Whole Slide Image Classification
Shenzhen Shengqiang Technology Co., Ltd.(深圳盛强科技有限公司);Greater Bay Area National Center of Technology Innovation(粤港澳大湾区国家技术创新中心)
本文提出启发式聚类驱动特征微调方法HC-FT,通过两轮聚类筛选纯净正样本和困难负样本以解决WSI分类中MIL任务导向特征更新的过拟合与噪声标签问题,在CAMELYON16和BRACS数据集上分别实现97.13%和85.85%的AUC。
2024-06-02 cs.CV
Towards Effective and Efficient Context-aware Nucleus Detection in Histopathology Whole Slide Images
本文提出一种有效且高效的上下文感知核检测方法,通过聚合历史滑动窗口特征提升效率,并利用周围未标注样本增强模型适应性。
2026-02-07 cs.CV eess.IV
Inference of captions from histopathological patches
Medmain Research(Medmain研究院);Medmain Inc.(Medmain公司)
计算组织病理学在过去几年中取得了重大进展,慢慢接近临床应用。一个有益的领域是从H\& E染色的整个载玻片图像自动生成诊断报告,这将进一步提高病理学家的常规诊断工作流程的效率。在这项研究中,我们编制了一个胃腺癌内镜活检标本的组织病理学说明数据集(PatchGastricADC 22),我们从诊断报告中提取,并与从相关的全载玻片图像中提取的补丁配对。该数据集包含多种胃腺癌亚型。我们训练了一个基于注意力的基线模型来预测从补丁中提取的特征的字幕,并获得了有希望的结果。我们公开了262K补丁的标题数据集。
2022-02-07 cs.CV eess.IV
Multiple Instance Learning with random sampling for Whole Slide Image Classification
Eindhoven University of Technology(埃因霍温理工大学)
本研究针对计算病理学中多示例学习随机采样的性能与可解释性问题展开实验,证实采样效果具任务特异性,且端到端采样训练相比预提取特征更具性能优势。
2024-03-08 cs.CV
Slide-Level Prompt Learning with Vision Language Models for Few-Shot Multiple Instance Learning in Histopathology
EPFL(洛桑联邦理工学院);Monash University(莫纳什大学);Jio Institute(吉奥学院)
针对组织病理全玻片图像少样本分类难题,提出融合语言模型病理先验的VLM基多示例学习方法,通过玻片级提示学习微调,在少样本任务中性能优于现有方法。
2025-03-21 cs.CV
Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院);Fudan University Shanghai Cancer Center(复旦大学附属肿瘤医院);Zhongshan Hospital, Fudan University(复旦大学中山医院)
针对少样本弱监督全切片图像分类数据与标签稀缺的问题,提出病理知识增强的多实例提示学习框架,整合多模态先验并建模层级关系,在三项临床任务上性能优于现有少样本方法。
2024-07-15 cs.CV
SLAM-AGS: Slide-Label Aware Multi-Task Pretraining Using Adaptive Gradient Surgery in Computational Cytology
University of Cambridge(剑桥大学)
SLAM-AGS通过联合优化弱监督相似性和自监督对比性目标,提升下游任务性能,并利用自适应梯度手术解决任务梯度冲突,实现在低见证率下的稳定预训练和更优表现。
2025-11-18 cs.CV
Distilling High Diagnostic Value Patches for Whole Slide Image Classification Using Attention Mechanism
Northeastern University(东北大学);Chinese Academy of Sciences(中国科学院);Jinzhou Medical University(锦州医科大学)
本文提出AFD-MIL方法,通过注意力机制蒸馏高诊断价值图像块并排除冗余块,结合全局损失优化,在Camelyon16和TCGA-NSCLC上取得优于现有方法的分类性能。
2025-07-07 cs.CV eess.IV q-bio.TO
Efficient Whole Slide Image Classification through Fisher Vector Representation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究提出一种两阶段的WSI分类方法,通过提取少量关键病理图像块并采用Fisher vectors表示特征,在保持甚至超越标准方法分类准确率的同时显著降低了计算开销。
2024-11-13 cs.CV cs.LG
RoFormer for Position Aware Multiple Instance Learning in Whole Slide Image Classification
Sanofi(赛诺菲)
针对全玻片图像分类中现有多实例学习忽略块间空间关联的问题,提出基于RoFormer层的位置感知MIL方法,通过带相对位置编码的高效自注意力建模组织空间关系,在三个公开数据集上取得SOTA性能。
2023-10-03 cs.CV cs.LG
SemaMIL: Semantic-Aware Multiple Instance Learning with Retrieval-Guided State Space Modeling for Whole Slide Images
USTC(中国科学技术大学);NUDT(南京理工大学);FDU(复旦大学);Anhui Province Key Laboratory of Biomedical Imaging and Intelligent Processing(安徽省生物医学成像与智能处理重点实验室);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(人工智能研究院,合肥综合性国家科学中心)
针对WSI的MIL建模中上下文缺失、计算成本高及顺序破坏语义等问题,本文提出SemaMIL,通过语义重排和检索引导状态空间模块,在四个亚型数据集上以更低FLOPs和参数达到SOTA准确率。
2025-09-27 cs.CV
Cascaded Cross-Attention Networks for Data-Efficient Whole-Slide Image Classification Using Transformers
University Hospital Aachen(亚琛大学医院);RWTH Aachen University(亚琛工业大学)
提出级联交叉注意力网络(CCAN),线性复杂度处理全切片图像,在肺癌和肾癌数据集上达到高AUC,并适用于低数据场景。
2023-05-11 cs.CV cs.LG
Test-Time Instance Selection for Improved Whole Slide Image Analysis
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
本研究提出无需训练的即插即用测试时实例选择框架TTIS,融入多视图集成策略,可无缝集成到现有MIL模型,在多个WSI分析基准任务中性能优于或匹配基线模型。
2026-08-18 cs.CV eess.IV q-bio.QM
Attention2Minority: A salient instance inference-based multiple instance learning for classifying small lesions in whole slide images
Center for Biomedical Informatics, Wake Forest University School of Medicine(维克森林大学医学院生物医学信息学中心)
针对现有多示例学习模型难以识别全切片图像中极小肿瘤病灶的问题,提出SiiMIL模型,通过正常切片表征比对推理显著实例再分类,提升小病灶识别效果且大病灶表现相当,性能优于现有最优方法。
2023-12-11 cs.CV
LESS: Label-efficient Multi-scale Learning for Cytological Whole Slide Image Screening
The University of British Columbia(不列颠哥伦比亚大学);BC Cancer Agency(不列颠哥伦比亚癌症局);Vector Institute(向量研究所)
本文提出LESS方法,通过变分正未标记学习利用切片级标签改进图像块特征学习,并结合多尺度裁剪与CrossViT融合信息,在仅用切片级标签的小数据集上实现了高效、准确的细胞学WSI癌症筛查。
2023-09-20 cs.CV eess.IV
Hierarchical Transformer for Survival Prediction Using Multimodality Whole Slide Images and Genomics
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
为下游任务学习千兆像素级全载玻片病理学图像(WSI)的良好表示是至关重要的。以前的研究采用多实例学习(MIL)将WSI表示为采样补丁包,因为在大多数情况下,只有幻灯片级别的标签可用,并且WSI中只有一个很小的区域是疾病阳性区域。然而,WSI表示学习仍然是一个悬而未决的问题,这是由于:(1)在较高分辨率上的块采样可能无法描绘微环境信息,如肿瘤细胞和周围组织之间的相对位置,而在较低分辨率下的块丢失了细粒度的细节;(2)从巨大的WSI中提取块会导致大袋尺寸,这大大增加了计算成本。为了解决这些问题,本文提出了一种基于层次的多模态Transformer框架,学习病理图像和相应基因之间的层次映射。准确地说,我们随机提取即时级补丁功能从WSI与不同的放大倍率。然后在成像和基因组学之间建立一个共注意映射,以揭示两两之间的相互作用,降低成像特征的空间复杂度。这种早期融合使得使用MIL Transformer进行生存预测任务在计算上是可行的。与基准方法相比,我们的架构需要更少的GPU资源,同时保持更好的WSI表示能力。我们对癌症基因组图谱数据库中的五种癌症类型进行了评估,并实现了$0.673$的平均c指数,优于最先进的多模态方法。
2022-11-29 cs.CV cs.LG
Beyond Relevance: Bayesian Evidence Acquisition for Agentic Whole-Slide Image Reasoning
A*STAR(新加坡科技研究局)
本研究提出BEACON框架,将WSI推理建模为贝叶斯证据获取问题,通过最大化预期信息增益减少诊断不确定性,在五个WSI-VQA基准的零样本实验中,其性能优于同类无训练智能体框架,提升了证据获取效率。
2026-08-07 cs.CV
Automatic breast cancer grading in lymph nodes using a deep neural network
University of Heidelberg(海德堡大学);DKFZ Heidelberg(海德堡德国癌症研究中心)
乳腺癌的进展可以在淋巴结全载玻片图像(WSIs)中量化。我们描述了一种新的方法,有效地进行分类的全载玻片图像和患者水平的乳腺癌分级。我们的方法利用了深度神经网络。该方法对小块进行分类,并使用模型平均进行提升。在第一步中,感兴趣区域的补丁被确定和裁剪自动颜色阈值,然后由深层神经网络分类。分类结果用于确定载玻片级别类别,并用于进一步聚合以预测患者级别等级。我们的方法的快速处理速度使得高通量图像分析成为可能。
2017-07-24 cs.CV cs.LG
Patch Transformer for Multi-tagging Whole Slide Histopathology Images
University of Rochester(罗切斯特大学);HistoWiz Inc.(HistoWiz公司)
由于当今组织病理学中收集的WSI的数量和多样性的增加,自动化的全载玻片图像(WSI)标记已经成为日益增长的需求。已经研究了各种方法来对具有单个标签的WSI进行分类,但是没有一种方法专注于标记具有多个标签的WSI。为此,我们提出了一种新型的端到端可训练深度神经网络Patch Transformer,它可以根据标签之间的相关性和唯一性,从WSI补丁中有效地预测多个幻灯片级标签。具体地说,该方法学习补丁特性考虑1)通过补丁变换模块和2)通过多标签注意模块的每个标记任务的标签的唯一性补丁的关系。在一个包含4,920个WSI的大型数据集上进行的大量实验证明了该模型的有效性。
2019-07-04 cs.CV
Pay Attention with Focus: A Novel Learning Scheme for Classification of Whole Slide Images
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Ontario Tech University(安大略理工大学)
由于图像尺寸较大,卷积神经网络(CNN)等深度学习方法难以直接用于分析整个幻灯片图像(WSI)。我们克服了这个限制,提出了一种新的两阶段的方法。首先,我们从WSI中提取一组代表性的补丁(称为马赛克)。使用深度网络将马赛克的每个补丁编码为特征向量。使用WSI的分层目标标签来微调特征提取器模型,即,解剖部位和初步诊断。在第二阶段中,一组编码的补丁级功能从WSI被用来计算的主要诊断概率,通过建议的关注与焦点计划,注意力加权平均预测概率的马赛克调制的可训练的焦点因素。实验结果表明,该模型具有较好的鲁棒性,能够有效地对WSIs进行分类。
2021-06-11 cs.CV eess.IV
TPMIL: Trainable Prototype Enhanced Multiple Instance Learning for Whole Slide Image Classification
Monash University(莫纳什大学);Macquarie University(麦考瑞大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
针对全切片图像分类的弱监督痛点,提出TPMIL框架,融合原型学习与多示例学习,通过软聚类优化特征空间,兼具亚型相关性分析与更优可解释性,在两个数据集上达SOTA。
2023-05-01 cs.CV
EvoPS: Evolutionary Patch Selection for Whole Slide Image Analysis in Computational Pathology
Department of Computer Science and Physics, Wilfrid Laurier University(计算机科学与物理系,威尔弗里德·劳里尔大学)
针对计算病理学中WSI补丁选择的效率与准确性权衡问题,提出EvoPS多目标进化框架,在TCGA四个癌症队列验证中减少90%以上训练补丁并保持或提升F1分数,优化WSI表示的成本与性能平衡。
2026-10-30 cs.CV cs.LG eess.IV
SCMIL: Sparse Context-aware Multiple Instance Learning for Predicting Cancer Survival Probability Distribution in Whole Slide Images
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
SCMIL通过稀疏上下文感知多实例学习、SoftFilter斑块过滤模块和基于寄存器的混合密度网络,有效建模WSI中任务相关斑块的交互并预测癌症生存概率分布,在TCGA的LUAD和KIRC数据集上优于现有方法。
2024-10-22 cs.AI cs.CV
BagShift: Measuring How Patch Selection Changes the Evidence Seen by Whole-Slide MIL
BagShift通过配对协议探究全切片MIL中切片选择变化对证据的影响,在PANDA、CAMELYON16等数据集上验证了选择方式对模型性能的显著影响,提出合并重复局部切片的优化方法。
2026-08-18 cs.CV
MERGE: Multi-faceted Hierarchical Graph-based GNN for Gene Expression Prediction from Whole Slide Histopathology Images
Stony Brook University(石溪大学);Indiana University School of Medicine(印第安纳大学医学院)
针对现有全切片图像基因表达预测方法未充分利用组织位置间相互作用的问题,提出融合多面分层图与GNN的MERGE方法,还评估了ST数据平滑技术,实验显示该方法多指标优于现有最优技术。
2025-03-19 cs.CV
Look a Group at Once: Multi-Slide Modeling for Survival Prediction
Sichuan University(四川大学);Duke-NUS Medical School(杜克-新加坡国立大学医学院);Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);The Hong Kong University of Science Technology(香港科技大学)
本文提出GroupMIL框架和GPAMamba模型,将多切片建模为单样本以捕获跨切片预后特征,并通过双头预测器在TCGA五个数据集上显著提升生存预测性能。
2024-11-24 cs.CV
Long-MIL: Scaling Long Contextual Multiple Instance Learning for Histopathology Whole Slide Image Analysis
Zhejiang University(浙江大学);Westlake University(西湖大学)
提出Long-MIL方法,通过在注意力中引入线性偏置修正位置嵌入并适应二维长上下文WSI,结合Flash-Attention降低复杂度,在4个数据集上验证了对形状变化WSI分析的优越性。
2023-11-21 cs.CV
Interactive Whole Slide Images for RL-based Tumour Segmentation
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);IBV(生物信息研究所);Politecnico di Torino(都灵理工大学);Bichat Hospital(比沙医院);Assistance Publique–Hôpitaux de Paris(巴黎公共医疗集团)
该研究针对全切片图像分析的计算挑战,提出端到端强化学习框架,将WSI建模为交互式分层多分辨率环境,经PPO训练的智能体可直接完成全切片肿瘤分割,推理速度快且效果与基于图像块的方法相当,为计算病理学提供新方向。
2026-08-18 cs.CV
Embedding Space Augmentation for Weakly Supervised Learning in Whole-Slide Images
University College London(伦敦大学学院);Brigham and Women's Hospital(布莱根妇女医院);Harvard Medical School(哈佛医学院);Massachusetts General Hospital(麻省总医院);Broad Institute of Harvard and MIT(哈佛-麻省理工博德研究所);Dana-Farber Cancer Institute(达纳-法伯癌症研究所);University of Warwick(华威大学);University Hospitals Coventry and Warwickshire NHS Trust(考文垂与沃里克郡国民保健服务信托大学医院);The Alan Turing Institute(艾伦·图灵研究所)
多实例学习(MIL)是一种广泛使用的框架,用于从WSI级别的注释中学习千兆像素的全载玻片图像(WSI)。在用于WSI级分析的大多数基于MIL的分析管道中,WSI通常被划分为补丁和补丁的深度特征(即,补丁嵌入)在训练之前被提取,以降低总体计算成本并应对GPU的有限RAM。为了克服这一限制,我们提出了EmbAugmenter,一个数据增强生成对抗网络(DA-GAN),可以在嵌入空间而不是像素空间中合成数据增强,从而显着降低计算要求。在SICAPv 2数据集上的实验表明,我们的方法在没有增强的情况下优于MIL,并且与传统的MIL训练补丁级增强相当,同时速度更快。
2022-10-31 cs.AI cs.CV