Pathology-knowledge Enhanced Multi-instance Prompt Learning for Few-shot Whole Slide Image Classification
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院);Fudan University Shanghai Cancer Center(复旦大学附属肿瘤医院);Zhongshan Hospital, Fudan University(复旦大学中山医院)
针对少样本弱监督全切片图像分类数据与标签稀缺的问题,提出病理知识增强的多实例提示学习框架,整合多模态先验并建模层级关系,在三项临床任务上性能优于现有少样本方法。
2024-07-15 cs.CV
DGMIL: Distribution Guided Multiple Instance Learning for Whole Slide Image Classification
Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Fudan University(复旦大学)
多实例学习(MIL)被广泛用于分析组织病理学全切片图像(WSIs)。然而,现有的MIL方法不显式地对数据分布进行建模,而是通过训练分类器来区分地学习袋级或实例级决策边界。在本文中,我们提出了DGMIL:一个用于WSI分类和正补丁定位的特征分布引导的深度MIL框架。我们没有设计复杂的判别网络架构,而是揭示了组织病理学图像数据的固有特征分布可以作为实例分类的非常有效的指导。我们提出了一个集群条件的特征分布建模方法和一个基于伪标签的迭代特征空间细化策略,使在最终的特征空间的积极和消极的情况下,可以很容易地分离。CAMELYON 16数据集和TCGA肺癌数据集上的实验表明,我们的方法实现了新的SOTA的全局分类和积极的补丁定位任务。
2022-06-17 cs.CV
Hard Negative Sample Mining for Whole Slide Image Classification
Stony Brook University(石溪大学);Harvard Medical School(哈佛医学院)
本文针对弱监督全切片图像分类,提出在微调阶段挖掘难负样本并结合新的图像块级排序损失,以提升特征表示质量、降低训练成本,并在两个公开数据集上验证了有效性。
2024-10-03 cs.CV
FALFormer: Feature-aware Landmarks self-attention for Whole-slide Image Classification
School of Electrical Engineering, Korea University(高丽大学电气工程学院)
针对全切片图像分类中现有多示例学习方法难以充分利用全局块间关联的问题,提出基于特征感知地标的Nyström自注意力模型FALFormer,在两个公开数据集上取得优于现有方法的性能,助力病理图像精准分析。
2024-07-11 cs.CV
Exploring Visual Prompts for Whole Slide Image Classification with Multiple Instance Learning
The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
多实例学习(MIL)已经成为一种流行的方法,用于分类组织病理学全切片图像(WSIs)。然而,现有的方法通常依赖于来自大型自然图像数据集(如ImageNet)的预训练模型来生成实例特征,由于自然图像和组织病理学图像之间的显着差异导致域偏移,因此可能是次优的。在本文中,我们提出了一种新的,简单而有效的方法来学习特定领域的知识转换从预训练的模型到组织病理学图像。我们的方法需要使用提示组件来帮助预训练模型识别预训练数据集和目标组织病理学数据集之间的差异,从而提高MIL模型的性能。我们在两个公开的数据集Camelyon 16和TCGA-NSCLC上验证了我们的方法。大量的实验结果表明,我们的方法对不同的MIL模型和骨干的显着性能改善。在本文发表后,我们将发布我们方法的源代码。
2023-03-23 cs.CV
TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification
Tsinghua University(清华大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peking University(北京大学)
多示例学习是解决基于切片图像的病理诊断中弱监督分类问题的有力工具。然而,现有的多输入多输出方法通常基于独立同分布假设,忽略了不同实例之间的相关性。为了解决这个问题,我们提出了一个新的框架,称为相关MIL,并提供了收敛性证明。在此基础上,我们设计了一个基于Transformer的MIL(TransMIL),它同时探索了形态和空间信息。建议的TransMIL可以有效地处理不平衡/平衡和二进制/多个分类具有很大的可视化和可解释性。我们对三个不同的计算病理学问题进行了各种实验,并与最先进的方法相比,取得了更好的性能和更快的收敛速度。CAMELYON 16数据集上二元肿瘤分类的测试AUC可高达93.09%。在TCGA-NSCLC和TCGA-RCC数据集上,癌症亚型分类的AUC分别高达96.03%和98.82%。可在https://github.com/szc19990412/TransMIL上获得实现。
2021-10-31 cs.CV
RaLMPH: Reliability-aware Learning for Multi-Pathologist Harmonization in Whole-Slide Image Classification
Korea Advanced Institute of Science and Technology(韩国科学技术院);Seegene Medical Foundation(Seegene医学基金会)
提出RaLMPH框架,通过可靠性场建模局部邻域结构和专家不确定性,实现多病理学家标注的全切片图像标签协调,提升多实例学习性能。
2026-06-18 cs.CV
SOS: Selective Objective Switch for Rapid Immunofluorescence Whole Slide Image Classification
The University of Queensland(昆士兰大学);Sullivan Nicolaides Pathology(沙利文尼古拉德斯病理学公司)
在临床显微镜中处理千兆像素全载玻片图像(WSIs)的困难一直是实施计算机辅助诊断系统的长期障碍。由于现代计算资源不能以这种极大的规模执行计算,因此现有技术的方法利用基于补丁的处理来保持WSI的分辨率。然而,这些方法通常是资源密集型的,并且在处理时间上做出重大妥协。在本文中,我们证明了传统的补丁为基础的处理是多余的某些WSI分类任务,高分辨率只需要在少数情况下。这反映了在临床实践中观察到的情况;病理学家可以使用低倍物镜筛选载玻片,并且仅在他们不确定其结果的情况下才切换到高倍物镜。为了消除这些冗余,我们提出了一种方法,用于选择性地使用高分辨率处理的基础上的信心预测缩小WSIs -我们称之为选择性目标开关(SOS)。我们的方法在一个新的数据集上进行了验证,该数据集包含684个常规用于自身免疫性肝病研究的肝肾胃免疫荧光WSI。通过限制高分辨率处理的情况下,不能自信地在低分辨率分类,我们保持补丁级分析的准确性,同时减少了推理时间的7.74倍。
2020-03-11 cs.CV
Dual-stream attention-guided learning for weakly supervised whole slide image classification
College of Computer Science and Technology, College of Data Science, Taiyuan University of Technology(太原科技大学计算机科学与技术学院、数据科学学院);College of Humanities, Law and Foreign Languages, Taiyuan University of Technology(太原科技大学人文学院、法律与外语学院);College of Artificial Intelligence, Taiyuan University of Technology(太原科技大学人工智能学院);School of Cyberspace Security, Beijing University of Posts and Telecommunications(北京邮电大学网络安全学院);School of Mathematics, Taiyuan University of Technology(太原科技大学数学学院)
提出双流注意力引导学习框架,通过师生双流架构和注意力引导伪标签,解决弱监督下全切片图像中关键区域识别和实例关系建模问题,在合成和真实病理数据集上优于现有方法。
2026-06-09 cs.CV
ProtoDiv: Prototype-guided Division of Consistent Pseudo-bags for Whole-slide Image Classification
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出ProtoDiv方案,利用动态优化的注意力包原型引导WSI伪包划分,以即插即用方式安全增强数据并保持样本一致性,在七个基线模型和两个公开数据集上显著提升了分类性能。
2023-04-13 cs.CV
Multi-Scale Prototypical Transformer for Whole Slide Image Classification
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
本文提出多尺度原型Transformer(MSPT),通过原型Transformer和多尺度特征融合模块解决WSI分类中实例不平衡及多尺度信息融合难题,在两个公开数据集上取得优于现有算法的性能。
2023-07-05 cs.CV
Do Center Biases Propagate? Robustness of Pathology Foundation Models in Whole-Slide Image Classification
Universitat Politècnica de València (UPV)(瓦伦西亚理工大学);Artikode Intelligence S.L.(Artikode Intelligence 有限公司)
本研究评估病理学基础模型在全切片图像分类中是否传播中心偏差,通过受控实验和AUCC指标发现中心信息会传播且鲁棒性依赖模型与聚合策略,ComBat效果不一致。
2026-09-24 cs.AI cs.CV
BEL: A Bag Embedding Loss for Transformer enhances Multiple Instance Whole Slide Image Classification
Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
多实例学习(MIL)已成为对千兆像素组织病理学全切片图像(WSIs)进行分类任务的主要方法。在MIL框架中,单个WSI(包)被分解为补丁(实例),只有WSI级别的注释可用。最近的MIL方法通过利用Transformer架构对实例之间的依赖关系建模的能力来产生高度信息化的包级表示。然而,当应用于高放大率数据集时,由于大量的实例和较弱的监督学习信号,出现了问题。为了解决这个问题,我们建议另外训练Transformers与一个新的袋嵌入损失(BEL)。BEL迫使模型通过最小化同一类的包嵌入之间的距离和最大化不同类之间的距离来学习有区别的包级表示。我们在两个公开的组织病理学数据集BRACS和CAMELYON 17上使用Transformer架构TransMIL评估BEL。我们发现,使用BEL,TransMIL在两个数据集上的表现优于基线模型,从而有助于对组织学患者材料进行临床高度相关的基于AI的肿瘤分类。
2023-03-02 cs.CV cs.LG
Cascaded Cross-Attention Networks for Data-Efficient Whole-Slide Image Classification Using Transformers
University Hospital Aachen(亚琛大学医院);RWTH Aachen University(亚琛工业大学)
提出级联交叉注意力网络(CCAN),线性复杂度处理全切片图像,在肺癌和肾癌数据集上达到高AUC,并适用于低数据场景。
2023-05-11 cs.CV cs.LG
Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification with Self-supervised Contrastive Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Morgridge Institute for Research(莫格里奇研究所)
我们解决了具有挑战性的问题,整个幻灯片图像(WSI)分类。WSI具有非常高的分辨率,并且通常缺少本地化的注释。当只有幻灯片级别的标签可用时,WSI分类可以转换为多实例学习(MIL)问题。我们提出了一种基于MIL的WSI分类和肿瘤检测方法,不需要本地化的注释。我们的方法有三个主要组成部分。首先,我们介绍了一种新的MIL聚合器,该聚合器采用可训练的距离测量对双流体系结构中的实例关系进行建模。其次,由于WSI可以产生大的或不平衡的袋子,阻碍了MIL模型的训练,我们建议使用自监督对比学习来提取MIL的良好表示,并减轻大袋子的内存成本过高的问题。第三,对多尺度WSI特征采用金字塔融合机制,进一步提高了分类和定位的准确性。我们的模型在两个有代表性的WSI数据集上进行了评估。我们的模型的分类准确性与完全监督的方法相比毫不逊色,数据集之间的准确性差距小于2%。我们的结果也优于所有以前的基于MIL的方法。标准MIL数据集上的其他基准测试结果进一步证明了我们的MIL聚合器在一般MIL问题上的卓越性能。GitHub存储库:https://github.com/binli123/dsmil-wsi
2021-04-02 cs.CV cs.LG
ProtoMIL: Multiple Instance Learning with Prototypical Parts for Whole-Slide Image Classification
Jagiellonian University(雅盖隆大学);Ardigen SA(阿迪根公司)
多实例学习(MIL)由于其弱监督的性质,在许多现实生活中的机器学习应用中越来越受欢迎。然而,解释MIL的相应努力滞后,并且通常仅限于呈现对特定预测至关重要的袋子的实例。在本文中,我们通过引入ProtoMIL来填补这一空白,这是一种新型的可自我解释的MIL方法,其灵感来自于在视觉原型上操作的基于案例的推理过程。由于将原型特征纳入对象描述,ProtoMIL前所未有地加入了模型的准确性和细粒度的可解释性,我们在五个公认的MIL数据集上进行了实验。
2022-09-06 cs.AI cs.CV cs.LG
Cluster-to-Conquer: A Framework for End-to-End Multi-Instance Learning for Whole Slide Image Classification
University of Virginia(弗吉尼亚大学)
近年来,数字化全切片图像(WSIs)的可用性使得基于深度学习的计算机视觉技术能够用于自动疾病诊断。然而,WSI提出了独特的计算和算法挑战。WSI是千兆像素大小的($\sim$ 100 K像素),这使得它们无法直接用于训练深度神经网络。此外,通常只有幻灯片级别的标签可用于训练,因为详细的注释是乏味的,并且对于专家来说可能是耗时的。使用多实例学习(MIL)框架的方法已被证明可以克服这些挑战。当前最先进的方法将学习框架分为两个解耦的部分:用于编码补丁的卷积神经网络(CNN),然后是用于幻灯片级预测的独立聚合方法。在该方法中,聚合步骤与由CNN编码器学习的表示无关。我们提出了一个端到端的框架,集群补丁从WSI到${k}$组,样本${k}'$补丁从每个组的训练,并使用自适应注意力机制幻灯片水平预测;征服者(C2C)。我们已经证明,将WSI划分为聚类可以通过将其暴露于从补丁中提取的各种判别特征来改进模型训练。我们通过在簇中的补丁的注意力权重和均匀分布之间引入KL-发散损失来正则化聚类机制。该框架在幻灯片级交叉熵、补丁级交叉熵和KL发散损失方面进行了端到端优化(实现:https://github.com/YashSharma/C2C)。
2021-06-13 cs.CV cs.LG eess.IV
Zero-Shot Whole Slide Image Retrieval in Histopathology Using Embeddings of Foundation Models
Mayo Clinic(妙佑医疗国际)
本研究在TCGA数据集上对多种组织病理学基础模型开展零样本全切片图像检索测试,基于Yottixel平台评估不同top-k检索的F1分数,发现现有模型零样本检索性能偏低。
2024-09-12 cs.AI cs.CV eess.IV
Augmenting the Pathology Lab: An Intelligent Whole Slide Image Classification System for the Real World
Proscia Inc.(Proscia 公司);Boonshoft School of Medicine, Wright State University School of Medicine(莱特州立大学医学院布恩肖夫特医学院);Dermatopathology Laboratory of Central States(中部各州皮肤病理学实验室);University of Florida College of Medicine(佛罗里达大学医学院);Cockerell Dermatopathology(科克雷尔皮肤病理学机构);Sidney Kimmel Medical College at Thomas Jefferson University(托马斯杰斐逊大学西德尼·金梅尔医学院)
疑似皮肤癌的标准护理诊断程序是由病理学家对苏木精-伊红染色的组织进行显微镜检查。病理学家之间的高度不一致和活检率上升的领域需要更高的效率和诊断再现性。我们提出并验证了一个深度学习系统,该系统将数字化皮肤病理学切片分为4类。该系统使用来自单个实验室的5,070张图像开发,并使用来自3个测试实验室的13,537张未经管理的图像集进行测试,使用由3个不同供应商制造的全载玻片扫描仪。该系统使用基于深度学习的置信度评分作为判断结果准确性的标准,其准确率高达98%,并使其可在现实世界中采用。在没有置信度评分的情况下,系统的准确率达到78%。我们预计,我们的深度学习系统将作为一个基础,能够更快地诊断皮肤癌,识别病例供专家审查,并有针对性地进行诊断分类。
2019-09-24 cs.CV cs.LG eess.IV
Leveraging whole slide difficulty in Multiple Instance Learning to improve prostate cancer grading
本文提出利用整张切片难度提升前列腺癌Gleason分级的分类性能,通过多任务和加权分类损失方法改进诊断效果。
2026-03-10 cs.CV
SlideMix: Enhancing Whole Slide Image Analysis via Multimodal Shuffling
University of California, Irvine(加利福尼亚大学欧文分校);National University of Singapore(新加坡国立大学);PuzzleLogic Pte Ltd(PuzzleLogic私人有限公司)
SlideMix是适用于多实例学习全切片图像分析的模型无关多模态增强框架,通过检索增强VLM区域选择、原位图块混洗等提升诊断准确率与泛化能力,在11个WSI数据集上表现优于基线。
2026-09-02 cs.CV
SlideRunner - A Tool for Massive Cell Annotations in Whole Slide Images
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Freie Universität Berlin(柏林自由大学)
大规模的图像数据,如数字化的全切片组织学图像,对注释软件解决方案提出了挑战性的任务。今天,存在许多具有不同范围的良好解决方案。然而,对于单元格注释,我们发现许多不符合快速注释的先决条件。特别是在有丝分裂检测领域,假设检测精度可以显著受益于目前生产非常麻烦的较大注释数据库。此外,多个独立的(盲)专家标签是此类数据库的一大资产,但目前还没有用于这种注释的工具。为了减轻专家注释和分级的繁琐过程,我们介绍了SlideRunner,这是一种用于数字组织病理学的开源注释和可视化工具,与两位病理学家密切合作开发。SlideRunner能够设置对象中心(例如细胞)以及对象边界(例如肿瘤轮廓)等注释。它提供了单击注释以及多注释的盲模式,其中专家直接显示包含他尚未评级的细胞的显微镜图像。
2018-02-07 cs.CV
Multi-Resolution Networks for Semantic Segmentation in Whole Slide Images
ContextVision AB(ContextVision公司)
数字病理学提供了将全卷积网络(FCN)应用于任务的绝佳机会,例如全载玻片图像(WSI)的语义分割。然而,标准的FCN面临着从WSI的金字塔排列继承的多分辨率方面的挑战。因此,需要专门设计用于学习和汇总不同级别信息的网络。在本文中,我们提出了两种新的多分辨率网络的基础上流行的“U网”架构,这是一个基准数据集上进行评估的二进制语义分割在WSI。所提出的方法优于U-Net,表现出卓越的学习和泛化能力。
2018-07-25 cs.CV
Adversarial Domain Adaptation for Classification of Prostate Histopathology Whole-Slide Images
Rutgers University(罗格斯大学);Rutgers Cancer Institute of New Jersey(新泽西罗格斯癌症研究所)
组织病理学切片的自动和准确的格里森分级对于前列腺癌的诊断、治疗和预后至关重要。通常,来自不同机构的组织病理学组织切片由于不同的组织制备和染色程序而显示出异质性外观,因此从一个领域学习的可预测模型可能不直接适用于新的领域。在这里,我们建议采用无监督的领域自适应转移的歧视性知识从源域到目标域,而不需要标记的图像在目标域。通过对抗训练来实现自适应,以在目标域上找到不变的特征空间以及所提出的Siamese架构,以添加适合于整个载玻片图像的正则化。我们在两个前列腺癌数据集上验证了该方法,与基线模型相比,Gleason评分得到了显着的分类改善。
2018-06-06 cs.CV
Whole-Slide Image Focus Quality: Automatic Assessment and Impact on AI Cancer Detection
Google AI Healthcare(谷歌AI医疗保健)
数字病理学支持远程访问或咨询以及强大的图像分析算法。然而,载玻片数字化过程可能产生诸如失焦(OOF)之类的伪影。OOF通常只有在仔细检查时才能检测到,这可能会导致重新扫描和工作流延迟。虽然扫描时间操作员筛选整个载玻片OOF是可行的,但手动筛选仅影响部分载玻片的OOF是不切实际的。我们开发了一个卷积神经网络(ConvFocus),以彻底定位和量化数字化切片上OOF区域的严重程度。ConvFocus是使用我们改进的半合成OOF数据生成过程开发的,并使用跨越3种不同组织类型和3种不同染色类型的真实全切片图像进行评估,这些图像由两种不同的扫描仪进行数字化。将ConvFocus的预测与病理学家注释的514个不同区域的聚焦质量等级进行比较,这些区域代表37,700个35 x35 $μ$ m图像块,以及21个包含已知OOF模式的数字化“z-堆叠”全载玻片图像。当与病理学家分级的焦点质量相比时,ConvFocus在两台扫描仪上实现了0.81和0.94的斯皮尔曼等级系数,并从z堆栈扫描中再现了预期的OOF模式。我们还评估了OOF对最先进的转移性乳腺癌检测器的准确性的影响,并发现随着OOF的增加,性能持续下降。全面的全切片OOF分类可以在病理学家审查之前进行重新扫描,从而可能减少数字化焦点问题对临床工作流程的影响。我们表明,在我们的半合成OOF数据上训练的算法可以很好地推广到跨组织类型,染色和扫描仪的…
2019-02-05 cs.CV
A Prototype-Guided Coarse Annotations Refining Approach for Whole Slide Images
Xiamen University(厦门大学)
本文提出一种原型引导的粗标注细化方法,通过构建非冗余原型和伪标签模块,并采用动态采样与微调策略,在多个全切片图像数据集上显著优于现有最先进方法。
2025-03-25 cs.CV
SlideGCD: Slide-based Graph Collaborative Training with Knowledge Distillation for Whole Slide Image Classification
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);School of Software, Hefei University of Technology(合肥工业大学软件学院);Image Processing Center, School of Astronautics, Beihang University(北京航空航天大学宇航学院图像处理中心);Beijing Advanced Innovation Center on Biomedical Engineering(北京生物医学工程高精尖创新中心)
提出SlideGCD,将WSI分类视为节点分类,通过构建切片间图并利用知识蒸馏协同训练,提升多种MIL方法的性能。
2024-07-19 cs.CV
Interactive Whole Slide Images for RL-based Tumour Segmentation
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);IBV(生物信息研究所);Politecnico di Torino(都灵理工大学);Bichat Hospital(比沙医院);Assistance Publique–Hôpitaux de Paris(巴黎公共医疗集团)
该研究针对全切片图像分析的计算挑战,提出端到端强化学习框架,将WSI建模为交互式分层多分辨率环境,经PPO训练的智能体可直接完成全切片肿瘤分割,推理速度快且效果与基于图像块的方法相当,为计算病理学提供新方向。
2026-08-18 cs.CV
Patch Transformer for Multi-tagging Whole Slide Histopathology Images
University of Rochester(罗切斯特大学);HistoWiz Inc.(HistoWiz公司)
由于当今组织病理学中收集的WSI的数量和多样性的增加,自动化的全载玻片图像(WSI)标记已经成为日益增长的需求。已经研究了各种方法来对具有单个标签的WSI进行分类,但是没有一种方法专注于标记具有多个标签的WSI。为此,我们提出了一种新型的端到端可训练深度神经网络Patch Transformer,它可以根据标签之间的相关性和唯一性,从WSI补丁中有效地预测多个幻灯片级标签。具体地说,该方法学习补丁特性考虑1)通过补丁变换模块和2)通过多标签注意模块的每个标记任务的标签的唯一性补丁的关系。在一个包含4,920个WSI的大型数据集上进行的大量实验证明了该模型的有效性。
2019-07-04 cs.CV
CLEAR-HPV: Interpretable concept discovery for human-papillomavirus-associated morphology in whole-slide histology
Department of Computer Science, Rutgers University(罗格斯大学计算机科学系);Rutgers Health(罗格斯健康);Rutgers University(罗格斯大学)
提出CLEAR-HPV框架,通过注意力机制重构MIL潜在空间以自动发现角化、基底样和间质形态概念,生成空间概念图并用紧凑的概念分数向量实现可解释预测。
2026-05-22 cs.CV
Paired Uterine Whole-Slide Images and Pathology Reports for Multimodal Computational Pathology
Institute of Pathology, Technical University of Munich(慕尼黑工业大学病理研究所);Computer Aided Medical Procedures (CAMP), Technical University of Munich(慕尼黑工业大学计算机辅助医疗程序(CAMP));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Human Pathology, Juntendo University Graduate School of Medicine(顺天堂大学医学研究生院人体病理学部);The Hong Kong University of Science and Technology(香港科技大学);Munich Data Science Institute (MDSI)(慕尼黑数据科学研究所)
研究子宫疾病病理诊断,针对全切片图像与病理报告配对数据集稀缺问题,引入TUM-Uteria数据集,含多对病例及切片级配对,经验证,为计算病理学研究提供支持。
2026-07-20 cs.CV
RMDL: Recalibrated multi-instance deep learning for whole slide gastric image classification
The Chinese University of Hong Kong(香港中文大学);the Sixth Affiliated Hospital of Sun Yat-sen University(中山大学附属第六医院);Imsight Medical Technology Co., Ltd.(艾迈医疗科技有限公司)
全切片组织病理学图像在胃癌诊断中起着重要作用。然而,由于WSIs的大规模和各种大小的异常区域,如何选择信息区域和分析它们是在自动诊断过程中相当具有挑战性的。基于最具鉴别力实例的多实例学习方法有利于全切片胃图像的诊断。在本文中,我们设计了一个重新校准的多实例深度学习方法(RMDL)来解决这个具有挑战性的问题。我们首先选择的判别实例,然后利用这些实例来诊断疾病的基础上提出的RMDL方法。所设计的RMDL网络能够捕获实例依赖关系,并根据融合特征的重要性系数重新校准实例特征。此外,我们建立了一个大型的全载玻片胃组织病理学图像数据集与详细的像素级注释。在构建的胃数据集上的实验结果表明,与其他最先进的多实例学习方法相比,我们提出的框架的准确性有了显着的提高。此外,我们的方法是通用的,并可以扩展到其他诊断任务的不同类型的癌症的基础上WSIs。
2020-10-13 cs.CV
Democratising Pathology Co-Pilots: An Open Pipeline and Dataset for Whole-Slide Vision-Language Modelling
Computational Pathology Group, Radboud University Medical Center(计算病理组,拉德堡德大学医学中心)
本文提出Polysome工具和HISTAI-Instruct数据集,训练出ANTONI-α模型,在整张滑片VQA任务中超越MedGemma,所有方法和数据公开。
2026-04-15 cs.CV
Scribble-based fast weak-supervision and interactive corrections for segmenting whole slide images
Institut Pasteur(巴斯德研究所);Télécom Paris, Institut Polytechnique de Paris(巴黎高等电信学校,巴黎综合理工学院)
本文提出一种动态交互式弱监督分割方法,通过最少的涂鸦交互解决全幻灯片组织病理学图像分割中数据集缺乏与交互范式缺失的问题,让病理学家以极少的交互次数获得高精度分割结果。
2024-02-13 cs.CV
Slide-based Graph Collaborative Training for Histopathology Whole Slide Image Analysis
University of Science and Technology of China(中国科学技术大学);the First Affiliated Hospital of USTC(中国科学技术大学第一附属医院);Beijing Advanced Innovation Center on Biomedical Engineering(北京生物医学工程高精尖创新中心)
针对现有WSI分析忽略切片间关联的问题,提出通用流水线SlideGCD,通过图协同训练将癌症发展先验知识融入端到端工作流以优化切片表示,在4个任务和7个SOTA框架上验证了有效性和鲁棒性。
2024-10-14 cs.CV
Segmentation of Overlapped Steatosis in Whole-Slide Liver Histopathology Microscopy Images
Stony Brook University(石溪大学);University of Brasília(巴西利亚大学);Emory University(埃默里大学)
用病理组织样本进行准确的脂肪变性定量具有很高的临床重要性。然而,在大多数临床实践中,这种病理学测量是手动进行的,由于大的采样偏差和差的再现性而受到严重的读取器可变性的影响。虽然开发了一些计算机化的自动化方法来量化脂肪变性区域,但它们对高分辨率全载玻片显微镜图像和准确的重叠脂肪变性划分的分析能力有限。在本文中,我们提出了一种方法,提取一个单独的整个组织片在高分辨率与最小的背景面积,通过估计组织限界框和旋转角度。其次是脂肪变性区域的分割和分离与高曲率点检测和椭圆拟合质量评估方法。我们验证了我们的方法与孤立和重叠的脂肪变性区域的肝组织图像的11例患者。实验结果表明,我们的方法是有前途的增强支持脂肪变性量化在肝脏疾病治疗的病理审查。
2018-06-24 cs.CV
Lesion-Aware Contrastive Representation Learning for Histopathology Whole Slide Images Analysis
Beihang University(北京航空航天大学);Hefei University of Technology(合肥工业大学)
局部表示学习一直是提高组织病理学整片图像分析性能的关键挑战。以前的表示学习方法遵循监督学习范式。然而,大规模WSI的手动注释是耗时且劳动密集型的。因此,自监督的对比学习近年来引起了广泛的关注。现有的对比学习方法将每个样本作为一个类来处理,存在类冲突问题,特别是在组织病理学图像分析领域。在本文中,我们提出了一种新的对比表示学习框架命名为病变感知对比学习(LACL)的组织病理学整张幻灯片图像分析。我们建立了一个基于存储体结构的病变队列来存储不同类别的WSI的表示,这允许对比模型在训练期间选择性地定义阴性对。此外,我们设计了一个队列细化策略来净化存储在病变队列中的表示。实验结果表明,LACL在不同数据集上的组织病理学图像表示学习中取得了最佳性能,在不同的WSI分类基准下均优于现有方法。该代码可在https://github.com/junl21/lacl上获得。
2022-06-27 cs.CV
Spatially-Aware Mixture of Experts with Log-Logistic Survival Modeling for Whole-Slide Images
针对病理全切片图像生存预测的难点,本文提出融合四项创新模块的计算病理学框架,在TCGA多癌种队列上取得最优生存预测性能,兼具更好的校准度与可解释性。
2025-11-17 cs.CV
Interventional Bag Multi-Instance Learning On Whole-Slide Pathological Images
Shanghai Jiao Tong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
多示例学习是一种有效的病理切片图像分类方法,可以有效地处理分辨率为10亿像素的切片图像。现有的MIL方法主要集中在改进特征提取器和聚合器上。然而,这些方法的一个不足之处是,袋上下文先验可能会欺骗模型捕获袋和标签之间的虚假相关性。这一缺陷是一个混杂因素,限制了现有的MIL方法的性能。在本文中,我们提出了一种新的计划,干预袋多实例学习(IBMIL),实现去基础袋级预测。与传统的基于似然的策略不同,该方案基于后门调整实现干预训练,从而能够抑制袋上下文先验带来的偏差。注意,IBMIL的原理与现有袋MIL方法正交。因此,IBMIL能够为现有方案带来一致的性能提升,实现新的最先进的性能。代码可在https://github.com/HHHedo/IBMIL上获得。
2023-03-13 cs.CV
A Whole Slide Image Grading Benchmark and Tissue Classification for Cervical Cancer Precursor Lesions with Inter-Observer Variability
Yildiz Technical University(耶尔德兹理工大学);Istanbul Medipol University Hospital(伊斯坦布尔梅迪波尔大学医院);Istanbul Technical University(伊斯坦布尔理工大学)
宫颈癌是由人乳头状瘤病毒(HPV)引起的癌前病变发展而来的,是可以通过定期筛查预防的癌症之一。有两种类型的分级惯例被病理学家广泛接受。另一方面,观察者间的变异性是最终诊断的重要问题。本文介绍了一种宫颈癌前病变的全切片图像分级基准。宫颈上皮的乳头和重叠的细胞问题的处理和一个新的形态学特征,利用BM和所有核的主轴之间的相对取向的组织分类方法的开发和其性能进行评价。此外,观察者之间的差异也揭示了一个彻底的比较病理学家的决定,以及,最终的诊断。
2018-12-26 cs.CV
Improving Whole Slide Segmentation Through Visual Context - A Systematic Study
Oxford NIHR Biomedical Research Centre (BRC)(牛津国家健康研究所生物医学研究中心);John Radcliffe Hospital(约翰·拉德克利夫医院)
虽然具有挑战性,但组织学图像的密集分割是评估组织结构和细胞形态变化的必要第一步。虽然特定的卷积神经网络架构已经成功地应用于该问题,但很少有效地结合来自多个尺度的视觉上下文信息。在本文中,我们提出了一个系统的比较不同的架构,以评估如何包括多尺度信息影响分割性能。本研究使用了公开的乳腺癌和当地收集的前列腺癌数据集。研究结果支持我们的假设,视觉环境和规模发挥了至关重要的作用,在组织学图像分类问题。
2018-06-11 cs.CV
Learnable Token Sparsification for Efficient Gigapixel Whole Slide Image Reasoning
Shenzhen University of Advanced Technology(深圳先进技术大学)
针对视觉语言模型中全切片图像令牌过多的问题,提出可学习的稀疏化方法,通过SparseLearn组件和可微分的Soft Top-K算子实现训练,推理时仅保留32个令牌,在SlideBench上达到73.32%准确率。
2026-06-07 cs.CV
Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images
Radboud University Medical Center(拉德堡德大学医学中心)
乳腺组织的组织病理学全切片图像(WSI)的自动分类需要在具有大背景区域的非常高的分辨率下进行分析。在本文中,我们提出了上下文感知的堆叠卷积神经网络(CNN)的分类乳腺WSIs正常/良性,导管原位癌(DCIS),浸润性导管癌(IDC)。我们首先训练一个CNN使用高像素分辨率补丁捕捉细胞级信息。然后,将该模型生成的特征响应作为输入馈送到第二个CNN,堆叠在第一个CNN的顶部。用大的输入补丁训练这种堆叠的架构能够学习细粒度(细胞)细节和组织结构的全局相互依赖性。我们的系统在包含221个H&E染色乳腺组织标本的WSI的数据集上进行训练和评估。该系统实现了非恶性和恶性载玻片的二进制分类的AUC为0.962,并获得了81.3%的三个类别的准确性分类的WSIs到正常/良性,DCIS和IDC,证明了其常规诊断的潜力。
2017-05-10 cs.CV
Learning Binary and Sparse Permutation-Invariant Representations for Fast and Memory Efficient Whole Slide Image Search
University of Waterloo(滑铁卢大学);Mayo Clinic(梅奥诊所)
学习合适的整体幻灯片图像(WSIs)表示有效的检索系统是一个不平凡的任务。目前的方法得到的WSI嵌入是在欧氏空间中,对于有效的WSI检索不是理想的。此外,由于同时处理多组补丁,大多数当前方法需要高GPU存储器。为了解决这些挑战,我们提出了一个新的框架,利用深度生成建模和Fisher向量来学习二进制和稀疏WSI表示。我们引入了新的损失函数学习稀疏和二进制置换不变的WSI表示,采用基于实例的训练,实现更好的内存效率。在癌症基因组图谱(TCGA)和肝-肾-胃(LKS)数据集上验证学习的WSI表示。所提出的方法优于Yottixel(最近的搜索引擎的组织病理学图像)的检索精度和速度。此外,我们在公共基准LKS数据集上实现了与SOTA竞争的性能,用于WSI分类。
2022-09-23 cs.CV
PathoArgus: Advancing Evidence-Grounded Long-Context Visual Reasoning across Gigapixel Whole-Slide and Multi-Slide Case Contexts
The Hong Kong University of Science and Technology(香港科技大学)
研究针对病理视觉推理的证据基础评估缺口,构建PathoArgus-Bench基准与ESG受控集,发现现有模型准确率高但证据基础弱,提出PathoArgus阅读器,呼吁转向证据导向的评估。
2026-08-19 cs.CV
Trusted Multi-Scale Classification Framework for Whole Slide Image
Tongji University(同济大学);National University of Defense Technology(国防科技大学);Shanghai Skin Disease Hospital(上海市皮肤病医院)
尽管已经做出了显著的努力,但由于整个切片的计算资源受限,或者不同尺度的知识利用有限,所以千兆像素全切片图像(WSI)的分类受到严重限制。而且,以往的方法大多缺乏对不确定性的不确定性估计能力。通常,病理学家通常会从不同的放大倍数共同分析WSI。如果病理学家不确定使用单一放大率,那么他们将反复改变放大率以发现组织的各种特征。受病理学家诊断过程的启发,本文提出了一个可信的WSI多尺度分类框架。利用视觉Transformer作为多个分支的骨干,我们的框架可以联合分类建模,估计显微镜每个放大倍数的不确定性,并整合来自不同放大倍数的证据。此外,利用判别补丁从WSI和减少对计算资源的要求,我们提出了一种新的补丁选择方案,使用注意力滚动和非最大抑制。为了实证研究我们的方法的有效性,我们的WSI分类任务进行了实证实验,使用两个基准数据库。所得到的结果表明,可信框架可以显着提高WSI分类性能相比,国家的最先进的方法。
2022-07-12 cs.CV
SlideChat: A Large Vision-Language Assistant for Whole-Slide Pathology Image Understanding
Shanghai AI Laboratory(上海人工智能实验室);Xiamen University(厦门大学);East China Normal University(华东师范大学);Stanford University(斯坦福大学);Monash University(莫纳什大学)
针对现有多模态大模型仅聚焦病理图像斑块级分析、缺乏全切片上下文的问题,本文提出首个支持十亿像素全切片病理图像理解的视觉语言助手SlideChat,构建了最大规模WSI指令数据集SlideInstruction与多模态基准SlideBench,在22项任务中18项达SOTA。
2025-03-19 cs.AI cs.CV
Exploiting Label-Independent Regularization from Spatial Dependencies for Whole Slide Image Analysis
Dartmouth College(达特茅斯学院);Massachusetts General Hospital(哈佛麻省总医院);Northwestern University(西北大学)
本文提出了一种利用空间依赖性进行标签无关正则化的全切片图像分析框架,通过联合优化空间重建和分类目标,提升了全切片图像分析的性能。
2026-02-23 cs.CV
Survival Modeling from Whole Slide Images via Patch-Level Graph Clustering and Mixture Density Experts
本文提出包含分位数块过滤、图正则化块聚类、分层特征聚合、专家引导混合密度模型四阶段的模块化框架,直接从全切片病理图像预测癌症特异性生存,在三个TCGA队列上取得优于现有最优方法的预测性能。
2025-11-19 cs.CV
The PAR dataset: Prostate biopsy whole slide images from an underrepresented Middle Eastern population
Koya University(科亚大学);Karolinska Institutet(卡罗林斯卡学院);Hawler Medical University(哈勒医科大学);PAR Private Hospital(PAR私立医院);University of Sulaimani(苏莱曼尼亚大学);Stavanger University Hospital(斯塔万格大学医院);University of Stavanger(斯塔万格大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学)
针对公开组织病理学数据集稀缺且多为西方人群数据,导致中东等地区人群人工智能模型通用性未知的问题,公开PAR数据集,包含伊拉克185例患者的前列腺穿刺活检全切片图像,可用于多种分析评估,支持全球不同人群病理学人工智能模型开发验证。
2026-07-23 cs.CV
CNN Cascades for Segmenting Whole Slide Images of the Kidney
RWTH Aachen University(亚琛工业大学);University Hospital Aachen(亚琛大学医院)
由于促进组织病理学组织的数字化的全载玻片扫描仪的增加的可用性,存在对基于计算机的图像分析系统的开发的强烈需求。在这项工作中,重点是肾小球的分割,构成了肾脏组织病理学中高度相关的结构,这在与CNN结合之前还没有被研究过。我们提出了两种不同的CNN级联分割应用稀疏对象。将这些方法应用于肾小球分割问题,并与传统的全卷积网络进行比较。总体而言,使用性能最佳的级联方法,单个CNN的性能优于单个CNN,并且获得了0.90的像素级Dice相似系数。结合定性和进一步的对象级分析,所获得的结果被评估为优秀,也与最近的方法相比。总之,我们可以说,特别是所提出的级联网络之一被证明是一个非常强大的工具,用于分割肾小球,提供最佳的分割精度,并保持计算时间在一个较低的水平。
2017-08-01 cs.CV
Slideflow: Deep Learning for Digital Histopathology with Real-Time Whole-Slide Visualization
University of Chicago Medical Center(芝加哥大学医学中心);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);University of Chicago(芝加哥大学)
针对组织病理学深度学习模型缺乏开源交互界面与跨框架实验困难的问题,开发了支持全切片图像处理、弱监督分类与实时可视化的灵活开源深度学习库Slideflow。
2023-04-09 cs.CV eess.IV q-bio.QM
MAPLE: Multi-scale Attribute-enhanced Prompt Learning for Few-shot Whole Slide Image Classification
The College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics(南京航空航天大学人工智能学院);The Key Laboratory of Brain-Machine Intelligence Technology, Ministry of Education(教育部脑机智能技术重点实验室)
针对现有少样本WSI分类方法依赖切片级提示、难捕捉组织学实体亚型变异的问题,提出融合多尺度语义、双层级预测的MAPLE框架,经三个癌症队列验证有效提升了少样本病理诊断性能。
2025-09-30 cs.CV
MoEMambaMIL: Structure-Aware Selective State Space Modeling for Whole-Slide Image Analysis
Tongji University(同济大学);Fudan University(复旦大学)
MoEMambaMIL通过结合区域嵌套选择性扫描和混合专家建模,实现了对整张图像分析中多分辨率结构的高效建模,提升了在多种下游任务中的性能。
2026-03-06 cs.CV