WsiCaption：面向千兆像素全切片图像的病理报告多实例生成
WsiCaption: Multiple Instance Generation of Pathology Reports for Gigapixel Whole-Slide Images
AI总结：
本文提出多实例生成模型MI-Gen，利用近万对高质量WSI-文本数据生成病理报告，在BRCA亚型分类任务上F1分数达0.838，超越现有方法。
摘要：
全切片图像是数字病理学诊断和治疗癌症的基础。对于缺乏经验的病理学家而言，撰写病理报告既费力又容易出错。为了减轻工作量并提高临床自动化程度，我们研究了如何在给定全切片图像的情况下生成病理报告。在数据端，我们整理了最大的WSI-文本数据集（PathText）。具体而言，我们通过识别和清理TCGA中描述诊断幻灯片的病理报告，为视觉-语言模型收集了近10000对高质量的WSI-文本数据。在模型端，我们提出了多实例生成模型（MI-Gen），该模型能够为千兆像素WSI生成病理报告。我们在TCGA-PathoText的最大子集上对模型进行了基准测试。实验结果表明，我们的模型能够生成包含多个临床线索的病理报告，并在某些幻灯片级任务上取得具有竞争力的性能。我们观察到，从病理报告中进行简单的语义提取，可以在BRCA亚型分类上取得最佳性能（F1分数为0.838），超越了以往最先进的方法。我们收集的数据集和相关代码已公开。
英文摘要：
Whole slide images are the foundation of digital pathology for the diagnosis and treatment of carcinomas. Writing pathology reports is laborious and error-prone for inexperienced pathologists. To reduce the workload and improve clinical automation, we investigate how to generate pathology reports given whole slide images. On the data end, we curated the largest WSI-text dataset (PathText). In specific, we collected nearly 10000 high-quality WSI-text pairs for visual-language models by recognizing and cleaning pathology reports which narrate diagnostic slides in TCGA. On the model end, we propose the multiple instance generative model (MI-Gen) which can produce pathology reports for gigapixel WSIs. We benchmark our model on the largest subset of TCGA-PathoText. Experimental results show our model can generate pathology reports which contain multiple clinical clues and achieve competitive performance on certain slide-level tasks. We observe that simple semantic extraction from the pathology reports can achieve the best performance (0.838 of F1 score) on BRCA subtyping surpassing previous state-of-the-art approaches. Our collected dataset and related code are available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
