arXiv 2506.215352025-09-21eess.IVcs.CVcs.LG

探索用于CT报告生成的三维多模态大语言模型的设计空间

Exploring the Design Space of 3D MLLMs for CT Report Generation

Vector Institute for Artificial Intelligence（向量人工智能研究所）；Department of Biomedical Informatics, Harvard Medical School（生物医学信息学系，哈佛医学院）；Peter Munk Cardiac Centre, University Health Network（皮特·蒙克心脏中心，大学健康网络）；Medical Biophysics, University of Toronto（医学生物物理系，多伦多大学）；Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）；Department of Laboratory Medicine and Pathobiology, University of Toronto（实验室医学与病理学系，多伦多大学）；AI Hub, University Health Network（人工智能中心，大学健康网络）

Mohammed Baharoon, Jun Ma, Congyu Fang, Augustin Toma, Bo Wang

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文系统探索三维多模态大语言模型在CT报告生成中的设计空间，提出两种基于知识的报告增强方法，在AMOS-MM挑战赛中获得第二名。

摘要：

多模态大语言模型（MLLMs）已成为自动化放射学报告生成（RRG）的一种有前景的方法。在本工作中，我们系统地研究了三维多模态大语言模型的设计空间，包括视觉输入表示、投影器、大语言模型（LLMs）以及用于三维CT报告生成的微调技术。我们还引入了两种基于知识的报告增强方法，使GREEN分数提升最高达10%，在MICCAI 2024 AMOS-MM挑战赛中获得第二名。我们在来自AMOS-MM数据集的1,687个病例上的结果表明，在相同的训练协议下，RRG在很大程度上与大语言模型的规模无关。我们还表明，如果原始ViT是在较小的体素尺寸上预训练的，那么更大的体素尺寸并不总能提升性能。最后，我们表明，在使用CT体数据的同时结合分割掩码可以提升性能。代码已公开于https://github.com/bowang-lab/AMOS-MM-Solution。

英文摘要：

Multimodal Large Language Models (MLLMs) have emerged as a promising way to automate Radiology Report Generation (RRG). In this work, we systematically investigate the design space of 3D MLLMs, including visual input representation, projectors, Large Language Models (LLMs), and fine-tuning techniques for 3D CT report generation. We also introduce two knowledge-based report augmentation methods that improve performance on the GREEN score by up to 10%, achieving the 2nd place on the MICCAI 2024 AMOS-MM challenge. Our results on the 1,687 cases from the AMOS-MM dataset show that RRG is largely independent of the size of LLM under the same training protocol. We also show that larger volume size does not always improve performance if the original ViT was pre-trained on a smaller volume size. Lastly, we show that using a segmentation mask along with the CT volume improves performance. The code is publicly available at https://github.com/bowang-lab/AMOS-MM-Solution

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。