多模态影像中罕见病理检测的通用-专用混合专家模型
Generalist-Specialist Mixture-of-Experts for Rare Pathology Detection in Multimodal Imaging
- Technical University of Munich (TUM)（慕尼黑工业大学）
- TUM University Hospital（慕尼黑工业大学附属医院）
- Hasso Plattner Institute for Digital Engineering（哈索·普拉特纳数字工程研究所）
- University of Potsdam（波茨坦大学）
- Imperial College London（伦敦帝国理工学院）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
针对多模态医学影像中罕见病理检测，提出GS-MoE双分支架构，融合跨模态通用与模态特定专家，在RadImageNet上实现低患病率病理检测从0到最高+0.60 F1的突破，同时减少53%活跃参数。
AI中文摘要：
用于多模态医学影像的AI模型必须在模态特定专门化与跨模态共享表示之间取得平衡，而纯混合专家（MoE）架构目前无法满足这一权衡。基于专家的路由改善了域内学习，但可能牺牲跨模态信号，在我们的实验中，这些信号对罕见（低患病率）病理尤为重要。为解决此问题，我们提出了通用-专用混合专家（GS-MoE），一种双分支MoE架构，通过域约束特征融合将跨模态通用模型与不同的模态特定专家耦合。在RadImageNet（135万张图像，165种病理，三种模态）上，GS-MoE恢复了六种低患病率病理的检测，而所有基线在这些病理上的F1分数均为0，每类增益最高达+0.60 F1。同时，其整体性能甚至略超密集模型和仅专用专家的MoE聚合基线（MCC 0.770），且在推理时使用的活跃参数比最强密集模型少约53%。
英文摘要：
AI models for multimodal medical imaging must balance modality-specific specialization with cross-modal shared representations, a trade-off that pure Mixture-of-Experts (MoE) architectures currently fail to satisfy. Expert-based routing improves in-domain learning but may sacrifice cross-modal signals, which appear particularly important for rare (low-prevalence) pathologies in our experiments. To resolve this, we introduce Generalist-Specialist-MoE (GS-MoE), a two-branch (MoE) architecture that couples a cross-modal generalist model with distinct modality-specific specialists (experts) via domain-constrained feature fusion. On RadImageNet (1.35M images, 165 pathologies, three modalities), GS-MoE recovers detection of six low-prevalence pathologies on which every baseline scores F1 $=$ 0, with per-class gains up to +0.60 F1. It attains this while even slightly exceeding dense and specialist-only MoE aggregate baselines (MCC 0.770), while using ${\sim}53\%$ fewer active parameters at inference than the strongest investigated dense model.
