Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain
超越对称对齐:医学领域视觉-语言模型中模态不平衡的光谱诊断
机构 * NOVA School of Science and Technology(诺瓦科学与技术学校) ; Nova School of Business and Economics(诺瓦商业与经济学校) ; Carnegie Mellon University(卡内基梅隆大学)
专题命中 图文多模态 :cross-modal(abstract);image-text(abstract);分类 cs.CV
AI总结 提出非对称光谱对齐分数(SAS),通过特征值加权的特征模态相关性量化模态信息不平衡,并在医学图像-文本数据集上评估15个VLM,发现医学图像比临床报告保留更丰富的结构信息,且SAS与检索性能的相关性最强。
Comments 10 pages, 3 figures, 9 tables