医学 AI

Better Tokens for Better 3D: Advancing Vision-Language Modeling in 3D Medical Imaging

Ibrahim Ethem Hamamci, Sezgin Er, Suprosanna Shit, Hadrien Reynaud, Dong Yang, Pengfei Guo, Marc Edgar, Daguang Xu, Bernhard Kainz, Bjoern Menze

机构 * University of Zurich（苏黎世大学） ； NVIDIA ； Imperial College London（伦敦帝国理工学院） ； FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments NeurIPS 2025

Chiron-o1: Igniting Multimodal Large Language Models towards Generalizable Medical Reasoning via Mentor-Intern Collaborative Search

Haoran Sun, Yankai Jiang, Wenjie Lou, Yujie Zhang, Wenjie Li, Lilong Wang, Mianxin Liu, Lei Liu, Xiaosong Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

NEBULA: Do We Evaluate Vision-Language-Action Agents Correctly?

Jierui Peng, Yanyan Zhang, Yicheng Duan, Tuo Liang, Vipin Chaudhary, Yu Yin

机构 * Department of Computer & Data Sciences（计算机与数据科学系） ； Case Western Reserve University（凯斯西储大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Homepage: https://vulab-ai.github.io/NEBULA-Alpha/

Med-2E3: A 2D-Enhanced 3D Medical Multimodal Large Language Model

Yiming Shi, Xun Zhu, Kaiwen Wang, Ying Hu, Chenyi Guo, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Learning Collaborative Knowledge with Multimodal Representation for Polyp Re-Identification

Suncheng Xiang, Jiale Guan, Shilun Cai, Jiacheng Ruan, Dahong Qian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhongshan Hospital of Fudan University（复旦大学中山医院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Dolphin v1.0 Technical Report

Taohan Weng, Kaibing Hu, Henan Liu, Siya Liu, Xiaoyang Liu, Zhenyu Liu, Jiren Ren, Boyan Wang, Boyang Wang, Yiyu Wang, Yalun Wu, Chaoran Yan, Kaiwen Yan, Jinze Yu, Chi Zhang, Duo Zhang, Haoyun Zheng, Xiaoqing Guo, Jacques Souquet, Hongcheng Guo, Anjie Le

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.CV

Incomplete Multimodal Industrial Anomaly Detection via Cross-Modal Distillation

Wenbo Sui, Daniel Lichau, Josselin Lefèvre, Harold Phelippeau

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments For a published version refer to the Information Fusion, DOI. 10.1016/j.inffus.2025.103572

Journal ref Sui, W., Lichau, D., Lefèvre, J., & Phelippeau, H. (2026). Incomplete multimodal industrial anomaly detection via cross-modal distillation. Information Fusion, 126, Article 103572

Multimodal Disease Progression Modeling via Spatiotemporal Disentanglement and Multiscale Alignment

Chen Liu, Wenfang Yao, Kejing Yin, William K. Cheung, Jing Qin

机构 * School of Nursing, The Hong Kong Polytechnic University（香港理工大学护理学院） ； Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

Comments NeurIPS 2025 Spotlight

Post-TIPS Prediction via Multimodal Interaction: A Multi-Center Dataset and Framework for Survival, Complication, and Portal Pressure Assessment

Junhao Dong, Dejia Liu, Ruiqi Ding, Zongxing Chen, Yingjie Huang, Zhu Meng, Jianbo Zhao, Zhicheng Zhao, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Division of Vascular and Interventional Radiology, Department of General Surgery, Nanfang Hospital, Southern Medical University（南方医科大学普外科血管介入放射科） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments 81 pages, 13 figures

MIMO: A medical vision language model with visual referring multimodal input and pixel grounding multimodal output

Yanyuan Chen, Dexuan Xu, Yu Huang, Songkun Zhan, Hanpin Wang, Dongxue Chen, Xueping Wang, Meikang Qiu, Hang Li

机构 * School of Software & Microelectronics, Peking University（软件与微电子学院，北京大学） ； School of Computer Science, Peking University（计算机学院，北京大学） ； National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心，北京大学） ； Peking University Sixth Hospital（北京大学第六医院） ； Augusta University（奥古斯塔大学） ； Peking University First Hospital（北京大学第一医院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments CVPR 2025

Alignment, Mining and Fusion: Representation Alignment with Hard Negative Mining and Selective Knowledge Fusion for Medical Visual Question Answering

Yuanhao Zou, Zhaozheng Yin

机构 * University of Michigan（密歇根大学） ； Stony Brook University（石溪大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments CVPR2025 Paper

Towards a Multimodal Large Language Model with Pixel-Level Insight for Biomedicine

Xiaoshuang Huang, Lingdong Shen, Jia Liu, Fangxin Shang, Hongxiang Li, Haifeng Huang, Yehui Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

Comments Accepted by AAAI2025

ProbMed: A Probabilistic Framework for Medical Multimodal Binding

Yuan Gao, Sangwook Kim, Jianzhong You, Chris McIntosh

机构 * Peter Munk Cardiac Centre（彼得·默克心脏中心） ； Ted Rogers Centre for Heart Research（泰德·罗杰斯心脏病研究中心） ； University Health Network（大学健康网络） ； Joint Department of Medical Imaging（联合医学影像部门） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments ICCV 2025

RAU: Reference-based Anatomical Understanding with Vision Language Models

Yiwei Li, Yikang Liu, Jiaqi Guo, Lin Zhao, Zheyuan Zhang, Xiao Chen, Boris Mailhe, Ankush Mukherjee, Terrence Chen, Shanhui Sun

机构 * United Imaging Intelligence（联合影像智能） ； School of Computing, University of Georgia（佐治亚大学计算机学院） ； Department of Electrical and Computer Engineering, Northwestern University（西北大学电气与计算机工程系） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Random Direct Preference Optimization for Radiography Report Generation

Valentin Samokhin, Boris Shirokikh, Mikhail Goncharov, Dmitriy Umerenkov, Maksim Bobrin, Ivan Oseledets, Dmitry Dylov, Mikhail Belyaev

机构 * Artificial Intelligence Research Institute (AIRI)（人工智能研究院） ； Skolkovo Institute of Science and Technology（斯克罗夫学院） ； Institute for Information Transmission Problems（信息传输问题研究所） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Learning Contrastive Multimodal Fusion with Improved Modality Dropout for Disease Detection and Prediction

Yi Gu, Kuniaki Saito, Jiaxin Ma

机构 * OMRON SINIC X Corporation（OMRON SINIC X公司） ； Nara Institute of Science and Technology（名取科学技術大學院） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments MICCAI 2025

Causal Representation Learning from Multimodal Clinical Records under Non-Random Modality Missingness

Zihan Liang, Ziwen Pan, Ruoxuan Xiong

机构 * Emory University（埃默里大学） 纠错

专题命中 医疗多模态 ：radiology(abstract)；分类 cs.LG

Comments To appear in Proc. of EMNLP 2025 (18 pages)

AgriDoctor: A Multimodal Intelligent Assistant for Agriculture

Mingqing Zhang, Zhuoning Xu, Peijie Wang, Rongji Li, Liang Wang, Qiang Liu, Jian Xu, Xuyao Zhang, Shu Wu, Liang Wang

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis

Chengsheng Zhang, Linhao Qu, Xiaoyu Liu, Zhijian Song

机构 * Digital Medical Research Center, School of Basic Medical Science, Fudan University, Shanghai 200032, China（复旦大学基础医学学院数字医学研究中心） ； Shanghai Key Lab of Medical Image Computing（上海医学图像计算重点实验室） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

MedFact-R1: Towards Factual Medical Reasoning via Pseudo-Label Augmentation

Gengliang Li, Rongyu Chen, Bin Li, Linlin Yang, Guodong Ding

机构 * Baosight（博思特） ； NUS（新加坡国立大学） ； SIAT（深圳先进技术研究院） ； CUC（中国科学技术大学） ； Microsoft（微软） ； ANU（澳大利亚国立大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.CV

Comments Tech report

MSGFusion: Multimodal Scene Graph-Guided Infrared and Visible Image Fusion

Guihui Li, Bowei Dong, Kaizhi Dong, Jiayi Li, Haiyong Zheng

机构 * College of Computer Science and Technology, Ocean University of China（中国海洋大学计算机科学与技术学院） ； College of Electronic Engineering, Ocean University of China（中国海洋大学电子工程学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Towards Interpretable Counterfactual Generation via Multimodal Autoregression

Chenglong Ma, Yuanfeng Ji, Jin Ye, Lu Zhang, Ying Chen, Tianbin Li, Mingjie Li, Junjun He, Hongming Shan

专题命中 医疗多模态 ：medical image(abstract)；分类 eess.IV

Comments MICCAI'25

Does Acceleration Cause Hidden Instability in Vision Language Models? Uncovering Instance-Level Divergence Through a Large-Scale Empirical Study

Yizheng Sun, Hao Li, Chang Xu, Hongpeng Zhou, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

机构 * University of Manchester（曼彻斯特大学） ； Microsoft Research（微软研究院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted to EMNLP 2025 Main Conference

MoE-Health: A Mixture of Experts Framework for Robust Multimodal Healthcare Prediction

Xiaoyang Wang, Christopher C. Yang

机构 * Drexel University（德雷塞尔大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.LG

Comments Accepted to The 16th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics (ACM-BCB 2025)

Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models

Meidan Ding, Jipeng Zhang, Wenxuan Wang, Cheng-Yi Li, Wei-Chieh Fang, Hsin-Yu Wu, Haiqin Zhong, Wenting Chen, Linlin Shen

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） ； Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Renmin University of China（中国人民大学） ； National Yang Ming Chiao Tung University ； Taipei Veterans General Hospital（台北荣民总医院） ； School of Biomedical Engineering, Shenzhen University（深圳大学生物医学工程学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments 19 pages, 5 figures, 3 tables

IQAGPT: Image Quality Assessment with Vision-language and ChatGPT Models

Zhihao Chen, Bin Hu, Chuang Niu, Tao Chen, Yuxin Li, Hongming Shan, Ge Wang

机构 * ISTBI Fudan University（ISTBI 复旦大学） ； Huashan Hospital Fudan University（复旦大学华山医院） ； BME & CBIS Rensselaer Polytechnic Institute（生物医学工程与生物信息学研究中心罗切斯特理工学院） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments 14 pages, 9 figures

Journal ref Visual Computing for Industry, Biomedicine, and Art, 7, 20, 2024

MedFoundationHub: A Lightweight and Secure Toolkit for Deploying Medical Vision Language Foundation Models

Xiao Li, Yanfan Zhu, Ruining Deng, Wei-Qi Wei, Yu Wang, Shilin Zhao, Yaohong Wang, Haichun Yang, Yuankai Huo

机构 * Vanderbilt University（范德比尔特大学） ； Weill Cornell Medicine（韦尔·科恩医学中心） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； UT MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

Toward Robust Medical Fairness: Debiased Dual-Modal Alignment via Text-Guided Attribute-Disentangled Prompt Learning for Vision-Language Models

Yuexuan Xia, Benteng Ma, Jiang He, Zhiyong Wang, Qi Dou, Yong Xia

机构 * National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（集成空天地海大数据应用技术国家工程实验室） ； Northwestern Polytechnical University（西北工业大学） ； Huiying Medical Technology Company Ltd.（慧影医疗技术有限公司） ； The School of Computer Science（计算机学院） ； The University of Sydney（悉尼大学） ； Department of Computer Science and Engineering（计算机科学与工程系） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Task-Generalized Adaptive Cross-Domain Learning for Multimodal Image Fusion

Mengyu Wang, Zhenyu Liu, Kun Li, Yu Wang, Yuwei Wang, Yanyan Wei, Fei Wang

机构 * Key Laboratory of Opto-Electronic Information Science and Technology of Jiangxi Province, Nanchang Hangkong University（江西省光电信息科学与技术重点实验室，南昌航空大学） ； ReLER, CCAI, Zhejiang University（ReLER、CCAI、浙江大学） ； College of Engineering, Anhui Agricultural University（安徽农业大学工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted by IEEE Transactions on Multimedia

Early Detection of Pancreatic Cancer Using Multimodal Learning on Electronic Health Records

Mosbah Aouad, Anirudh Choudhary, Awais Farooq, Steven Nevers, Lusine Demirkhanyan, Bhrandon Harris, Suguna Pappu, Christopher Gondi, Ravishankar Iyer

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

Journal ref Proceedings of Machine Learning for Healthcare (2025)