医学 AI

Standardization of Neuromuscular Reflex Analysis -- Role of Fine-Tuned Vision-Language Model Consortium and OpenAI gpt-oss Reasoning LLM Enabled Decision Support System

Eranga Bandara, Ross Gore, Sachin Shetty, Ravi Mukkamala, Christopher Rhea, Atmaram Yarlagadda, Shaifali Kaushik, L. H. M. P. De Silva, Andriy Maznychenko, Inna Sokolowska, Amin Hass, Kasun De Zoysa

机构 * Old Dominion University（旧 Dominion 大学） ； AnaletIQ ； McDonald Army Health Center（麦克唐纳陆军医疗中心） ； University of Sri Jayewardenepura（Sri Jayewardenepura 大学） ； University of Gdańsk（盖尔范大学） ； University of Colombo（科伦坡大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Physics-Informed Multimodal Bearing Fault Classification under Variable Operating Conditions using Transfer Learning

Tasfiq E. Alam, Md Manjurul Ahsan, Shivakumar Raman

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling

Jifan Gao, Mahmudur Rahman, John Caskey, Madeline Oguss, Ann O'Rourke, Randy Brown, Anne Stey, Anoop Mayampurath, Matthew M. Churpek, Guanhua Chen, Majid Afshar

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Northwestern University（西北大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.LG

Knowledge to Sight: Reasoning over Visual Attributes via Knowledge Decomposition for Abnormality Grounding

Jun Li, Che Liu, Wenjia Bai, Mingxuan Liu, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Imperial College London（伦敦帝国学院） ； University of Trento（特伦托大学） ； Helmholtz AI and Helmholtz Munich（海德堡人工智能与海德堡慕尼黑） ； King’s College London（伦敦国王学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

TCDiff: Triplex Cascaded Diffusion for High-fidelity Multimodal EHRs Generation with Incomplete Clinical Data

Yandong Yan, Chenxi Li, Yu Huang, Dexuan Xu, Jiaqi Zhu, Zhongyan Chai, Huamin Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Information and Software Engineering, University of Electronic Science and Technology of China（电子科技大学信息与软件工程学院） ； National Engineering Research Center for Software Engineering, Peking University（软件工程国家工程研究中心） ； Institute of Software, Chinese Academy of Science（中国科学院软件研究所） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； Institute of Basic Theory of Chinese Medicine, China Academy of Chinese Medical Sciences（中国中医科学院中医基础理论研究所） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.LG

Distribution-Based Masked Medical Vision-Language Model Using Structured Reports

Shreyank N Gowda, Ruichi Zhang, Xiao Gu, Ying Weng, Lu Yang

机构 * School of Computer Science, University of Nottingham（计算机科学学院，诺丁汉大学） ； Department of Computer Science and Technology, School of Informatics, Xiamen University（计算机科学与技术系，信息学院，厦门大学） ； CHI Lab, University of Oxford（CHI实验室，牛津大学） ； School of Computer Science, University of Nottingham Ningbo China（计算机科学学院，宁波大学中国） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted in MICCAI-W 2025

VLM-CPL: Consensus Pseudo Labels from Vision-Language Models for Annotation-Free Pathological Image Classification

Lanfeng Zhong, Zongyao Huang, Yang Liu, Wenjun Liao, Shichuan Zhang, Guotai Wang, Shaoting Zhang

机构 * School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China（电子科技大学机械与电子工程学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Department of Pathology, Sichuan Clinical Research Center for Cancer, Sichuan Cancer Hospital & Institute, Affiliated Cancer Hospital of University of Electronic Science and Technology of China（pathology department, 四川省癌症临床研究中心, 四川省肿瘤医院及研究所, 电子科技大学附属肿瘤医院） ； Department of Radiation Oncology, Sichuan Cancer Hospital and Institute, University of Electronic Science and Technology of China（放射肿瘤科, 四川省肿瘤医院及研究所, 电子科技大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted at TMI

MaskedCLIP: Bridging the Masked and CLIP Space for Semi-Supervised Medical Vision-Language Pre-training

Lei Zhu, Jun Zhou, Rick Siow Mong Goh, Yong Liu

机构 * Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（IHPC）、科技研究局（A*STAR）） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted to MedAGI 2025 (Oral)

MultiRetNet: A Multimodal Vision Model and Deferral System for Staging Diabetic Retinopathy

Jeannie She, Katie Spivakovsky

机构 * MIT（麻省理工学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

How Far Have Medical Vision-Language Models Come? A Comprehensive Benchmarking Study

Che Liu, Jiazhen Pan, Weixiang Shen, Wenjia Bai, Daniel Rueckert, Rossella Arcucci

机构 * Imperial College London, UK（伦敦帝国学院） ； Technical University of Munich, Germany（慕尼黑技术大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Technical report

Mind the Modality Gap: Towards a Remote Sensing Vision-Language Model via Cross-modal Alignment

Angelos Zavras, Dimitrios Michail, Begüm Demir, Ioannis Papoutsis

机构 * organization= Orion Lab, National Observatory of Athens \& National Technical University of Athens , country= Greece ； organization= Department of Informatics \& Telematics, Harokopio University of Athens , country= Greece ； organization= Faculty of Electrical Engineering ； organization= BIFOLD - Berlin Institute for the Foundations of Learning 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted at the ISPRS Journal of Photogrammetry and Remote Sensing. Our code implementation and weights for all experiments are publicly available at https://github.com/Orion-AI-Lab/MindTheModalityGap

BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis

Shuang Cui, Jinglin Xu, Yi Li, Xiongxin Tang, Jiangmeng Li, Jiahuan Zhou, Fanjiang Xu, Fuchun Sun, Hui Xiong

机构 * National Key Laboratory of Space Integrated Information System（国家空间信息集成系统重点实验室） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Wangxuan Institute of Computer Technology（计算机技术王轩研究所） ； Peking University（北京大学） ； Department of Computer Science and Technology（计算机科学与技术系） ； Tsinghua University（清华大学） ； Thrust of Artificial Intelligence, the Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能方向） ； Department of Computer Science & Engineering, the Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Self-Consistency in Vision-Language Models for Precision Agriculture: Multi-Response Consensus for Crop Disease Management

Mihir Gupta, Abhay Mangla, Ross Greer, Pratik Desai

机构 * The Harker School, USA（哈克尔学校） ； Dougherty Valley High School, USA（道格拉斯谷高中） ； Kissan.ai, USA（加州大学梅尔德分校） ； University of California, Merced, USA 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

MIRA: A Novel Framework for Fusing Modalities in Medical RAG

Jinhong Wang, Tajamul Ashraf, Zongyan Han, Jorma Laaksonen, Rao Mohammad Anwer

机构 * Department of Computer Vision, MBZUAI（视觉计算系，MBZUAI） ； Department of Computer Science, Aalto University（计算机科学系，阿alto大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments ACM Multimedia 2025

MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine

Yunfei Xie, Ce Zhou, Lang Gao, Juncheng Wu, Xianhang Li, Hong-Yu Zhou, Sheng Liu, Lei Xing, James Zou, Cihang Xie, Yuyin Zhou

机构 * Huazhong University of Science and Technology（华中科技大学） ； UC Santa Cruz（加州大学圣克ruz分校） ； Harvard University（哈佛大学） ； Stanford University（斯坦福大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.CV

Comments The dataset is publicly available at https://yunfeixie233.github.io/MedTrinity-25M/. Accepted to ICLR 2025

Hyperbolic Kernel Graph Neural Networks for Neurocognitive Decline Analysis from Multimodal Brain Imaging

Meimei Yang, Yongheng Sun, Qianqian Wang, Andrea Bozoki, Maureen Kohi, Mingxia Liu

机构 * Department of Radiology and Biomedical Research Imaging Center (BRIC), University of North Carolina at Chapel Hill（放射科与生物医学研究成像中心（BRIC）、北卡罗来纳大学教堂山分校） 纠错

专题命中 医疗多模态 ：MRI(abstract)；分类 cs.LG

Comments 14 pages, 5 figures, 7 tables

VSF-Med:A Vulnerability Scoring Framework for Medical Vision-Language Models

Binesh Sadanandan, Vahid Behzadan

机构 * SAIL Lab, University of New Haven, West Haven, CT, USA（SAIL实验室，新罕布什尔大学，西哈文，康涅狄格州，美国） 纠错

专题命中 医疗多模态 ：radiology(abstract)；分类 cs.CV

Multimodal Medical Code Tokenizer

Xiaorui Su, Shvat Messica, Yepeng Huang, Ruth Johnson, Lukas Fesser, Shanghua Gao, Faryad Sahneh, Marinka Zitnik

机构 * Department of Biomedical Informatics, Harvard Medical School, Boston, MA, USA（生物医学信息学系，哈佛医学院，波士顿，马萨诸塞州，美国） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

Comments ICML'25

The Limited Impact of Medical Adaptation of Large Language and Vision-Language Models

Daniel P. Jeong, Pranav Mani, Saurabh Garg, Zachary C. Lipton, Michael Oberst

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Abridge ； Mistral AI ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.LG

Comments Extended version of EMNLP 2024 paper arXiv:2411.04118. Includes additional results on clinical note QA tasks and supervised fine-tuning evaluations

Robust Multimodal Learning for Ophthalmic Disease Grading via Disentangled Representation

Xinkun Wang, Yifang Wang, Senwei Liang, Feilong Tang, Chengzhi Liu, Ming Hu, Chao Hu, Junjun He, Zongyuan Ge, Imran Razzak

机构 * MBZUAI, United Arab Emirates（MBZUAI，阿联酋） ； Monash University, Australia（墨尔本大学，澳大利亚） ； Liverpool University, United Kingdom（利物浦大学，英国） ； China Unicom (Shanghai) Industrial Internet Co., Ltd., China（中国联合（上海）工业互联网有限公司，中国） ； Shanghai AI Lab, China（上海人工智能实验室，中国） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments 10pages

Memory-Augmented Incomplete Multimodal Survival Prediction via Cross-Slide and Gene-Attentive Hypergraph Learning

Mingcheng Qu, Guang Yang, Donglin Di, Yue Gao, Tonghua Su, Yang Song, Lei Fan

机构 * Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院） ； School of Software, Tsinghua University（清华大学软件学院） ； School of Computer Science and Engineering, UNSW Sydney（新南威尔士大学计算机科学与工程学院） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

Comments accepted by MICCAI2025 code: https://github.com/MCPathology/M2Surv

VideoMathQA: Benchmarking Mathematical Reasoning via Multimodal Understanding in Videos

Hanoona Rasheed, Abdelrahman Shaker, Anqi Tang, Muhammad Maaz, Ming-Hsuan Yang, Salman Khan, Fahad Shahbaz Khan

机构 * MBZUAI（穆桑大学人工智能研究所） ； University of California Merced（加州大学默塞德分校） ； Google Research（谷歌研究） ； Australian National University（澳大利亚国立大学） ； Linköping University（林肯大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments VideoMathQA Technical Report

Few-Shot, Now for Real: Medical VLMs Adaptation without Balanced Sets or Validation

Julio Silva-Rodríguez, Fereshteh Shakeri, Houda Bahig, Jose Dolz, Ismail Ben Ayed

机构 * ÉTS Montréal（ÉTS蒙特利尔） ； Centre de Recherche du Centre Hospitalier de l’Université de Montréal (CRCHUM)（蒙特利尔大学中心医院研究中心（CRCHUM）） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments MICCAI 2025. Code: https://github.com/jusiro/SS-Text

Multimodal Large Language Models for Medical Report Generation via Customized Prompt Tuning

Chunlei Li, Jingyang Hou, Yilei Shi, Jingliang Hu, Xiao Xiang Zhu, Lichao Mou

机构 * MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

CAPO: Reinforcing Consistent Reasoning in Medical Decision-Making

Songtao Jiang, Yuan Wang, Ruizhe Chen, Yan Zhang, Ruilin Luo, Bohan Lei, Sibo Song, Yang Feng, Jimeng Sun, Jian Wu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Alibaba Group（阿里巴巴集团） ； Angelalign Inc.（Angelalign公司） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

RARL: Improving Medical VLM Reasoning and Generalization with Reinforcement Learning and LoRA under Data and Hardware Constraints

Tan-Hanh Pham, Chris Ngo

机构 * Harvard Medical School（哈佛医学院） ； Knovel Engineering Lab（Knovel工程实验室） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Under review

ProMedTS: A Self-Supervised, Prompt-Guided Multimodal Approach for Integrating Medical Text and Time Series

Shuai Niu, Jing Ma, Hongzhan Lin, Liang Bai, Zhihua Wang, Wei Bi, Yida Xu, Guo Li, Xian Yang

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Shanxi University（山西大学） ； Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海研究院） ； Tencent AI Lab（腾讯人工智能实验室） ； Manchester Metropolitan University（曼彻斯特 Metropolitan 大学） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

Comments This paper is accepted by ACL2025(Findings)

WisWheat: A Three-Tiered Vision-Language Dataset for Wheat Management

Bowen Yuan, Selena Song, Javier Fernandez, Yadan Luo, Mahsa Baktashmotlagh, Zijian Wang

机构 * The University of Queensland（昆士兰大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Full Conformal Adaptation of Medical Vision-Language Models

Julio Silva-Rodríguez, Leo Fillioux, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis, Ismail Ben Ayed, Jose Dolz

机构 * ÉTS Montréal（蒙特利尔ÉTS学院） ； CentraleSupélec, Université Paris-Saclay（中央理工学院，巴黎萨克雷大学） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments IPMI 2025. Code: https://github.com/jusiro/FCA

Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning

Rui Hu, Yahan Tu, Shuyu Wei, Dongyuan Lu, Jitao Sang

机构 * Beijing Key Lab of Traffic Data Analysis and Mining（北京交通大数据分析与挖掘重点实验室） ； Beijing Jiaotong University（北京交通大学） ； School of Information Technology and Management（信息科学技术学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted in Information Sciences 2025