医学 AI

The Effect of Negation on CLIP in Medical Imaging: Limitations of Contrastive Language-Image Pretraining

否定对CLIP在医学影像中的影响：对比语言-图像预训练的局限性

Jasmine Vu, Shivanand Sheshappanavar

机构 * Santa Clara University（圣克拉拉大学） ； University of Wyoming（怀俄明大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.LG

AI总结 研究探讨CLIP在医学影像中处理否定短语的局限性，并通过调优方法提升其检索准确性与可靠性。

Comments 10 pages, 7 figures, submitted to WACV Pixels to Patients Workshop

MedInsightBench: Evaluating Medical Analytics Agents Through Multi-Step Insight Discovery in Multimodal Medical Data

MedInsightBench: 通过多步骤洞察发现评估医疗分析代理在多模态医疗数据中的能力

Zhenghao Zhu, Chuxue Cao, Sirui Han, Yuanfeng Song, Xing Chen, Caleb Chen Cao, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； ByteDance（字节跳动） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.LG

AI总结 MedInsightBench通过多步骤洞察发现评估医疗分析代理在多模态医疗数据中的能力，提出MedInsightAgent框架提升医疗数据洞察发现性能。

Forging a Dynamic Memory: Retrieval-Guided Continual Learning for Generalist Medical Foundation Models

锻造动态记忆：基于检索的持续学习用于通用医学基础模型

Zizhi Chen, Yizhen Gao, Minghao Han, Yizhou Liu, Zhaoyu Chen, Dingkang Yang, Lihua Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing（智能机器人与先进制造学院） ； Fudan University（复旦大学） ； Fysics Intelligence Technologies Co., Ltd. (Fysics AI)（Fysics智能技术有限公司（Fysics AI）） ； School of Computer Science and Engineering（计算机科学与工程学院） ； Central South University（中南大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

AI总结 本文提出基于检索的持续学习方法，通过动态知识蒸馏和RAG技术，解决多模态医学模型在领域迁移和细粒度特征保留中的核心难题。

DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry

DentalGPT: 促进牙科多模态复杂推理的激励机制

Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang

机构 * Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University（南方医科大学深圳口腔医院（平山）） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； State Key Laboratory of Membrane Biology, Beijing Key Laboratory of Cardiometabolic Molecular Medicine, Institute of Molecular Medicine, National Biomedical Imaging Center, School of Future Technology, Peking University（北京大学膜生物学国家重点实验室、北京心代谢分子医学重点实验室、分子医学研究院、国家生物医学成像中心、未来技术学院） ； Freedom AI ； Division of Applied Oral Sciences & Community Dental Care Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； National Health Data Institute, Shenzhen（深圳国家健康数据研究院） ； Shenzhen Loop Area Institute（深圳河套学院） ； Shenzhen Institute of Big Data（深圳大数据研究院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

AI总结 DentalGPT通过高质量数据和强化学习提升牙科多模态推理能力，实现优于现有模型的诊断性能。

Few-Shot Learning from Gigapixel Images via Hierarchical Vision-Language Alignment and Modeling

通过层次化视觉-语言对齐和建模实现高像素图像的少样本学习

Bryan Wong, Jong Woo Kim, Huazhu Fu, Mun Yong Yi

机构 * KAIST（韩国科学技术院） ； IHPC, A*STAR（A*STAR研究院） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

AI总结 HiVE-MIL通过层次化视觉-语言对齐和建模，提升高像素图像的少样本学习性能，实现4.1%的宏F1提升。

Comments Accepted at NeurIPS 2025

LDP: Parameter-Efficient Fine-Tuning of Multimodal LLM for Medical Report Generation

LDP：多模态大语言模型在医疗报告生成中的参数高效微调

Tianyu Zhou, Junyi Tang, Zehui Li, Dahong Qian, Suncheng Xiang

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

AI总结 LDP通过多模态大语言模型和参数高效微调技术，提升结肠镜息肉诊断报告的准确性和效率，显著降低训练成本并获得专家评分。

Comments Work in progress

MedGR$^2$: Breaking the Data Barrier for Medical Reasoning via Generative Reward Learning

MedGR$^2$: 通过生成奖励学习突破医学推理的数据壁垒

Weihai Zhi, Jiayan Guo, Shangyang Li

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.LG

AI总结 MedGR$^2$通过生成奖励学习解决医学推理中的数据稀缺问题，实现高效训练和泛化，优于现有方法。

Comments 8 pages, 5 figures

Journal ref AAAI'2026 Main Technical Track

Multimodal Oncology Agent for IDH1 Mutation Prediction in Low-Grade Glioma

多模态肿瘤代理用于低级别胶质瘤IDH1突变预测

Hafsa Akebli, Adam Shephard, Vincenzo Della Mea, Nasir Rajpoot

机构 * Department of Mathematics, Computer Science and Physics, University of Udine（乌迪大学数学、计算机科学与物理系） ； Tissue Image Analytics Centre, Department of Computer Science, University of Warwick（沃里克大学计算机科学系组织图像分析中心） ； Histofy Ltd（Histofy有限公司） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

AI总结 本研究提出多模态肿瘤代理，结合组织学工具和外部生物医学资源，实现低级别胶质瘤IDH1突变的高精度预测。

Comments 4 pages, 2 figures

Multi-Aspect Knowledge-Enhanced Medical Vision-Language Pretraining with Multi-Agent Data Generation

多方面知识增强的医学视觉-语言预训练与多代理数据生成

Xieji Li, Siyuan Yan, Yingsheng Liu, H. Peter Soyer, Monika Janda, Victoria Mar, Zongyuan Ge

机构 * Department of Data Science and AI, Faculty of Information Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学） ； Victorian Melanoma Service, Alfred Health（维多利亚黑色素瘤服务，阿尔弗雷德健康） ； Frazer Institute, The University of Queensland, Dermatology Research Centre（弗雷泽研究所，昆士兰大学，皮肤科研究中心） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

AI总结 本研究提出一种多代理数据生成与多方面知识增强的医学视觉-语言预训练框架，通过提升数据质量和细粒度对齐，实现零样本性能的突破。

Comments 10 pages. Under Review

VoxRep: Enhancing 3D Spatial Understanding in 2D Vision-Language Models via Voxel Representation

VoxRep：通过体素表示增强2D视觉-语言模型的3D空间理解

Alan Dao, Norapat Buppodom

机构 * Menlo Research（Menlo研究） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

AI总结 本文提出VoxRep方法，通过将体素空间切分为2D切片并输入预训练的视觉-语言模型，实现对3D环境的高效语义理解。

Journal ref Proc. APSIPA ASC 2025, pp. 1464-1469

CLIP-IT: CLIP-based Pairing for Histology Images Classification

CLIP-IT: 基于CLIP的病理图像分类配对

Banafsheh Karimian, Giulia Avanzato, Soufian Belharbi, Alexis Guichemerre, Luke McCaffrey, Mohammadhadi Shateri, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大） ； Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利） ； Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

AI总结 CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。

SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction

SurvAgent: 基于层次化CoT增强的案例库与二元多智能体系统用于多模态生存预测

Guolin Huang, Wenting Chen, Jiaqi Yang, Xinheng Lyu, Xiaoling Luo, Sen Yang, Xiaohan Xing, Linlin Shen

机构 * Shenzhen University（深圳大学） ； Stanford University（斯坦福大学） ； University of Nottingham Ningbo China（诺丁汉大学宁波分校） ； Ant Group（蚂蚁集团） 纠错

专题命中 医疗多模态 ：pathology(abstract)；分类 cs.CV

AI总结 SurvAgent通过层次化CoT增强的多智能体系统，整合多模态数据，提升生存预测的可解释性与准确性。

Comments 20 pages

A Systematic Study of Model Extraction Attacks on Graph Foundation Models

Haoyan Xu, Ruizhi Qian, Jiate Li, Yushun Dong, Minghao Lin, Hanson Yan, Zhengtao Yao, Qinghua Liu, Junhao Dong, Ruopeng Huang, Yue Zhao, Mengyuan Li

机构 * University of Southern California（南加州大学） ； Florida State University（佛罗里达州立大学） ； The Ohio State University（俄亥俄州立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.LG

The Brain Resection Multimodal Image Registration (ReMIND2Reg) 2025 Challenge

Reuben Dorent, Laura Rigolo, Colin P. Galvin, Junyu Chen, Mattias P. Heinrich, Aaron Carass, Olivier Colliot, Demian Wassermann, Alexandra Golby, Tina Kapur, William Wells

机构 * Inria Saclay Île-de-France（法国里昂萨克利研究所） ； CEA（法国原子能委员会） ； Université Paris-Saclay（巴黎-萨克利大学） ； Sorbonne Université（索邦大学） ； Institut du Cerveau - Paris Brain Institute - ICM（巴黎脑研究所） ； CNRS（法国国家科学研究中心） ； Inria（法国国家信息与自动化技术研究所） ； Inserm（法国国家医学研究院） ； AP-HP（法国国家医院集团） ； Hôpital de la Pitié Salpêtrière（皮蒂埃-萨尔普里埃尔医院） ； Harvard Medical School（哈佛医学院） ； Brigham and Women's Hospital（布里根医院） ； Department of Radiology and Radiological Science（放射学与放射科学系） ； Johns Hopkins Medical School（约翰霍普金斯医学院） ； Institute of Medical Informatics（医学信息学研究所） ； University of Lübeck（吕贝克大学） ； Image Analysis and Communications Laboratory（图像分析与通信实验室） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Johns Hopkins University（约翰霍普金斯大学） ； CSAIL（媒体实验室） 纠错

专题命中 医疗多模态 ：MRI(abstract)；分类 cs.CV

MicroVQA++: High-Quality Microscopy Reasoning Dataset with Weakly Supervised Graphs for Multimodal Large Language Model

Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan

机构 * Fudan University（复旦大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

Comments 11 pages, 4 figures

HCFSLN: Adaptive Hyperbolic Few-Shot Learning for Multimodal Anxiety Detection

Aditya Sneh, Nilesh Kumar Sahu, Anushka Sanjay Shelke, Arya Adyasha, Haroon R. Lone

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.LG

SkinCaRe: A Multimodal Dermatology Dataset Annotated with Medical Caption and Chain-of-Thought Reasoning

Yuhao Shen, Liyuan Sun, Yan Xu, Wenbin Liu, Shuping Zhang, Shawn Afvari, Zhongyi Han, Jiaoyan Song, Yongzhi Ji, Tao Lu, Xiaonan He, Xin Gao, Juexiao Zhou

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK–Shenzhen)（数据科学学院，香港中文大学（深圳）） ； Computer Science Program, CEMSE Division, King Abdullah University of Science and Technology (KAUST)（计算机科学项目，科学与工程学院，国王 Abdullah 科学技术大学） ； Center of Excellence on Smart Health, KAUST（智能健康卓越中心，国王 Abdullah 科学技术大学） ； Center of Excellence for Generative AI, KAUST（生成式人工智能卓越中心，国王 Abdullah 科学技术大学） ； Department of Dermatology, Beijing AnZhen Hospital, Capital Medical University（皮肤科，北京安贞医院，首都医科大学） ； Department of Dermatology, Tianjin Institute of Integrative Dermatology, Tianjin Academy of Traditional Chinese Medicine Affiliated Hospital（皮肤科，天津整合皮肤科研究院，天津中医药大学附属医院） ； Department of Dermatology, Beijing Aerospace General Hospital（皮肤科，北京航天总医院） ； Department of Dermatology, The First Affiliated Hospital, Shantou University Medical College（皮肤科，汕头大学医学院第一附属医院） ； DermAssure, LLC（DermAssure 公司） ； School of Medicine, New York Medical College（医学院，纽约医学院） ； Capital Medical University（首都医科大学） ； Department of Dermatology, Second Hospital of Jilin University（皮肤科，吉林大学第二医院） ； Emergency Critical Care Center, Beijing AnZhen Hospital, Capital Medical University（急诊重症中心，北京安贞医院，首都医科大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Multimodal Deep Learning for Prediction of Progression-Free Survival in Patients with Neuroendocrine Tumors Undergoing 177Lu-based Peptide Receptor Radionuclide Therapy

Simon Baur, Tristan Ruhwedel, Ekin Böke, Zuzanna Kobus, Gergana Lishkova, Christoph Wetz, Holger Amthauer, Christoph Roderburg, Frank Tacke, Julian M. Rogasch, Wojciech Samek, Henning Jann, Jackie Ma, Johannes Eschrich

机构 * Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute（人工智能部门，弗劳恩霍夫海因里希·赫兹研究所） ； Department of Nuclear Medicine, Charité—Universitätsmedizin Berlin（核医学部门，柏林查理医院） ； Department of Hepatology and Gastroenterology, Charité—Universitätsmedizin Berlin（肝病与胃肠病学部门，柏林查理医院） ； Division of Interventional Radiology, Department of Radiology, Memorial Sloan Kettering Cancer Center（介入放射学部门，纪念斯隆-凯特琳癌症中心） ； Department of Endocrinology and Metabolism, Charité—Universitätsmedizin Berlin（内分泌与代谢学部门，柏林查理医院） ； Clinic for Gastroenterology, Hepatology and Infectious Diseases, University Hospital Düsseldorf, Medical Faculty of Heinrich Heine University Düsseldorf（胃肠病、肝病和传染病诊所，杜塞尔多夫大学医院，海因里希·海涅大学医学部） ； Department of Electrical Engineering and Computer Science, Technische Universität Berlin（电气工程与计算机科学部门，柏林技术大学） ； Berlin Institute of Health at Charité – Universitätsmedizin Berlin（柏林查理医院健康研究所） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.LG

ExGra-Med: Extended Context Graph Alignment for Medical Vision-Language Models

Duy M. H. Nguyen, Nghiem T. Diep, Trung Q. Nguyen, Hoang-Bao Le, Tai Nguyen, Tien Nguyen, TrungTin Nguyen, Nhat Ho, Pengtao Xie, Roger Wattenhofer, James Zou, Daniel Sonntag, Mathias Niepert

机构 * German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； Max Planck Research School for Intelligent Systems (IMPRS-IS)（马克斯·普朗克智能系统研究学校） ； University of Stuttgart（斯图加特大学） ； University Medical Center Gottingen（哥廷根大学医学中心） ； Max Planck Institute for Multidisciplinary Sciences（马克斯·普朗克多学科科学研究所） ； ARC Centre of Excellence for the Mathematical Analysis of Cellular Systems（细胞系统数学分析卓越中心） ； School of Mathematical Sciences, Queensland University of Technology（昆士兰科技大学数学科学学院） ； University of Oldenburg（奥尔登堡大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California San Diego（加州大学圣地亚哥分校） ； MBZUAI（马克斯·普朗克人工智能研究所） ； ETH Zurich（苏黎世联邦理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 医疗多模态 ：medical AI(abstract)；分类 cs.LG

Comments Accepted at NeurIPS 2025

MedDChest: A Content-Aware Multimodal Foundational Vision Model for Thoracic Imaging

Mahmoud Soliman, Islam Osman, Mohamed S. Shehata, Rasika Rajapakshe

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

Comments 10 pages, 2 figures

Hulu-Med: A Transparent Generalist Model towards Holistic Medical Vision-Language Understanding

Songtao Jiang, Yuan Wang, Sibo Song, Tianxiang Hu, Chenyi Zhou, Bin Pu, Yan Zhang, Zhibo Yang, Yang Feng, Joey Tianyi Zhou, Jin Hao, Zijian Chen, Ruijia Wu, Tao Tang, Junhui Lv, Hongxia Xu, Hongwei Wang, Jun Xiao, Bin Feng, Fudong Zhu, Kenli Li, Weidi Xie, Jimeng Sun, Jian Wu, Zuozhu Liu

机构 * College of Computer Science and Technology, Zhejiang University-University of Illinois Urbana-Champaign Institute（浙江大学计算机科学与技术学院） ； Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine（浙江大学口腔医院） ； Alibaba Inc（阿里巴巴集团） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； Angelalign Technology Inc.（Angelalign技术有限公司） ； CFAR & IHPC, Agency for Science, Technology and Research（CFAR与IHPC，新加坡科技研究局） ； Department of Orthodontics, Shanghai Ninth People’s Hospital, College of Stomatology, Shanghai Jiao Tong University（上海第九人民医院正畸科，上海交通大学口腔医学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

SCALE-VLP: Soft-Weighted Contrastive Volumetric Vision-Language Pre-training with Spatial-Knowledge Semantics

Ailar Mahdizadeh, Puria Azadi Moghadam, Xiangteng He, Shahriar Mirabbasi, Panos Nasiopoulos, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（人工智能向量研究所） 纠错

专题命中 医疗多模态 ：CT(abstract)；分类 cs.CV

MID: A Self-supervised Multimodal Iterative Denoising Framework

Chang Nie, Tianchen Deng, Zhe Liu, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（自动化与智能感知学院，上海交通大学） ； Key Laboratory of System Control and Information Processing, Ministry of Education of China（系统控制与信息处理重点实验室，中华人民共和国教育部） 纠错

专题命中 医疗多模态 ：biomedical(abstract)；分类 cs.CV

Dynamic Traceback Learning for Medical Report Generation

Shuchang Ye, Mingyuan Meng, Mingjian Li, Dagan Feng, Usman Naseem, Jinman Kim

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted to IEEE Transactions on Multimedia (TMM)

GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning

Bo Liu, Xiangyu Zhao, Along He, Yidi Chen, Huazhu Fu, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen University（深圳大学） ； West China Hospital of Sichuan University（四川大学华西医院） ； IHPC, Agency for Science, Technology and Research（科技研究局IHPC） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments Accepted at ACM MM 2025 (also known as GEMeX-ThinkVG)

MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology VNU University of Engineering（信息科技学院越南工程大学） ； IT-BT Convergence Technology Division Vietnam-Korea Institute of Science（IT-BT融合技术部门越南-韩国科学技术院） ； TADI Global Lab TADI Global Company Limited（TADI全球实验室TADI全球有限公司） ； Faculty of Finance Banking Academy of Vietnam（金融学院越南银行学院） 纠错

专题命中 医疗多模态 ：medical image(abstract)；分类 cs.CV

Comments 10 pages, 4 figures, IEEE conference format

MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation

Shoubin Yu, Yue Zhang, Ziyang Wang, Jaehong Yoon, Mohit Bansal

机构 * UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments EMNLP 2025 Findings; The first two authors contributed equally; Github link: https://github.com/Yui010206/MEXA

Agro-Consensus: Semantic Self-Consistency in Vision-Language Models for Crop Disease Management in Developing Countries

Mihir Gupta, Pratik Desai, Ross Greer

机构 * The Harker School（哈克尔学校） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Knowledge-Driven Vision-Language Model for Plexus Detection in Hirschsprung's Disease

Youssef Megahed, Atallah Madi, Dina El Demellawy, Adrian D. C. Chan

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments Accepted into the ICAAI 2025 - The 9th International Conference on Advances in Artificial Intelligence

Diagnosing Visual Reasoning: Challenges, Insights, and a Path Forward

Jing Bi, Guangyu Sun, Ali Vosoughi, Chen Chen, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)；分类 cs.CV

Comments 5 pages