医学 AI

Contrastive Cross-Modal Pre-Training: A General Strategy for Small Sample Medical Imaging

Gongbo Liang, Connor Greenwell, Yu Zhang, Xiaoqin Wang, Ramakanth Kavuluru, Nathan Jacobs

专题命中 医疗多模态 ：分类 cs.CV、cs.LG、eess.IV；biomedical(comments)

Comments This work is accepted to the IEEE Journal of Biomedical and Health Informatics

Real-time multimodal image registration with partial intraoperative point-set data

Zachary M C Baum, Yipeng Hu, Dean C Barratt

专题命中 医疗多模态 ：分类 cs.CV、cs.LG、eess.IV；medical image(comments)

Comments Accepted manuscript in Medical Image Analysis

Brain Harmony: A Multimodal Foundation Model Unifying Morphology and Function into 1D Tokens

Zijian Dong, Ruilin Li, Joanna Su Xian Chong, Niousha Dehestani, Yinghui Teng, Yi Lin, Zhizhou Li, Yichi Zhang, Yapei Xie, Leon Qi Rong Ooi, B. T. Thomas Yeo, Juan Helen Zhou

专题命中 医疗多模态 ：MRI(abstract)；分类 q-bio

Comments NeurIPS 2025. The first two authors contributed equally

VIGIL: Vision-Language Guided Multiple Instance Learning Framework for Ulcerative Colitis Histological Healing Prediction

Zhengxuan Qiu, Bo Peng, Xiaoying Tang, Jiankun Wang, Qin Guo

专题命中 医疗多模态 ：diagnosis(abstract)；分类 q-bio

Multimodal Data Integration for Precision Oncology: Challenges and Future Directions

Huajun Zhou, Fengtao Zhou, Chenyu Zhao, Yingxue Xu, Luyang Luo, Hao Chen

专题命中 医疗多模态 ：diagnosis(abstract)；分类 q-bio

Comments 15 pages, 4 figures

Multimodal Radiomics Model for Predicting Gold Nanoparticles Accumulation in Mouse Tumors

Jiajia Tang, Jie Zhang, Jiulou Zhang, Yuxia Tang, Hao Ni, Shouju Wang

专题命中 医疗多模态 ：CT(abstract)；分类 q-bio

Multimodal Representation Learning via Maximization of Local Mutual Information

Ruizhi Liao, Daniel Moyer, Miriam Cha, Keegan Quigley, Seth Berkowitz, Steven Horng, Polina Golland, William M. Wells

专题命中 医疗多模态 ：medical image(comments,journal_ref)；分类 cs.CV、eess.IV

Comments In Proceedings of International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), 2021

Journal ref In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 273-283. Springer, Cham, 2021

Multiscale and multimodal network dynamics underpinning working memory

Andrew C. Murphy, Maxwell A. Bertolero, Lia Papadopoulos, David M. Lydon-Staley, Danielle S. Bassett

专题命中 医疗多模态 ：MRI(abstract)；分类 q-bio

Multimodal Cross-registration and Quantification of Metric Distortions in Whole Brain Histology of Marmoset using Diffeomorphic Mappings

Brian C. Lee, Meng Kuan Lin, Yan Fu, Junichi Hata, Michael I. Miller, Partha P. Mitra

专题命中 医疗多模态 ：MRI(abstract)；分类 q-bio

Alternating Diffusion Map Based Fusion of Multimodal Brain Connectivity Networks for IQ Prediction

Li Xiao, Julia M. Stephen, Tony W. Wilson, Vince D. Calhoun, Yu-Ping Wang

专题命中 医疗多模态 ：MRI(abstract)；分类 q-bio

When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition

音频-语言模型在利用多模态上下文进行构音障碍语音识别时的失效问题

Pehuén Moure, Niclas Pokel, Bilal Bounajma, Yingqiang Gao, Roman Boehringer, Longbiao Cheng, Shih-Chii Liu

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 该研究构建基于SAP数据集的基准，发现现有音频-语言模型无法有效利用构音障碍语音的临床上下文，而LoRA适配方法可将WER降低52%，为包容性ASR提供测试平台。

Large Language Models in Mental Health: A Systematic Review of Applications, Innovations, and Ethical Challenges

心理健康领域的大语言模型：应用、创新与伦理挑战的系统综述

Yisong Chen, Yifan Gao, Sijing Yu, Chuqing Zhao, Yang Lu

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 该系统综述梳理了大语言模型在心理健康领域的多类应用、技术创新，同时探讨了其面临的伦理与监管挑战，并倡导建立保障其安全公平部署的框架。

Comments Systematic review. Published in Journal of Industrial Integration and Management (2025). Applications of large language models in mental health, including social media analysis, clinical conversational agents, therapy support tools, multimodal learning, and ethical considerations

Journal ref Journal of Industrial Integration and Management (JIIM), 2025

Discrete Linear Ensemble Logic

Manfred Droste, Guo-Qiang Zhang

专题命中 医疗多模态 ：biomedical(abstract)

A report-grounded vision-language foundation model for colonoscopy from 280000 routine reports

基于28万份常规报告的肠镜报告驱动的视觉-语言基础模型

Jia Yu, Yan Zhu, Yili He, Zilong Wang, Xinyang Jiang, Peiyao Fu, Ruijie Yang, Tianyi Chen, Siyuan Li, Zhihua Wang, Fei Wu, Quanlin Li, Xian Yang, Pinghong Zhou, Shuo Wang

机构 * Digital Medical Research Center, School of Basic Medical Sciences, Fudan University（复旦大学基础医学院数字医学研究中心） ； Shanghai Collaborative Innovation Center of Endoscopy（上海内镜诊疗协同创新中心） ； Zhejiang University（浙江大学） ； Shanghai Institute for Advanced Study of Zhejiang University（浙江大学上海高等研究院） ； Alliance Manchester Business School, The University of Manchester（曼彻斯特大学联盟曼彻斯特商学院） ； Data Science Institute, Imperial College London（伦敦帝国理工学院数据科学研究所） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 医疗多模态 ：biomedical(abstract)

AI总结 该研究开发了肠镜视觉-语言基础模型EndoCLIP，利用28万份常规肠镜记录恢复的图像-文本对训练，在多项任务中优于通用模型，良恶性分类性能接近专家，可实现临床目标的语言指定。

ClinLens: Towards Long-Horizon Coding Agents for Longitudinal Multimodal Clinical Data Science

ClinLens：面向纵向多模态临床数据科学的长周期编码智能体

Yuan Zhu, Ethan B. Liu, Frank Nie, Jindong Han

机构 * Shandong University（山东大学） 纠错

专题命中 医疗多模态 ：biomedical(abstract)

AI总结 该研究推出CLINLENS基准，包含200项基于5种MIMIC资源的临床可执行任务，实验显示现有编码智能体与生物医学系统在正确临床分析上存在显著差距。

Bridging the Gap in Ophthalmic AI: MM-Retinal-Reason Dataset and OphthaReason Model toward Dynamic Multimodal Reasoning

缩小眼科人工智能的差距：MM-Retinal-Reason数据集与OphthaReason模型用于动态多模态推理

Ruiqi Wu, Yuang Yao, Tengfei Ma, Chenran Zhang, Na Su, Tao Zhou, Geng Chen, Wen Fan, Yi Zhou

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科学系） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 该研究针对现有眼科AI仅聚焦基础推理的问题，构建首个眼科多模态数据集MM-Retinal-Reason，并提出带UADT方法的OphthaReason模型，实现眼科多模态推理性能的显著提升。

Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization

提示优化器是盲目运行的吗？用于自动提示优化的跨模态视觉反馈

Haoyue Liu, Xiaoyu Ma, Ye Chen, Yuexian Zou, Xiaoying Tang

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 研究多模态任务中自动提示优化的盲目性问题，提出跨模态视觉反馈方法，含故障条件视觉诊断和错误感知聚合阶段，在多个VQA数据集和目标VLM上效果显著，能提升分数且优化器可跨模型转移。

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

ObsDriveBench：具有可观测性意识的恶劣天气下多模态理解基准测试

Qiao Yan, Yihan Wang, Zhenghao Xing, Jiaqi Xu, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（香港中文大学医学智能与扩展现实研究所） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 研究恶劣天气下视觉语言模型在多模态输入时的表现，引入ObsDriveBench基准测试，通过可观测性元标注等构建含多类问题的测试集，实验发现现有模型性能降，还引入ObsDrive模型提升其在多方面的鲁棒性。

Clinical Pathways as Safety Specifications for Physical AI in Hospital Wards

临床路径作为医院病房物理人工智能的安全规范

Gabriele Franchini, Giulio Mallardi, Michele De Carolis, Filippo Lanubile

专题命中 医疗多模态 ：medical AI(abstract)

AI总结 研究针对医院病房物理人工智能系统的安全挑战，提出将临床路径作为安全规范，构建集成多种组件的概念性机器人架构，用运行时安全监视器结合多种方法识别安全违规，助力护理人员并为安全物理人工智能做贡献。

Comments 4 pages, 3 figures. Accepted at the 1st IJCAI Workshop on Safe Physical AI (SPAI 2026), held in conjunction with IJCAI-ECAI 2026, Bremen, Germany

Dendrite: A Real-Time Python Application for Online Brain-Computer Interface Research and Development

Dendrite：用于在线脑机接口研究与开发的实时Python应用程序

Niko Kroflic, Jan Babič

专题命中 医疗多模态 ：biomedical(abstract)

AI总结 研究旨在开发在线脑机接口软件，核心方法是用Python编写Dendrite应用程序，它整合信号采集、解码器训练与实时推理，能同时记录多信号流并并发处理，可重现且开源，为在线BCI范式开发评估提供了系统。

Comments 15 pages, 5 figures

Anamnesis: An Open-Source Platform for Large-Scale Backstory-Conditioned Survey Simulation

记忆回溯：一个用于大规模背景条件调查模拟的开源平台

Song-Ze Yu, Joseph Suh, Serina Chang, David M. Chan

机构 * University of California, Berkeley（加利福尼亚大学伯克利分校） 纠错

专题命中 医疗多模态 ：biomedical(abstract)

AI总结 介绍开源平台记忆回溯，用于大规模背景条件调查模拟。它运用大语言模型，基于文集和他性框架，支持多模态调查。通过案例研究评估，其产生的意见分布更接近真实数据，为专有模拟服务提供替代。

Comments Preprint

Multimodal Digital Biomarker for Asthma: Complementary Roles of Vocal, Clinical and Demographic Factors

用于哮喘的多模态数字生物标志物：声音、临床和人口统计学因素的互补作用

Vladimir Despotovic, Milena Despotovic, Abir Elbeji, Petr V. Nazarov, Guy Fagherazzi

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 研究针对哮喘诊断依赖传统方法、声音生物标志物缺乏临床背景整合的问题，提出多模态专家混合框架，结合声学嵌入与临床人口数据，在匹配队列上评估，模型性能优，还通过分析揭示不同症状个体特征依赖差异，支持哮喘筛查。

Do Multimodal Large Language Models Need Reasoning to Classify Dementia from Speech?

多模态大语言模型是否需要推理来从语音中分类痴呆症？

Liming Wang, Neguine Rezaii, Bradford C. Dickerson, James Glass

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 本文评估了多模态大语言模型在自动痴呆症分类中的推理能力，发现基于文本理由的策略会导致幻觉和不一致，并提出DeTAiL框架，通过非线性适配器和强化学习利用内部表示，在两个数据集上优于基线方法。

TSAssistant: A Human-in-the-Loop Agentic Framework for Automated Target Safety Assessment

TSAssistant: 一种人在回路中的自动化靶点安全性评估智能体框架

Xiaochen Zheng, Zhiwen Jiang, David Tokar, Yexiang Cheng, Alvaro Serra, Melanie Guerard, Klas Hatje, Tatyana Doktorova

机构 * Computational Sciences Center of Excellence（计算科学卓越中心） 纠错

专题命中 医疗多模态 ：biomedical(abstract)

AI总结 提出TSAssistant多智能体框架，通过分层指令架构和交互式优化循环，将靶点安全性评估报告生成分解为专业子任务，实现高可重复性和证据溯源。

Comments Updated with quantitative and expert evaluations

A Multimodal Machine Learning Framework for Enterprise Database Workload-Aware Root Cause Analysis

一种面向企业数据库工作负载感知根因分析的多模态机器学习框架

Ruchi Pakhle, Siddhant Pawar

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 提出多模态机器学习框架，结合工作负载特征、系统遥测和操作信号，利用LightGBM等模型实现数据库根因分析，提升可解释性和自动化水平。

Comments 8 pages, 4 figures

RespiraMFM: A Multimodal Foundation Model with Contrastive Audio-Language Alignment for Respiratory Disease Identification

RespiraMFM：一种用于呼吸道疾病识别的对比音频-语言对齐多模态基础模型

Shakhrul Iman Siam, Tiantian Feng, Jiankun Zhang, Shrikanth Narayanan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Southern California（南加州大学） ； University of Chicago（芝加哥大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 提出RespiraMFM多模态基础模型，通过对比音频-文本对齐策略整合呼吸音与临床信息，在监督和零样本任务中分别提升AUROC 9.15%和20.98%。

Comments ACL 2026 Main Conference

Tensor Analysis and Fusion of Multimodal Brain Images

张量分析与多模态脑图像融合

Esin Karahan, Pedro A. Rojas-Lopez, Maria L. Bringas-Vega, Pedro A. Valdes-Hernandez, Pedro A. Valdes-Sosa

专题命中 医疗多模态 ：MRI(abstract)

AI总结 本文提出利用张量结构分析多模态神经影像数据，引入马尔可夫-彭罗斯图进行建模，首次将Granger因果分析视为张量回归问题，展示其在脑网络分解中的潜力。

Comments 23 pages, 15 figures, submitted to Proceedings of the IEEE

When Models Learn to Ask Why: Adaptive Causal Reasoning for Trustworthy Medical Vision-Language Models

当模型学会问为什么：面向可信医疗视觉语言模型的自适应因果推理

Jianxin Lin, Chunzheng Zhu, Peter J. Kneuertz, Yunfei Bai, Yuan Xue

机构 * The Ohio State University（俄亥俄州立大学） ； Hunan University（湖南大学） ； Amazon（亚马逊） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 提出MedCausalX框架，通过因果推理链、自适应反射架构和轨迹级因果校正，解决医疗VLM中的虚假相关和推理不一致问题，显著提升诊断一致性和减少幻觉。

Comments Accepted by CVPR 2026 Findings

From Scenes to Elements: Multi-Granularity Evidence Retrieval for Verifiable Multimodal RAG

从场景到元素：面向可验证多模态RAG的多粒度证据检索

Guanhua Chen, Chuyue Huang, Yutong Yao, Shudong Liu, Xueqing Song, Lidia S. Chao, Derek F. Wong

机构 * NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（NLP2CT实验室，计算机与信息科学系，澳门大学） 纠错

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 本文提出GranuRAG框架，通过多粒度跨模态对齐和元素级检索，解决多模态RAG中粗粒度证据与细粒度查询不匹配的问题，提升可验证性。

MindMirror: A Local-First Multimodal State-Aware Support System for Digital Workers

MindMirror: 一种面向数字工作者的本地优先多模态状态感知支持系统

Wenqi Luo, Changbo Wang, Yan Wang

专题命中 医疗多模态 ：diagnosis(abstract)

AI总结 MindMirror通过整合面部表情、文本输入和语音交互等多模态数据，为数字工作者提供本地优先的状态感知支持，通过本地大语言模型生成响应，提升工作效率与状态监控能力。

Comments 10 pages, 4 figures, 12 tables. Technical report