多模态大模型

Integrating Genomics into Multimodal EHR Foundation Models

Jonathan Amar, Edward Liu, Alessandra Breschi, Liangliang Zhang, Pouya Kheradpour, Sylvia Li, Lisa Soleymani Lehmann, Alessandro Giulianelli, Matt Edwards, Yugang Jia, David Nola, Raghav Mani, Pankaj Vats, Jesse Tetreault, T. J. Chen, Cory Y. McLean

机构 * Verily Life Sciences（Verily生命科学公司） ； Nvidia（英伟达公司） ； Google（谷歌公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs

Shuochen Chang, Xiaofeng Zhang, Qingyang Liu, Li Niu

机构 * Project leader（项目负责人） 纠错

专题命中 多模态生成 ：MLLM(abstract,comments)；multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted by AAAI Conference on Artificial Intelligence (AAAI) 2026. Code available at https://github.com/bcmi/D3ToM-Diffusion-MLLM

ProAV-DiT: A Projected Latent Diffusion Transformer for Efficient Synchronized Audio-Video Generation

Jiahui Sun, Weining Wang, Mingzhen Sun, Yirong Yang, Xinxin Zhu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北航大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM

Explainable AI-Generated Image Detection RewardBench

Michael Yang, Shijian Deng, William T. Doan, Kai Wang, Tianyu Yang, Harsh Singh, Yapeng Tian

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； University of Toronto（多伦多大学） ； University of Notre Dame（诺特大学） ； Stony Brook University（石溪大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

NeuroLex: A Lightweight Domain Language Model for EEG Report Understanding and Generation

Kang Yin, Hye-Bin Shin

机构 * Dept. of Artificial Intelligence Korea University Seoul, Republic of Korea（人工智能系韩国大学首尔共和国韩国） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI

READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation

Haotian Wang, Yuzhe Weng, Jun Du, Haoran Xu, Xiaoyan Wu, Shan He, Bing Yin, Cong Liu, Jianqing Gao, Qingfeng Liu

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.CV、eess.AS

Comments Project page: https://readportrait.github.io/READ/

DRAGON: Distributional Rewards Optimize Diffusion Generative Models

Yatong Bai, Jonah Casebeer, Somayeh Sojoudi, Nicholas J. Bryan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Adobe Research（Adobe研究） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.AI、cs.MM

Comments Accepted to TMLR

FBSDiff: Plug-and-Play Frequency Band Substitution of Diffusion Features for Highly Controllable Text-Driven Image Translation

Xiang Gao, Jiaying Liu

机构 * Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments Accepted conference paper of ACM MM 2024

DriveLiDAR4D: Sequential and Controllable LiDAR Scene Generation for Autonomous Driving

Kaiwen Cai, Xinze Liu, Xia Zhou, Hengtong Hu, Jie Xiang, Luyao Zhang, Xueyang Zhang, Kun Zhan, Yifei Zhan, Xianpeng Lang

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments AAAI2026

RedVTP: Training-Free Acceleration of Diffusion Vision-Language Models Inference via Masked Token-Guided Visual Token Pruning

Jingqi Xu, Jingxi Lu, Chenghao Li, Sreetama Sarkar, Souvik Kundu, Peter A. Beerel

机构 * University of Southern California（南加州大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

SRSplat: Feed-Forward Super-Resolution Gaussian Splatting from Sparse Multi-View Images

Xinyuan Hu, Changyue Shi, Chuxiao Yang, Minghao Chen, Jiajun Ding, Tao Wei, Chen Wei, Zhou Yu, Min Tan

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

Comments AAAI2026-Oral. Project Page: https://xinyuanhu66.github.io/SRSplat/

DiffFP: Learning Behaviors from Scratch via Diffusion-based Fictitious Play

Akash Karthikeyan, Yash Vardhan Pant

机构 * Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系） 纠错

专题命中 多模态生成 ：multimodal(abstract)

Comments Initial results presented at the IJCAI 2025 Workshop on User-Aligned Assessment of Adaptive AI Systems. Project page: https://aku02.github.io/projects/difffp/

MMD-Thinker: Adaptive Multi-Dimensional Thinking for Multimodal Misinformation Detection

Junjie Wu, Guohong Fu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） ； Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

MCA-Bench: A Multimodal Benchmark for Evaluating CAPTCHA Robustness Against VLM-based Attacks

Zonglin Wu, Yule Xue, Yaoyao Feng, Xiaolong Wang, Yiren Song

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Comments we update the paper supplement

FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models

Hongyang Wang, Yichen Shi, Zhuofu Tao, Yuhao Gao, Liepiao Zhang, Xun Lin, Jun Feng, Xiaochen Yuan, Zitong Yu, Xiaochun Cao

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by AAAI 2025. Hongyang Wang and Yichen Shi contribute equally. Corresponding author: Zitong Yu

DualTAP: A Dual-Task Adversarial Protector for Mobile MLLM Agents

Fuyao Zhang, Jiaming Zhang, Che Wang, Xiongtao Sun, Yurong Hao, Guowei Guan, Wenjie Li, Longtao Huang, Wei Yang Bryan Lim

专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)

GeoX-Bench: Benchmarking Cross-View Geo-Localization and Pose Estimation Capabilities of Large Multimodal Models

Yushuo Zheng, Jiangyong Ying, Huiyu Duan, Chunyi Li, Zicheng Zhang, Jing Liu, Xiaohong Liu, Guangtao Zhai

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

EgoEMS: A High-Fidelity Multimodal Egocentric Dataset for Cognitive Assistance in Emergency Medical Services

Keshara Weerasinghe, Xueren Ge, Tessa Heick, Lahiru Nuwan Wijayasingha, Anthony Cortez, Abhishek Satpathy, John Stankovic, Homa Alemzadeh

机构 * School of Engineering and Applied Science（工程与应用科学学院） ； School of Medicine（医学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to AAAI 2026 (Preprint), 45 pages, 29 figures, updated references and figure orderings

Adaptive Diagnostic Reasoning Framework for Pathology with Multimodal Large Language Models

Yunqi Hong, Johnson Kao, Liam Edwards, Nein-Tzu Liu, Chung-Yen Huang, Alex Oliveira-Kowaleski, Cho-Jui Hsieh, Neil Y. C. Lin

机构 * Computer Science Department, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校计算机科学系） ； Mechanical and Aerospace Engineering Department, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校机械与航空航天工程系） ； Department of Pathology, Tri-Service General Hospital, National Defense Medical Center, Taipei, Taiwan（台湾国防医学院三军总医院病理部） ； Department of Pathology, National Taiwan University Hospital, Taipei, Taiwan（台湾国立台湾大学医院病理部） ； Department of Pathology, David Geffen School of Medicine, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校大卫·Geffen医学院病理部） ； Bioengineering Department, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校生物工程系） ； Institute for Quantitative and Computational Biosciences, University of California, CA, USA（加州大学定量与计算生物科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Towards Affect-Adaptive Human-Robot Interaction: A Protocol for Multimodal Dataset Collection on Social Anxiety

Vesna Poprcova, Iulia Lefter, Matthias Wieser, Martijn Warnier, Frances Brazier

机构 * Delft University of Technology（代尔夫特理工大学） ； Erasmus University Rotterdam（埃因霍温大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted at the Workshop on Benefits of pErsonalization and behAvioral adaptation in assistive Robots (BEAR 2025), held at the IEEE RO-MAN Conference 2025

Dual-LoRA and Quality-Enhanced Pseudo Replay for Multimodal Continual Food Learning

Xinlan Wu, Bin Zhu, Feng Han, Pengkun Jiao, Jingjing Chen

机构 * College of Computer Science and Artificial Intelligence, Fudan University, China（复旦大学计算机科学与人工智能学院） ； Singapore Management University, Singapore（新加坡国立管理学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Commonality in Few: Few-Shot Multimodal Anomaly Detection via Hypergraph-Enhanced Memory

Yuxuan Lin, Hanjing Yan, Xuan Tong, Yang Chang, Huanzhen Wang, Ziheng Zhou, Shuyong Gao, Yan Wang, Wenqiang Zhang

机构 * AAAI Press（AAAI 压力） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted by AAAI 2026

Early GVHD Prediction in Liver Transplantation via Multi-Modal Deep Learning on Imbalanced EHR Data

Yushan Jiang, Shuteng Niu, Dongjin Song, Yichen Wang, Jingna Feng, Xinyue Hu, Liu Yang, Cui Tao

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

Can Visual Input Be Compressed? A Visual Token Compression Benchmark for Large Multimodal Models

Tianfan Peng, Yuntao Du, Pengzhou Ji, Shijie Dong, Kailin Jiang, Mingchuan Ma, Yijun Tian, Jinhe Bi, Qian Li, Wei Du, Feng Xiao, Lizhen Cui

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

The Brain Resection Multimodal Image Registration (ReMIND2Reg) 2025 Challenge

Reuben Dorent, Laura Rigolo, Colin P. Galvin, Junyu Chen, Mattias P. Heinrich, Aaron Carass, Olivier Colliot, Demian Wassermann, Alexandra Golby, Tina Kapur, William Wells

机构 * Inria Saclay Île-de-France（法国里昂萨克利研究所） ； CEA（法国原子能委员会） ； Université Paris-Saclay（巴黎-萨克利大学） ； Sorbonne Université（索邦大学） ； Institut du Cerveau - Paris Brain Institute - ICM（巴黎脑研究所） ； CNRS（法国国家科学研究中心） ； Inria（法国国家信息与自动化技术研究所） ； Inserm（法国国家医学研究院） ； AP-HP（法国国家医院集团） ； Hôpital de la Pitié Salpêtrière（皮蒂埃-萨尔普里埃尔医院） ； Harvard Medical School（哈佛医学院） ； Brigham and Women's Hospital（布里根医院） ； Department of Radiology and Radiological Science（放射学与放射科学系） ； Johns Hopkins Medical School（约翰霍普金斯医学院） ； Institute of Medical Informatics（医学信息学研究所） ； University of Lübeck（吕贝克大学） ； Image Analysis and Communications Laboratory（图像分析与通信实验室） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； Johns Hopkins University（约翰霍普金斯大学） ； CSAIL（媒体实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

OpenRoboCare: A Multimodal Multi-Task Expert Demonstration Dataset for Robot Caregiving

Xiaoyu Liang, Ziang Liu, Kelvin Lin, Edward Gu, Ruolin Ye, Tam Nguyen, Cynthia Hsu, Zhanxin Wu, Xiaoman Yang, Christy Sum Yu Cheung, Harold Soh, Katherine Dimitropoulou, Tapomayukh Bhattacharjee

专题命中 多模态评测 ：multimodal(title,abstract)

Comments IROS 2025

RoboAfford++: A Generative AI-Enhanced Dataset for Multimodal Affordance Learning in Robotic Manipulation and Navigation

Xiaoshuai Hao, Yingbo Tang, Lingfeng Zhang, Yanbiao Ma, Yunfeng Diao, Ziyu Jia, Wenbo Ding, Hangjun Ye, Long Chen

机构 * Xiaomi EV（小米电动车） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Seeing is Believing: Rich-Context Hallucination Detection for MLLMs via Backward Visual Grounding

Pinxue Guo, Chongruo Wu, Xinyu Zhou, Lingyi Hong, Zhaoyu Chen, Jinglun Li, Kaixun Jiang, Sen-ching Samson Cheung, Wei Zhang, Wenqiang Zhang

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

SOMA: Feature Gradient Enhanced Affine-Flow Matching for SAR-Optical Registration

Haodong Wang, Tao Zhuo, Xiuwei Zhang, Hanlin Yin, Wencong Wu, Yanning Zhang

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.AI

Leveraging Online Data to Enhance Medical Knowledge in a Small Persian Language Model

Mehrdad Ghassabi, Pedram Rostami, Hamidreza Baradaran Kashani, Amirhossein Poursina, Zahra Kazemi, Milad Tavakoli

机构 * Faculty of Computer Engineering University of Isfahan（计算机工程系 岛岛大学） ； School of Medicine Isfahan University of Medical Sciences（医学院 岛岛医学科学大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL、cs.AI

Comments 8 pages, 7 figures