多模态大模型

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović

机构 * Christian Doppler Laboratory for Artificial Intelligence in Retina（人工智能视网膜实验室） ； Institute of Artificial Intelligence（人工智能研究所） ； Center for Medical Data Science（医学数据科学中心） ； Medical University of Vienna（维也纳医学大学） ； Comprehensive Center for AI in Medicine（医学人工智能综合中心） ； OPTIMA Lab（OPTIMA实验室） ； Department of Ophthalmology（眼科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(title)；分类 cs.CV

Comments Accepted for publication in npj Digital Medicine

OmniPlay: Benchmarking Omni-Modal Models on Omni-Modal Game Playing

Fuqing Bie, Shiyu Huang, Xijia Tao, Zhiqin Fang, Leyi Pan, Junzhe Chen, Min Ren, Liuyu Xiang, Zhaofeng He

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； XPENG ； The University of Hong Kong（香港大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：omni-modal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

PCRI: Measuring Context Robustness in Multimodal Models for Enterprise Applications

Hitesh Laxmichand Patel, Amit Agarwal, Srikant Panda, Hansa Meghwani, Karan Dua, Paul Li, Tao Sheng, Sujith Ravi, Dan Roth

机构 * Oracle AI 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Accepted in EMNLP 2025

Multimodal Slice Interaction Network Enhanced by Transfer Learning for Precise Segmentation of Internal Gross Tumor Volume in Lung Cancer PET/CT Imaging

Yi Luo, Yike Guo, Hamed Hooshangnejad, Rui Zhang, Xue Feng, Quan Chen, Wil Ngwa, Kai Ding

机构 * Dept. of Biomedical Engineering Johns Hopkins University（生物医学工程系约翰霍普金斯大学） ； Molecular Radiation Sciences Johns Hopkins University（分子放射科学约翰霍普金斯大学） ； Dept. of Surgery University of Minnesota（外科系明尼苏达大学） ； Dept. of Biomedical Engineering University of Virginia（生物医学工程系弗吉尼亚大学） ； Comprehensive Cancer Center Mayo Clinic（综合癌症中心梅奥诊所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments 11 pages, 5 figures

Vision Function Layer in Multimodal LLMs

Cheng Shi, Yizhou Yu, Sibei Yang

机构 * Sun Yat-sen University（中山大学） ； School of Computing and Data Science（计算与数据科学学院） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted at NeurIPS 2025 (preview; camera-ready in preparation)

EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM

Yan Shu, Bin Ren, Zhitong Xiong, Danda Pani Paudel, Luc Van Gool, Begüm Demir, Nicu Sebe, Paolo Rota

机构 * University of Trento（特伦托大学） ； BIFOLD and Technische Universität Berlin（BIFOLD和柏林技术大学） ； Technical University of Munich（慕尼黑技术大学） ； University of Pisa（比萨大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

MMRQA: Signal-Enhanced Multimodal Large Language Models for MRI Quality Assessment

Fankai Jia, Daisong Gan, Zhe Zhang, Zhaochi Wen, Chenchen Dan, Dong Liang, Haifeng Wang

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； ShanghaiTech University（上海理工大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

SCRAMBLe : Enhancing Multimodal LLM Compositionality with Synthetic Preference Data

Samarth Mishra, Kate Saenko, Venkatesh Saligrama

机构 * Boston University（波士顿大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025 Findings

Learning Regional Monsoon Patterns with a Multimodal Attention U-Net

Swaib Ilias Mazumder, Manish Kumar, Aparajita Khan

机构 * 1Computer Science \& Engineering, Indian Institute of Technology Roorkee, India 2Computer Science \& Engineering, Indian Institute of Technology Ropar, India 3 Computer Science \& Engineering, Indian Institute of Technology (BHU) Varanasi, India 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted in Geospatial AI and Applications with Foundation Models (GAIA) 2025, INSAIT and ELLIS Unit Sofia, Bulgaria

Sensor-Adaptive Flood Mapping with Pre-trained Multi-Modal Transformers across SAR and Multispectral Modalities

Tomohiro Tanaka, Narumasa Tsutsumida

机构 * Graduate school of Science & Engineering, Saitama University, Japan（埼玉大学理工学部） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments 8 pages, 2 figures

Hanfu-Bench: A Multimodal Benchmark on Cross-Temporal Cultural Understanding and Transcreation

Li Zhou, Lutong Yu, Dongchu Xie, Shaohuan Cheng, Wenyan Li, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Chengdu Technological University（成都理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Cultural Analysis, Cultural Visual Understanding, Cultural Image Transcreation. Accepted by EMNLP 2025 (Oral)

A Scalable Distributed Framework for Multimodal GigaVoxel Image Registration

Rohit Jena, Vedant Zope, Pratik Chaudhari, James C. Gee

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Rethinking Unsupervised Cross-modal Flow Estimation: Learning from Decoupled Optimization and Consistency Constraint

Runmin Zhang, Jialiang Wang, Si-Yuan Cao, Zhu Yu, Junchen Yu, Guangyi Zhang, Hui-Liang Shen

机构 * College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心） ； NingboTech University（宁波科技大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

InterKey: Cross-modal Intersection Keypoints for Global Localization on OpenStreetMap

Nguyen Hoang Khoi Tran, Julie Stephany Berrio, Mao Shan, Stewart Worrall

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

Comments 8 pages, 5 figures

AnveshanaAI: A Multimodal Platform for Adaptive AI/ML Education through Automated Question Generation and Interactive Assessment

Rakesh Thakur, Diksha Khandelwal, Shreya Tiwari

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 11 pages, 12 figures. Under review as a conference paper at ICLR 2026. Preprint version posted on arXiv

Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

机构 * Laboratory of Intelligent Collaborative Computing University of Electronic Science and Technology of China（智能协同计算实验室 电子科技大学） 纠错

专题命中 多模态评测 ：cross-modal(title)；multimodal(abstract)；分类 cs.AI

Do LLMs Understand Romanian Driving Laws? A Study on Multimodal and Fine-Tuned Question Answering

Eduard Barbu, Adrian Marius Dumitran

机构 * Faculty of Mathematics and Informatics, University of Bucharest（数学与信息学系，布加勒斯特大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments Accepted@ CONSILR 2025 Bucharest Romania 9-10 October

Introducing Multimodal Paradigm for Learning Sleep Staging PSG via General-Purpose Model

Jianheng Zhou, Chenyu Liu, Jinan Zhou, Yi Ding, Yang Liu, Haoran Luo, Ziyu Jia, Xinliang Zhou

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院） ； College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算与数据科学学院） ； Nutanix, CA, USA（Nutanix公司） ； Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland（奥卢大学机器视觉与信号分析中心） ； Institute of Automation, Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Automotive-ENV: Benchmarking Multimodal Agents in Vehicle Interface Systems

Junfeng Yan, Biao Wu, Meng Fang, Ling Chen

机构 * Australian Artificial Intelligence Institute（澳大利亚人工智能研究所） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments 10 pages, 5 figures,

Pearl: A Multimodal Culturally-Aware Arabic Instruction Dataset

Fakhraddin Alwajih, Samar M. Magdy, Abdellah El Mekki, Omer Nacar, Youssef Nafea, Safaa Taher Abdelfadil, Abdulfattah Mohammed Yahya, Hamzah Luqman, Nada Almarwani, Samah Aloufi, Baraah Qawasmen, Houdaifa Atou, Serry Sibaee, Hamzah A. Alsayadi, Walid Al-Dhabyani, Maged S. Al-shaibani, Aya El Aatar, Nour Qandos, Rahaf Alhamouri, Samar Ahmad, Mohammed Anwar Al-Ghrawi, Aminetou Yacoub, Ruwa AbuHweidi, Vatimetou Mohamed Lemin, Reem Abdel-Salam, Ahlam Bashiti, Aisha Alansari, Ahmed Ashraf, Nora Alturayeif, Alcides Alcoba Inciarte, Adel Ammar, Abdelrahim A. Elmadany, Mohamedou Cheikh Tourad, Ismail Berrada, Mustafa Jarrar, Shady Shehata, Muhammad Abdul-Mageed

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments https://github.com/UBC-NLP/pearl

Preference-Based Long-Horizon Robotic Stacking with Multimodal Large Language Models

Wanming Yu, Adrian Röfer, Abhinav Valada, Sethu Vijayakumar

机构 * School of Informatics, University of Edinburgh（信息学院，爱丁堡大学） ； University of Freiburg（弗赖堡大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Multifractal features of multimodal cardiac signals: Nonlinear dynamics of exercise recovery

A. Maluckov, D. Stojanovic, M. Miletic, Lj. Hadzievski, J. Petrovic

机构 * Vin\v{c}a Institute of Nuclear Sciences – National Institute of the Republic of Serbia, University of Belgrade, Belgrade, Serbia（Vin\v{c}a核科学研究所 – 塞尔维亚国家研究所，贝尔格莱德大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)

Comments 10 pages, 7 Figures

FRABench and UFEval: Unified Fine-grained Evaluation with Task and Aspect Generalization

Shibo Hong, Jiahao Ying, Haiyuan Liang, Mengdi Zhang, Jun Kuang, Jiazheng Zhang, Yixin Cao

机构 * School of Computer Science, Fudan University（复旦大学计算机学院） ； Meituan Group（美团集团） ； School of Computer Science, Singapore Management University（新加坡管理学院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；MLLM(abstract)；分类 cs.AI

SONAR: Semantic-Object Navigation with Aggregated Reasoning through a Cross-Modal Inference Paradigm

Yao Wang, Zhirui Sun, Wenzheng Chi, Baozhi Jia, Wenjun Xu, Jiankun Wang

机构 * Shenzhen Key Laboratory of Robotics Perception and Intelligence（机器人感知与智能深圳重点实验室） ； Department of Electronic and Electrical Engineering（电子与电气工程系） ； Southern University of Science and Technology（南方科技大学） ； Research Institute of Multiple Agents and Embodied Intelligence（多智能体与具身智能研究院） ； Peng Cheng Laboratory（鹏城实验室） ； Robotics and Microsystems Center（机器人与微系统中心） ； School of Mechanical and Electric Engineering（机械与电子工程学院） ； Soochow University（苏州大学） ； Xiamen Key Laboratory of Visual Perception Technology and Application（视觉感知技术与应用厦门重点实验室） ； Reconova Information Technology Co., Ltd.（Reconova信息技术有限公司） 纠错

专题命中 多模态评测 ：cross-modal(title)

ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation

Chenchen Zhang, Yuhang Li, Can Xu, Jiaheng Liu, Ao Liu, Changzhi Zhou, Ken Deng, Dengpeng Wu, Guanhua Huang, Kejiao Li, Qi Yi, Ruibin Xiong, Shihui Hu, Yue Zhang, Yuhao Jiang, Zenan Xu, Yuanxing Zhang, Wiggin Zhou, Chayse Zhou, Fengzong Lian

机构 * Tencent Hunyuan Team（腾讯文脉团队） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL

ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning

Jasin Cekinmez, Omid Ghahroodi, Saad Fowad Chandle, Dhiman Gupta, Ehsaneddin Asgari

机构 * Qatar Computing Research Institute（卡塔尔计算研究所） ； Princeton University（普林斯顿大学） ； Virginia Tech（弗吉尼亚理工大学） ； Amity University（阿米蒂大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AIRoA MoMa Dataset: A Large-Scale Hierarchical Dataset for Mobile Manipulation

Ryosuke Takanami, Petr Khrapchenkov, Shu Morikuni, Jumpei Arima, Yuta Takaba, Shunsuke Maeda, Takuya Okubo, Genki Sano, Satoshi Sekioka, Aoi Kadoya, Motonari Kambara, Naoya Nishiura, Haruto Suzuki, Takanori Yoshimoto, Koya Sakamoto, Shinnosuke Ono, Hu Yang, Daichi Yashima, Aoi Horo, Tomohiro Motoda, Kensuke Chiyoma, Hiroshi Ito, Koki Fukuda, Akihito Goto, Kazumi Morinaga, Yuya Ikeda, Riko Kawada, Masaki Yoshikawa, Norio Kosuge, Yuki Noguchi, Kei Ota, Tatsuya Matsushima, Yusuke Iwasawa, Yutaka Matsuo, Tetsuya Ogata

机构 * The University of Tokyo（东京大学） ； AI Robot Association (AIRoA)（人工智能机器人协会） ； Toyota Motor Corporation（丰田汽车公司） ； Telexistence, Inc.（Telexistence公司） ； National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院） ； Waseda University（早稻田大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

EduVidQA: Generating and Evaluating Long-form Answers to Student Questions based on Lecture Videos

Sourjyadip Ray, Shubham Sharma, Somak Aditya, Pawan Goyal

机构 * Indian Institute of Technology, Kharagpur（印度理工学院，克哈格普尔） ； Panjab University, Chandigarh（旁遮普大学，昌迪加尔） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

Comments EMNLP 2025 (Main)

TREAT-Net: Tabular-Referenced Echocardiography Analysis for Acute Coronary Syndrome Treatment Prediction

Diane Kim, Minh Nguyen Nhat To, Sherif Abdalla, Teresa S. M. Tsang, Purang Abolmaesumi, and Christina Luong

机构 * University of British Columbia, Vancouver, BC, Canada（不列颠哥伦比亚大学） ； Vancouver Coastal Health（温哥华海岸健康） ； Vancouver General Hospital（温哥华总医院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

Comments 11 pages, 2 figures, MICCAI ASMUS 2025 paper

Journal ref Simplifying Medical Ultrasound (ASMUS 2025), LNCS 16165, Springer, 2026

Increasing the Diversity in RGB-to-Thermal Image Translation for Automotive Applications

Kaili Wang, Leonardo Ravaglia, Roberto Longo, Lore Goetschalckx, David Van Hamme, Julie Moeyersoms, Ben Stoffelen, Tom De Schepper

机构 * imec ； imec-IPI-Ghent University（IMEC-IPI-根特大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted in IEEE Sensors 2024