多模态大模型

PM4Bench: Benchmarking Large Vision-Language Models with Parallel Multilingual Multi-Modal Multi-task Corpus

PM4Bench: 通过平行多语言多模态多任务语料库对大型视觉-语言模型进行基准测试

Junyuan Gao, Jiahe Song, Jiang Wu, Runchuan Zhu, Guanlin Shen, Shasha Wang, Xingjian Wei, Haote Yang, Songyang Zhang, Weijia Li, Bin Wang, Dahua Lin, Lijun Wu, Conghui He

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Sun Yat-Sen University（中山大学） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 PM4Bench通过平行多语言多模态多任务语料库评估大型视觉-语言模型，揭示跨语言性能差异与OCR能力的关系。

Comments Equal contribution: Junyuan Gao, Jiahe Song, Jiang Wu; Corresponding author: Conghui He

Watch Wider and Think Deeper: Collaborative Cross-modal Chain-of-Thought for Complex Visual Reasoning

拓宽视野并深入思考：协作式跨模态链式推理用于复杂视觉推理

Wenting Lu, Didi Zhu, Tao Shen, Donglin Zhu, Ayong Ye, Chao Wu

机构 * Fujian Normal University（福建师范大学） ； Zhejiang University（浙江大学） ； Zhejiang Normal University（浙江师范大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CoCoT通过动态多区域定位和关系感知推理，提升复杂视觉推理性能，在多个基准测试中实现显著准确率提升。

Evaluating the Diagnostic Classification Ability of Multimodal Large Language Models: Insights from the Osteoarthritis Initiative

评估多模态大语言模型的诊断分类能力：来自骨关节炎倡议的见解

Li Wang, Xi Chen, XiangWen Deng, HuaHui Yi, ZeKun Jiang, Kang Li, Jian Li

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 研究发现，多模态大语言模型在医学图像分类中表现不佳，建议优先优化视觉编码器和数据集质量。

Towards Reasoning-Preserving Unlearning in Multimodal Large Language Models

面向多模态大语言模型的推理保留反学习

Hongji Li, Junchi yao, Manjiang Yu, Priyanka Singh, Xue Li, Di Wang, Lijie Hu

机构 * Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学） ； University of Queensland（昆士兰大学） ； Provable Responsible AI and Data Analytics (PRADA) Lab（可证明责任人工智能与数据分析实验室） ； King Abdullah University of Science and Technology (KAUST)（卡塔尔科学与技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出R-MUSE框架，通过子空间指导和自适应引导，在推理过程中有效消除多模态大语言模型中的推理痕迹，同时保留通用推理能力。

Benchmarking Multimodal LLMs on Recognition and Understanding over Chemical Tables

在化学表格上评估多模态大语言模型的基准测试

Yitong Zhou, Mingyue Cheng, Qingyang Mao, Yucong Luo, Qi Liu, Yupeng Li, Xiaohan Zhang, Deguang Liu, Xin Li, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； Artificial Intelligence Research Institute（人工智能研究院） ； iFLYTEK Co., Ltd（iFLYTEK公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ChemTable基准，用于评估多模态模型在理解化学表格中的能力，揭示了现有模型在跨模态对齐和领域推理方面的不足。

RecruitView: A Multimodal Dataset for Predicting Personality and Interview Performance for Human Resources Applications

RecruitView：一个用于人力资源应用预测性格和面试表现的多模态数据集

Amit Kumar Gupta, Farhan Sheth, Hammad Shaikh, Dheeraj Kumar, Angkul Puniya, Deepak Panwar, Sandeep Chaurasia, Priya Mathur

机构 * Manipal University Jaipur（马普尔大学贾布尔） ； Poornima Institute of Engineering & Technology（波尼玛工程与技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 RecruitView通过几何深度学习框架CRMF，利用多模态数据预测性格和面试表现，实现更高效且准确的评估方法。

Comments 20 pages, 10 figures, 10 tables

OralGPT-Omni: A Versatile Dental Multimodal Large Language Model

OralGPT-Omni: 一种多功能的牙科多模态大语言模型

Jing Hao, Yuci Liang, Lizhuo Lin, Yuxuan Fan, Wenkai Zhou, Kaixin Guo, Zanting Ye, Yanpeng Sun, Xinyu Zhang, Yanqi Yang, Qiankun Li, Hao Tang, James Kit-Hon Tsoi, Linlin Shen, Kuo Feng Hung

机构 * Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院） ； College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； The Hong Kong University of Science and Technology (GZ)（香港科学与技术大学） ； School of Biomedical Engineering, Southern Medical University（南方医科大学生物医学工程学院） ； Singapore University of Technology and Design（新加坡科技与设计大学） ； University of Auckland（奥克兰大学） ； University of Science and Technology of China（中国科学技术大学） ； School of Computer Science, Peking University（北京大学计算机学院） ； College of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.MM

AI总结 OralGPT-Omni是一种专门用于牙科的多模态大语言模型，通过TRACE-CoT数据集和四阶段训练范式，实现了对牙科图像的高效分析和高准确率评估。

Comments 47 pages, 42 figures, 13 tables

VibraVerse: A Large-Scale Geometry-Acoustics Alignment Dataset for Physically-Consistent Multimodal Learning

VibraVerse: 一个大规模的几何-声学对齐数据集，用于物理一致的多模态学习

Bo Pang, Chenxi Xu, Jierui Ren, Guoping Wang, Sheng Li

机构 * Peking University（北京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 VibraVerse通过构建几何-声学对齐数据集，实现了物理一致的多模态学习，支持几何到声音预测、声音引导的形状重建等任务。

CLASH: A Benchmark for Cross-Modal Contradiction Detection

CLASH：跨模态矛盾检测的基准

Teodora Popordanoska, Jiameng Li, Matthew B. Blaschko

机构 * ESAT-PSI, KU Leuven（ESAT-PSI，根特大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CLASH是一个用于评估跨模态矛盾检测的新型基准，通过包含矛盾描述的图像和问题，揭示现有模型在识别跨模态冲突方面的局限性，并通过针对性微调提升检测能力。

Comments First two authors contributed equally

Can a Second-View Image Be a Language? Geometric and Semantic Cross-Modal Reasoning for X-ray Prohibited Item Detection

第二视角图像可以成为一种语言吗？用于X射线禁止物品检测的几何和语义跨模态推理

Chuang Peng, Renshuai Tao, Zhongwei Ren, Xianglong Liu, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； State Key Laboratory of Complex & Critical Software Environment, Beihang University（北航复杂与关键软件环境国家重点实验室） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GSR模型，通过几何与语义跨模态推理，利用双视角图像作为语言模态，提升X射线禁止物品检测的准确性。

Comments 10 pages, 4 figures

Captions Speak Louder than Images: Generalizing Foundation Models for E-commerce from High-quality Multimodal Instruction Data

Xinyi Ling, Hanwen Du, Bo Peng, Zhihui Zhu, Xia Ning

机构 * Department of Computer Science and Engineering, The Ohio State University（计算机科学与工程系，俄亥俄州立大学） ； Translational Data Analytics Institute, The Ohio State University（转化数据分析研究所，俄亥俄州立大学） ； Department of Biomedical Informatics, The Ohio State University（生物医学信息学系，俄亥俄州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.CL、cs.AI

Comments IJCNLP-AACL 2025

anyECG-chat: A Generalist ECG-MLLM for Flexible ECG Input and Multi-Task Understanding

Haitao Li, Ziyu Li, Yiheng Mao, Ziyi Liu, Zhoujian Sun, Zhengxing Huang

专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CL、cs.AI

Comments AAAI 2026

ImagebindDC: Compressing Multi-modal Data with Imagebind-based Condensation

Yue Min, Shaobo Wang, Jiaze Li, Tianle Niu, Junxin Fan, Yongliang Miao, Lijin Yang, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； Bosch Corporate Research Asia Pacific（博世亚太公司研究部） ； HKUST（香港科技大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments AAAI 2026, 18 pages, 6 figures, 6 tables

An Evaluation of Interleaved Instruction Tuning on Semantic Reasoning Performance in an Audio MLLM

Jiawei Liu, Enis Berk Çoban, Zarina Schevchenko, Hao Tang, Zhigang Zhu, Michael I Mandel, Johanna Devaney

机构 * The Graduate Center, CUNY（CUNY研究生中心） ； Brooklyn College, CUNY（CUNY布鲁克林学院） ； Borough of Manhattan Community College, CUNY（CUNY曼哈顿社区学院） ； The City College of New York, CUNY（CUNY纽约城市学院） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.MM

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models

Xiaoyu Zhan, Wenxuan Huang, Hao Sun, Xinyu Fu, Changfeng Ma, Shaosheng Cao, Bohan Jia, Shaohui Lin, Zhenfei Yin, Lei Bai, Wanli Ouyang, Yuanqi Li, Jie Guo, Yanwen Guo

机构 * Nanjing University（南京大学） ； Xiaohongshu Inc.（小红书公司） ； East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers

Qianhao Yuan, Qingyu Zhang, Yanjiang Liu, Jiawei Chen, Yaojie Lu, Hongyu Lin, Jia Zheng, Xianpei Han, Le Sun

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

Comments Published as a conference paper at ICCV 2025. Project page: https://github.com/icip-cas/ShortV

Context-Gated Cross-Modal Perception with Visual Mamba for PET-CT Lung Tumor Segmentation

Elena Mulero Ayllón, Linlin Shen, Pierangelo Veltri, Fabrizia Gelardi, Arturo Chiti, Paolo Soda, Matteo Tortora

机构 * Unit of Artificial Intelligence and Computer Systems, Università Campus Bio-Medico di Roma, Italy（人工智能与计算机系统单位，罗马大学生物医学校园，意大利） ； College of Computer Science and Software Engineering, Shenzhen University, China（计算机科学与软件工程学院，深圳大学，中国） ； Dept. of Computer Engineering, Modeling, Electronic and System Engineering, University of Calabria, Italy（计算机工程、建模、电子与系统工程系，卡拉布里亚大学，意大利） ； IRCCS San Raffaele Hospital, Italy（圣拉斐拉医院，意大利） ； Faculty of Medicine, Vita-Salute San Raffaele University, Italy（医学学院，维塔-桑拉斐拉大学，意大利） ； Dept. of Diagnostics and Intervention, Radiation Physics, Biomedical Engineering, Umeå University, Sweden（诊断与干预系，辐射物理，生物医学工程，乌梅大学，瑞典） ； Dept. of Naval, Electrical, Electronics and Telecommunications Engineering, University of Genoa, Italy（海军、电子、电子与电信工程系，热那亚大学，意大利） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

MemeArena: Automating Context-Aware Unbiased Evaluation of Harmfulness Understanding for Multimodal Large Language Models

Zixin Chen, Hongzhan Lin, Kaixin Li, Ziyang Luo, Yayue Deng, Jing Ma

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

UNO-Bench: A Unified Benchmark for Exploring the Compositional Law Between Uni-modal and Omni-modal in Omni Models

Chen Chen, ZeYang Hu, Fengjiao Chen, Liya Ma, Jiaxing Liu, Xiaoyu Li, Ziwen Wang, Xuezhi Cao, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 多模态评测 ：omni-modal(title,abstract)；multimodal(abstract)；分类 cs.CL、cs.AI

Comments v3: Switch the paper template. Work in progress. Github: https://github.com/meituan-longcat/UNO-Bench Hugging Face: https://huggingface.co/datasets/meituan-longcat/UNO-Bench

FT-ARM: Fine-Tuned Agentic Reflection Multimodal Language Model for Pressure Ulcer Severity Classification with Reasoning

Reza Saadati Fard, Emmanuel Agu, Palawat Busaranuvong, Deepak Kumar, Shefalika Gautam, Bengisu Tulu, Diane Strong, Lorraine Loretz

机构 * Worcester Polytechnic Institute（沃斯特理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning

Bo Liu, Xiangyu Zhao, Along He, Yidi Chen, Huazhu Fu, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Shenzhen University（深圳大学） ； West China Hospital of Sichuan University（四川大学华西医院） ； IHPC, Agency for Science, Technology and Research（科技研究局IHPC） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

Comments Accepted at ACM MM 2025 (also known as GEMeX-ThinkVG)

MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation

Weihua Zheng, Zhengyuan Liu, Tanmoy Chakraborty, Weiwen Xu, Xiaoxue Gao, Bryan Chen Zhengyu Tan, Bowei Zou, Chang Liu, Yujia Hu, Xing Xie, Xiaoyuan Yi, Jing Yao, Chaojun Wang, Long Li, Rui Liu, Huiyao Liu, Koji Inoue, Ryuichi Sumida, Tatsuya Kawahara, Fan Xu, Lingyu Ye, Wei Tian, Dongjun Kim, Jimin Jung, Jaehyung Seo, Nadya Yuki Wangsajaya, Pham Minh Duc, Ojasva Saxena, Palash Nandi, Xiyan Tao, Wiwik Karlina, Tuan Luong, Keertana Arun Vasan, Roy Ka-Wei Lee, Nancy F. Chen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research, Singapore（新加坡科技研究局） ； Indian Institute of Technology Delhi（印度理工学院德里分校） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； Microsoft Research Asia（微软亚洲研究院） ； Shanghai University of Finance and Economics（上海财经大学） ； Inner Mongolia University（内蒙古大学） ； Kyoto University（京都大学） ； Jiangxi Normal University（江西师范大学） ； Korea University（韩国大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

Towards a Multimodal Large Language Model with Pixel-Level Insight for Biomedicine

Xiaoshuang Huang, Lingdong Shen, Jia Liu, Fangxin Shang, Hongxiang Li, Haifeng Huang, Yehui Yang

机构 * Baidu Inc.（百度公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted by AAAI2025

GIIFT: Graph-guided Inductive Image-free Multimodal Machine Translation

Jiafeng Xiong, Yuting Zhao

机构 * Department of Computer Science University of Manchester（曼彻斯特大学计算机科学系） ； Department of Advanced Information Technology Kyushu University（九州大学先进信息技术系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

Comments Accepted as an oral presentation at the EMNLP 2025 Workshop on Machine Translation (WMT)

Guiding Multimodal Large Language Models with Blind and Low Vision People Visual Questions for Proactive Visual Interpretations

Ricardo Gonzalez Penuela, Felipe Arias-Russi, Victor Capriles

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 7 pages, 2 figure, 2 tables, CV4A11y Workshop at ICCV 2025

Multimodal Slice Interaction Network Enhanced by Transfer Learning for Precise Segmentation of Internal Gross Tumor Volume in Lung Cancer PET/CT Imaging

Yi Luo, Yike Guo, Hamed Hooshangnejad, Rui Zhang, Xue Feng, Quan Chen, Wil Ngwa, Kai Ding

机构 * Dept. of Biomedical Engineering Johns Hopkins University（生物医学工程系约翰霍普金斯大学） ； Molecular Radiation Sciences Johns Hopkins University（分子放射科学约翰霍普金斯大学） ； Dept. of Surgery University of Minnesota（外科系明尼苏达大学） ； Dept. of Biomedical Engineering University of Virginia（生物医学工程系弗吉尼亚大学） ； Comprehensive Cancer Center Mayo Clinic（综合癌症中心梅奥诊所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments 11 pages, 5 figures

VideoJudge: Bootstrapping Enables Scalable Supervision of MLLM-as-a-Judge for Video Understanding

Abdul Waheed, Zhen Wu, Dareen Alharthi, Seungone Kim, Bhiksha Raj

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL

Comments Work in progress

MAJORScore: A Novel Metric for Evaluating Multimodal Relevance via Joint Representation

Zhicheng Du, Qingyang Shi, Jiasheng Lu, Yingshan Liang, Xinyu Zhang, Yiran Wang, Peiwu Qin

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Unmasking Deceptive Visuals: Benchmarking Multimodal Large Language Models on Misleading Chart Question Answering

Zixin Chen, Sicheng Song, Kashun Shum, Yanna Lin, Rui Sheng, Weiqi Wang, Huamin Qu

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

Comments 34 pages in total, EMNLP 2025

A Multi-To-One Interview Paradigm for Efficient MLLM Evaluation

Ye Shen, Junying Wang, Farong Wen, Yijin Guo, Qi Jia, Zicheng Zhang, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

Comments 5 pages, 2 figures