多模态大模型

Semantically Aware UAV Landing Site Assessment from Remote Sensing Imagery via Multimodal Large Language Models

基于多模态大语言模型的语义感知无人机着陆地评估：从遥感图像

Chunliang Hua, Zeyuan Yang, Lei Zhang, Jiayang Sun, Fengwen Chen, Chunlan Zeng, Xiao Hu

机构 * School of Information Science and Engineering, Southeast University（信息科学与工程学院，东南大学） ； LASER, International Digital Economy Academy（LASER，国际数字经济学院） ； Department of Electronic Engineering, East China Normal University（电子工程系，华东师范大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于多模态大语言模型的无人机着陆地评估方法，通过语义感知与多模态融合提升风险识别精度与可解释性。

SAM Audio Judge: A Unified Multimodal Framework for Perceptual Evaluation of Audio Separation

SAM音频裁判：一种用于音频分离感知评估的统一多模态框架

Helin Wang, Bowen Shi, Andros Tjandra, John Hoffman, Yi-Chiao Wu, Apoorv Vyas, Najim Dehak, Ann Lee, Wei-Ning Hsu

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Meta 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、eess.AS

AI总结 SAM Audio Judge 提出了一种多模态细粒度参考自由客观指标，用于评估音频分离的感知性能，支持多种音频领域和输入类型，具有高一致性与实际应用潜力。

Fair-Eye Net: A Fair, Trustworthy, Multimodal Integrated Glaucoma Full Chain AI System

Fair-Eye Net：一种公平、可信的多模态集成青光眼全流程人工智能系统

Wenbin Wei, Suyuan Yao, Cheng Huang, Xiangyu Gao

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Fair-Eye Net通过多模态融合和公平性优化，实现青光眼全流程AI系统，提升诊断准确性与公平性，助力全球眼科健康公平。

A multimodal vision foundation model for generalizable knee pathology

一种用于通用膝部病理的多模态视觉基础模型

Kang Yu, Dingyu Wang, Zimu Yuan, Nan Zhou, Jiajun Liu, Jiaxin Liu, Shanggui Liu, Yaoyan Zheng, Huishu Yuan, Di Huang, Dong Jiang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 OrthoFoundation是一种多模态视觉基础模型，通过自监督学习在膝关节影像上实现高泛化能力，提升骨科影像诊断的准确性和效率。

MPCI-Bench: A Benchmark for Multimodal Pairwise Contextual Integrity Evaluation of Language Model Agents

MPCI-Bench: 一种用于语言模型代理多模态成对情境完整性评估的基准

Shouju Wang, Haopeng Zhang

机构 * University of Hawaii at Manoa（夏威夷大学曼瑙分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MPCI-Bench是首个用于评估语言模型代理多模态情境完整性隐私行为的基准，揭示了现有模型在隐私与效用平衡及模态泄漏方面的系统性失败。

MiRAGE: A Multiagent Framework for Generating Multimodal Multihop Question-Answer Dataset for RAG Evaluation

MiRAGE：一种多智能体框架，用于生成多模态多跳问题-答案数据集以评估RAG系统

Chandan Kumar Sahu, Premith Kumar Chilukuri, Matthew Hetrich

机构 * ABB Inc（ABB公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MiRAGE通过多智能体框架生成多模态多跳问题-答案数据集，提升RAG系统评估的准确性和复杂性。

Comments 12 pages, 2 figures, Submitted to ACL

The Percept-V Challenge: Can Multimodal LLMs Crack Simple Perception Problems?

感知挑战：多模态大语言模型能否解决简单感知问题？

Samrajnee Ghosh, Naman Agarwal, Hemanshu Garg, Chinmay Mittal, Mausam, Parag Singla

机构 * IIT Delhi（德里印度理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 Percept-V挑战通过简单感知任务测试多模态大语言模型的表现，发现其在基本感知任务上远低于人类水平。

Chat-TS: Enhancing Multi-Modal Reasoning Over Time-Series and Natural Language Data

Chat-TS: 提升时间序列与自然语言数据的多模态推理能力

Paul Quinlan, Qingguo Li, Xiaodan Zhu

机构 * Electrical and Computer Engineering, Queen’s University（皇后大学电气与计算机工程学院） ； Mechanical and Materials Engineering, Queen’s University（皇后大学机械与材料工程学院） ； Ingenuity Labs Research Institute, Queen’s University（皇后大学创新实验室研究 institute） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 Chat-TS通过整合时间序列标记提升多模态推理能力，提供新数据集和训练策略，在保持自然语言能力的同时增强时间序列推理性能。

Multi-Stage Verification-Centric Framework for Mitigating Hallucination in Multi-Modal RAG

多阶段验证导向框架用于缓解多模态RAG中的幻觉

Baiyu Chen, Wilson Wongso, Xiaoqian Hu, Yue Tan, Flora Salim

机构 * The University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种多阶段验证导向框架，通过优先考虑事实准确性和真实性来缓解多模态RAG中的幻觉问题，并在KDD Cup 2025中取得第三名。

Comments KDD Cup 2025 Meta CRAG-MM Challenge: Third Prize in the Single-Source Augmentation Task

Perception, Understanding and Reasoning, A Multimodal Benchmark for Video Fake News Detection

感知、理解和推理，一个用于视频虚假新闻检测的多模态基准

Cui Yakun, Peng Qi, Fushuo Huo, Hang Du, Weijie Shi, Juntao Dai, Zhenghao Zhu, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Peking University（北京大学） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出POVFNDB多模态基准，通过10个任务系统评估MLLMs在视频虚假新闻检测中的感知、理解和推理能力，并通过微调Qwen2.5VL-7B-Instruct达到最先进的性能。

ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding

ROMA: 实时多模态助手与交互式流式理解

Xueyun Tian, Wei Li, Bingbing Xu, Heng Dong, Yuanzhuo Wang, Huawei Shen

机构 * CAS Key Laboratory of AI Safety, Institute of Computing Technology, CAS, Beijing, China（中国科学院人工智能安全重点实验室，计算技术研究所，中国科学院，北京，中国） ； University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国） ； Tsinghua University, Beijing, China（清华大学，北京，中国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 ROMA通过实时多模态处理和交互式流式理解，实现统一的反应性和主动性交互，展现强大的多模态处理能力。

Comments Our project page is available at https://eureka-maggie.github.io/ROMA_show

GI-Bench: A Panoramic Benchmark Revealing the Knowledge-Experience Dissociation of Multimodal Large Language Models in Gastrointestinal Endoscopy Against Clinical Standards

GI-Bench: 一个全景基准测试，揭示多模态大语言模型在内窥镜检查中与临床标准相比的知识-经验脱节

Yan Zhu, Te Luo, Pei-Yao Fu, Zhen Zhang, Zi-Long Wang, Yi-Fan Qu, Zi-Han Geng, Jia-Qi Xu, Lu Yao, Li-Yun Ma, Wei Su, Wei-Feng Chen, Quan-Lin Li, Shuo Wang, Ping-Hong Zhou

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 GI-Bench通过评估多模态大语言模型在胃肠内窥镜中的性能，揭示其在诊断推理和空间定位方面的不足，发现模型在语言流畅度上优于人类，但事实准确性较低。

Comments 45 pages, 17 figures, 6 tables. Leaderboard available at: https://roterdl.github.io/GIBench/ . Includes supplementary material

What If TSF: A Benchmark for Reframing Forecasting as Scenario-Guided Multimodal Forecasting

如果TSF：一个用于将预测重新框架化为基于场景的多模态预测的基准

Jinkwan Jang, Hyunbin Jin, Hyungjin Park, Kyubyung Chae, Taesup Kim

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 What If TSF是一个用于评估模型是否能根据上下文文本，特别是未来场景，进行多模态预测的基准。

Comments 30 pages, 5 figures

MoHoBench: Assessing Honesty of Multimodal Large Language Models via Unanswerable Visual Questions

MoHoBench: 通过无法回答的视觉问题评估多模态大语言模型的诚实性

Yanxu Zhu, Shitong Duan, Xiangxu Zhang, Jitao Sang, Peng Zhang, Tun Lu, Xiao Zhou, Jing Yao, Xiaoyuan Yi, Xing Xie

机构 * Beijing Jiaotong University（北京交通大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Renmin University of China（中国人民大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MoHoBench通过评估多模态大语言模型在面对无法回答的视觉问题时的诚实行为，揭示其诚实性受视觉信息影响，提出改进方法以提升模型可信度。

Comments AAAI2026 Oral

PulseMind: A Multi-Modal Medical Model for Real-World Clinical Diagnosis

PulseMind: 一种多模态医学模型用于真实世界临床诊断

Jiao Xu, Junwei Liu, Jiangwei Lao, Qi Zhu, Yunpeng Zhao, Congyun Jin, Shinan Liu, Zhihong Lu, Lihe Zhang, Xin Chen, Jian Wang, Ping Wang

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 PulseMind通过整合多模态数据集和定制训练框架，提升真实世界临床诊断的准确性与实用性。

Comments Accepted to AAAI 2026

SketchJudge: A Diagnostic Benchmark for Grading Hand-drawn Diagrams with Multimodal Large Language Models

SketchJudge: 一种用于用多模态大语言模型评分手绘图的诊断基准

Yuhang Su, Mei Wang, Yaoyao Zhong, Guozhang Li, Shixing Li, Yihan Feng, Hua Huang

机构 * School of Artificial Intelligence, Beijing Normal University（人工智能学院，北京师范大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SketchJudge是一个用于评估多模态大语言模型在评分手绘图任务中诊断能力的基准，通过1015份手绘学生回答验证了当前视觉-语言对齐在符号和嘈杂环境中的脆弱性。

Comments 8 pages for the main text (excluding references and the limitations section); 37 pages in total including appendices

MTMCS-Bench: Evaluating Contextual Safety of Multimodal Large Language Models in Multi-Turn Dialogues

MTMCS-Bench: 多轮对话中多模态大语言模型上下文安全性的评估

Zheyuan Liu, Dongwhi Kim, Yixin Wan, Xiangchi Yuan, Zhaoxuan Tan, Fengran Mo, Meng Jiang

机构 * University of Notre Dame（诺丁汉大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Montreal（蒙特利尔大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 MTMCS-Bench评估多模态大语言模型在多轮对话中的上下文安全性，揭示了安全与效用之间的权衡及现有防护措施的不足。

Comments A benchmark of realistic images and multi-turn conversations that evaluates contextual safety in MLLMs under two complementary settings

PsOCR: Benchmarking Large Multimodal Models for Optical Character Recognition in Low-resource Pashto Language

PsOCR：用于低资源帕什托语言光学字符识别的大型多模态模型基准测试

Ijazul Haq, Yingjie Zhang, Irfan Ali Khan

机构 * organization= Shien-Ming Wu School of Intelligent Manufacturing, South China University of Technology , city= Guangzhou , postcode= 511442 , country= China ； organization= Artificial Intelligence Department, Guangdong CAS Angels Biotechnology Co. Ltd. , city= Foshan , country= China ； organization= Department of Software Engineering, Faculty of Electrical \& Computer Engineering, University of Engineering \& Technology , city= Peshawar , postcode= 25000 , country= Pakistan 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 PsOCR通过合成数据评估大型多模态模型在低资源帕什托语言OCR中的性能，发现Gemini表现最佳，Qwen-7B在开源模型中表现突出。

AtomThink: Multimodal Slow Thinking with Atomic Step Reasoning

AtomThink: 多模态慢思考与原子步骤推理

Kun Xiang, Zhili Liu, Terry Jingchen Zhang, Yinya Huang, Yunshuang Nie, Kaixin Cai, Yiyang Yin, Runhui Huang, Hanhui Li, Yihan Zeng, Yu-Jie Yuan, Jianhua Han, Lanqing Hong, Hang Xu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； ETH Zurich（苏黎世联邦理工学院） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Hong Kong（香港大学） ； Noah’s Ark Lab（诺亚实验室） ； Yinwang Intelligent Technology Co., Ltd.（亿纬智能科技有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 AtomThink通过引入原子步骤推理，提升多模态大语言模型的推理性能和效率。

Comments TPAMI accepted

MT-Video-Bench: A Holistic Video Understanding Benchmark for Evaluating Multimodal LLMs in Multi-Turn Dialogues

MT-Video-Bench: 一个多轮对话中评估多模态大语言模型的综合视频理解基准

Yaning Pan, Qianqian Xie, Guohui Zhang, Zekun Wang, Yongqian Wen, Yuanxing Zhang, Haoxuan Hu, Zhiyu Pan, Yibing Huang, Zhidong Gan, Yonghong Lin, An Ping, Shihao Li, Yanghai Wang, Tianhao Peng, Jiaheng Liu

机构 * Fudan University（复旦大学） ； NJU-LINK Team, Nanjing University（南京大学NJU-LINK团队） ； University of Science and Technology of China（中国科学技术大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MT-Video-Bench通过评估多轮对话中多模态大语言模型的6项核心能力，揭示其在处理多轮视频对话任务中的性能差异和局限性。

Comments Project Website: https://github.com/NJU-LINK/MT-Video-Bench

MIND Your Reasoning: A Meta-Cognitive Intuitive-Reflective Network for Dual-Reasoning in Multimodal Stance Detection

注意你的推理：一种用于多模态立场检测双推理的元认知直观-反思网络

Bingbing Wang, Zhengda Jin, Bin Liang, Wenjie Li, Jing Li, Ruifeng Xu, Min Zhang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 MIND通过元认知直观-反思机制，在多模态立场检测中实现双推理，提升立场判断的准确性和泛化能力。

Placenta Accreta Spectrum Detection using Multimodal Deep Learning

利用多模态深度学习进行胎盘增生谱检测

Sumaiya Ali, Areej Alhothali, Sameera Albasri, Ohoud Alzamzami, Ahmed Abduljabbar, Muhammad Alwazzan

机构 * Department of Computer Science, Faculty of Computing and Information Technology, King Abdulaziz University（计算机科学系，计算与信息科技学院，国王阿卜杜勒阿齐兹大学） ； Department of Radiology, King Abdulaziz University Hospital（放射科，国王阿卜杜勒阿齐兹大学医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出多模态深度学习方法，通过整合3D MRI和2D US数据，提高胎盘增生谱检测的准确率和AUC值，有效提升产前风险评估能力。

OFFSIDE: Benchmarking Unlearning Misinformation in Multimodal Large Language Models

OFFSIDE: 多模态大语言模型中误信信息消除的基准测试

Hao Zheng, Zirui Pang, Ling li, Zhijie Deng, Yuhan Pu, Zhaowei Zhu, Xiaobo Xia, Jiaheng Wei

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； BIAI, ZJUT & D5Data.ai（BIAI、浙江工业大学及D5Data.ai） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 OFFSIDE通过足球转会谣言数据集，评估多模态大语言模型中误信信息消除的挑战与方法，揭示现有技术的局限性。

UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG

UNIDOC-BENCH: 一个统一的文档中心多模态RAG基准

Xiangyu Peng, Can Qin, Zeyuan Chen, Ran Xu, Caiming Xiong, Chien-Sheng Wu

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 UniDoc-Bench是首个大规模文档中心多模态RAG基准，通过多模态问答对评估文本-图像融合与联合检索性能，揭示多模态嵌入不足及视觉上下文补充机制。

TraveLLaMA: A Multimodal Travel Assistant with Large-Scale Dataset and Structured Reasoning

TraveLLaMA: 一种基于大规模数据集和结构化推理的多模态旅行助手

Meng Chu, Yukang Chen, Haokun Gui, Shaozuo Yu, Yi Wang, Jiaya Jia

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 TraveLLaMA通过结构化推理框架和大规模数据集，提升旅行推荐和场景理解能力，实现用户满意度和系统性能的显著提升。

Comments AAAI 2026 Oral

OmniBrainBench: A Comprehensive Multimodal Benchmark for Brain Imaging Analysis Across Multi-stage Clinical Tasks

OmniBrainBench: 一种全面的多模态基准，用于跨多阶段临床任务的脑影像分析

Zhihao Peng, Cheng Wang, Shengyuan Liu, Zhiying Liang, Zanting Ye, Minjie Ju, PeterYM Woo, Yixuan Yuan

机构 * Chinese University of Hong Kong（香港中文大学） ； Sun Yat-sen Memorial Hospital, Sun Yat-sen University（中山大学孙逸仙纪念医院） ； Southern Medical University（南方医科大学） ； Zhongshan Hospital, Fudan University（复旦大学中山医院） ； Department of Neurosurgery, Prince of Wales Hospital（威尔士王室医院神经外科部） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 OmniBrainBench是一个全面的多模态基准，用于评估脑影像分析中MLLMs的多模态理解能力，揭示了其在复杂临床任务中的挑战和与医生的差距。

Cross-modal Counterfactual Explanations: Uncovering Decision Factors and Dataset Biases in Subjective Classification

跨模态反事实解释：在主观分类中揭示决策因素和数据集偏见

Alina Elena Baia, Andrea Cavallaro

机构 * EPFL（瑞士联邦理工学院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出DeX框架，通过跨模态分解和图像特定概念生成自然语言反事实解释，揭示主观分类中的决策因素和数据集偏见，提升模型公平性。

Smile on the Face, Sadness in the Eyes: Bridging the Emotion Gap with a Multimodal Dataset of Eye and Facial Behaviors

脸上微笑，眼中悲伤：通过眼和面部行为的多模态数据集弥合情感差距

Kejun Liu, Yuanyuan Liu, Lin Wei, Chang Tang, Yibing Zhan, Zijing Chen, Zhe Chen

机构 * School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； School of Computer Science, Wuhan University（武汉大学计算机科学学院） ； School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算科学、工程与数学科学学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文通过构建包含眼行为和面部行为的多模态数据集EMER，提出EMERT模型以提升情感识别的鲁棒性。

Comments Accepted by TMM

MMGR: Multi-Modal Generative Reasoning

MMGR：多模态生成推理

Zefan Cai, Haoyi Qiu, Tianyi Ma, Haozhe Zhao, Gengze Zhou, Kung-Hsiang Huang, Parisa Kordjamshidi, Minjia Zhang, Wen Xiao, Jiuxiang Gu, Nanyun Peng, Junjie Hu

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Michigan State University（密歇根州立大学） ； University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Adelaide（阿德莱德大学） ； Salesforce AI Research（Salesforce人工智能研究） ； Microsoft（微软） ； Adobe Research（Adobe研究） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 MMGR提出一个多模态生成推理评估框架，通过物理、逻辑、空间和时间五个能力评估视频和图像生成模型，揭示其在抽象推理和具身导航中的性能不足。

Comments work in progress

Few-Shot Multimodal Medical Imaging: A Theoretical Framework

少样本多模态医学影像：一个理论框架

Md Talha Mohsin, Ismail Abdulrashid

机构 * The University of Tulsa 800 S Tucker Dr, Tulsa, OK 74104, USA（塔尔萨大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出少样本多模态医学影像的理论框架，通过样本复杂性、不确定性量化和可解释性分析，为低资源环境下的高效、可靠诊断模型设计提供理论基础。

Comments 6 Pages