多模态大模型

Octopus: Agentic Multimodal Reasoning with Six-Capability Orchestration

Octopus: 六种能力协同的代理多模态推理

Yifu Guo, Zishan Xu, Zhiyuan Yao, Yuquan Lu, Jiaye Lin, Sen Hu, Zhenheng Tang, Huacan Wang, Ronghao Chen

机构 * Sun Yat-sen University（中山大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； Peking University（北京大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Octopus通过六种能力协同实现多模态代理推理，有效提升复杂任务中的自主探索与动态能力选择能力。

MM-CoT:A Benchmark for Probing Visual Chain-of-Thought Reasoning in Multimodal Models

MM-CoT：一种用于探测多模态模型中视觉链式推理的基准测试

Jusheng Zhang, Kaitong Cai, Xiaoyang Guo, Sidi Liu, Qinhan Lv, Ruiqi Chen, Jing Yang, Yijia Fan, Xiaofei Sun, Jian Wang, Ziliang Chen, Liang Lin, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） ； Snap Inc（Snap公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MM-CoT是一种用于评估多模态模型视觉链式推理能力的基准测试，通过验证推理链的视觉一致性和逻辑一致性，揭示生成模型在真实推理上的不足。

A Large-Scale Multimodal Dataset and Benchmarks for Human Activity Scene Understanding and Reasoning

大规模多模态数据集与基准用于人类活动场景理解和推理

Siyang Jiang, Mu Yuan, Xiang Ji, Bufang Yang, Zeyu Liu, Lilin Xu, Yang Li, Yuting He, Liran Dong, Wenrui Lu, Zhenyu Yan, Xiaofan Jiang, Wei Gao, Hongkai Chen, Guoliang Xing

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； University of Pittsburgh（匹兹堡大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 CUHK-X是一个大规模多模态数据集和基准，用于人类活动场景理解和推理，通过生成逻辑一致的活动序列提升描述一致性。

CAuSE: Decoding Multimodal Classifiers using Faithful Natural Language Explanation

CAuSE：利用忠实的自然语言解释解码多模态分类器

Dibyanayan Bandyopadhyay, Soham Bhattacharjee, Mohammed Hasanuzzaman, Asif Ekbal

机构 * Indian Institute of Technology Patna（印度理工学院帕纳瓦分校） ； Queen’s University Belfast（贝尔法斯特女王大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 CAuSE提出了一种生成多模态分类器忠实自然语言解释的新框架，通过因果抽象和交换干预提升解释的因果忠实性，并在多模态设置中验证其有效性。

Comments Accepted at Transactions of the Association for Computational Linguistics (TACL). Pre-MIT Press publication version

OpenMMReasoner: Pushing the Frontiers for Multimodal Reasoning with an Open and General Recipe

OpenMMReasoner: 推动多模态推理的前沿研究：一个开放且通用的配方

Kaichen Zhang, Keming Wu, Zuhao Yang, Bo Li, Kairui Hu, Bin Wang, Ziwei Liu, Xingxuan Li, Lidong Bing

机构 * MiroMind AI ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； LMMs-Lab Team（多模态实验室团队） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 OpenMMReasoner提出了一种开放且通用的多模态推理训练配方，通过两阶段方法提升推理性能，实现在多个基准测试中超越现有基线。

FireSentry: A Multi-Modal Spatio-temporal Benchmark Dataset for Fine-Grained Wildfire Spread Forecasting

FireSentry: 一种多模态时空基准数据集用于细粒度野火蔓延预测

Nan Zhou, Huandong Wang, Jiahao Li, Han Li, Yali Song, Qiuhua Wang, Yong Li, Xinlei Chen

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of Soil and Water Conservation, Southwest Forestry University（西南林业大学水土保持学院） ； College of Civil Engineering, Southwest Forestry University（西南林业大学土木工程学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 FireSentry提出了一种多模态野火数据集和FiReDiff双模态范式，用于细粒度野火预测和动态灾害模拟，显著提升了视频和火斑掩膜的预测精度。

Rainbow Noise: Stress-Testing Multimodal Harmful-Meme Detectors on LGBTQ Content

彩虹噪声：对多模态有害迷因检测器进行压力测试以应对LGBTQ内容

Ran Tong, Songtao Wei, Jiaqi Liu, Lanruo Wang

机构 * Mathematics and Statistics Department University of Texas at Dallas（德克萨斯大学达拉斯分校数学与统计学系） ； Computer Science Department University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系） ； Naveen Jindal School of Management University of Texas at Dallas（德克萨斯大学达拉斯分校奈文·金达尔管理学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出彩虹噪声基准测试，通过压力测试多模态有害迷因检测器，引入轻量级TDA提升鲁棒性，揭示当前模型弱点并展示改进方向。

Comments 14 pages, 1 figure

SUPERChem: A Multimodal Reasoning Benchmark in Chemistry

SUPERChem：化学领域的多模态推理基准

Zehua Zhao, Zhixian Huang, Junren Li, Siyu Lin, Junting Zhou, Fengqi Cao, Kun Zhou, Rui Ge, Tingting Long, Yuexiang Zhu, Yan Liu, Jie Zheng, Junnian Wei, Rong Zhu, Peng Zou, Wenyu Li, Zekai Cheng, Tian Ding, Yaxuan Wang, Yizhao Yan, Tingru Wei, Haowei Ming, Weijie Mao, Chen Sun, Yiming Liu, Zichen Wang, Zuo Zhang, Tong Yang, Hao Ma, Zhen Gao, Jian Pei

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 SUPERChem通过多模态推理基准测试，评估LLMs在化学领域的能力，揭示模型对视觉信息的依赖，并区分高保真推理与启发式推理。

Comments 35 pages, 11 figures, 5 tables

PEFT-DML: Parameter-Efficient Fine-Tuning Deep Metric Learning for Robust Multi-Modal 3D Object Detection in Autonomous Driving

PEFT-DML：参数高效微调深度度量学习用于自动驾驶中鲁棒的多模态3D物体检测

Abdolazim Rezaei, Mehdi Sookhak

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 PEFT-DML通过参数高效微调深度度量学习，提升自动驾驶中多模态3D物体检测的鲁棒性和准确性。

From Perception to Reasoning: Deep Thinking Empowers Multimodal Large Language Models

从感知到推理：深度思考赋能多模态大语言模型

Wenxin Zhu, Andong Chen, Yuchen Song, Kehai Chen, Conghui Zhu, Ziyan Chen, Tiejun Zhao

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Global Tone Communication Technology（全球语音通信技术） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出多模态链式思维方法，旨在提升多模态大语言模型的推理能力，通过系统性综述分析其理论基础、实现方法及未来发展方向。

Comments Survey; 7 figures, 3 tables, 44 pages

SurgMLLMBench: A Multimodal Large Language Model Benchmark Dataset for Surgical Scene Understanding

SurgMLLMBench: 一个用于手术场景理解的多模态大语言模型基准数据集

Tae-Min Choi, Tae Kyeong Jeong, Garam Kim, Jaemin Lee, Yeongyoon Koh, In Cheul Choi, Jae-Ho Chung, Jong Woong Park, Juyoun Park

机构 * Samsung Research（三星研究所） ； Center for Humanoid Research, Korea Institute of Science and Technology（人类研究学院，韩国科学技术院） ； Department of plastic surgery, College of medicine, Korea University（医学院整形外科部，韩国大学） ； Department of orthopedic surgery, College of medicine, Korea University（医学院骨科部，韩国大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SurgMLLMBench是一个用于手术场景理解的多模态大语言模型基准数据集，整合了像素级分割和结构化VQA注释，支持跨领域的全面评估和更丰富的视觉-对话交互。

Comments 10 pages, 5 figures

LogicOCR: Do Your Large Multimodal Models Excel at Logical Reasoning on Text-Rich Images?

LogicOCR: 大型多模态模型在文本丰富的图像上逻辑推理是否表现优异？

Maoyuan Ye, Haibin He, Qihuang Zhong, Jing Zhang, Juhua Liu, Bo Du

机构 * School of Computer Science, National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, and Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University（计算机学院、多媒体软件国家工程研究中心、人工智能研究院、多媒体与网络通信工程湖北省重点实验室、武汉大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 LogicOCR通过构建包含生成和现实图像问题的基准测试，评估大型多模态模型在文本丰富图像上的逻辑推理能力，并提出TextCue方法提升模型对关键文本区域的感知。

Comments GitHub: https://github.com/MiliLab/LogicOCR

Cross-Domain Generalization of Multimodal LLMs for Global Photovoltaic Assessment

多领域泛化用于全球光伏评估的多模态大语言模型

Muhao Guo, Yang Weng

机构 * School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出利用多模态大语言模型实现跨领域泛化，用于全球光伏评估，通过结构化提示和微调在统一框架内整合检测、定位和量化，优于传统CV和Transformer基线。

Comments 5 pages, 7 figures

Quantifying Modality Contributions via Disentangling Multimodal Representations

通过解构多模态表示量化模态贡献

Padegal Amit, Omkar Mahesh Kashyap, Namitha Rayasam, Nidhi Shekhar, Surabhi Narayan

机构 * PES University（PES大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于部分信息分解的框架，通过分解多模态表示中的预测信息，量化各模态的贡献，提供更清晰的多模态行为分析。

Comments 16 pages, 11 figures

GContextFormer: A global context-aware hybrid multi-head attention approach with scaled additive aggregation for multimodal trajectory prediction

GContextFormer: 一种基于全局上下文的混合多头注意力方法，通过缩放加法聚合实现多模态轨迹预测

Yuzhi Chen, Yuanchang Xie, Lei Zhao, Pan Liu, Yajie Zou, Chen Wang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 GContextFormer通过全局上下文感知的混合多头注意力和缩放加法聚合，实现无地图依赖的多模态轨迹预测，提升鲁棒性和预测精度。

Multimodal AI for Body Fat Estimation: Computer Vision and Anthropometry with DEXA Benchmarks

多模态AI用于脂肪率估计：计算机视觉与体态测量结合DEXA基准测试

Rayan Aldajani

机构 * Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系） ； York University（约克大学） ； Toronto, Canada（加拿大多伦多） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出利用多模态AI结合计算机视觉和体态测量数据，通过DEXA基准测试验证了低成本脂肪率估计方法的有效性。

Comments 2 pages, 2 figures, accepted at IEEE CASCON 2025

Can MLLMs Read the Room? A Multimodal Benchmark for Assessing Deception in Multi-Party Social Interactions

大语言模型能读取环境吗？一个多模态基准用于评估多当事人社交互动中的欺骗

Caixin Kang, Yifei Huang, Liangyang Ouyang, Mingfang Zhang, Ruicong Liu, Yoichi Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出多模态互动欺骗评估任务，通过新颖数据集评估多种MLLMs的欺骗检测能力，揭示其在多模态社交线索处理上的不足，并提出SoCoT和DSEM模块提升性能。

Evaluating Multimodal Large Language Models on Vertically Written Japanese Text

Keito Sasagawa, Shuhei Kurita, Daisuke Kawahara

机构 * Waseda University（早稻田大学） ； NII（日本国立信息机构） ； NII LLMC Tokyo, Japan（日本国立信息机构LLMC东京） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments 17pages, 8 figures

Beyond Diagnosis: Evaluating Multimodal LLMs for Pathology Localization in Chest Radiographs

Advait Gosai, Arun Kavishwar, Stephanie L. McNamara, Soujanya Samineni, Renato Umeton, Alexander Chowdhury, William Lotter

机构 * University of California（加州大学） ； Dana-Farber Cancer Institute（达纳-法伯癌症研究所） ； Massachusetts General Hospital（麻省总医院） ； St. Jude Children’s Research Hospital（圣犹大儿童研究医院） ； Brigham and Women’s Hospital & Harvard Medical School（布里法伦医院及哈佛医学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Proceedings of the 5th Machine Learning for Health (ML4H) Symposium

GeoX-Bench: Benchmarking Cross-View Geo-Localization and Pose Estimation Capabilities of Large Multimodal Models

Yushuo Zheng, Jiangyong Ying, Huiyu Duan, Chunyi Li, Zicheng Zhang, Jing Liu, Xiaohong Liu, Guangtao Zhai

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

EgoEMS: A High-Fidelity Multimodal Egocentric Dataset for Cognitive Assistance in Emergency Medical Services

Keshara Weerasinghe, Xueren Ge, Tessa Heick, Lahiru Nuwan Wijayasingha, Anthony Cortez, Abhishek Satpathy, John Stankovic, Homa Alemzadeh

机构 * School of Engineering and Applied Science（工程与应用科学学院） ； School of Medicine（医学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to AAAI 2026 (Preprint), 45 pages, 29 figures, updated references and figure orderings

Adaptive Diagnostic Reasoning Framework for Pathology with Multimodal Large Language Models

Yunqi Hong, Johnson Kao, Liam Edwards, Nein-Tzu Liu, Chung-Yen Huang, Alex Oliveira-Kowaleski, Cho-Jui Hsieh, Neil Y. C. Lin

机构 * Computer Science Department, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校计算机科学系） ； Mechanical and Aerospace Engineering Department, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校机械与航空航天工程系） ； Department of Pathology, Tri-Service General Hospital, National Defense Medical Center, Taipei, Taiwan（台湾国防医学院三军总医院病理部） ； Department of Pathology, National Taiwan University Hospital, Taipei, Taiwan（台湾国立台湾大学医院病理部） ； Department of Pathology, David Geffen School of Medicine, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校大卫·Geffen医学院病理部） ； Bioengineering Department, University of California, Los Angeles, CA, USA（加州大学洛杉矶分校生物工程系） ； Institute for Quantitative and Computational Biosciences, University of California, CA, USA（加州大学定量与计算生物科学研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models

Haokun Chen, Jianing Li, Yao Zhang, Jinhe Bi, Yan Xia, Jindong Gu, Volker Tresp

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments AAAI 2026. Code: https://github.com/HaokunChen245/AUVIC

Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning

Yuhao Zhou, Yiheng Wang, Xuming He, Ao Shen, Ruoyao Xiao, Zhiwei Li, Qiantai Feng, Zijie Guo, Yuejin Yang, Hao Wu, Wenxuan Huang, Jiaqi Wei, Dan Si, Xiuqi Yao, Jia Bu, Haiwen Huang, Manning Wang, Tianfan Fu, Shixiang Tang, Ben Fei, Dongzhan Zhou, Fenghua Ling, Yan Lu, Siqi Sun, Chenhui Li, Guanjie Zheng, Jiancheng Lv, Wenlong Zhang, Lei Bai

机构 * PrismaX Team Shanghai Artificial Intelligence Laboratory（普斯玛X团队上海人工智能实验室） 纠错

专题命中 多模态评测 ：MLLM(title)；multimodal(abstract)；分类 cs.CL、cs.AI

Comments 82 pages

CrossMed: A Multimodal Cross-Task Benchmark for Compositional Generalization in Medical Imaging

Pooja Singh, Siddhant Ujjain, Tapan Kumar Gandhi, Sandeep Kumar

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Saying the Unsaid: Revealing the Hidden Language of Multimodal Systems Through Telephone Games

Juntu Zhao, Jialing Zhang, Chongxuan Li, Dequan Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025 MTI-LLM Workshop

Res-Bench: Benchmarking the Robustness of Multimodal Large Language Models to Dynamic Resolution Input

Chenxu Li, Zhicai Wang, Yuan Sheng, Xingyu Zhu, Yanbin Hao, Xiang Wang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments 23 pages

MOSABench: Multi-Object Sentiment Analysis Benchmark for Evaluating Multimodal Large Language Models Understanding of Complex Image

Shezheng Song, Chengxiang He, Shan Zhao, Chengyu Wang, Qian Wan, Tianwei Yan, Meng Wang

机构 * College of Computer, National University of Defense Technology（国防科技大学计算机学院） ； School of Computer and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院） ； CCNU（中国地质大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs

Tianhao Peng, Haochen Wang, Yuanxing Zhang, Zekun Wang, Zili Wang, Gavin Chang, Jian Yang, Shihao Li, Yanghai Wang, Xintao Wang, Houyi Li, Wei Ji, Pengfei Wan, Steven Huang, Zhaoxiang Zhang, Jiaheng Liu

机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Kuaishou Technology（快手科技） ； M-A-P 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Journal ref The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS 2025)

EcomMMMU: Strategic Utilization of Visuals for Robust Multimodal E-commerce Models

Xinyi Ling, Hanwen Du, Zhihui Zhu, Xia Ning

机构 * Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系） ； Translational Data Analytics Institute, The Ohio State University（俄亥俄州立大学转化数据分析研究所） ； Department of Biomedical Informatics, The Ohio State University（俄亥俄州立大学生物医学信息学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments ICJNLP-AACL 2025