多模态大模型

An Evaluation of Interleaved Instruction Tuning on Semantic Reasoning Performance in an Audio MLLM

Jiawei Liu, Enis Berk Çoban, Zarina Schevchenko, Hao Tang, Zhigang Zhu, Michael I Mandel, Johanna Devaney

机构 * The Graduate Center, CUNY（CUNY研究生中心） ； Brooklyn College, CUNY（CUNY布鲁克林学院） ； Borough of Manhattan Community College, CUNY（CUNY曼哈顿社区学院） ； The City College of New York, CUNY（CUNY纽约城市学院） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.MM

VCode: a Multimodal Coding Benchmark with SVG as Symbolic Visual Representation

Kevin Qinghong Lin, Yuhao Zheng, Hangyu Ran, Dantong Zhu, Dongxing Mao, Linjie Li, Philip Torr, Alex Jinpeng Wang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Project page: https://csu-jpg.github.io/VCode Github: https://github.com/CSU-JPG/VCode

DetectiumFire: A Comprehensive Multi-modal Dataset Bridging Vision and Language for Fire Understanding

Zixuan Liu, Siavash H. Khajavi, Guangkai Jiang

机构 * Department of Computer Science（计算机科学系） ； Tulane University（Tulane 大学） ； Department of Industrial Engineering and Management（工业工程与管理系） ； Aalto University（Aalto 大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

Comments Advances in Neural Information Processing Systems 2025 (NeurIPS 2025), Poster, https://neurips.cc/virtual/2025/loc/san-diego/poster/121400

Can MLLMs Read the Room? A Multimodal Benchmark for Verifying Truthfulness in Multi-Party Social Interactions

Caixin Kang, Yifei Huang, Liangyang Ouyang, Mingfang Zhang, Yoichi Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments ICCV2025 Workshop

When One Modality Sabotages the Others: A Diagnostic Lens on Multimodal Reasoning

Chenyu Zhang, Minsol Kim, Shohreh Ghorbani, Jingyao Wu, Rosalind Picard, Patricia Maes, Paul Pu Liang

机构 * Harvard University（哈佛大学） ； MIT Media Lab（麻省理工学院媒体实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted at the Multimodal Algorithmic Reasoning (MAR) Workshop, NeurIPS 2025

Towards Relaxed Multimodal Inputs for Gait-based Parkinson's Disease Assessment

Minlin Zeng, Zhipeng Zhou, Yang Qiu, Martin J. McKeown, Zhiqi Shen

机构 * College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学） ； Department of Medicine (Neurology), Pacific Parkinsons Research Centre, The University of British Columbia（医学系（神经学），太平洋帕金森研究中心，不列颠哥伦比亚大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

ProMQA: Question Answering Dataset for Multimodal Procedural Activity Understanding

Kimihiro Hasegawa, Wiradee Imrattanatrai, Zhi-Qi Cheng, Masaki Asada, Susan Holm, Yuran Wang, Ken Fukuda, Teruko Mitamura

机构 * Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学） ； National Institute of Advanced Industrial Science and Technology (AIST)（国家先进工业科学与技术研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments NAACL2025, Code and Data: https://github.com/kimihiroh/promqa

DreamPRM: Domain-Reweighted Process Reward Model for Multimodal Reasoning

Qi Cao, Ruiyi Wang, Ruiyi Zhang, Sai Ashish Somayajula, Pengtao Xie

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 28 pages, 10 figures, to appear in NeurIPS 2025 (Conference on Neural Information Processing Systems)

RoboTron-Mani: All-in-One Multimodal Large Model for Robotic Manipulation

Feng Yan, Fanfan Liu, Liming Zheng, Yufeng Zhong, Yiyang Huang, Zechao Guan, Chengjian Feng, Lin Ma

机构 * Meituan（美团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.MM

Journal ref Proceedings of the IEEE/CVF International Conference on Computer Vision 2025

WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging

Md. Abdur Rahman, Mohaimenul Azam Khan Raiaan, Sami Azam, Asif Karim, Jemima Beissbarth, Amanda Leach

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Faculty of Science and Technology（科学与技术学院） ； Child Health Division（儿童健康部） 纠错

专题命中 多模态评测 ：multimodal(title)；分类 cs.CV

SigmaCollab: An Application-Driven Dataset for Physically Situated Collaboration

Dan Bohus, Sean Andrist, Ann Paradiso, Nick Saw, Tim Schoonbeek, Maia Stiber

机构 * Microsoft Research（微软研究院） ； Eindhoven University of Technology（埃因霍温理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought

Yiyang Zhou, Haoqin Tu, Zijun Wang, Zeyu Wang, Niklas Muennighoff, Fan Nie, Yejin Choi, James Zou, Chaorui Deng, Shen Yan, Haoqi Fan, Cihang Xie, Huaxiu Yao, Qinghao Ye

机构 * ByteDance Seed（字节跳动种子） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； UC Santa Cruz（圣克拉拉大学） ； Stanford（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

Comments 28 pages, 15 figures

ChartM$^3$: A Multi-Stage Code-Driven Pipeline for Constructing Multi-Dimensional and Multi-Step Visual Reasoning Data in Chart Comprehension

Duo Xu, Hao Cheng, Xin Lin, Zhen Xie, Hao Wang

机构 * Alibaba Cloud Computing（阿里巴巴云计算） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

Comments 23 pages, EMNLP25 Accepted

QCBench: Evaluating Large Language Models on Domain-Specific Quantitative Chemistry

Jiaqing Xie, Weida Wang, Ben Gao, Zhuo Yang, Haiyuan Wan, Shufei Zhang, Tianfan Fu, Yuqiang Li

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Wuhan University（武汉大学） ； Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.AI

Comments Revision at Journal of Chemical Information and Modeling

When Modalities Conflict: How Unimodal Reasoning Uncertainty Governs Preference Dynamics in MLLMs

Zhuoran Zhang, Tengyue Wang, Xilin Gong, Yang Shi, Haotian Wang, Di Wang, Lijie Hu

机构 * Peking University（北京大学） ； Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能和数据分析实验室） ； King Abdullah University of Science and Technology（卡布斯大学） ； South China University of Technology（华南理工大学） ； Tsinghua University（清华大学） ； University of Georgia（佐治亚大学） ； MBZUAI（马克斯·普朗克人工智能研究所） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

Comments 19 pages

WXSOD: A Benchmark for Robust Salient Object Detection in Adverse Weather Conditions

Quan Chen, Xiong Yang, Bolun Zheng, Rongfeng Lu, Xiaokai Yang, Qianyu Zhang, Yu Liu, Xiaofei Zhou

机构 * Department of Artificial Intelligence（人工智能学院） ； School of Communication Engineering（通信工程学院） ； School of Automation（自动化学院） ； Department of Electronic Engineering（电子工程学院） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

Comments Under review