多模态大模型

A Multi-To-One Interview Paradigm for Efficient MLLM Evaluation

Ye Shen, Junying Wang, Farong Wen, Yijin Guo, Qi Jia, Zicheng Zhang, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 多模态评测 ：MLLM(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

Comments 5 pages, 2 figures

LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models

Kaichen Zhang, Bo Li, Peiyuan Zhang, Fanyi Pu, Joshua Adrian Cahyono, Kairui Hu, Shuai Liu, Yuanhan Zhang, Jingkang Yang, Chunyuan Li, Ziwei Liu

机构 * LMMs-Lab Team（LMMs实验室团队） ； S-Lab, NTU, Singapore（新加坡国立大学S实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL

Comments Code ad leaderboard are available at https://github.com/EvolvingLMMs-Lab/lmms-eval and https://huggingface.co/spaces/lmms-lab/LiveBench

From Pixels to Urban Policy-Intelligence: Recovering Legacy Effects of Redlining with a Multimodal LLM

Anthony Howell, Nancy Wu, Sharmistha Bagchi, Yushim Kim, Chayn Sun

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

Two Web Toolkits for Multimodal Piano Performance Dataset Acquisition and Fingering Annotation

Junhyung Park, Yonghyun Kim, Joonhyung Bae, Kirak Kim, Taegyun Kwon, Alexander Lerch, Juhan Nam

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.MM、eess.AS

Comments Accepted to the Late-Breaking Demo Session of the 26th International Society for Music Information Retrieval (ISMIR) Conference, 2025

An Evaluation-Centric Paradigm for Scientific Visualization Agents

Kuangshi Ai, Haichao Miao, Zhimin Li, Chaoli Wang, Shusen Liu

机构 * Univ. Notre Dame（内布拉斯加大学） ； LLNL（劳伦斯利弗莫尔国家实验室） ； Vanderbilt Univ.（范德比大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL

Journal ref 1st Workshop on GenAI, Agents, and the Future of VIS (IEEE VIS Conference 2025)

AssoCiAm: A Benchmark for Evaluating Association Thinking while Circumventing Ambiguity

Yifan Liu, Wenkuan Zhao, Shanshan Zhong, Jinghui Qin, Mingfu Liang, Zhongzhan Huang, Wushao Wen

机构 * Sun Yat-sen University（中山大学） ； Guangdong University of Technology（广东工业大学） ； Northwestern University（西北大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 main track

ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation

Jiawen Yu, Hairuo Liu, Qiaojun Yu, Jieji Ren, Ce Hao, Haitong Ding, Guangyu Huang, Guofan Huang, Yan Song, Panpan Cai, Cewu Lu, Wenqiang Zhang

机构 * Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； Shanghai University（上海大学） ； Xi’an Jiaotong University（西安交通大学） ； Noematrix Intelligence（Noematrix智能科技） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

Comments NeurIPS 2025

RAcQUEt: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs

Alberto Testoni, Barbara Plank, Raquel Fernández

机构 * Amsterdam UMC, Department of Medical Informatics（阿姆斯特丹大学医学中心，医学信息学系） ； Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML), Munich（慕尼黑机器学习中心（MCML）） ； Institute for Logic, Language and Computation (ILLC), University of Amsterdam（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 (Main Conference)

Mouse vs. AI: A Neuroethological Benchmark for Visual Robustness and Neural Alignment

Marius Schneider, Joe Canzano, Jing Peng, Yuchen Hou, Spencer LaVere Smith, Michael Beyeler

专题命中 多模态评测 ：multimodal(abstract)