多模态大模型

Context-Aware Human Behavior Prediction Using Multimodal Large Language Models: Challenges and Insights

Yuchen Liu, Lino Lerch, Luigi Palmieri, Andrey Rudenko, Sebastian Koch, Timo Ropinski, Marco Aiello

机构 * Corporate Sector Research and Advance Engineering, Robert Bosch GmbH（罗伯特博世集团企业部门研究与先进工程） ； Service Computing Department, Institute of Architecture of Application Systems, University of Stuttgart（斯图加特大学应用系统研究所服务计算部门） ； Visual Computing Group, Ulm University（乌尔姆大学视觉计算组） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted at IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), 2025

LaPuda: LLM-Enabled Policy-Based Query Optimizer for Multi-modal Data

Yifan Wang, Haodi Ma, Daisy Zhe Wang

机构 * University of Hawaii（夏威夷大学） ； University of Florida（佛罗里达大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

Comments Yifan and Haodi contributed equally to the work, accepted by PAKDD 2025

Journal ref Advances in Knowledge Discovery and Data Mining. PAKDD 2025

RealDriveSim: A Realistic Multi-Modal Multi-Task Synthetic Dataset for Autonomous Driving

Arpit Jadon, Haoran Wang, Phillip Thomas, Michael Stanley, S. Nathaniel Cibik, Rachel Laurat, Omar Maher, Lukas Hoyer, Ozan Unal, Dengxin Dai

机构 * German Aerospace Center（德国航空航天中心） ； Computer Vision Lab, Huawei Research Center Zurich（华为瑞士苏黎世研究中心计算机视觉实验室） ； Max Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Parallel Domain（平行领域） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted at the IEEE Intelligent Vehicles Symposium (IV) 2025

NeuroMoE: A Transformer-Based Mixture-of-Experts Framework for Multi-Modal Neurological Disorder Classification

Wajih Hassan Raza, Aamir Bader Shah, Yu Wen, Yidan Shen, Juan Diego Martinez Lemus, Mya Caryn Schiess, Timothy Michael Ellmore, Renjie Hu, Xin Fu

机构 * Department of Electrical and Computer Engineering, University of Houston（电气与计算机工程系，休斯顿大学） ； Department of Information Science Technology, University of Houston（信息科学与技术系，休斯顿大学） ； Movement Disorders & Neurodegenerative Diseases Division, University of Texas Health Science Center at Houston（运动障碍与神经退行性疾病部门，德克萨斯大学健康科学中心休斯顿分部） ； Department of Neurology at McGovern Medical School, University of Texas Health Science Center at Houston（神经病学系，麦戈文医学学校，德克萨斯大学健康科学中心休斯顿分部） ； Department of Psychology, The City College of New York（心理学系，纽约城市大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted at the 47th Annual International Conference of the IEEE Engineering in Medicine and Biology Society

From Black Boxes to Transparent Minds: Evaluating and Enhancing the Theory of Mind in Multimodal Large Language Models

Xinyang Li, Siqi Liu, Bochao Zou, Jiansheng Chen, Huimin Ma

机构 * School of Computer and Communication Engineering, University of Science and Technology Beijing（计算机与通信工程学院，科学技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 24 pages, 22 figures, accepted at ICML 2025, project page: see https://annaisavailable.github.io/GridToM/

An Open-Source Software Toolkit & Benchmark Suite for the Evaluation and Adaptation of Multimodal Action Models

Pranav Guruprasad, Yangyue Wang, Sudipta Chowdhury, Jaewoo Song, Harshvardhan Sikka

机构 * Metarch ； Manifold Research ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments ICML CodeML Workshop, 13 Pages, 6 Figures, 2 Tables

CFBenchmark-MM: Chinese Financial Assistant Benchmark for Multimodal Large Language Model

Jiangtong Li, Yiyun Zhu, Dawei Cheng, Zhijun Ding, Changjun Jiang

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments 22 pages, 9 figures

SmartHome-Bench: A Comprehensive Benchmark for Video Anomaly Detection in Smart Homes Using Multi-Modal Large Language Models

Xinyi Zhao, Congjing Zhang, Pei Guo, Wei Li, Lin Chen, Chaoyue Zhao, Shuai Huang

机构 * University of Washington（华盛顿大学） ； Wyze Labs, Inc.（Wyze实验室） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

Comments CVPR 2025 Workshop: VAND 3.0 - Visual Anomaly and Novelty Detection

DinoCompanion: An Attachment-Theory Informed Multimodal Robot for Emotionally Responsive Child-AI Interaction

Boyang Wang, Yuhao Song, Jinyuan Cao, Peng Yu, Hongcheng Guo, Zhoujun Li

机构 * Beihang University（北航） ； The University of Melbourne（墨尔本大学） ； Independent Researcher（独立研究者） ； Panasonic Appliances(China) Co.,Ltd（松下电器（中国）有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

BalanceBenchmark: A Survey for Multimodal Imbalance Learning

Shaoxuan Xu, Menglu Cui, Chengxiang Huang, Hongfa Wang, Di Hu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Shanghai University of Finance and Economics（上海财经大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tencent Data Platform（腾讯数据平台） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际 Graduate School） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 9 pages, 3 figures

Quality over Quantity: Boosting Data Efficiency Through Ensembled Multimodal Data Curation

Jinda Xu, Yuhao Song, Daming Wang, Weiwei Zhao, Minghua Chen, Kangliang Chen, Qinya Li

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Journal ref Proceedings of the 2025 AAAI Conference on Artificial Intelligence

Kvasir-VQA-x1: A Multimodal Dataset for Medical Reasoning and Robust MedVQA in Gastrointestinal Endoscopy

Sushant Gautam, Michael A. Riegler, Pål Halvorsen

机构 * Simula Metropolitan Center for Digital Engineering (SimulaMet)（Simula Metropolitan Center for Digital Engineering） ； Oslo Metropolitan University (OsloMet)（Oslo Metropolitan University） ； Simula Research Laboratory 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Worse than Random? An Embarrassingly Simple Probing Evaluation of Large Multimodal Models in Medical VQA

Qianqi Yan, Xuehai He, Xiang Yue, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AMELI: Enhancing Multimodal Entity Linking with Fine-Grained Attributes

Barry Menglong Yao, Sijia Wang, Yu Chen, Qifan Wang, Minqian Liu, Zhiyang Xu, Licheng Yu, Lifu Huang

机构 * Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments 19 pages, 7 figures

RHealthTwin: Towards Responsible and Multimodal Digital Twins for Personalized Well-being

Rahatara Ferdousi, M Anwar Hossain

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 18 pages, 12 figures, IEEE EMBS JBHI

CrimeMind: Simulating Urban Crime with Multi-Modal LLM Agents

Qingbin Zeng, Ruotong Zhao, Jinzhu Mao, Haoyang Li, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； Department of Sociology, Hong Kong Baptist University（香港 Baptist 大学社会学系） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

Comments Typos corrected

Multimodal Rationales for Explainable Visual Question Answering

Kun Li, George Vosselman, Michael Ying Yang

机构 * University of Twente（特文特大学） ； University of Bath（巴斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted to CVPR workshops 2025

WebUIBench: A Comprehensive Benchmark for Evaluating Multimodal Large Language Models in WebUI-to-Code

Zhiyu Lin, Zhengda Zhou, Zhiyuan Zhao, Tianrui Wan, Yilun Ma, Junyu Gao, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI）、中国电信） ； Northwestern Polytechnical University（西北工业大学） ； Beijing Jiaotong University（北京交通大学） ； Nanjing University（南京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Evaluating Visual Mathematics in Multimodal LLMs: A Multilingual Benchmark Based on the Kangaroo Tests

Arnau Igualde Sáez, Lamyae Rhomrasi, Yusef Ahsini, Ricardo Vinuesa, Sergio Hoyas, Jose P. García Sabater, Marius J. Fullana i Alfonso, J. Alberto Conejero

机构 * KTH Royal Institute of Technology（皇家理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments 16 pages, 4 figures

Cultural Bias Matters: A Cross-Cultural Benchmark Dataset and Sentiment-Enriched Model for Understanding Multimodal Metaphors

Senqi Yang, Dongyu Zhang, Jing Ren, Ziqi Xu, Xiuzhen Zhang, Yiliao Song, Hongfei Lin, Feng Xia

机构 * Dalian University of Technology（大连理工大学） ； RMIT University（皇家墨尔本理工大学） ； The University of Adelaide（阿德莱德大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments This paper has been accepted to the 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025), Main Conference

Skywork-VL Reward: An Effective Reward Model for Multimodal Understanding and Reasoning

Xiaokun Wang, Peiyu Wang, Jiangbo Pei, Wei Shen, Yi Peng, Yunzhuo Hao, Weijie Qiu, Ai Jian, Tianyidan Xie, Xuchen Song, Yang Liu, Yahui Zhou

机构 * Skywork AI（Skywork人工智能公司） ； Kunlun Inc.（昆仑公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Benchmarking Early Agitation Prediction in Community-Dwelling People with Dementia Using Multimodal Sensors and Machine Learning

Ali Abedi, Charlene H. Chu, Shehroz S. Khan

机构 * KITE Research Institute（KITE研究机构） ； Toronto Rehabilitation Institute（多伦多康复研究所） ； University Health Network（大学健康网络） ； Lawrence Bloomberg Faculty of Nursing（劳伦斯布罗德利护理学院） ； University of Toronto（多伦多大学） ； College of Engineering and Technology（工程与技术学院） ； American University of the Middle East（中东美国大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments 16 pages, 4 figures, 2 tables

Understanding Financial Reasoning in AI: A Multimodal Benchmark and Error Learning Approach

Shuangyan Deng, Haizhou Peng, Jiachen Xu, Chunhou Liu, Ciprian Doru Giurcuaneanu, Jiamou Liu

机构 * University of Auckland（奥克兰大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

BioMol-MQA: A Multi-Modal Question Answering Dataset For LLM Reasoning Over Bio-Molecular Interactions

Saptarshi Sengupta, Shuhua Yang, Paul Kwong Yu, Fali Wang, Suhang Wang

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CL

Unfolding Spatial Cognition: Evaluating Multimodal Models on Visual Simulations

Linjie Li, Mahtab Bigverdi, Jiawei Gu, Zixian Ma, Yinuo Yang, Ziang Li, Yejin Choi, Ranjay Krishna

机构 * University of Washington（华盛顿大学） ； Sun Yat-sen University（中山大学） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments STARE is available at https://github.com/STARE-bench/STARE

EscapeCraft: A 3D Room Escape Environment for Benchmarking Complex Multimodal Reasoning Ability

Ziyue Wang, Yurui Dong, Fuwen Luo, Minyuan Ruan, Zhili Cheng, Chi Chen, Peng Li, Yang Liu

机构 * Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China（计算机科学与技术系，人工智能研究院，清华大学，北京，中国） ； Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China（人工智能产业研究院（AIR），清华大学，北京，中国） ； School of Management, Fudan University, Shanghai, China（管理学院，复旦大学，上海，中国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment

Chuan Cui, Kejiang Chen, Zhihua Wei, Wen Shen, Weiming Zhang, Nenghai Yu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments 24 pages. This work has been submitted to the ACM for possible publication

Social Genome: Grounded Social Reasoning Abilities of Multimodal Models

Leena Mathur, Marian Qian, Paul Pu Liang, Louis-Philippe Morency

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Comments Under Review, 24 pages

HintsOfTruth: A Multimodal Checkworthiness Detection Dataset with Real and Synthetic Claims

Michiel van der Meer, Pavel Korshunov, Sébastien Marcel, Lonneke van der Plas

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted at ACL2025 (main track)

MDPE: A Multimodal Deception Dataset with Personality and Emotional Characteristics

Cong Cai, Shan Liang, Xuefei Liu, Kang Zhu, Zhengqi Wen, Jianhua Tao, Heng Xie, Jizhou Cui, Yiming Ma, Zhenhua Cheng, Hanzhe Xu, Ruibo Fu, Bin Liu, Yongwei Li

机构 * Beijing Institute of Technology（北京理工大学） ； Xi’an Jiaotong Liverpool University（西安交通大学利物浦大学） ； Institute of Automation, Chinese Academy of Sciences (CAS)（中国科学院自动化研究所） ； Anhui University（安徽大学） ； Beijing National Research Center for Information Science and Technology, Tsinghua University（北京信息科学与技术国家研究中心，清华大学） ； Department of Automation, Tsinghua University（清华大学自动化系） ； ShanghaiTech University（上海科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tianjin Normal University（天津师范大学） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Institute of Psychology, CAS（中国科学院心理研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Code and data are available; Submitted to ACM Multimedia 2025 Dataset Track