多模态大模型

Seeing What Tastes Good: Revisiting Multimodal Distributional Semantics in the Billion Parameter Era

Dan Oneata, Desmond Elliott, Stella Frank

机构 * politehnica Bucharest（布加勒斯特理工大学） ； Pioneer Center for AI（先锋人工智能中心） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments ACL Findings 2025

The Role of Visual Modality in Multimodal Mathematical Reasoning: Challenges and Insights

Yufang Liu, Yao Du, Tao Ji, Jianing Wang, Yang Liu, Yuanbin Wu, Aimin Zhou, Mengdi Zhang, Xunliang Cai

机构 * School of Computer Science and Technology, East China Normal University（东华师范大学计算机科学与技术学院） ； Meituan Inc.（美团公司） ； Fudan University（复旦大学） ； Pazhou Laboratory（Pazhou实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

MM-IQ: Benchmarking Human-Like Abstraction and Reasoning in Multimodal Models

Huanqia Cai, Yijun Yang, Winston Hu

机构 * Tencent Hunyuan Team（腾讯文言团队） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Research on Driving Scenario Technology Based on Multimodal Large Lauguage Model Optimization

Wang Mengjie, Zhu Huiping, Li Jian, Shi Wenxiu, Zhang Song

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

MUDI: A Multimodal Biomedical Dataset for Understanding Pharmacodynamic Drug-Drug Interactions

Tung-Lam Ngo, Ba-Hoang Tran, Duy-Cat Can, Trung-Hieu Do, Oliver Y. Chén, Hoang-Quynh Le

机构 * VNU University of Engineering and Technology (VNU-UET)（越南工程技术大学） ； Lausanne University Hospital (CHUV)（洛桑大学医院） ； University of Lausanne (UNIL)（洛桑大学） ； Hanoi Medical University（河内医学院） ； National Geriatric Hospital, Hanoi（河内国立老年医院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

Insight Over Sight: Exploring the Vision-Knowledge Conflicts in Multimodal LLMs

Xiaoyuan Liu, Wenxuan Wang, Youliang Yuan, Jen-tse Huang, Qiuzhi Liu, Pinjia He, Zhaopeng Tu

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院） ； Tencent（腾讯） ； Renmin University of China（中国人民大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Accepted by ACL 2025 main

Exploring Multimodal Challenges in Toxic Chinese Detection: Taxonomy, Benchmark, and Findings

Shujian Yang, Shiyao Cui, Chuanrui Hu, Haicheng Wang, Tianwei Zhang, Minlie Huang, Jialiang Lu, Han Qiu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Qihoo 360（奇安信） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 (Findings). Camera-ready version

Large Language Model-Driven Distributed Integrated Multimodal Sensing and Semantic Communications

Yubo Peng, Luping Xiang, Bingxin Zhang, Kun Yang

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； School of Intelligent Software and Engineering, Nanjing University (Suzhou Campus)（智能软件与工程学院，南京大学（苏州校区）） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Reefknot: A Comprehensive Benchmark for Relation Hallucination Evaluation, Analysis and Mitigation in Multimodal Large Language Models

Kening Zheng, Junkai Chen, Yibo Yan, Xin Zou, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Guangxi Zhuang Autonomous Region Big Data Research Institute（广西壮族自治区大数据研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Accepted by Findings of ACL 2025

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis

Chaoyou Fu, Yuhan Dai, Yongdong Luo, Lei Li, Shuhuai Ren, Renrui Zhang, Zihan Wang, Chenyu Zhou, Yunhang Shen, Mengdan Zhang, Peixian Chen, Yanwei Li, Shaohui Lin, Sirui Zhao, Ke Li, Tong Xu, Xiawu Zheng, Enhong Chen, Caifeng Shan, Ran He, Xing Sun

机构 * State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室） ； School of Intelligence Science and Technology（智能科学与技术学院） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； XMU（厦门大学） ； HKU（香港大学） ； PKU（北京大学） ； CUHK（香港中文大学） ； ECNU（华东师范大学） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

Comments Project Page: https://video-mme.github.io

MMUnlearner: Reformulating Multimodal Machine Unlearning in the Era of Multimodal Large Language Models

Jiahao Huo, Yibo Yan, Xu Zheng, Yuanhuiyi Lyu, Xin Zou, Zhihua Wei, Xuming Hu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted as ACL 2025 Findings

Benchmarking Large Multimodal Models for Ophthalmic Visual Question Answering with OphthalWeChat

Pusheng Xu, Xia Gong, Xiaolan Chen, Weiyi Zhang, Jiancheng Yang, Bingjie Yan, Meng Yuan, Yalin Zheng, Mingguang He, Danli Shi

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

I2MoE: Interpretable Multimodal Interaction-aware Mixture-of-Experts

Jiayi Xin, Sukwon Yun, Jie Peng, Inyoung Choi, Jenna L. Ballard, Tianlong Chen, Qi Long

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments ICML 2025 Poster

CCHall: A Novel Benchmark for Joint Cross-Lingual and Cross-Modal Hallucinations Detection in Large Language Models

Yongheng Zhang, Xu Liu, Ruoxi Zhou, Qiguang Chen, Hao Fei, Wenpeng Lu, Libo Qin

机构 * School of Computer Science and Engineering, Central South University, China（中南大学计算机科学与工程学院） ； National University of Singapore, Singapore（新加坡国立大学） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted at ACL 2025 Main Conference

ASPO: Adaptive Sentence-Level Preference Optimization for Fine-Grained Multimodal Reasoning

Yeyuan Wang, Dehong Gao, Rujiao Long, Lei Yi, Linbo Jin, Libin Yang, Xiaoyan Cai

机构 * Northwestern Polytechnical University, School of Automation, Xi’an, China（西北工业大学自动化学院，西安，中国） ； Northwestern Polytechnical University, School of Cybersecurity, Xi’an, China（西北工业大学网络安全学院，西安，中国） ； Binjiang Institute of Artificial Intelligence, ZJUT, Hangzhou, China（浙大宁波理工学院滨海人工智能研究院，杭州，中国） ； Alibaba Group, Hangzhou, China（阿里巴巴集团，杭州，中国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Accepted by ACL 2025 findings

Suicide Risk Assessment Using Multimodal Speech Features: A Study on the SW1 Challenge Dataset

Ambre Marie, Ilias Maoudj, Guillaume Dardenne, Gwenolé Quellec

机构 * LaTIMUMR INSERM 1101 ； Université de Bretagne Occidentale（布列塔尼西部大学） ； INSERMFrance（国家健康与医学研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、eess.AS

Comments Submitted to the SpeechWellness Challenge at Interspeech 2025; 5 pages, 2 figures, 2 tables

Understanding Multimodal LLMs Under Distribution Shifts: An Information-Theoretic Approach

Changdae Oh, Zhen Fang, Shawn Im, Xuefeng Du, Yixuan Li

机构 * Changdae Oh ； Zhen Fang ； Shawn Im ； Xuefeng Du ； Yixuan Li 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments ICML 2025 camera-ready

Cross-Modal Bidirectional Interaction Model for Referring Remote Sensing Image Segmentation

Zhe Dong, Yuzhe Sun, Tianzhu Liu, Wangmeng Zuo, Yanfeng Gu

机构 * School of Electronics and Information Engineering, Harbin Institute of Technology（电子信息工程学院，哈尔滨工业大学） ； Faculty of Computing, Harbin Institute of Technology（计算机学院，哈尔滨工业大学） ； Peng Cheng Laboratory, Shenzhen（鹏城实验室，深圳） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

Evidence-Grounded Multimodal Misinformation Detection with Attention-Based GNNs

Sharad Duwal, Mir Nafis Sharear Shopnil, Abhishek Tyagi, Adiba Mahbub Proma

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

MDIT-Bench: Evaluating the Dual-Implicit Toxicity in Large Multimodal Models

Bohan Jin, Shuhan Qi, Kehai Chen, Xinyi Guo, Xuan Wang

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室） ； University of Barcelona（巴塞罗那大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments Findings of ACL 2025

MMXU: A Multi-Modal and Multi-X-ray Understanding Dataset for Disease Progression

Linjie Mu, Zhongzhen Huang, Shengqian Qin, Yakun Zhu, Shaoting Zhang, Xiaofan Zhang

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Bridging the Dynamic Perception Gap: Training-Free Draft Chain-of-Thought for Dynamic Multimodal Spatial Reasoning

Siqu Ou, Hongcheng Liu, Pingjie Wang, Yusheng Liao, Chuan Xuan, Yanfeng Wang, Yu Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI lab（上海人工智能实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 8 figures

MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark

Xiang Yue, Tianyu Zheng, Yuansheng Ni, Yubo Wang, Kai Zhang, Shengbang Tong, Yuxuan Sun, Botao Yu, Ge Zhang, Huan Sun, Yu Su, Wenhu Chen, Graham Neubig

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments ACL 2025 Main

Aneumo: A Large-Scale Multimodal Aneurysm Dataset with Computational Fluid Dynamics Simulations and Deep Learning Benchmarks

Xigui Li, Yuanye Zhou, Feiyang Xiao, Xin Guo, Chen Jiang, Tan Pan, Xingmeng Zhang, Cenyu Liu, Zeyun Miao, Jianchao Ge, Xiansheng Wang, Qimeng Wang, Yichi Zhang, Wenbo Zhang, Fengping Zhu, Limei Han, Yuan Qi, Chensen Lin, Yuan Cheng

机构 * Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化院） ； Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院） ； Huashan Hospital, Fudan University（复旦大学华山医院） ； Human Phenome Institute, Fudan University（复旦大学人类表型研究院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

EmotionHallucer: Evaluating Emotion Hallucinations in Multimodal Large Language Models

Bohao Xing, Xin Liu, Guoying Zhao, Chengyu Liu, Xiaolan Fu, Heikki Kälviäinen

机构 * Lappeenranta-Lahti University of Technology LUT（拉佩兰塔-拉赫蒂技术大学） ； University of Oulu（奥卢大学） ； Southeast University（东南大学） ； Shanghai Jiao Tong University（上海交通大学） ； Brno University of Technology（布拉格技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

BLIP3-o: A Family of Fully Open Unified Multimodal Models-Architecture, Training and Dataset

Jiuhai Chen, Zhiyang Xu, Xichen Pan, Yushi Hu, Can Qin, Tom Goldstein, Lifu Huang, Tianyi Zhou, Saining Xie, Silvio Savarese, Le Xue, Caiming Xiong, Ran Xu

机构 * Salesforce Research（Salesforce 研究院） ； University of Maryland（马里兰大学） ； Virginia Tech（弗吉尼亚理工大学） ； New York University（纽约大学） ； University of Washington（华盛顿大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Assessment of Classroom Discourse Quality: A Text-Centered Attention-Based Multi-Task Learning Approach

Ruikun Hou, Babette Bühler, Tim Fütterer, Efe Bozkir, Peter Gerjets, Ulrich Trautwein, Enkelejda Kasneci

机构 * Technical University of Munich（慕尼黑技术大学） ； University of Tübingen（图宾根大学） ； Leibniz-Institut für Wissensmedien（莱比锡知识媒体研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments The 18th International Conference on Educational Data Mining (EDM 2025)

Multi-Modal Explainable Medical AI Assistant for Trustworthy Human-AI Collaboration

Honglong Yang, Shanshan Song, Yi Qin, Lehan Wang, Haonan Wang, Xinpeng Ding, Qixiang Zhang, Bodong Du, Xiaomeng Li

机构 * Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（电子与计算机工程系，香港科学与技术大学） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科学与技术大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

R1-Reward: Training Multimodal Reward Model Through Stable Reinforcement Learning

Yi-Fan Zhang, Xingyu Lu, Xiao Hu, Chaoyou Fu, Bin Wen, Tianke Zhang, Changyi Liu, Kaiyu Jiang, Kaibing Chen, Kaiyu Tang, Haojie Ding, Jiankang Chen, Fan Yang, Zhang Zhang, Tingting Gao, Liang Wang

机构 * CASIA（中国科学院自动化研究所） ； THU（清华大学） ； KuaiShou（快手） ； NJU（南京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Home page: https://github.com/yfzhang114/r1_reward

Twins-PainViT: Towards a Modality-Agnostic Vision Transformer Framework for Multimodal Automatic Pain Assessment using Facial Videos and fNIRS

Stefanos Gkikas, Manolis Tsiknakis

机构 * Computational Biomedicine Laboratory of the Foundation for Research and Technology (FORTH)（希腊国家研究与技术基金会计算生物医学实验室） ； Department of Electrical & Computer Engineering Hellenic Mediterranean University（希腊地中海大学电气与计算机工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Journal ref 2024 International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW)