多模态大模型

LeMat-Synth: a multi-modal toolbox to curate broad synthesis procedure databases from scientific literature

Magdalena Lederbauer, Siddharth Betala, Xiyao Li, Ayush Jain, Amine Sehaba, Georgia Channing, Grégoire Germain, Anamaria Leonescu, Faris Flaifil, Alfonso Amayuelas, Alexandre Nozadze, Stefan P. Schmid, Mohd Zaki, Sudheesh Kumar Ethirajan, Elton Pan, Mathilde Franckel, Alexandre Duval, N. M. Anoop Krishnan, Samuel P. Gleason

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

Comments 29 pages, 13 figures, 6 tables

Multi-Modal View Enhanced Large Vision Models for Long-Term Time Series Forecasting

ChengAo Shen, Wenchao Yu, Ziming Zhao, Dongjin Song, Wei Cheng, Haifeng Chen, Jingchao Ni

机构 * University of Houston（德克萨斯大学休斯顿分校） ； NEC Laboratories America（日本 NEC 美国实验室） ； University of Connecticut（康涅狄格大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

D-HUMOR: Dark Humor Understanding via Multimodal Open-ended Reasoning -- A Benchmark Dataset and Method

Sai Kartheek Reddy Kasu, Mohammad Zia Ur Rehman, Shahid Shafi Dar, Rishi Bharat Junghare, Dhanvin Sanjay Namboodiri, Nagendra Kumar

机构 * Indian Institute of Information Technology Dharwad, India（印度达拉瓦德信息科技学院） ； Indian Institute of Technology Indore, India（印度印度理工学院） ； Malaviya National Institute of Technology Jaipur, India（马拉维亚国家理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted at IEEE International Conference on Data Mining (ICDM) 2025

CRAG-MM: Multi-modal Multi-turn Comprehensive RAG Benchmark

Jiaqi Wang, Xiao Yang, Kai Sun, Parth Suresh, Sanat Sharma, Adam Czyzewski, Derek Andersen, Surya Appini, Arkav Banerjee, Sajal Choudhary, Shervin Ghasemlou, Ziqiang Guan, Akil Iyer, Haidar Khan, Lingkun Kong, Roy Luo, Tiffany Ma, Zhen Qiao, David Tran, Wenfang Xu, Skyler Yeatman, Chen Zhou, Gunveer Gujral, Yinglong Xia, Shane Moon, Nicolas Scheffer, Nirav Shah, Eun Chang, Yue Liu, Florian Metze, Tammy Stark, Zhaleh Feizollahi, Andrea Jessee, Mangesh Pujari, Ahmed Aly, Babak Damavandi, Rakesh Wanga, Anuj Kumar, Rohit Patel, Wen-tau Yih, Xin Luna Dong

机构 * Meta Reality Labs（Meta现实实验室） ； Meta Superintelligence Labs（Meta超智能实验室） ； FAIR, Meta（FAIR，Meta） ； Meta 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

Open3D-VQA: A Benchmark for Comprehensive Spatial Reasoning with Multimodal Large Language Model in Open Space

Weichen Zhang, Zile Zhou, Xin Zeng, Xuchen Liu, Jianjie Fang, Chen Gao, Yong Li, Jinqiang Cui, Xinlei Chen, Xiao-Ping Zhang

机构 * Tsinghua University（清华大学） ； Pengcheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

MUStReason: A Benchmark for Diagnosing Pragmatic Reasoning in Video-LMs for Multimodal Sarcasm Detection

Anisha Saha, Varsha Suresh, Timothy Hospedales, Vera Demberg

机构 * Max Planck Institute for Informatics, Saarland Informatics Campus（马克斯·普朗克研究所信息学研究所，萨尔兰州信息学校园） ； Saarland University（萨尔兰州大学） ； The University of Edinburgh（爱丁堡大学） ； Samsung AI Center, Cambridge（三星人工智能中心，剑桥） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning

Tatsuki Kawakami, Kazuki Egashira, Atsuyuki Miyai, Go Irie, Kiyoharu Aizawa

机构 * The University of Tokyo（东京大学） ； Tokyo University of Science（东京科学大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted at NeurIPS 2025 Workshop: Evaluating the Evolving LLM Lifecycle

DynamicVL: Benchmarking Multimodal Large Language Models for Dynamic City Understanding

Weihao Xuan, Junjue Wang, Heli Qi, Zihang Chen, Zhuo Zheng, Yanfei Zhong, Junshi Xia, Naoto Yokoya

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所AIP） ； Waseda University（早稻田大学） ； Wuhan University（武汉大学） ； Stanford University（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments NeurIPS 2025

Zero-Shot Multi-modal Large Language Model v.s. Supervised Deep Learning: A Comparative Study on CT-Based Intracranial Hemorrhage Subtyping

Yinuo Wang, Yue Zeng, Kai Chen, Cai Meng, Chao Pan, Zhouping Tang

机构 * Image Processing Center, Beihang University（北京航空航天大学图像处理中心） ； School of Mechanical Engineering and Automation, Beihang University（北京航空航天大学机械工程与自动化学院） ； Department of Neurology, Tongji Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院神经内科，同济医院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area

Junxian Li, Di Zhang, Xunzhi Wang, Zeying Hao, Jingdi Lei, Qian Tan, Cai Zhou, Wei Liu, Yaotian Yang, Xinrui Xiong, Weiyun Wang, Zhe Chen, Wenhai Wang, Wei Li, Shufei Zhang, Mao Su, Wanli Ouyang, Yuqiang Li, Dongzhan Zhou

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments 11 pages, updated version

TCM-Ladder: A Benchmark for Multimodal Question Answering on Traditional Chinese Medicine

Jiacheng Xie, Yang Yu, Ziyang Zhang, Shuai Zeng, Jiaxuan He, Ayush Vasireddy, Xiaoting Tang, Congyu Guo, Lening Zhao, Congcong Jing, Guanghui An, Dong Xu

机构 * Department of Electrical Engineering and Computer Science, University of Missouri（密苏里大学电气工程与计算机科学系） ； Christopher S. Bond Life Sciences Center, University of Missouri（密苏里大学克里斯托弗·S·邦德生命科学中心） ； Department of Computer Science, Northwestern University（西北大学计算机科学系） ； Department of Computer Science and Mathematics, Truman State University（特拉华州立大学计算机科学与数学系） ； Marquette High School（马基特高中） ； Community Health Service Center, Shanghai Pudong New Area（上海浦东新区社区卫生服务中心） ； School of Engineering and Applied Science, University of Pennsylvania（宾夕法尼亚大学工程与应用科学学院） ； Department of Endocrinology, Seventh People’s Hospital of Shanghai University of Traditional Chinese Medicine（上海中医药大学第七人民医院内分泌科） ； School of Acupuncture-Moxibustion and Tuina, Shanghai University of Traditional Chinese Medicine（上海中医药大学针灸推拿学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

A Multimodal Benchmark for Framing of Oil & Gas Advertising and Potential Greenwashing Detection

Gaku Morio, Harri Rowlands, Dominik Stammbach, Christopher D. Manning, Peter Henderson

机构 * Hitachi, Ltd.（日立公司） ； Stanford University（斯坦福大学） ； Centre for the Acceleration of Social Technology（社会技术加速中心） ； Princeton University（普林斯顿大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments Forthcoming in NeurIPS 2025 Datasets and Benchmarks Track

BioCube: A Multimodal Dataset for Biodiversity Research

Stylianos Stasinos, Martino Mensio, Elena Lazovik, Athanasios Trantas

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Comments published to BiDS'25, 4 pages

Towards Reliable Evaluation of Large Language Models for Multilingual and Multimodal E-Commerce Applications

Shuyi Xie, Ziqin Liew, Hailing Zhang, Haibo Zhang, Ling Hu, Zhiqiang Zhou, Shuman Liu, Anxiang Zeng

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

mmWalk: Towards Multi-modal Multi-view Walking Assistance

Kedi Ying, Ruiping Liu, Chongyan Chen, Mingzhe Tao, Hao Shi, Kailun Yang, Jiaming Zhang, Rainer Stiefelhagen

机构 * CV:HCI, KIT（KIT计算机视觉与人机交互中心） ； Hunan University（湖南大学） ； ETH Zurich（苏黎世联邦理工学院） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025 Datasets and Benchmarks Track. Data and Code: https://github.com/KediYing/mmWalk

FrogDeepSDM: Improving Frog Counting and Occurrence Prediction Using Multimodal Data and Pseudo-Absence Imputation

Chirag Padubidri, Pranesh Velmurugan, Andreas Lanitis, Andreas Kamilaris

机构 * Pervasive Systems, University of Twente（普罗威斯系统，埃因霍温大学） ； CYENS Center of Excellence（CYENS卓越中心） ； Cyprus University of Tecnhology（塞浦路斯技术大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

The Photographer Eye: Teaching Multimodal Large Language Models to Understand Image Aesthetics like Photographers

Daiqing Qi, Handong Zhao, Jing Shi, Simon Jenni, Yifei Fan, Franck Dernoncourt, Scott Cohen, Sheng Li

机构 * University of Virginia（弗吉尼亚大学） ； Adobe（Adobe公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Journal ref CVPR 2025

StarBench: A Turn-Based RPG Benchmark for Agentic Multimodal Decision-Making and Information Seeking

Haoran Zhang, Chenhao Zhu, Sicong Guo, Hanzhe Guo, Haiming Li, Donglin Yu

机构 * University of Michigan（密歇根大学） ； Stanford University（斯坦福大学） ； University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Cross-Modal Scene Semantic Alignment for Image Complexity Assessment

Yuqing Luo, Yixiao Li, Jiang Liu, Jun Fu, Hadi Amirpour, Guanghui Yue, Baoquan Zhao, Padraig Corcoran, Hantao Liu, Wei Zhou

机构 * School of Computer Science Cardiff University（卡迪夫大学计算机科学学院） ； School of Mathematical Sciences Beihang University（北航数学科学学院） ； Department of Information Technology University of Klagenfurt（克雷格弗特大学信息技术系） ； School of Biomedical Engineering Shenzhen University（深圳大学生物医学工程学院） ； School of Artificial Intelligence Sun Yat-sen University（中山大学人工智能学院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV

Comments 14 pages,2 figures, British Machine Vision Conference

An Automated Multi-modal Evaluation Framework for Mobile Intelligent Assistants Based on Large Language Models and Multi-Agent Collaboration

Meiping Wang, Jian Zhong, Rongduo Han, Liming Kang, Zhengkun Shi, Xiao Liang, Xing Lin, Nan Gao, Haining Zhang

机构 * College of Software, Nankai University（南开大学软件学院） ； vivo AI Lab（vivo人工智能实验室） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

Enhanced Motion Forecasting with Plug-and-Play Multimodal Large Language Models

Katie Luo, Jingwei Ji, Tong He, Runsheng Xu, Yichen Xie, Dragomir Anguelov, Mingxing Tan

机构 * Computer and Information Sciences Department, Cornell University（康奈尔大学计算机与信息科学系） ； Waymo LLC（Waymo公司） ； UC Berkeley（伯克利大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments In proceedings of IROS 2025

Few-Label Multimodal Modeling of SNP Variants and ECG Phenotypes Using Large Language Models for Cardiovascular Risk Stratification

Niranjana Arun Menon, Yulong Li, Iqra Farooq, Sara Ahmed, Muhammad Awais, Imran Razzak

机构 * University of New South Wales, Australia（新南威尔士大学，澳大利亚） ； University of Surrey, United Kingdom（萨里大学，英国） ； Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Embody 3D: A Large-scale Multimodal Motion and Behavior Dataset

Claire McLean, Makenzie Meendering, Tristan Swartz, Orri Gabbay, Alexandra Olsen, Rachel Jacobs, Nicholas Rosen, Philippe de Bree, Tony Garcia, Gadsden Merrill, Jake Sandakly, Julia Buffalini, Neham Jain, Steven Krenn, Moneish Kumar, Dejan Markovic, Evonne Ng, Fabian Prada, Andrew Saba, Siwei Zhang, Vasu Agrawal, Tim Godisart, Alexander Richard, Michael Zollhoefer

机构 * Codec Avatars Lab, Meta（Meta 编码化身实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Adaptive Data-Resilient Multi-Modal Hierarchical Multi-Label Book Genre Identification

Utsav Kumar Nareti, Soumi Chattopadhyay, Prolay Mallick, Suraj Kumar, Chandranath Adak, Ayush Vikas Daga, Adarsh Wase, Arjab Roy

机构 * Dept. of CSE, IIT Patna, India（计算机科学与工程系，印度帕纳布理工大学） ； Dept. of CSE, IIT Indore, India（计算机科学与工程系，印度英迪亚理工大学） ； SVNIT, India（萨瓦尼特理工学院，印度） ； IIT Indore and IIM Indore, India（英迪亚理工大学和印度管理学院，印度） ； Dept. of HSS, IIIT Guwahati, India（人文社会科学系，印度古瓦哈提理工学院） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL

A social context-aware graph-based multimodal attentive learning framework for disaster content classification during emergencies: a benchmark dataset and method

Shahid Shafi Dar, Mohammad Zia Ur Rehman, Karan Bais, Mohammed Abdul Haseeb, Nagendra Kumara

机构 * Indian Institute of Technology Indore（印度理工学院Indore分校） ； Institute of Engineering（工程院） ； Indian Institute of Information Technology Dharwad（印度信息技术学院Dharwad分校） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL

Journal ref journal={Expert Systems with Applications},pages={125337},year={2024},publisher={Elsevier}

GRAB: A Challenging GRaph Analysis Benchmark for Large Multimodal Models

Jonathan Roberts, Kai Han, Samuel Albanie

机构 * University of Cambridge（剑桥大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted at ICCV 2025

On Large Multimodal Models as Open-World Image Classifiers

Alessandro Conti, Massimiliano Mancini, Enrico Fini, Yiming Wang, Paolo Rota, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted at ICCV2025, 23 pages, 13 figures, code is available at https://github.com/altndrr/lmms-owc

Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation

Siwei Wen, Junyan Ye, Peilin Feng, Hengrui Kang, Zichen Wen, Yize Chen, Jiang Wu, Wenjun Wu, Conghui He, Weijia Li

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Sun Yat-Sen University（中山大学） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University（北京未来区块链与隐私计算高级创新中心，北京航空航天大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models

Yuansen Liu, Haiming Tang, Jinlong Peng, Jiangning Zhang, Xiaozhong Ji, Qingdong He, Wenbin Wu, Donghao Luo, Zhenye Gan, Junwei Zhu, Yunhang Shen, Chaoyou Fu, Chengjie Wang, Xiaobin Hu, Shuicheng Yan

机构 * Yuan-Hou（元侯） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

Fusion Meets Diverse Conditions: A High-diversity Benchmark and Baseline for UAV-based Multimodal Object Detection with Condition Cues

Chen Chen, Kangcheng Bin, Ting Hu, Jiahao Qi, Xingyue Liu, Tianpeng Liu, Zhen Liu, Yongxiang Liu, Ping Zhong

机构 * National University of Defense Technology（国防科技大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV