多模态大模型

COCO-Urdu: A Large-Scale Urdu Image-Caption Dataset with Multimodal Quality Estimation

Umair Hassan

机构 * Independent Researcher（独立研究者） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments 17 pages, 3 figures, 3 tables. Dataset available at https://huggingface.co/datasets/umairhassan02/urdu-translated-coco-captions-subset. Scripts and notebooks to reproduce results available at https://github.com/umair-hassan2/COCO-Urdu

Multimodal Medical Disease Classification with LLaMA II

Christian Gapp, Elias Tappeiner, Martin Welk, Rainer Schubert

机构 * Institute of Biomedical Image Analysis UMIT TIROL（生物医学影像分析研究所 UMIT TIROL） ； UMIT TIROL – Private University for Health Sciences and Health Technology（UMIT TIROL – 健康科学与健康技术私立大学） ； VASCage – Centre on Clinical Stroke Research Innsbruck（VASCage – 神经科学临床研究中心 Innsbruck） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 9 pages, 6 figures, conference: AIRoV -- The First Austrian Symposium on AI, Robotics, and Vision 25.-27.3.2024, Innsbruck

GeoChain: Multimodal Chain-of-Thought for Geographic Reasoning

Sahiti Yerramilli, Nilay Pande, Rynaa Grover, Jayant Sravan Tamarapalli

机构 * Google（谷歌） ； Waymo 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Automated Evaluation of Gender Bias Across 13 Large Multimodal Models

Juan Manuel Contreras

机构 * Aymara 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Reasoning for Science: Technical Report and 1st Place Solution to the ICML 2025 SeePhys Challenge

Hao Liang, Ruitao Wu, Bohan Zeng, Junbo Niu, Wentao Zhang, Bin Dong

机构 * Peking University（北京大学） ； Beihang University（北航） ； Zhongguancun Academy（中关村学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

ElectroVizQA: How well do Multi-modal LLMs perform in Electronics Visual Question Answering?

Pragati Shuddhodhan Meshram, Swetha Karthikeyan, Bhavya Bhavya, Suma Bhat

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

OpenEgo: A Large-Scale Multimodal Egocentric Dataset for Dexterous Manipulation

Ahad Jawaid, Yu Xiang

机构 * Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系） ； Physical Automation, Inc.（Physical Automation 公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 4 pages, 1 figure

Multi-Modal Vision vs. Text-Based Parsing: Benchmarking LLM Strategies for Invoice Processing

David Berghaus, Armin Berger, Lars Hillebrand, Kostadin Cvejoski, Rafet Sifa

机构 * Fraunhofer IAIS（弗劳恩霍夫人工智能研究所） ； Lamarr Institute（拉马尔研究所） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL、cs.AI

Single Domain Generalization for Multimodal Cross-Cancer Prognosis via Dirac Rebalancer and Distribution Entanglement

Jia-Xuan Jiang, Jiashuai Liu, Hongtao Wu, Yifeng Wu, Zhong Wang, Qi Bi, Yefeng Zheng

机构 * Lanzhou University \& Westlake University Lanzhou China ； Xi'an Jiaotong University Xi'an China ； Westlake University \& Chinese University of Hong Kong University Hang Zhou, China ； Southern University of Science ； Lanzhou University Lanzhou China ； University of Amsterdam Amsterdam Netherland ； Westlake University Hangzhou China ； Lanzhou University \& Westlake University ； Xi'an Jiaotong University ； Westlake University \& Chinese University of Hong Kong University ； Lanzhou University ； University of Amsterdam ； Westlake University 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by ACMMM 25

PGAD: Prototype-Guided Adaptive Distillation for Multi-Modal Learning in AD Diagnosis

Yanfei Li, Teng Yin, Wenyi Shang, Jingyu Liu, Xi Wang, Kaiyang Zhao

机构 * Machine Intelligence Lab, College of Computer Science and Technology（机器智能实验室，计算机科学与技术学院） ； Sichuan University（四川大学） ； Department of Computer Science and Engineering（计算机科学与工程系） ； The Chinese University of Hong Kong（香港中文大学） ； Department of Neurosurgery（神经外科部门） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

M3HG: Multimodal, Multi-scale, and Multi-type Node Heterogeneous Graph for Emotion Cause Triplet Extraction in Conversations

Qiao Liang, Ying Shen, Tiantian Chen, Lin Zhang

机构 * Tongji University（同济大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 8 figures. Accepted to Findings of ACL 2025

Journal ref Findings of ACL 2025 (2025) 11416-11431

MuSeD: A Multimodal Spanish Dataset for Sexism Detection in Social Media Videos

Laura De Grazia, Pol Pastells, Mauro Vázquez Chas, Desmond Elliott, Danae Sánchez Villegas, Mireia Farrús, Mariona Taulé

机构 * University of Barcelona, CLiC-Language and Computing Center（巴塞罗那大学，CLiC语言与计算中心） ； University of Copenhagen, Department of Computer Science（哥本哈根大学，计算机科学系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments COLM 2025 camera-ready version: expanded Section 4.3 with an additional experiment using an extended definition-based prompt (including a definition of sexist content), and applied minor corrections

MME-SCI: A Comprehensive and Challenging Science Benchmark for Multimodal Large Language Models

Jiacheng Ruan, Dan Jiang, Xian Gao, Ting Liu, Yuzhuo Fu, Yangyang Kang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments 9 pages, 6 figures, work in progress

CORENet: Cross-Modal 4D Radar Denoising Network with LiDAR Supervision for Autonomous Driving

Fuyang Liu, Jilin Mei, Fangyuan Mao, Chen Min, Yan Xing, Yu Hu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Institute of Control Engineering（北京控制工程研究所） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

Comments 8 pages, 5 figures, Accepted to IROS 2025

Can Multi-modal (reasoning) LLMs detect document manipulation?

Zisheng Liang, Kidus Zewde, Rudra Pratap Singh, Disha Patil, Zexi Chen, Jiayu Xue, Yao Yao, Yifei Chen, Qinzhe Liu, Simiao Ren

机构 * Duke University（杜克大学） ； Indian Institute of Technology, Roorkee（印度理工学院，罗尔基） ； New York University（纽约大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Wisconsin Madison（威斯康星大学麦迪逊分校） ； Columnbia University（哥伦比亚大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

Comments arXiv admin note: text overlap with arXiv:2503.20084

MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks

Lei Zhang, Xin Zhou, Chaoyue He, Di Wang, Yi Wu, Hong Xu, Wei Liu, Chunyan Miao

机构 * Nanyang Technological University（南洋理工大学） ； University College London（伦敦大学学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

Comments Accepted at ACM MM 2025

Modeling Human Responses to Multimodal AI Content

Zhiqi Shen, Shaojing Fan, Danni Xu, Terence Sim, Mohan Kankanhalli

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

Serial Over Parallel: Learning Continual Unification for Multi-Modal Visual Object Tracking and Benchmarking

Zhangyong Tang, Tianyang Xu, Xuefeng Zhu, Chunyang Cheng, Tao Zhou, Xiaojun Wu, Josef Kittler

机构 * Jiangnan University（江南大学） ； Nanjing University of Science and Technology（南京理工大学） ； University of Surrey（萨里大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments ACMMM 2025

MM-Food-100K: A 100,000-Sample Multimodal Food Intelligence Dataset with Verifiable Provenance

Yi Dong, Yusuke Muraoka, Scott Shi, Yi Zhang

机构 * Codatta ； Kite AI ； Binance Wallet Community ； Codatta Community 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 10 pages, 5 figures, 6 tables. The dataset is available at https://huggingface.co/datasets/Codatta/MM-Food-100K

Capabilities of GPT-5 on Multimodal Medical Reasoning

Shansong Wang, Mingzhe Hu, Qiang Li, Mojtaba Safari, Xiaofeng Yang

机构 * Department of Radiation Oncology, Winship Cancer Institute, Emory University School of Medicine（放射肿瘤科、Winship癌症研究所、埃默里大学医学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Comments Corrected some typos

Can Large Multimodal Models Understand Agricultural Scenes? Benchmarking with AgroMind

Qingmei Li, Yang Zhang, Zurong Mai, Yuhang Chen, Shuohong Lou, Henglian Huang, Jiarui Zhang, Zhiwei Zhang, Yibin Wen, Weijia Li, Haohuan Fu, Jianxi Huang, Juepeng Zheng

机构 * Tsinghua University（清华大学） ； Sun Yat-Sen University（中山大学） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

WSI-LLaVA: A Multimodal Large Language Model for Whole Slide Image

Yuci Liang, Xinheng Lyu, Wenting Chen, Meidan Ding, Jipeng Zhang, Xiangjian He, Song Wu, Xiaohan Xing, Sen Yang, Xiyue Wang, Linlin Shen

机构 * Shenzhen University（深圳大学） ； University of Nottingham Ningbo China（诺丁汉大学宁波分校） ； City University of Hong Kong（香港城市大学） ； Stanford University（斯坦福大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态评测 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.CL

Comments ICCV 2025, 38 pages, 22 figures, 35 tables

LIRA: Inferring Segmentation in Large Multi-modal Models with Local Interleaved Region Assistance

Zhang Li, Biao Yang, Qiang Liu, Shuo Zhang, Zhiyin Ma, Liang Yin, Linger Deng, Yabo Sun, Yuliang Liu, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025

RoboTron-Drive: All-in-One Large Multimodal Model for Autonomous Driving

Zhijian Huang, Chengjian Feng, Feng Yan, Baihui Xiao, Zequn Jie, Yujie Zhong, Xiaodan Liang, Lin Ma

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Meituan（美团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

Comments ICCV 2025

NuPlanQA: A Large-Scale Dataset and Benchmark for Multi-View Driving Scene Understanding in Multi-Modal Large Language Models

Sung-Yeon Park, Can Cui, Yunsheng Ma, Ahmadreza Moradipari, Rohit Gupta, Kyungtae Han, Ziran Wang

机构 * Purdue University（普渡大学） ； Toyota InfoTech Labs（丰田信息技术实验室） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

ClinicalFMamba: Advancing Clinical Assessment using Mamba-based Multimodal Neuroimaging Fusion

Meng Zhou, Farzad Khalvati

机构 * TD Bank Group, Toronto, Canada（TD银行集团，加拿大） ； Department of Computer Science, University of Toronto, Toronto, Canada（多伦多大学计算机科学系，加拿大） ； Department of Medical Imaging, University of Toronto, Toronto, Canada（多伦多大学医学影像系，加拿大） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted at MICCAI MLMI 2025 Workshop

Listening to the Unspoken: Exploring "365" Aspects of Multimodal Interview Performance Assessment

Jia Li, Yang Wang, Wenhao Qian, Jialong Hu, Zhenzhen Hu, Richang Hong, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

Comments 8 pages, 4 figures, ACM MM 2025. github:https://github.com/MSA-LMC/365Aspects

Segment Any Architectural Facades (SAAF):An automatic segmentation model for building facades, walls and windows based on multimodal semantics guidance

Peilin Li, Jun Yin, Jing Zhong, Ran Luo, Pengyu Zeng, Miao Zhang

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Can Atomic Step Decomposition Enhance the Self-structured Reasoning of Multimodal Large Models?

Kun Xiang, Zhili Liu, Zihao Jiang, Yunshuang Nie, Kaixin Cai, Yiyang Yin, Runhui Huang, Haoxiang Fan, Hanhui Li, Weiran Huang, Yihan Zeng, Yu-Jie Yuan, Jianhua Han, Lanqing Hong, Hang Xu, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Shanghai Jiaotong University（上海交通大学） ； University of Hong Kong（香港大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments arXiv admin note: substantial text overlap with arXiv:2411.11930

Hydra-Bench: A Benchmark for Multi-Modal Leaf Wetness Sensing

Yimeng Liu, Maolin Gan, Yidong Ren, Gen Li, Jingkai Lin, Younsuk Dong, Zhichao Cao

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI