视觉大模型 / VLM

AutoDrive-QA: A Multiple-Choice Benchmark for Vision-Language Evaluation in Urban Autonomous Driving

Boshra Khalili, Andrew W. Smyth

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

Comments Updated results with larger dataset experiments and expanded discussion

Ranked from Within: Ranking Large Multimodal Models Without Labels

Weijie Tu, Weijian Deng, Dylan Campbell, Yu Yao, Jiyang Zheng, Tom Gedeon, Tongliang Liu

机构 * Australian National University ； Sydney AI Centre, The University of Sydney ； Curtin University ； University of \'OBuda 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

Comments ICML 2025 Camera Ready

Interpret, prune and distill Donut : towards lightweight VLMs for VQA on document

Adnan Ben Mansour, Ayoub Karine, David Naccache

机构 * DIENS, École Normale Supérieure of Paris, Paris, France（巴黎高等师范学院DIENS） ； Université Paris Cité, LIPADE, F-75006 Paris, France（巴黎大学） ； Be-ys Research, Paris, France（Be-ys研究所） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted at Workshop on Machine Learning in Document Analysis and Recognition (ICDAR WML 2025), Wuhan, China

DescribeEarth: Describe Anything for Remote Sensing Images

Kaiyu Li, Zixuan Jiang, Xiangyong Cao, Jiayu Wang, Yuchen Xiao, Deyu Meng, Zhi Wang

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院） ； School of Computer Science and Technology and Ministry of Education Key Lab For Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院和教育部智能网络与网络安全重点实验室） ； School of Mathematics and Statistics and Ministry of Education Key Lab of Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学数学与统计学院和教育部智能网络与网络安全重点实验室） ； Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China（琶洲实验室（黄埔），广州，广东，中国） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；MLLM(abstract)；分类 cs.CV

ReLoop: "Seeing Twice and Thinking Backwards" via Closed-loop Training to Mitigate Hallucinations in Multimodal understanding

Jianjiang Yang, Yanshu li, Ziyan Huang

机构 * University of Bristol（布里斯托大学） ； Brown University（布朗大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments Accepted by conference EMNLP2025

Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

机构 * Laboratory of Intelligent Collaborative Computing University of Electronic Science and Technology of China（智能协同计算实验室 电子科技大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

Hanfu-Bench: A Multimodal Benchmark on Cross-Temporal Cultural Understanding and Transcreation

Li Zhou, Lutong Yu, Dongchu Xie, Shaohuan Cheng, Wenyan Li, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Chengdu Technological University（成都理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Cultural Analysis, Cultural Visual Understanding, Cultural Image Transcreation. Accepted by EMNLP 2025 (Oral)

MineAnyBuild: Benchmarking Spatial Planning for Open-world AI Agents

Ziming Wei, Bingqian Lin, Zijian Jiao, Yunshuang Nie, Liang Ma, Yuecheng Liu, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shanghai Jiao Tong University（上海交通大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025 Datasets and Benchmarks Track

OmniScene: Attention-Augmented Multimodal 4D Scene Understanding for Autonomous Driving

Pei Liu, Hongliang Lu, Haichao Liu, Haipeng Liu, Xin Liu, Ruoyu Yao, Shengbo Eben Li, Jun Ma

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Li Auto Inc. ； the School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

A Simple Data Augmentation Strategy for Text-in-Image Scientific VQA

Belal Shoer, Yova Kementchedjhieva

机构 * MBZUAI（穆罕默德·本·拉希德智能研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted at WiNLP, 2025

Towards Better Dental AI: A Multimodal Benchmark and Instruction Dataset for Panoramic X-ray Analysis

Jing Hao, Yuxuan Fan, Yanpeng Sun, Kaixin Guo, Lizhuo Lin, Jinrong Yang, Qi Yong H. Ai, Lun M. Wong, Hao Tang, Kuo Feng Hung

机构 * Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院） ； The Hong Kong University of Science and Technology (GZ)（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； CVTE ； Sun Yat-sen University（孙中山大学） ； Department of Diagnostic Radiology, The University of Hong Kong（香港大学放射科） ； Imaging and Interventional Radiology, Faculty of Medicine, The Chinese University of Hong Kong（香港中文大学医学院影像与介入放射科） ； School of Computer Science, Peking University（北京大学计算机科学系） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments 40 pages, 26 figures, 9 tables

Omnidirectional Spatial Modeling from Correlated Panoramas

Xinshen Zhang, Tongxi Fu, Xu Zheng

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Sci-Tech University（浙江科技学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV

Do VLMs Have Bad Eyes? Diagnosing Compositional Failures via Mechanistic Interpretability

Ashwath Vaithinathan Aravindan, Abha Jha, Mihir Kulkarni

机构 * University of Southern California（南加州大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments To be published in Explainable Computer Vision: Quo Vadis? workshop at ICCV'25

Architecting Clinical Collaboration: Multi-Agent Reasoning Systems for Multimodal Medical VQA

Karishma Thakrar, Shreyas Basavatia, Akshay Daftardar

机构 * Georgia Institute of Technology Atlanta, GA, USA（佐治亚理工学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

Benchmarking GPT-5 for Zero-Shot Multimodal Medical Reasoning in Radiology and Radiation Oncology

Mingzhe Hu, Zach Eidex, Shansong Wang, Mojtaba Safari, Qiang Li, Xiaofeng Yang

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV

Checkmate: interpretable and explainable RSVQA is the endgame

Lucrezia Tosato, Christel Tartini Chappuis, Syrielle Montariol, Flora Weissgerber, Sylvain Lobry, Devis Tuia

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV

Chart-CoCa: Self-Improving Chart Understanding of Vision LMs via Code-Driven Synthesis and Candidate-Conditioned Answering

Gongyao Jiang, Qiong Luo

机构 * The Hong Kong University of Science 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI

Comments Accepted to CIKM 2025

Med-GRIM: Enhanced Zero-Shot Medical VQA using prompt-embedded Multimodal Graph RAG

Rakesh Raj Madavan, Akshat Kaimal, Hashim Faisal, Chandrakala S

机构 * Shiv Nadar University Chennai（施瓦斯纳大学钦奈） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

How Can Objects Help Video-Language Understanding?

Zitian Tang, Shijie Wang, Junho Cho, Jaewook Yoo, Chen Sun

机构 * Brown University（布朗大学） ； Samsung Electronics（三星电子） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

E-VRAG: Enhancing Long Video Understanding with Resource-Efficient Retrieval Augmented Generation

Zeyu Xu, Junkang Zhang, Qiang Wang, Yi Liu

机构 * Zeyu Xu（作者） ； Junkang Zhang（作者） ； Qiang Wang（作者） ； Yi Liu（作者） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Multi-TW: Benchmarking Multimodal Models on Traditional Chinese Question Answering in Taiwan

Jui-Ming Yao, Bing-Cheng Xie, Sheng-Wei Peng, Hao-Yuan Chen, He-Rong Zheng, Bing-Jia Tan, Peter Shaojui Wang, Shun-Feng Su

机构 * National Taiwan University of Science and Technology（台湾科技大学） ； University of London（伦敦大学） ； National Taiwan University（台湾大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.AI

SplatTalk: 3D VQA with Gaussian Splatting

Anh Thai, Songyou Peng, Kyle Genova, Leonidas Guibas, Thomas Funkhouser

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted at ICCV 2025

Aligning Knowledge Graphs and Language Models for Factual Accuracy

Nur A Zarin Nishat, Andrea Coletta, Luigi Bellomarini, Kossi Amouzouvi, Jens Lehmann, Sahar Vahdati

机构 * TIB – Leibniz Information Centre for Science and Technology（莱比锡信息科学与技术研究中心） ； Amazon, Germany（亚马逊公司） 纠错

专题命中 视觉问答 ：LLaVA(abstract)；grounding(abstract)；分类 cs.AI

ClinKD: Cross-Modal Clinical Knowledge Distiller For Multi-Task Medical Images

Hongyu Ge, Longkun Hao, Zihui Xu, Zhenxin Lin, Bin Li, Shoujun Zhou, Hongjin Zhao, Yihang Liu

机构 * The Hong Kong University of Sciences and Technology, Guangzhou（香港科学与技术大学（广州）） ； Beihang University（北航大学） ； Shandong University（山东大学） ； Hubei University（湖北大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

MIRA: A Novel Framework for Fusing Modalities in Medical RAG

Jinhong Wang, Tajamul Ashraf, Zongyan Han, Jorma Laaksonen, Rao Mohammad Anwer

机构 * Department of Computer Vision, MBZUAI（视觉计算系，MBZUAI） ； Department of Computer Science, Aalto University（计算机科学系，阿alto大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments ACM Multimedia 2025

Evaluating Attribute Confusion in Fashion Text-to-Image Generation

Ziyue Liu, Federico Girella, Yiming Wang, Davide Talon

机构 * University of Verona（威尼斯大学） ； Polytechnic University of Turin（都灵理工大学） ； Fondazione Bruno Kessler（布鲁诺·科塞勒基金会） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted to ICIAP25. Project page: site [https://intelligolabs.github.io/L-VQAScore/\

Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage

Saehyung Lee, Seunghyun Yoon, Trung Bui, Jing Shi, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（电气与计算机工程系，首尔国立大学） ； Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学） ； Adobe Research（Adobe研究） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments ICML 2025

Temporal Chain of Thought: Long-Video Understanding by Thinking in Frames

Anurag Arnab, Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.LG

MDSAM:Memory-Driven Sparse Attention Matrix for LVLMs Hallucination Mitigation

Shuaiye Lu, Linjiang Zhou, Xiaochuan Shi

机构 * Wuhan University（武汉大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

HAIBU-ReMUD: Reasoning Multimodal Ultrasound Dataset and Model Bridging to General Specific Domains

Shijie Wang, Yilun Zhang, Zeyu Lai, Dexing Kong

机构 * School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI