视觉大模型 / VLM

Evaluating Compositional Generalisation in VLMs and Diffusion Models

Beth Pearson, Bilal Boulbarss, Michael Wray, Martha Lewis

机构 * University of Bristol（布里斯托大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 11 pages including references, 6 figures. Accepted at IWCS 2025

11Plus-Bench: Demystifying Multimodal LLM Spatial Reasoning with Cognitive-Inspired Analysis

Chengzu Li, Wenshan Wu, Huanyu Zhang, Qingtao Li, Zeyu Gao, Yan Xia, José Hernández-Orallo, Ivan Vulić, Furu Wei

机构 * Microsoft Research（微软研究院） ； Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学） ； Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； Department of Oncology, University of Cambridge（癌症部门，剑桥大学） ； Leverhulme Centre for the Future of Intelligence, University of Cambridge（未来智能中心，剑桥大学） ； VRAIN, Universitat Politècnica de València（VRAIN，巴塞罗那理工大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments 9 pages, 4 figures (22 pages, 7 figures, 7 tables including references and appendices)

MEENA (PersianMMMU): Multimodal-Multilingual Educational Exams for N-level Assessment

Omid Ghahroodi, Arshia Hemmat, Marzia Nouri, Seyed Mohammad Hadi Hosseini, Doratossadat Dastgheib, Mohammad Vali Sanian, Alireza Sahebi, Reihaneh Zohrabi, Mohammad Hossein Rohban, Ehsaneddin Asgari, Mahdieh Soleymani Baghshah

机构 * Computer Engineering Department, Sharif University of Technology, Iran（谢尔盖大学计算机工程系，伊朗） ； Qatar Computing Research Institute, Qatar（卡塔尔计算研究所，卡塔尔） ； Computer Engineering Department, University of Isfahan, Iran（伊斯法罕大学计算机工程系，伊朗） ； Independent Researcher（独立研究者） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

Multi-Agent Visual-Language Reasoning for Comprehensive Highway Scene Understanding

Yunxiang Yang, Ningning Xu, Jidong J. Yang

机构 * Smart Mobility and Infrastructure Lab（智能移动与基础设施实验室） ； College of Engineering, University of Georgia（佐治亚大学工程学院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 16 pages, 16 figures, 8 tables

EGOILLUSION: Benchmarking Hallucinations in Egocentric Video Understanding

Ashish Seth, Utkarsh Tyagi, Ramaneswaran Selvakumar, Nishit Anand, Sonal Kumar, Sreyan Ghosh, Ramani Duraiswami, Chirag Agarwal, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

DSADF: Thinking Fast and Slow for Decision Making

Zhihao Dou, Dongfei Cui, Jun Yan, Weida Wang, Benteng Chen, Haoming Wang, Zeke Xie, Shufei Zhang

机构 * Pratt School of Engineering（普拉特工程学院） ； Duke University（杜克大学） ； School of Computer Science（计算机科学学院） ； Northeast Electric Power University（东北电力大学） ； Department of Information and Communication Engineering（信息与通信工程系） ； Tongji University（同济大学） ； School of Computer Science and Technology（计算机科学与技术学院） ； School of International Education（国际教育学院） ； Beijing University of Chemical Technology（北京化工大学） ； East China Normal University（华东师范大学） ； Information Hub（信息枢纽） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Chinese Academy of Science（中国科学院） 纠错

专题命中 视觉推理 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

DRAMA-X: A Fine-grained Intent Prediction and Risk Reasoning Benchmark For Driving

Mihir Godbole, Xiangbo Gao, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 5 figures, Preprint under review. Code available at: https://github.com/taco-group/DRAMA-X

Enhancing Spatial Reasoning through Visual and Textual Thinking

Xun Liang, Xin Guo, Zhongming Jin, Weihang Pan, Penghui Shang, Deng Cai, Binbin Lin, Jieping Ye

专题命中 视觉推理 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Animation Needs Attention: A Holistic Approach to Slides Animation Comprehension with Visual-Language Models

Yifan Jiang, Yibo Xue, Yukun Kang, Pin Zheng, Jian Peng, Feiran Wu, Changliang Xu

机构 * Hangzhou Institute for Advanced Study（杭州先进研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments Appendix at: https://github.com/PAMPAS-Lab/ANA-PPT-Anamation/blob/main/Appendix.pdf

Affordance-Guided Reinforcement Learning via Visual Prompting

Olivia Y. Lee, Annie Xie, Kuan Fang, Karl Pertsch, Chelsea Finn

机构 * Stanford University（斯坦福大学） ； Cornell University（康奈尔大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 6 figures. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2025

Reinforced Reasoning for Embodied Planning

Di Wu, Jiaxin Fan, Junzhe Zang, Guanbo Wang, Wei Yin, Wenhao Li, Bo Jin

机构 * Tongji University（同济大学） ； Tsinghua University（清华大学） ； Bank of Communications（中国银行） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI、cs.LG

Bongard in Wonderland: Visual Puzzles that Still Make AI Go Mad?

Antonia Wüst, Tim Woydt, Lukas Helff, Inga Ibs, Wolfgang Stammer, Devendra S. Dhami, Constantin A. Rothkopf, Kristian Kersting

机构 * AIML Lab, TU Darmstadt（AIML实验室，德累斯顿技术大学） ； Hessian Center for AI (hessian.ai)（黑森人工智能中心） ； Institute of Psychology, TU Darmstadt（心理学研究所，德累斯顿技术大学） ； Centre for Cognitive Science, TU Darmstadt（认知科学中心，德累斯顿技术大学） ； German Center for AI (DFKI)（德国人工智能中心） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI、cs.LG

MMReason: An Open-Ended Multi-Modal Multi-Step Reasoning Benchmark for MLLMs Toward AGI

Huanjin Yao, Jiaxing Huang, Yawen Qiu, Michael K. Chen, Wenzheng Liu, Wei Zhang, Wenjie Zeng, Xikun Zhang, Jingyi Zhang, Yuxin Song, Wenhao Wu, Dacheng Tao

机构 * Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； Baidu Inc.（百度公司） ； University of California（加州大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Technical report

Test-Time Reasoning Through Visual Human Preferences with VLMs and Soft Rewards

Alexander Gambashidze, Konstantin Sobolev, Andrey Kuznetsov, Ivan Oseledets

专题命中 视觉推理 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

Comments We are withdrawing this paper because the main contributions and methodology have significantly changed after further research and experimental updates. The current version no longer reflects our results and main contribution / topic

CAD-GPT: Synthesising CAD Construction Sequence with Spatial Reasoning-Enhanced Multimodal LLMs

Siyu Wang, Cailian Chen, Xinyi Le, Qimin Xu, Lei Xu, Yanzhou Zhang, Jie Yang

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted at AAAI 2025 (Vol. 39, No. 8), pages 7880-7888. DOI: 10.1609/aaai.v39i8.32849

Journal ref Proc. of the AAAI Conf. on Artificial Intelligence, 39(8):7880-7888, 2025

More Thinking, Less Seeing? Assessing Amplified Hallucination in Multimodal Reasoning Models

Chengzhi Liu, Zhongxing Xu, Qingyue Wei, Juncheng Wu, James Zou, Xin Eric Wang, Yuyin Zhou, Sheng Liu

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； Stanford University（斯坦福大学） ； UC Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

PeRL: Permutation-Enhanced Reinforcement Learning for Interleaved Vision-Language Reasoning

Yizhen Zhang, Yang Ding, Shuoshuo Zhang, Xinchen Zhang, Haoling Li, Zhong-zhi Li, Peijie Wang, Jie Wu, Lei Ji, Yelong Shen, Yujiu Yang, Yeyun Gong

机构 * Tsinghua University（清华大学） ； Microsoft（微软） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

CSVQA: A Chinese Multimodal Benchmark for Evaluating STEM Reasoning Capabilities of VLMs

Ai Jian, Weijie Qiu, Xiaokun Wang, Peiyu Wang, Yunzhuo Hao, Jiangbo Pei, Yichen Wei, Yi Peng, Xuchen Song

机构 * Skywork AI ； Kunlun Inc. 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments 36 pages

MTabVQA: Evaluating Multi-Tabular Reasoning of Language Models in Visual Space

Anshul Singh, Chris Biemann, Jan Strich

机构 * Department of Information Technology, Panjab University（信息技术系，旁遮普大学） ； Language Technology Group, Universität Hamburg（语言技术组，汉堡大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Test-Time-Scaling for Zero-Shot Diagnosis with Visual-Language Reasoning

Ji Young Byun, Young-Jin Park, Navid Azizan, Rama Chellappa

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

SafeAuto: Knowledge-Enhanced Safe Autonomous Driving with Multimodal Foundation Models

Jiawei Zhang, Xuan Yang, Taiqi Wang, Yu Yao, Aleksandr Petiushko, Bo Li

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

GThinker: Towards General Multimodal Reasoning via Cue-Guided Rethinking

Yufei Zhan, Ziheng Wu, Yousong Zhu, Rongkun Xue, Ruipu Luo, Zhenghao Chen, Can Zhang, Yifan Li, Zhentao He, Zheming Yang, Ming Tang, Minghui Qiu, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（基础模型研究中心，自动化研究所，中国科学院） ； ByteDance（字节跳动） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； Peng Cheng Laboratory（鹏城实验室） ； Wuhan AI Research（武汉人工智能研究所） ； Xi’an Jiaotong University（西安交通大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Tech report

Seeing is Not Reasoning: MVPBench for Graph-based Evaluation of Multi-path Visual Physical CoT

Zhuobai Dong, Junchao Yi, Ziyuan Zheng, Haochen Han, Xiangxi Zheng, Alex Jinpeng Wang, Fangming Liu, Linjie Li

机构 * Central South University（中南大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Peng Cheng Laboratory（鹏城实验室） ； Nanjing University（南京大学） ； Microsoft（微软公司） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

ChatVLA-2: Vision-Language-Action Model with Open-World Embodied Reasoning from Pretrained Knowledge

Zhongyi Zhou, Yichen Zhu, Junjie Wen, Chaomin Shen, Yi Xu

机构 * Midea Group（美的集团） ； East China Normal University（华东师范大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments Project page: https://chatvla-2.github.io/

Human-Aligned Bench: Fine-Grained Assessment of Reasoning Ability in MLLMs vs. Humans

Yansheng Qiu, Li Xiao, Zhaopan Xu, Pengfei Zhou, Zheng Wang, Kaipeng Zhang

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

ChestX-Reasoner: Advancing Radiology Foundation Models with Reasoning through Step-by-Step Verification

Ziqing Fan, Cheng Liang, Chaoyi Wu, Ya Zhang, Yanfeng Wang, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视觉推理 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs

Mohit Vaishnav, Tanel Tammet

机构 * Applied Artificial Intelligence Group, Tallinn University of Technology, Estonia（塔林技术大学应用人工智能组） ； Kimova AI, Tallinn, Estonia（Kimova AI） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI

TEMPURA: Temporal Event Masked Prediction and Understanding for Reasoning in Action

Jen-Hao Cheng, Vivian Wang, Huayu Wang, Huapeng Zhou, Yi-Hao Peng, Hou-I Liu, Hsiang-Wei Huang, Kuang-Ming Chen, Cheng-Yen Yang, Wenhao Chai, Yi-Ling Chen, Vibhav Vineet, Qin Cai, Jenq-Neng Hwang

机构 * University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； National Yang Ming Chiao Tung University ； Microsoft（微软公司） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Embodied-R: Collaborative Framework for Activating Embodied Spatial Reasoning in Foundation Models via Reinforcement Learning

Baining Zhao, Ziyou Wang, Jianjie Fang, Chen Gao, Fanhang Man, Jinqiang Cui, Xin Wang, Xinlei Chen, Yong Li, Wenwu Zhu

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 12 pages, 5 figures

Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning

Yian Li, Wentao Tian, Yang Jiao, Jingjing Chen, Tianwen Qian, Bin Zhu, Na Zhao, Yu-Gang Jiang

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI