视觉大模型 / VLM

Towards Scalable Spatial Intelligence via 2D-to-3D Data Lifting

Xingyu Miao, Haoran Duan, Quanhao Qian, Jiuniu Wang, Yang Long, Ling Shao, Deli Zhao, Ran Xu, Gongjie Zhang

机构 * Durham University（杜ham大学） ； DAMO Academy, Alibaba Group（达摩院，阿里集团） ； Tsinghua University（清华大学） ； UCAS-Terminus AI Lab（北航-terminate人工智能实验室） 纠错

专题命中 视觉推理 ：MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025 (Highlight)

Hyperbolic Deep Learning for Foundation Models: A Survey

Neil He, Hiren Madhu, Ngoc Bui, Menglin Yang, Rex Ying

机构 * Yale University（耶鲁大学） ； Hong Kong University of Science（香港科学大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments 11 Pages, SIGKDD 2025

Visual Adaptive Prompting for Compositional Zero-Shot Learning

Kyle Stein, Arash Mahyari, Guillermo Francia, Eman El-Sheikh

机构 * University of West Florida（乌斯托尔大学） ； Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人类与机器认知研究所） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.LG

EgoPrune: Efficient Token Pruning for Egomotion Video Reasoning in Embodied Agent

Jiaao Li, Kaiyuan Li, Chen Gao, Yong Li, Xinlei Chen

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Revisiting Reliability in the Reasoning-based Pose Estimation Benchmark

Junsu Kim, Naeun Kim, Jaeho Lee, Incheol Park, Dongyoon Han, Seungryul Baek

机构 * UNIST（全南大学） ； NVIDIA Foundation Models Lab（NVIDIA基础模型实验室） ； MODULABS ； NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments To be presented as a poster at MMFM 2025

Tackling the Abstraction and Reasoning Corpus with Vision Transformers: the Importance of 2D Representation, Positions, and Objects

Wenhao Li, Yudong Xu, Scott Sanner, Elias Boutros Khalil

机构 * University of Toronto（多伦多大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

Journal ref Transactions on Machine Learning Research (TMLR), 07/2025, https://openreview.net/forum?id=Al72Fp0rCg

EmbRACE-3K: Embodied Reasoning and Action in Complex Environments

Mingxian Lin, Wei Huang, Yitang Li, Chengjie Jiang, Kui Wu, Fangwei Zhong, Shengju Qian, Xin Wang, Xiaojuan Qi

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Project page: https://mxllc.github.io/EmbRACE-3K/

Relation-aware Hierarchical Prompt for Open-vocabulary Scene Graph Generation

Tao Liu, Rongjie Li, Chongyu Wang, Xuming He

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted by AAAI-25

VideoConviction: A Multimodal Benchmark for Human Conviction and Stock Market Recommendations

Michael Galarnyk, Veer Kejriwal, Agam Shah, Yash Bhardwaj, Nicholas Meyer, Anand Krishnan, Sudheer Chava

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

M$^3$-Med: A Benchmark for Multi-lingual, Multi-modal, and Multi-hop Reasoning in Medical Instructional Video Understanding

Shenxi Liu, Kan Li, Mingyang Zhao, Yuhang Tian, Bin Li, Shoujun Zhou, Hongliang Li, Fuxia Yang

机构 * Beijing Institute of Technology（北京理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Chinese Academy of Sciences（中国科学院） ； Air Force Hospital of Southern Theater Command of PLA（中国人民解放军南部战区空军医院） ； Shenzhen Traditional Chinese Medicine Hospital（深圳中医药医院） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 8 figures, 7 tables

SurgVisAgent: Multimodal Agentic Model for Versatile Surgical Visual Enhancement

Zeyu Lei, Hongyuan Yu, Jinlin Wu, Zhen Chen

机构 * University of Chinese Academy of Sciences Multimedia Department, Xiaomi Inc Chinese Academy of Sciences, Institute of Automation Hong Kong Institute of Science \& Innovation, Chinese Academy of Sciences 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Decoupled Seg Tokens Make Stronger Reasoning Video Segmenter and Grounder

Dang Jisheng, Wu Xudong, Wang Bimei, Lv Ning, Chen Jiayu, Jingwen Zhao, Yichu liu, Jizhao Liu, Juncheng Li, Teng Wang

机构 * Lanzhou University（兰州大学） ； National University of Singapore（新加坡国立大学） ； Sun Yat-sen University（中山大学） ； Jinan University（济南大学） ； South China University of Technology（华南理工大学） ； Zhejiang University（浙江大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

UP-VLA: A Unified Understanding and Prediction Model for Embodied Agent

Jianke Zhang, Yanjiang Guo, Yucheng Hu, Xiaoyu Chen, Xiang Zhu, Jianyu Chen

机构 * Institute for Interdisciplinary Information Sciences, Tsinghua University,Beijing, China（信息科学交叉研究所，清华大学，北京，中国） ； Shanghai Qi Zhi Institute, Shanghai, China（上海启智研究院，上海，中国） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to ICML2025

LLMs can be Dangerous Reasoners: Analyzing-based Jailbreak Attack on Large Language Models

Shi Lin, Hongming Yang, Rongchang Li, Xun Wang, Changting Lin, Wenpeng Xing, Meng Han

机构 * Zhejiang Gongshang University（浙江工商大学） ； Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI、cs.LG

DAVID-XR1: Detecting AI-Generated Videos with Explainable Reasoning

Yifeng Gao, Yifan Ding, Hongyu Su, Juncheng Li, Yunhan Zhao, Lin Luo, Zixing Chen, Li Wang, Xin Wang, Yixu Wang, Xingjun Ma, Yu-Gang Jiang

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks

Sanjoy Chowdhury, Mohamed Elmoghany, Yohan Abeysinghe, Junjie Fei, Sayan Nag, Salman Khan, Mohamed Elhoseiny, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学College Park分校） ； KAUST（卡尔斯兰大学） ； MBZUAI（马克斯·普朗克人工智能研究所） ； University of Toronto（多伦多大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

Comments Audio-visual learning, Audio-Visual RAG, Multi-Video Linkage

AIR: Zero-shot Generative Model Adaptation with Iterative Refinement

Guimeng Liu, Milad Abdollahzadeh, Ngai-Man Cheung

机构 * Singapore University of Technology and Design (SUTD)（新加坡科技设计大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Q-Ponder: A Unified Training Pipeline for Reasoning-based Visual Quality Assessment

Zhuoxuan Cai, Jian Zhang, Xinbin Yuan, Peng-Tao Jiang, Wenxiang Chen, Bowen Tang, Lujian Yao, Qiyuan Wang, Jinwen Chen, Bo Li

机构 * Fudan University（复旦大学） ； vivo Mobile Communication Co., Ltd（vivo移动通信有限公司） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Visually Descriptive Language Model for Vector Graphics Reasoning

Zhenhailong Wang, Joy Hsu, Xingyao Wang, Kuan-Hao Huang, Manling Li, Jiajun Wu, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） ； Texas A&M University（德克萨斯A&M大学） ； Northwestern University（西北大学） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

Comments Project page: https://mikewangwzhl.github.io/VDLM/

Journal ref TMLR 2025

ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs

Xiyao Wang, Zhengyuan Yang, Chao Feng, Yongyuan Liang, Yuhang Zhou, Xiaoyu Liu, Ziyi Zang, Ming Li, Chung-Ching Lin, Kevin Lin, Linjie Li, Furong Huang, Lijuan Wang

机构 * University of Maryland College Park（马里兰大学学院市分校） ； Microsoft（微软） ； University of Michigan（密歇根大学） ； Cardiff University（卡迪夫大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.LG

EgoNormia: Benchmarking Physical Social Norm Understanding

MohammadHossein Rezaei, Yicheng Fu, Phil Cuvin, Caleb Ziems, Yanzhe Zhang, Hao Zhu, Diyi Yang

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments V4, fixes to title and formatting

Decoupling the Image Perception and Multimodal Reasoning for Reasoning Segmentation with Digital Twin Representations

Yizhen Li, Dell Zhang, Xuelong Li, Yiqing Shen

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments This work was submitted without the consent of all co-authors. We request withdrawal until all parties agree

Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding

Emmanouil Zaranis, António Farinhas, Saul Santos, Beatriz Canaverde, Miguel Moura Ramos, Aditya K Surikuchi, André Viveiros, Baohao Liao, Elena Bueno-Benito, Nithin Sivakumaran, Pavlo Vasylenko, Shoubin Yu, Sonal Sannigrahi, Wafaa Mohammed, Ben Peters, Danae Sánchez Villegas, Elias Stengel-Eskin, Giuseppe Attanasio, Jaehong Yoon, Stella Frank, Alessandro Suglia, Chrysoula Zerva, Desmond Elliott, Mariella Dimiccoli, Mohit Bansal, Oswald Lanz, Raffaella Bernardi, Raquel Fernández, Sandro Pezzelle, Vlad Niculae, André F. T. Martins

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments Under Review

Object Navigation with Structure-Semantic Reasoning-Based Multi-level Map and Multimodal Decision-Making LLM

Chongshang Yan, Jiaxuan He, Delun Li, Yi Yang, Wenjie Song

机构 * School of Automation（自动化学院） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 视觉推理 ：MLLM(abstract)；分类 cs.CV、cs.AI

Comments 16 pages, 11 figures

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning

Yiqing Liang, Jielin Qiu, Wenhao Ding, Zuxin Liu, James Tompkin, Mengdi Xu, Mengzhou Xia, Zhengzhong Tu, Laixi Shi, Jiacheng Zhu

专题命中 视觉推理 ：MLLM(abstract)；分类 cs.CV、cs.LG

Comments Project Webpage: https://modomodo-rl.github.io/

MM-PRM: Enhancing Multimodal Mathematical Reasoning with Scalable Step-Level Supervision

Lingxiao Du, Fanqing Meng, Zongkai Liu, Zhixiang Zhou, Ping Luo, Qiaosheng Zhang, Wenqi Shao

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

VCD: A Dataset for Visual Commonsense Discovery in Images

Xiangqing Shen, Fanfan Wang, Siwei Wu, Rui Xia

机构 * School of Computer Science and Engineering（计算机科学与工程学院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

MM-IQ: Benchmarking Human-Like Abstraction and Reasoning in Multimodal Models

Huanqia Cai, Yijun Yang, Winston Hu

机构 * Tencent Hunyuan Team（腾讯文言团队） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

StarVector: Generating Scalable Vector Graphics Code from Images and Text

Juan A. Rodriguez, Abhay Puri, Shubham Agarwal, Issam H. Laradji, Pau Rodriguez, Sai Rajeswar, David Vazquez, Christopher Pal, Marco Pedersoli

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Qwen Look Again: Guiding Vision-Language Reasoning Models to Re-attention Visual Information

Xu Chu, Xinrong Chen, Guanyu Wang, Zhijie Tan, Kui Huang, Wenyu Lv, Tong Mo, Weiping Li

机构 * Peking University（北京大学） ； Baidu Inc.（百度公司） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.LG