视觉大模型 / VLM

OpenCUA: Open Foundations for Computer-Use Agents

Xinyuan Wang, Bowen Wang, Dunjie Lu, Junlin Yang, Tianbao Xie, Junli Wang, Jiaqi Deng, Xiaole Guo, Yiheng Xu, Chen Henry Wu, Zhennan Shen, Zhuokai Li, Ryan Li, Xiaochuan Li, Junda Chen, Boyuan Zheng, Peihang Li, Fangyu Lei, Ruisheng Cao, Yeqiao Fu, Dongchan Shin, Martin Shin, Jiarui Hu, Yuyan Wang, Jixuan Chen, Yuxiao Ye, Danyang Zhang, Dikang Du, Hao Hu, Huarong Chen, Zaida Zhou, Haotian Yao, Ziwei Chen, Qizheng Gu, Yipu Wang, Heng Wang, Diyi Yang, Victor Zhong, Flood Sung, Y. Charles, Zhilin Yang, Tao Yu

机构 * XLANG Lab, The University of Hong Kong（香港大学XLANG实验室） ； Moonshot AI ； Stanford University（斯坦福大学） ； University of Waterloo（滑铁卢大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Updata author list, modify first page format, correct typos

Automated Structured Radiology Report Generation with Rich Clinical Context

Seongjae Kang, Dong Bok Lee, Juho Jung, Dongseop Kim, Won Hwa Kim, Sunghoon Joo

机构 * VUNO Inc.（VUNO公司） ； KAIST（韩国科学技术院） ； POSTECH（POSTECH大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

Comments 34 pages, 30 figures, preprint

Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces

John Gkountouras, Ivan Titov

机构 * ILLC, University of Amsterdam（伊拉斯谟范例学院、阿姆斯特丹大学） ； ILCC, University of Edinburgh（爱丁堡大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.LG

HumanVideo-MME: Benchmarking MLLMs for Human-Centric Video Understanding

Yuxuan Cai, Jiangning Zhang, Zhenye Gan, Qingdong He, Xiaobin Hu, Junwei Zhu, Yabiao Wang, Chengjie Wang, Zhucun Xue, Chaoyou Fu, Xinwei He, Xiang Bai

机构 * Fantasyele 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Under review

RCI: A Score for Evaluating Global and Local Reasoning in Multimodal Benchmarks

Amit Agarwal, Hitesh Laxmichand Patel, Srikant Panda, Hansa Meghwani, Jyotika Singh, Karan Dua, Paul Li, Tao Sheng, Sujith Ravi, Dan Roth

机构 * Oracle AI 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted in EMNLP 2025

SPARK: Synergistic Policy And Reward Co-Evolving Framework

Ziyu Liu, Yuhang Zang, Shengyuan Ding, Yuhang Cao, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments Project:https://github.com/InternLM/Spark

Lightweight Structured Multimodal Reasoning for Clinical Scene Understanding in Robotics

Saurav Jha, Stefan K. Ehrlich

机构 * SETLabs Resarch GmbH（SETL实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 11 pages, 3 figures

Unlocking the Essence of Beauty: Advanced Aesthetic Reasoning with Relative-Absolute Policy Optimization

Boyang Liu, Yifan Hu, Senjie Jin, Shihan Dou, Gonglei Shi, Jie Shao, Tao Gui, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Bytedance（字节跳动） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Intentional Gesture: Deliver Your Intentions with Gestures for Speech

Pinxin Liu, Haiyang Liu, Luchuan Song, Jason J. Corso, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； University of Tokyo（东京大学） ； University of Michigan（密歇根大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

PEEK: Guiding and Minimal Image Representations for Zero-Shot Generalization of Robot Manipulation Policies

Jesse Zhang, Marius Memmel, Kevin Kim, Dieter Fox, Jesse Thomason, Fabio Ramos, Erdem Bıyık, Abhishek Gupta, Anqi Li

机构 * University of Washington（华盛顿大学） ； NVIDIA（NVIDIA公司） ； University of Southern California（南加州大学） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments 11 pages

Text-Scene: A Scene-to-Language Parsing Framework for 3D Scene Understanding

Haoyuan Li, Rui Liu, Hehe Fan, Yi Yang

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments 19 pages, 12 figures, 6 tables

SmolRGPT: Efficient Spatial Reasoning for Warehouse Environments with 600M Parameters

Abdarahmane Traore, Éric Hervet, Andy Couturier

机构 * Embia, Computer Science Department, Faculty of Science, Université de Moncton（Embia计算机科学系，科学学院，蒙特龙大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 9 pages, 3 figures, IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)

Spatial Understanding from Videos: Structured Prompts Meet Simulation Data

Haoyu Zhang, Meng Liu, Zaijing Li, Haokun Wen, Weili Guan, Yaowei Wang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Pengcheng Laboratory（鹏城实验室） ； Shandong Jianzhu University（山东建筑大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted by NeurIPS 2025 as a Spotlight

Multimodal Mathematical Reasoning Embedded in Aerial Vehicle Imagery: Benchmarking, Analysis, and Exploration

Yue Zhou, Litong Feng, Mengcheng Lan, Xue Yang, Qingyun Li, Yiping Ke, Xue Jiang, Wayne Zhang

机构 * Department of Physics, J.K. Institute of Science（J.K.科学研究院物理系） ； World Scientific University（世界科学大学） ； University of Intelligent Studies（智能研究大学） ； East China Normal University（华东师范大学） ； Nanyang Technological University（南洋理工大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 17 pages, 16 figures

MITS: A Large-Scale Multimodal Benchmark Dataset for Intelligent Traffic Surveillance

Kaikai Zhao, Zhaoxiang Liu, Peng Wang, Xin Wang, Zhicheng Ma, Yajun Xu, Wenjing Zhang, Yibing Nan, Kai Wang, Shiguo Lian

机构 * organization= Data Science \& Artificial Intelligence Research Institute, China Unicom , city= Beijing , postcode= 100033 , country= PR China 纠错

专题命中 视觉推理 ：LLaVA(abstract)；分类 cs.CV、cs.AI

Comments accepted by Image and Vision Computing

Robix: A Unified Model for Robot Interaction, Reasoning and Planning

Huang Fang, Mengxi Zhang, Heng Dong, Wei Li, Zixuan Wang, Qifeng Zhang, Xueyun Tian, Yucheng Hu, Hang Li

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

Comments Tech report. Project page: https://robix-seed.github.io/robix/

ArtRAG: Retrieval-Augmented Generation with Structured Context for Visual Art Understanding

Shuai Wang, Ivona Najdenkoska, Hongyi Zhu, Stevan Rudinac, Monika Kackovic, Nachoem Wijnberg, Marcel Worring

机构 * University of Amsterdam（阿姆斯特丹大学） ； College of Business（商学院） ； Economics, University of Johannesburg（经济系，约翰内斯堡大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Lattice Annotated Temporal (LAT) Logic for Non-Markovian Reasoning

Kaustuv Mukherji, Jaikrishna Manojkumar Patil, Dyuman Aditya, Paulo Shakarian, Devendra Parkar, Lahari Pokala, Clark Dorman, Gerardo I. Simari

机构 * Syracuse University Syracuse New York USA ； Arizona State University Tempe Arizona USA ； Scientific Systems Company, Inc. Woburn Massachusetts USA ； Department of Computer Science ； Engineering, Universidad Nacional del Sur (UNS) \& Institute for Computer Science ； Syracuse University ； Arizona State University ； Scientific Systems Company, Inc. 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI、cs.LG

VideoRewardBench: Comprehensive Evaluation of Multimodal Reward Models for Video Understanding

Zhihong Zhang, Xiaojian Huang, Jin Xu, Zhuodong Luo, Xinzhi Wang, Jiansheng Wei, Xuejin Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉推理 ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments https://videorewardbench.github.io/

Embodied Spatial Intelligence: from Implicit Scene Modeling to Spatial Reasoning

Jiading Fang

机构 * Toyota Technological Institute at Chicago (TTIC)（丰田技术研究所（芝加哥）） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

PyVision: Agentic Vision with Dynamic Tooling

Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

Comments 26 Pages, 10 Figures, Technical report, Fix Typo

M$^2$IV: Towards Efficient and Fine-grained Multimodal In-Context Learning via Representation Engineering

Yanshu Li, Yi Cao, Hongyang He, Qisen Cheng, Xiang Fu, Xi Xiao, Tianyang Wang, Ruixiang Tang

机构 * Brown University（布朗大学） ； University of Warwick（沃里克大学） ； Samsung US（三星美国分公司） ； Boston University（波士顿大学） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Rutgers University（罗格斯大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments COLM 2025, 30 pages, 10 figures, 16 tables

IAD-R1: Reinforcing Consistent Reasoning in Industrial Anomaly Detection

Yanhui Li, Yunkang Cao, Chengliang Liu, Yuan Xiong, Xinghui Dong, Chao Huang

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

CrossWordBench: Evaluating the Reasoning Capabilities of LLMs and LVLMs with Controllable Puzzle Generation

Jixuan Leng, Chengsong Huang, Langlin Huang, Bill Yuchen Lin, William W. Cohen, Haohan Wang, Jiaxin Huang

机构 * CMU（卡内基梅隆大学） ； WUSTL（华盛顿大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

FunGraph: Functionality Aware 3D Scene Graphs for Language-Prompted Scene Interaction

Dennis Rotondi, Fabio Scaparro, Hermann Blum, Kai O. Arras

机构 * Socially Intelligent Robotics Lab, Institute for Artificial Intelligence, University of Stuttgart（社会智能机器人实验室，人工智能研究所，斯图加特大学） ； Robot Perception and Learning Lab, LAMARR Institute for Machine Learning and Artificial Intelligence, University of Bonn（机器人感知与学习实验室，LAMARR机器学习与人工智能研究所，波恩大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

Comments Paper accepted for IROS 2025

Multimodal Video Emotion Recognition with Reliable Reasoning Priors

Zhepeng Wang, Yingjian Zhu, Guanghao Dong, Hongzhu Yi, Feng Chen, Xinming Wang, Jun Xie

机构 * Lenovo Research（联想研究院） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Macau University of Science and Technology（澳门科学理工学院） ； School of Computer Science and Technology, UCAS（中国科学院大学计算机科学与技术学院） 纠错

专题命中 视觉推理 ：MLLM(abstract)；分类 cs.CV、cs.AI

Comments preprint

A Comparative Study of Specialized LLMs as Dense Retrievers

Hengran Zhang, Keping Bi, Jiafeng Guo

机构 * Key Laboratory of Network Data Science and Technology（网络数据科学与技术重点实验室） ； Institute of Computing Technology（计算技术研究所） ； Chinese Academy of Sciences（中国科学院） ； State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； University of Chinese Academy of Science（中国科学院大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by CCIR25 and published by Springer LNCS or LNAI

DINO-R1: Incentivizing Reasoning Capability in Vision Foundation Models

Chenbin Pan, Wenbin He, Zhengzhong Tu, Liu Ren

机构 * Bosch Research North America（博世北美研究部） ； Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心） ； Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.CV、cs.AI

Can Atomic Step Decomposition Enhance the Self-structured Reasoning of Multimodal Large Models?

Kun Xiang, Zhili Liu, Zihao Jiang, Yunshuang Nie, Kaixin Cai, Yiyang Yin, Runhui Huang, Haoxiang Fan, Hanhui Li, Weiran Huang, Yihan Zeng, Yu-Jie Yuan, Jianhua Han, Lanqing Hong, Hang Xu, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Shanghai Jiaotong University（上海交通大学） ； University of Hong Kong（香港大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments arXiv admin note: substantial text overlap with arXiv:2411.11930

Free-form language-based robotic reasoning and grasping

Runyu Jiao, Alice Fasoli, Francesco Giuliari, Matteo Bortolon, Sergio Povoli, Guofeng Mei, Yiming Wang, Fabio Poiesi

机构 * Fondazione Bruno Kessler（布鲁诺·科塞拉基金会） ； University of Trento（特伦托大学） ； Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to IROS 2025. Project website: https://tev-fbk.github.io/FreeGrasp/