视觉大模型 / VLM

Seeing before Observable: Potential Risk Reasoning in Autonomous Driving via Vision Language Models

在可观察之前看见：通过视觉语言模型在自动驾驶中的潜在风险推理

Jiaxin Liu, Xiangyu Yan, Liang Peng, Lei Yang, Lingjun Zhang, Yuechen Luo, Yueming Tao, Ashton Yu Xuan Tan, Mu Li, Lei Zhang, Ziqi Zhan, Sai Guo, Hong Wang, Jun Li

机构 * School of Vehicle and Mobility, Tsinghua University（车辆与移动系统学院，清华大学） 纠错

专题命中 视觉推理 ：vision language model(title)

AI总结 本文提出PotentialRiskQA数据集和PR-Reasoner框架，通过视觉语言模型提升自动驾驶中潜在风险的前瞻性推理能力。

Preference-Based Long-Horizon Robotic Stacking with Multimodal Large Language Models

Wanming Yu, Adrian Röfer, Abhinav Valada, Sethu Vijayakumar

机构 * School of Informatics, University of Edinburgh（信息学院，爱丁堡大学） ； University of Freiburg（弗赖堡大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

MCP: A Control-Theoretic Orchestration Framework for Synergistic Efficiency and Interpretability in Multimodal Large Language Models

Luyan Zhang

机构 * Northeastern University（东北大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

Comments 13 pages, 6 figures, 2 tables

VRAgent-R1: Boosting Video Recommendation with MLLM-based Agents via Reinforcement Learning

Siran Chen, Boyu Chen, Chenyun Yu, Yuxiao Luo, Ouyang Yi, Lei Cheng, Chengxiang Zhuo, Zang Li, Yali Wang

专题命中 视觉推理 ：MLLM(title)

Divide and Conquer: A Hybrid Strategy Defeats Multimodal Large Language Models

Yanxu Mao, Peipei Liu, Tiehan Cui, Zhaoteng Yan, Congying Liu, Datao You

机构 * School of Software, Henan University（河南大学软件学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title)

SituatedThinker: Grounding LLM Reasoning with Real-World through Situated Thinking

Junnan Liu, Linhao Luo, Thuy-Trang Vu, Gholamreza Haffari

专题命中 视觉推理 ：grounding(title)

Comments Preprint

UniAff: A Unified Representation of Affordances for Tool Usage and Articulation with Vision-Language Models

Qiaojun Yu, Siyuan Huang, Xibin Yuan, Zhengkai Jiang, Ce Hao, Xin Li, Haonan Chang, Junbo Wang, Liu Liu, Hongsheng Li, Peng Gao, Cewu Lu

专题命中 视觉推理 ：vision-language model(title)

Comments ICRA 2025

mPLUG-PaperOwl: Scientific Diagram Analysis with the Multimodal Large Language Model

Anwen Hu, Yaya Shi, Haiyang Xu, Jiabo Ye, Qinghao Ye, Ming Yan, Chenliang Li, Qi Qian, Ji Zhang, Fei Huang

专题命中 视觉推理 ：multimodal large language model(title)

Comments 20 pages, 12 figures

Grounding Object Relations in Language-Conditioned Robotic Manipulation with Semantic-Spatial Reasoning

Qian Luo, Yunfei Li, Yi Wu

专题命中 视觉推理 ：grounding(title)

Comments AAAI 2023 RL Ready for Production Workshop

Visual Reasoning Strategies for Effect Size Judgments and Decisions

Alex Kale, Matthew Kay, Jessica Hullman

专题命中 视觉推理 ：visual reasoning(title)

Comments Accepted for publication at IEEE VIS 2020

UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval

UMER：通过感知对的判别推理统一嵌入与排序以实现通用多模态检索

Libiao Chen, Xiyang Liu, Yanheng Wei, Tao Wang, Zhenyu Tang

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对通用多模态检索的需求，提出UMER框架，通过感知对的判别推理联合学习对比式嵌入与判别式排序，在MMEB-V2基准上实现最优性能且支持可调整预算的推理。

Solving Is Not Drawing: A Benchmark for Diagrammatic Reasoning in Olympiad Geometry

求解不等于绘图：奥林匹克几何图解推理基准

Hsien Xin Peng, Anthony Kim, Alvin Li, Calvin Supasanya, Shivank Garg, Kevin Zhu

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对基础模型图解推理能力评估缺口，构建含954道奥林匹克几何题的基准，发现模型求解与绘图能力存在显著差距，绘图平均编译成功率仅36.14%。

Comments ICML 2026, AI4MATH Workshop

REChart: Reasoning-Efficient Chart Editing with Large Reasoning Models

REChart：基于大型推理模型的推理高效图表编辑方法

Yuanbang Liu, Chenxi Ruan, Yihan Hou, Qiong Luo, Wei Zeng

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 REChart是两阶段训练框架，通过过程级监督提升图表编辑的保真度与推理效率，在两个基准上实现同规模开源模型最优性能，推理token用量降低79.0%。

Douyin Multimodal Embedding Model Technical Report

抖音多模态嵌入模型技术报告

Haonan Chen, Chu Li, Zhicheng Wang, Yuanwei Liu, Yuanjiang Wang, Shaohua Jiang, Zhicheng Dou

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有多模态嵌入模型难以兼顾效率与细粒度区分的问题，提出分两阶段训练的DME模型，在MMEB-v2数据集及抖音生产场景中均取得优异效果。

Comments Technical Report

Lost in Adaptation: Layer-Selective Recovery of Temporal Reasoning in Video-Language Models

层次间推理：通过层选择性融合恢复视频-语言模型中的时间推理

Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

机构 * National University of Singapore（新加坡国立大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MERIT框架，通过层选择性融合提升视频-语言模型的时间推理能力，同时保持时间感知能力，优于全模型融合和随机层选择。

Generalizable Operating Room Expert with Multimodal Enhancement

具备多模态增强能力的可泛化手术室专家

Peiqi He, Zhenhao Zhang, Yixiang Zhang, Jiaxin Liu, Xiongjun Zhao, Shaoliang Peng

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对手术室空间建模的局限，提出仅用RGB图像推理的多模态大语言模型OR-Expert，通过内部推导空间线索实现三维推理，在手术室基准上达SOTA且泛化性良好。

Comments Accepted by ACM Multimedia 2026

VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies

VAKRA：评估工具使用策略下跨API与检索的多跳推理能力

Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor

机构 * IBM（国际商业机器公司（IBM）） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究推出VAKRA基准评估工具使用策略下跨API与检索的多跳推理，发现现有最优模型在相关任务上性能随推理深度显著下降，失败集中于语言介导推理环节。

Order Matters: LVLMs as Judges for Temporal Reasoning in Image Sequences

顺序很重要：LVLMs作为图像序列时间推理的评判者

Martina Ianaro, Guilherme Fernandes, Maurizio Gabbrielli, Joao Magalhaes

机构 * University of Bologna（博洛尼亚大学） ； NOVA School of Science and Technology（NOVA科技学院） ； NOVA Laboratory for Computer Science and Informatics（NOVA计算机科学与信息实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本研究发现大视觉语言模型（LVLMs）作为多模态评判者存在时间顺序判别缺陷，受首因、近因等结构性偏差影响，呼吁构建时间感知的视觉序列评估范式。

Comments 34 pages, camera-ready

Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models

听、看与跟踪：面向全模态大模型的时空视听声音事件推理

Zhi Zeng, Cheng Zhang, Zesheng Yang, Rendong Pi, Jiaying Wu, Di Zhang, Zihan Ma, Guodong Li, Zhou Yang, Yu Xiang, Yifei Zheng, Minnan Luo

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 针对现有模型缺失的时空视听推理能力，构建ST-OmniQA基准，提出ST-Omni-R1模型，在该基准上平均语义准确率达77.83%，且空间运动表示可跨基准迁移。

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。

ExpertVerse: A General-Purpose Benchmark for Expert-Level Reasoning in Knowledge-Intensive Visual Synthesis

ExpertVerse：知识密集型视觉合成中专家级推理的通用基准

Yuan Wang, Yongchao Du, Mengting Chen, Jinsong Lan, Jiaxuan Luo, Xuetao Feng, Xiaoyong Zhu

专题命中 视觉推理 ：VLM(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 研究针对多模态生成模型在知识密集型生成的不足，开发ExpertVerse基准，涵盖多种认知能力和专家学科，生成相关数据集，训练KnowThinker并提出BPPO优化方法，揭示模型推理缺陷，强调知识密集型基准对下一代视觉生成的重要性。

Comments 14 pages, 6 figures

Affordance-Guided Diffusion Prior for 3D Hand Reconstruction

用于3D手部重建的可负担性引导扩散先验

Naru Suzuki, Takehiko Ohkawa, Tatsuro Banno, Jihyun Lee, Ryosuke Furuta, Yoichi Sato

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 研究在手部大量被遮挡时3D手部姿势重建问题；核心方法是用基于扩散的生成模型，由视觉语言模型推断的可负担性描述引导；主要贡献是显著提升手部姿势估计准确性，优于现有方法。

Comments Accepted to ECCV 2026. Project page: https://narusuzuki.github.io/projects/26-affhandgen/

LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?

LEGO-Puzzles：多模态大语言模型（MLLMs）在多步骤空间推理上的表现如何？

Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tongji University（同济大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究推出多步骤空间推理基准LEGO-Puzzles，评估29个顶尖MLLMs，发现其在基础空间推理、多步骤规划任务上远逊于人类，凸显其空间推理能力存在关键局限。

MI-CXR: A Benchmark for Longitudinal Reasoning over Multi-Interval Chest X-rays

MI-CXR：多区间胸部X光片纵向推理基准

Sunghwan Steve Cho, Yunseok Han, Jaeyoung Do

机构 * AIDAS Laboratory（AIDAS实验室） ； Seoul National University（首尔国立大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 MI-CXR基准旨在评估多visit胸部X光片的纵向推理能力，通过五选一问题和三个互补任务家族，揭示现有视觉语言模型在时间维度上的局限性。

Comments 33 pages

v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning

v1: 为多模态 grounded 推理学习指向视觉标记

Jiwan Chung, Junhyeok Kim, Siyeol Kim, Jaeyoung Lee, Min Soo Kim, Youngjae Yu

机构 * Yonsei University（延世大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 v1通过点对复制机制实现轻量级的主动视觉引用，提升多模态推理中视觉证据与推理空间的对齐性，优于现有基线模型。

Journal ref COLM 2026

TokenSwap: Benchmarking and Reducing the Modality Gap in Multimodal LLMs

TokenSwap：多模态大语言模型中模态差距的基准测试与缩减

Andong Hua, Colton Bishop, Igor Mordatch, Arian Hosseini, Jindong Gu, Aleksandra Faust, Rebecca Roelofs, Yao Qin

机构 * University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出TokenSwap方法构建基准TokenSwap-Bench，发现42个多模态大语言模型普遍存在模态差距，推理模型差距更小，训练中引入TokenSwap可有效缓解该差距。

CinemaTraj: Composing Atomic Camera Trajectories for 3D Scenes with LLM Agents

CinemaTraj：用LLM智能体为3D场景合成原子相机轨迹

Qianru Li, Xuyang Chen, Erkin Türköz, Lu Liu, Xuqin Wang, Liqiu Meng, Tao Wu, Yanfeng Zhang

机构 * Technical University of Munich（慕尼黑工业大学） ； Huawei Dresden Research Center（华为德累斯顿研究中心） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.CV

AI总结 CinemaTraj是将LLM智能体与3D场景图结合的框架，可从自然语言生成带旁白的3D场景相机轨迹，在真实环境中优于现有方法。

Comments 17 pages, including 8-page main paper, references, and supplementary material; project page: https://cinematraj.github.io/

Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model

Mage-VL：一种高效的编解码器原生流式多模态基础模型

Senqiao Yang, Kaichen Zhang, Zhaoyang Jia, Jinghao Guo, Yifei Shen, Xinjie Zhang, Xiaoyi Zhang, Haoqing Wang, Xiao Li, Peng Zhang, Xiang An, Yin Xie, Zhening Liu, Xun Guo, Jiahao Li, Shicheng Zheng, Jinglu Wang, Zongyu Guo, Wenxuan Xie, Zihan Zheng, Yuxuan Luo, Bin Li, Yan Lu

机构 * Microsoft（微软） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 研究针对标准视觉语言模型在流式感知任务的不足，提出Mage-VL。核心方法是用Mage-ViT选择性编码关键区域，减少视觉令牌消耗。该模型在多模态理解和交互上表现出色，推理速度加快，还有多项关键实证发现。

Comments Project page: https://microsoft.github.io/Mage

RoboPIN: Grounded Embodied Reasoning via Pinned Chain-of-Thought

RoboPIN: 基于锚定思维链的具身推理

Yaoting Huang, Yifu Yuan, Linqi Han, Chengwen Li, Shuoheng Zhang, Xianze Yao, Hongyao Tang, Yan Zheng, Jianye Hao

机构 * Tianjin University（天津大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 提出Pinned Chain-of-Thought (PinCoT)推理范式，通过结构化视觉锚点绑定实体，解决多步推理中实体引用漂移和视觉解耦问题；训练4B参数模型在14个基准上平均超越最强7B基线12%。

Towards Embodied Cognition in Robots via Spatially Grounded Synthetic Worlds

通过空间基础合成世界实现机器人的具身认知

Joel Currie, Gioele Migno, Enrico Piacenti, Maria Elena Giannaccini, Patric Bach, Davide De Tommaso, Agnieszka Wykowska

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.AI

AI总结 提出训练视觉语言模型执行视觉视角采择的概念框架，引入合成数据集用于空间推理任务监督学习，专注推断Z轴距离，数据集公开，为具身人工智能系统空间理解奠基。

Comments Accepted to: Intelligent Autonomous Systems (IAS) 2025 as Late Breaking Report