视觉大模型 / VLM

Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark

视觉推理追踪器：对象级 grounded 推理基准

Haobo Yuan, Yueyi Sun, Yanwei Li, Tao Zhang, Xueqing Deng, Henghui Ding, Lu Qi, Anran Wang, Xiangtai Li, Ming-Hsuan Yang

机构 * UC Merced（加州大学默塞德分校） ； PKU（北京大学） ； NTU（国立台湾大学） ； CUHK（香港中文大学） ； WHU（武汉大学） ； FDU（福建大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)

AI总结 本文提出视觉推理追踪器任务，通过对象级 grounded 推理基准评估模型的推理路径生成能力，并引入了新的评估指标和大规模数据集提升模型推理表现。

Comments Technical Report; Project Page: https://harboryuan.github.io/visual-reasoning-tracer

SpaceMind: Camera-Guided Modality Fusion for Spatial Reasoning in Vision-Language Models

SpaceMind: 基于摄像头引导的模态融合用于视觉-语言模型中的空间推理

Ruosen Zhao, Zhikang Zhang, Jialei Xu, Jiahao Chang, Dong Chen, Lingyun Li, Weijian Sun, Zizhuang Wei

机构 * Huawei（华为） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 SpaceMind通过摄像头引导的模态融合方法，提升视觉-语言模型在空间推理任务中的性能。

BiTAgent: A Task-Aware Modular Framework for Bidirectional Coupling between Multimodal Large Language Models and World Models

BiTAgent: 一种面向任务的模块化框架，用于多模态大语言模型与世界模型之间的双向耦合

Yu-Wei Zhan, Xin Wang, Pengzhe Mao, Tongtong Feng, Ren Wang, Wenwu Zhu

机构 * Tsinghua University（清华大学） ； Shandong University（山东大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.AI

AI总结 BiTAgent通过双向耦合多模态大语言模型与世界模型，实现任务感知的动态联合学习，提升多任务和跨环境的泛化能力。

ReasonX: MLLM-Guided Intrinsic Image Decomposition

ReasonX: 基于多模态大语言模型的内在图像分解

Alara Dirik, Tuanfeng Wang, Duygu Ceylan, Stefanos Zafeiriou, Anna Frühstück

机构 * Imperial College London（伦敦帝国学院） ； Adobe Research（Adobe研究院） 纠错

专题命中 视觉推理 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 ReasonX通过多模态大语言模型提供相对比较监督，提升内在图像分解的泛化能力与精度。

ViRectify: A Challenging Benchmark for Video Reasoning Correction with Multimodal Large Language Models

ViRectify：一种用于多模态大语言模型视频推理纠错的挑战性基准

Xusen Hei, Jiali Chen, Jinyu Yang, Mengchen Zhao, Yi Cai

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 ViRectify是一个用于评估多模态大语言模型视频推理纠错能力的挑战性基准，通过构建大规模数据集和提出轨迹证据驱动的纠正框架，验证了模型在纠错任务中的性能差异。

Comments 22 pages, 11 figures

ARM-Thinker: Reinforcing Multimodal Generative Reward Models with Agentic Tool Use and Visual Reasoning

ARM-Thinker: 通过智能工具使用和视觉推理强化多模态生成奖励模型

Shengyuan Ding, Xinyu Fang, Ziyu Liu, Yuhang Zang, Yuhang Cao, Xiangyu Zhao, Haodong Duan, Xiaoyi Dong, Jianze Liang, Bin Wang, Conghui He, Dahua Lin, Jiaqi Wang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉推理 ：visual reasoning(title)；grounding(abstract)；分类 cs.CV

AI总结 ARM-Thinker通过智能工具使用和视觉推理提升多模态奖励模型的准确性与可解释性。

KiVA: Kid-inspired Visual Analogies for Testing Large Multimodal Models

KiVA：儿童启发的视觉类比用于测试大多模态模型

Eunice Yiu, Maan Qraitem, Anisa Noor Majhi, Charlie Wong, Yutong Bai, Shiry Ginosar, Alison Gopnik, Kate Saenko

机构 * University of California, Berkeley（加州大学伯克利分校） ； Boston University（波士顿大学） ； Google DeepMind（谷歌DeepMind） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 视觉推理 ：LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 KiVA通过4300个日常物体视觉转换测试大模型的类比推理能力，发现儿童和成人表现优于现有模型，尤其在复杂任务上存在显著差距。

Comments 10 pages. Project website: https://ey242.github.io/kiva.github.io/. Benchmark and code: https://github.com/ey242/KiVA

Journal ref The Thirteenth International Conference on Learning Representations (ICLR), 2025

ASTRIDE: A Security Threat Modeling Platform for Agentic-AI Applications

ASTRIDE：面向智能体AI应用的安全威胁建模平台

Eranga Bandara, Amin Hass, Ross Gore, Sachin Shetty, Ravi Mukkamala, Safdar H. Bouk, Xueping Liang, Ng Wee Keong, Kasun De Zoysa, Aruna Withanage, Nilaan Loganathan

机构 * Old Dominion University（老奥布里恩大学） ； Accenture Technology Labs（埃森哲技术实验室） ； Florida International University（佛罗里达国际大学） ； Nanyang Technological University（南洋理工大学） ； University of Colombo（科伦坡大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 ASTRIDE是首个专为AI智能体应用设计的自动化威胁建模平台，通过扩展STRIDE框架并结合微调的视觉语言模型与推理LLM，实现基于图的威胁建模自动化。

dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning

dVLM-AD：通过可控推理增强扩散视觉语言模型以实现驾驶

Yingzi Ma, Yulong Cao, Wenhao Ding, Shuibai Zhang, Yan Wang, Boris Ivanovic, Ming Jiang, Marco Pavone, Chaowei Xiao

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； NVIDIA（英伟达） ； Stanford University（斯坦福大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 dVLM-AD通过可控推理提升扩散视觉语言模型，实现更一致的驾驶推理与规划性能。

DraCo: Draft as CoT for Text-to-Image Preview and Rare Concept Generation

DraCo: 文本到图像预览与稀有概念生成的草稿作为CoT

Dongzhi Jiang, Renrui Zhang, Haodong Li, Zhuofan Zong, Ziyu Guo, Jun He, Claire Guo, Junyan Ye, Rongyao Fang, Weijia Li, Rui Liu, Hongsheng Li

机构 * CUHK MMLab（香港中文大学 MMLab） ； CUHK IMIXR（香港中文大学 IMIXR） ； Sun Yat-Sen University（中山大学） ； SCUT（华南理工大学） ； CUHK (Shenzhen)（香港中文大学（深圳）） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 DraCo通过结合文本和视觉内容的交错推理，提升文本到图像生成的精度和稀有概念生成能力。

Comments Project Page: https://github.com/CaraJ7/DraCo