视觉大模型 / VLM

Rethinking Chain-of-Thought Reasoning for Videos

重新思考视频中的链式推理

Yiwu Zhong, Zi-Yuan Hu, Yin Li, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出了一种高效的视频推理框架，通过简洁推理和减少的视觉标记提升推理效率和性能，无需依赖传统CoT注释或监督微调。

Comments Technical report

KiVA: Kid-inspired Visual Analogies for Testing Large Multimodal Models

KiVA：儿童启发的视觉类比用于测试大多模态模型

Eunice Yiu, Maan Qraitem, Anisa Noor Majhi, Charlie Wong, Yutong Bai, Shiry Ginosar, Alison Gopnik, Kate Saenko

机构 * University of California, Berkeley（加州大学伯克利分校） ； Boston University（波士顿大学） ； Google DeepMind（谷歌DeepMind） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 视觉推理 ：LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 KiVA通过4300个日常物体视觉转换测试大模型的类比推理能力，发现儿童和成人表现优于现有模型，尤其在复杂任务上存在显著差距。

Comments 10 pages. Project website: https://ey242.github.io/kiva.github.io/. Benchmark and code: https://github.com/ey242/KiVA

Journal ref The Thirteenth International Conference on Learning Representations (ICLR), 2025

Spatial Knowledge Graph-Guided Multimodal Synthesis

基于空间知识图的多模态合成

Yida Xue, Zhen Bi, Jinnan Yang, Jungang Lou, Kehai Chen, Min Zhang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Nanjing University of Science and Technology（南京理工大学） ； Huzhou University（湖州大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 SKG2DATA通过空间知识图引导多模态合成，提升多模态大语言模型的空间感知与推理能力。

Comments IEEE/ACM Transactions on Audio, Speech and Language Processing

Counteracting Matthew Effect in Self-Improvement of LVLMs through Head-Tail Re-balancing

Xin Guo, Zhiheng Xi, Yiwen Ding, Yitao Zhai, Xiaowei Shi, Xunliang Cai, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Meituan（美团） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Preprint

Spatial-ViLT: Enhancing Visual Spatial Reasoning through Multi-Task Learning

Chashi Mahiul Islam, Oteo Mamo, Samuel Jacob Chacko, Xiuwen Liu, Weikuan Yu

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 12 pages, 5 figures

VaPR -- Vision-language Preference alignment for Reasoning

Rohan Wadhawan, Fabrice Y Harel-Canada, Zi-Yi Dou, Suhaila Shakiah, Robinson Piramuthu, Nanyun Peng

机构 * Department of Computer Science, University of California Los Angeles（加州大学洛杉矶分校计算机科学系） ； Amazon.com, Inc.（亚马逊公司） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

Journal ref COLM 2025

Can World Models Benefit VLMs for World Dynamics?

Kevin Zhang, Kuangzhi Ge, Xiaowei Chi, Renrui Zhang, Shaojun Shi, Zhen Dong, Sirui Han, Shanghang Zhang

机构 * Peking University（北京大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Chinese University of Hong Kong（香港中文大学） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project page: https://dyva-worldlm.github.io

R-4B: Incentivizing General-Purpose Auto-Thinking Capability in MLLMs via Bi-Mode Annealing and Reinforce Learning

Qi Yang, Bolin Ni, Shiming Xiang, Han Hu, Houwen Peng, Jie Jiang

机构 * Tencent Hunyuan Team（腾讯文言团队） ； Institute of Automation, CAS（中国科学院自动化研究所） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 20 pages, 14 figures, 5 tables

Open CaptchaWorld: A Comprehensive Web-based Platform for Testing and Benchmarking Multimodal LLM Agents

Yaxin Luo, Zhaoyi Li, Jiacheng Liu, Jiacheng Cui, Xiaohan Zhao, Zhiqiang Shen

机构 * VILA Lab, MBZUAI（VILA实验室，MBZUAI） ； MetaAgentX 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Code at: https://github.com/MetaAgentX/OpenCaptchaWorld

From EduVisBench to EduVisAgent: A Benchmark and Multi-Agent Framework for Reasoning-Driven Pedagogical Visualization

Haonian Ji, Shi Qiu, Siyang Xin, Siwei Han, Zhaorun Chen, Dake Zhang, Hongyi Wang, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Chicago（芝加哥大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 16 pages; 7 figures

Taxonomic Reasoning for Rare Arthropods: Combining Dense Image Captioning and RAG for Interpretable Classification

Nathaniel Lesperance, Sujeevan Ratnasingham, Graham W. Taylor

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 12 pages, 3 figures

Lightweight Multimodal Artificial Intelligence Framework for Maritime Multi-Scene Recognition

Xinyu Xi, Hua Yang, Shentai Zhang, Yijie Liu, Sijin Sun, Xiuju Fu

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 19 pages, 4 figures, submitted to Engineering Applications of Artificial Intelligence

When Graph meets Multimodal: Benchmarking and Meditating on Multimodal Attributed Graphs Learning

Hao Yan, Chaozhuo Li, Jun Yin, Zhigang Yu, Weihao Han, Mingzheng Li, Zhengxin Zeng, Hao Sun, Senzhang Wang

专题命中 视觉推理 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Beyond Specialization: Assessing the Capabilities of MLLMs in Age and Gender Estimation

Maksim Kuprashevich, Grigorii Alekseenko, Irina Tolstykh

专题命中 视觉推理 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

HourVideo: 1-Hour Video-Language Understanding

Keshigeyan Chandrasegaran, Agrim Gupta, Lea M. Hadzic, Taran Kota, Jimming He, Cristóbal Eyzaguirre, Zane Durante, Manling Li, Jiajun Wu, Li Fei-Fei

专题命中 视觉推理 ：LLaVA(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments NeurIPS 2024 Datasets and Benchmarks Track; 28 pages

HaloQuest: A Visual Hallucination Dataset for Advancing Multimodal Reasoning

Zhecan Wang, Garrett Bingham, Adams Yu, Quoc Le, Thang Luong, Golnaz Ghiasi

专题命中 视觉推理 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted as a main conference paper at ECCV 2024 (https://github.com/google/haloquest)

LHRS-Bot: Empowering Remote Sensing with VGI-Enhanced Large Multimodal Language Model

Dilxat Muhtar, Zhenshi Li, Feng Gu, Xueliang Zhang, Pengfeng Xiao

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 36 pages, 10 figures. Github https://github.com/NJU-LHRS/LHRS-Bot

Selective "Selective Prediction": Reducing Unnecessary Abstention in Vision-Language Reasoning

Tejas Srinivasan, Jack Hessel, Tanmay Gupta, Bill Yuchen Lin, Yejin Choi, Jesse Thomason, Khyathi Raghavi Chandu

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)

Comments Accepted to ACL Findings 2024

CoDi-2: In-Context, Interleaved, and Interactive Any-to-Any Generation

Zineng Tang, Ziyi Yang, Mahmoud Khademi, Yang Liu, Chenguang Zhu, Mohit Bansal

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project Page: https://codi-2.github.io/

Chain of Images for Intuitively Reasoning

Fanxu Meng, Haotong Yang, Yiding Wang, Muhan Zhang

专题命中 视觉推理 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs

Chaoyou Fu, Yi-Fan Zhang, Shukang Yin, Bo Li, Xinyu Fang, Sirui Zhao, Haodong Duan, Xing Sun, Ziwei Liu, Liang Wang, Caifeng Shan, Ran He

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI；LLaVA(comments)

Comments Produced by MME+MMBench+LLaVA Teams. Project Page: https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Benchmarks

Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI

用于第一人称视角视频的视觉-语言模型：从手-物交互到具身智能

Mohammad Zamani, Fatemeh Ziaeetabar

机构 * University of Tehran（德黑兰大学） 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV

AI总结 本综述梳理了用于第一人称视角视频理解的视觉-语言模型的发展，分析其挑战、研究方向与局限，明确了可部署具身智能的关键优先方向。

CT-$Δ$Bench: A Benchmark for Longitudinal 3D Medical Imaging Difference Reporting with Vision-Language Models

CT-ΔBench：基于视觉语言模型的纵向3D医学影像差异报告基准

Kegeng Tang, Jingbo Wang, Shaogang Ren, Zihao Wang

机构 * University of Tennessee at Chattanooga（田纳西大学查塔努加分校） 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV

AI总结 本文针对现有医学基础模型缺乏纵向影像差异处理能力的问题，构建了专用基准CT-ΔBench，开发感知变化指标与医师验证流程，对比不同推理方式并提出基线模型DeltaMed，为时间感知医学基础模型奠定基础。

Comments Accepted by COLM 2026

Distill What the Student Can See: Fisher-Projected On-Policy Distillation for Vision-Language Models

提炼学生可见内容：面向视觉语言模型的Fisher投影在线策略蒸馏

Leyan Xue, Feng Xiong, Mingjun Ma, Changqing Zhang

专题命中 视觉推理 ：vision-language model(title)；分类 cs.LG

AI总结 针对视觉语言模型在线策略蒸馏中教师修正与学生能力不匹配的问题，提出FP-OPD方法，在8B到2B的蒸馏中使7个多模态基准平均得分分别提升2.77和1.60个点。

Recursive Vision Language Models for General Symbolic Reasoning

用于通用符号推理的递归视觉语言模型

Omid Nejati Manzari, Guillaume Lajoie, Hassan Rivaz

专题命中 视觉推理 ：vision language model(title)；分类 cs.CV

AI总结 提出基于预训练Qwen的递归推理框架R-Qwen，结合递归模型与预训练LLMs的优势，在8个基准测试中优于同类模型和更大LLMs，ARC-AGI上提升27.6%。

Distill What RGB Can Recover: Privileged 3D Evidence for RGB-Only Vision-Language Models

蒸馏RGB可恢复的内容：面向仅RGB视觉-语言模型的特权3D证据

Yanbin Hu, Jin Cui, Jun Ye, Jiepeng Zhou, Jiangcheng Song, Boran Zhao, Pengju Ren

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV

AI总结 本研究提出特权3D证据蒸馏框架，将训练时的3D证据转化为仅RGB视觉-语言模型的空间推理能力，使仅RGB学生模型在11项指标上均优于基线，验证了该方法的有效性。

EraseLoRA: MLLM-Driven Foreground Exclusion and Background Subtype Aggregation for Dataset-Free Object Removal

EraseLoRA: 基于多模态大语言模型的前景排除与背景子类型聚合用于无数据集对象去除

Sanghyun Jo, Donghwan Lee, Eunji Jung, Seong Je Oh, Kyungsu Kim

机构 * OGQ ； Seoul National University（首尔大学） 纠错

专题命中 视觉推理 ：MLLM(title)；分类 cs.CV

AI总结 EraseLoRA通过多模态大语言模型实现前景排除与背景子类型聚合，提升无数据集对象去除的背景重建与前景抑制效果，显著提高重建真实性并减少冗余生成。

Comments Accepted to ECCV 2026

Towards Accurate and Robust Surveillance Roadside IVD via Trackletized Audio-Visual Reasoning

面向准确鲁棒的监控路边IVD：基于轨迹化的视听推理

Xiwen Li, Xiaoya Tang, Bodong Zhang, Tolga Tasdizen

机构 * Kahlert School of Computing, University of Utah（犹他大学卡勒特计算学院） ； Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所） ； Department of Electrical and Computer Engineering, University of Utah（犹他大学电气与计算机工程系） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV

AI总结 提出TAVR-IVD框架，通过多目标跟踪将车辆检测链接为轨迹，基于轨迹进行视听融合分类，提升信噪比、稳定时间决策、对齐车辆与麦克风空间先验，并在跨域场景下保持高效鲁棒。

Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

基于时空场景图基础的计划与验证视频奖励推理

Hyomin Kim, Junghye Kim, Joanie Hayoun Chung, Yoonjin Oh, Kyungjae Lee, Sungbin Lim, Sungwoong Kim

机构 * Korea University（高丽大学） 纠错

专题命中 视觉推理 ：grounding(title)；分类 cs.CV

AI总结 提出SG-PVR视频奖励模型，通过计划-验证推理和时空场景图，系统验证提示中的每个条件，实现细粒度语义对齐，提升文本到视频生成的组合对齐。