视觉大模型 / VLM

MERMAID: Memory-Enhanced Retrieval and Reasoning with Multi-Agent Iterative Knowledge Grounding for Veracity Assessment

MERMAID：基于多智能体迭代知识接地的记忆增强检索与推理用于真实性评估

Yupeng Cao, Chengyang He, Yangyang Yu, Ping Wang, K. P. Subbalakshmi

机构 * Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 视觉推理 ：grounding(title)；分类 cs.AI、cs.LG

AI总结 MERMAID通过整合智能体驱动搜索、结构化知识表示和持久记忆模块，提升事实核查和主张验证的效率与一致性，实现检索、推理与记忆的协同优化。

PRISM: A Multi-View Multi-Capability Retail Video Dataset for Embodied Vision-Language Models

PRISM：一个多视角多能力零售视频数据集用于具身视觉-语言模型

Amirreza Rouhi, Parikshit Sakurikar, Satya Sai Reddy, Narsimha Menga, Anirudh Govil, Sri Harsha Chittajallu, Rajat Aggarwal, Anoop Namboodiri, Sashi Reddi

机构 * DreamVu 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

AI总结 PRISM是首个针对真实世界零售环境的多视角多能力视频数据集，通过领域特定的SFT训练提升具身视觉-语言模型的感知能力与空间理解。

LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning

LatentPilot: 通过潜意识视觉推理进行场景感知的视觉-语言导航

Haihong Hao, Lei Chen, Mingfei Han, Changlin Li, Dong An, Yuqiang Yang, Zhihui Li, Xiaojun Chang

机构 * University of Science and Technology of China（中国科学技术大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Stanford University（斯坦福大学） ； Amap, Alibaba Group（阿里巴巴集团高德地图） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

AI总结 LatentPilot通过利用未来观测作为训练数据源，学习动作条件的视觉动态，无需访问未来帧即可实现场景感知的视觉-语言导航，实验在多个基准上取得新SOTA结果。

Comments Project page:https://abdd.top/latentpilot/

Vision-Language Models Encode Clinical Guidelines for Concept-Based Medical Reasoning

视觉-语言模型编码临床指南以实现基于概念的医学推理

Mohamed Harmanani, Bining Long, Zhuoxin Guo, Paul F. R. Wilson, Amirhossein Sabour, Minh Nguyen Nhat To, Gabor Fichtinger, Purang Abolmaesumi, Parvin Mousavi

机构 * Queen’s University（女王大学） ； University of British Columbia（不列颠哥伦比亚大学） ； McMaster University（麦马斯特大学） ； Vector Institute（向量研究所） 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.LG

AI总结 MedCBR通过整合临床指南与视觉-语言模型，提升医学影像诊断的可解释性和决策支持能力。

Comments CVPR 2026 Findings

Composition-Grounded Data Synthesis for Visual Reasoning

基于组成性的数据合成用于视觉推理

Xinyi Gu, Jiayuan Mao, Zhang-Wei Hong, Zhuoran Yu, Pengyuan Li, Dhiraj Joshi, Rogerio Feris, Zexue He

机构 * MIT（麻省理工学院） ； UW-Madison（威斯康星大学麦迪逊分校） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

AI总结 COGS通过分解种子问题并重新组合生成合成数据，提升MLLMs在图表和网页等人工图像领域的推理能力。

Comments ICLR2026 camera-ready version. Project page: https://cogsynthesis.github.io

ContextRL: Enhancing MLLM's Knowledge Discovery Efficiency with Context-Augmented RL

ContextRL: 通过上下文增强强化学习提升大语言模型的知识发现效率

Xingyu Lu, Jinpeng Wang, YiFan Zhang, Shijie Ma, Xiao Hu, Tianke Zhang, Haonan fan, Kaiyu Jiang, Changyi Liu, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Chun Yuan

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Chinese Academy of Sciences（中国科学院） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：MLLM(title)；分类 cs.AI、cs.LG

AI总结 ContextRL通过上下文增强强化学习提升大语言模型的知识发现效率，有效缓解奖励黑客问题并提升性能。

Comments 14 pages, 5 figures

COGITAO: A Visual Reasoning Framework To Study Compositionality & Generalization

COGITAO：一个用于研究组合性与泛化能力的视觉推理框架

Yassine Taoudi-Benchekroun, Klim Troyan, Pascal Sager, Stefan Gerber, Lukas Tuggener, Benjamin Grewe

机构 * Institute of Neuroinformatics, University of Zurich（神经信息研究所，苏黎世大学） ； ETH Zurich（苏黎世联邦理工学院） ； Centre for Artificial Intelligence, Zurich University of Applied Sciences（人工智能中心，应用科学大学） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

AI总结 COGITAO提出了一种模块化数据生成框架，用于研究视觉领域中的组合性与泛化能力，通过规则任务和灵活的参数控制生成大量任务规则，验证了现有视觉模型在泛化能力上的不足。

Comments 10 main pages, 3 figure, appendix available

Weak to Strong: VLM-Based Pseudo-Labeling as a Weakly Supervised Training Strategy in Multimodal Video-based Hidden Emotion Understanding Tasks

弱到强：基于VLM的伪标签作为多模态视频隐藏情绪理解任务中的弱监督训练策略

Yufei Wang, Haixu Liu, Tianxiang Xu, Chuancheng Shi, Hongsheng Xing

机构 * The University of New South Wales, Sydney, New South Wales, Australia（新南威尔士大学） ； The University of Sydney, Sydney, New South Wales, Australia（悉尼大学） ； School of Software and Microelectronics, Peking University, Zibo, Shandong, China（北京大学软件与微电子学院） ； Shandong University of Technology, Beijing, China（山东理工大学） 纠错

专题命中 视觉推理 ：VLM(title)；分类 cs.CV、cs.AI

AI总结 本文提出基于VLM的伪标签弱监督方法，用于多模态视频隐藏情绪识别，提升准确率至0.69并建立新基准。

CityCube: Benchmarking Cross-view Spatial Reasoning on Vision-Language Models in Urban Environments

CityCube：在城市环境中对视觉-语言模型的跨视角空间推理进行基准测试

Haotian Xu, Yue Hu, Zhengqiu Zhu, Chen Gao, Ziyou Wang, Junreng Rao, Wenhao Lu, Weishi Li, Quanjun Yin, Yong Li

机构 * College of Systems Engineering, National University of Defense Technology（系统工程学院，国防科技大学） ； State Key Laboratory of Digital Intelligent Modeling and Simulation（数字智能建模与仿真国家重点实验室） ； BNRist, Tsinghua University（清华大学北京研究院） ； Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学） 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

AI总结 CityCube是一个用于评估视觉-语言模型在城市环境中跨视角空间推理能力的基准，通过多视角问答对揭示模型与人类表现的差距。

UrbanVideo-Bench: Benchmarking Vision-Language Models on Embodied Intelligence with Video Data in Urban Spaces

UrbanVideo-Bench: 基于城市空间视频数据评估视觉-语言模型的具身智能

Baining Zhao, Jianjie Fang, Zichao Dai, Ziyou Wang, Jirong Zha, Weichen Zhang, Chen Gao, Yue Wang, Jinqiang Cui, Xinlei Chen, Yong Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

AI总结 UrbanVideo-Bench通过城市空间视频数据评估视频大语言模型的具身智能，揭示其在城市环境中感知、推理和导航能力的局限性，并验证了Sim-to-Real迁移的潜力。

Comments 22 pages

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 32400-32423, 2025

GLACIA: Instance-Aware Positional Reasoning for Glacial Lake Segmentation via Multimodal Large Language Model

GLACIA：基于多模态大语言模型的冰湖分割实例感知位置推理

Lalit Maurya, Saurabh Kaushik, Beth Tellman

机构 * Portsmouth AI and Data Science Centre (PAIDS), School of Computing, University of Portsmouth（普森大学计算学院） ； Center for Sustainability and the Global Environment (SAGE), University of Wisconsin–Madison（威斯康星大学麦迪逊分校可持续性与全球环境中心） 纠错

专题命中 视觉推理 ：multimodal large language model(title)；分类 cs.CV、cs.AI

AI总结 GLACIA通过多模态大语言模型实现冰湖分割的实例感知位置推理，提升分割精度与可解释性。

HistoLens: An Interactive XAI Toolkit for Verifying and Mitigating Flaws in Vision-Language Models for Histopathology

Sandeep Vissapragada, Vikrant Sahu, Gagan Raj Gupta, Vandita Singh

机构 * Indian Institute of Technology（印度理工学院） ； All India Institute of Medical Sciences（全印度医学科学研究所） 纠错

专题命中 视觉推理 ：vision-language model(title)；分类 cs.AI、cs.LG

When Thinking Drifts: Evidential Grounding for Robust Video Reasoning

Mi Luo, Zihui Xue, Alex Dimakis, Kristen Grauman

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； UC Berkeley（伯克利大学） ； Bespoke Labs（Bespoke实验室） 纠错

专题命中 视觉推理 ：grounding(title)；分类 cs.CV、cs.AI

Comments Accepted by NeurIPS 2025, Project page: https://vision.cs.utexas.edu/projects/video-ver/

Transparent Visual Reasoning via Object-Centric Agent Collaboration

Benjamin Teoh, Ben Glocker, Francesca Toni, Avinash Kori

机构 * Imperial College London, UK（伦敦帝国学院） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

CaughtCheating: Is Your MLLM a Good Cheating Detective? Exploring the Boundary of Visual Perception and Reasoning

Ming Li, Chenguang Wang, Yijun Liang, Xiyao Wang, Yuhang Zhou, Xiyang Wu, Yuqing Zhang, Ruiyi Zhang, Tianyi Zhou

机构 * University of Maryland, College Park（马里兰大学学院 park） 纠错

专题命中 视觉推理 ：MLLM(title)；分类 cs.CV、cs.AI

AD^2-Bench: A Hierarchical CoT Benchmark for MLLM in Autonomous Driving under Adverse Conditions

Zhaoyang Wei, Chenhui Qiang, Bowen Jiang, Xumeng Han, Xuehui Yu, Zhenjun Han

机构 * University of Chinese Academy of Sciences(UCAS)（中国科学院大学） 纠错

专题命中 视觉推理 ：MLLM(title)；分类 cs.CV、cs.AI

Abstractive Visual Understanding of Multi-modal Structured Knowledge: A New Perspective for MLLM Evaluation

Yichi Zhang, Zhuo Chen, Lingbing Guo, Yajing Xu, Min Zhang, Wen Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； Tianjin University（天津大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视觉推理 ：MLLM(title)；分类 cs.CV、cs.AI

Comments Work in progress

SciVerse: Unveiling the Knowledge Comprehension and Visual Reasoning of LMMs on Multi-modal Scientific Problems

Ziyu Guo, Ray Zhang, Hao Chen, Jialin Gao, Dongzhi Jiang, Jiaze Wang, Pheng-Ann Heng

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

Comments Initially released in September 2024. Project page: https://sciverse-cuhk.github.io

Enhancing Vision-Language Models with Scene Graphs for Traffic Accident Understanding

Aaron Lohner, Francesco Compagno, Jonathan Francis, Alessandro Oltramari

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

Comments Won the 'Best Paper Runner-up Award' at the 2024 IEEE International Automated Vehicle Validation Conference (IAVVC 2024). Also accepted at the 1st Workshop on Semantic Reasoning and Goal Understanding in Robotics, at the Robotics Science and Systems Conference (RSS SemRob 2024)

StreetviewLLM: Extracting Geographic Information Using a Chain-of-Thought Multimodal Large Language Model

Zongrong Li, Junhao Xu, Siqin Wang, Yifan Wu, Haiyang Li

专题命中 视觉推理 ：multimodal large language model(title)；分类 cs.CV、cs.AI

NavGPT-2: Unleashing Navigational Reasoning Capability for Large Vision-Language Models

Gengze Zhou, Yicong Hong, Zun Wang, Xin Eric Wang, Qi Wu

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.AI

Comments Accepted to ECCV 2024

BLINK: Multimodal Large Language Models Can See but Not Perceive

Xingyu Fu, Yushi Hu, Bangzheng Li, Yu Feng, Haoyu Wang, Xudong Lin, Dan Roth, Noah A. Smith, Wei-Chiu Ma, Ranjay Krishna

专题命中 视觉推理 ：multimodal large language model(title)；分类 cs.CV、cs.AI

Comments Multimodal Benchmark, Project Url: https://zeyofu.github.io/blink/, ECCV 2024

Don't Trust: Verify -- Grounding LLM Quantitative Reasoning with Autoformalization

Jin Peng Zhou, Charles Staats, Wenda Li, Christian Szegedy, Kilian Q. Weinberger, Yuhuai Wu

专题命中 视觉推理 ：grounding(title)；分类 cs.AI、cs.LG

Comments ICLR 2024

What's "up" with vision-language models? Investigating their struggle with spatial reasoning

Amita Kamath, Jack Hessel, Kai-Wei Chang

专题命中 视觉推理 ：vision-language model(title)；分类 cs.CV、cs.LG

Comments EMNLP 2023

Abstract Visual Reasoning Enabled by Language

Giacomo Camposampiero, Loic Houmard, Benjamin Estermann, Joël Mathys, Roger Wattenhofer

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments The first two authors have contributed equally to this work. Accepted as regular paper at CVPR 2023 Workshop and Challenges for New Frontiers in Visual Language Reasoning: Compositionality, Prompts and Causality (NFVLR)

lilGym: Natural Language Visual Reasoning with Reinforcement Learning

Anne Wu, Kianté Brantley, Noriyuki Kojima, Yoav Artzi

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments ACL 2023 Long Paper

Abstract Visual Reasoning: An Algebraic Approach for Solving Raven's Progressive Matrices

Jingyi Xu, Tushar Vaidya, Yufei Wu, Saket Chandra, Zhangsheng Lai, Kai Fong Ernest Chong

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI

Comments Accepted at IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2023. 30 pages, 7 figures (including supplementary material). First three authors contributed equally. Code is available at: https://github.com/Xu-Jingyi/AlgebraicMR

Analysis of Visual Reasoning on One-Stage Object Detection

Tolga Aksoy, Ugur Halici

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

Comments Submitted to IEEE International Conference on Image Processing (ICIP) 2022

Differentiable Adaptive Computation Time for Visual Reasoning

Cristobal Eyzaguirre, Alvaro Soto

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.AI、cs.LG

Comments CVPR 2020

Are Disentangled Representations Helpful for Abstract Visual Reasoning?

Sjoerd van Steenkiste, Francesco Locatello, Jürgen Schmidhuber, Olivier Bachem

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.LG

Comments Accepted to NeurIPS 2019