RARL: Improving Medical VLM Reasoning and Generalization with Reinforcement Learning and LoRA under Data and Hardware Constraints
Harvard Medical School（哈佛医学院）；Knovel Engineering Lab（Knovel工程实验室）
针对医学VLM泛化性、效率不足难落地的问题，提出RARL推理感知强化学习框架，结合LoRA和自定义奖励微调轻量模型，单GPU即可训练，在推理任务和跨数据集泛化上均优于监督及传统RL微调方法。
2025-06-14 cs.CV
COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models
University of Virginia（弗吉尼亚大学）
本文提出COCO-Tree方法，通过从LLMs学习神经符号概念树来增强VLMs的组合推理能力，在四个基准上使七种开源VLMs的组合泛化提升5-10%，并提供可解释的推理过程。
2025-10-13 cs.CV
ConMe: Rethinking Evaluation of Compositional Reasoning for Modern VLMs
MIT（麻省理工学院）；IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）；MIT-IBM（麻省理工学院-IBM联合机构）；Tuebingen AI Center（蒂宾根人工智能中心）；UMass Amherst（马萨诸塞大学阿默斯特分校）；JKU（约翰内斯·开普勒大学）
本文提出ConMe基准及数据生成流程，通过VLMs相互对话协作暴露弱点，自主生成困难组合推理问答，使最先进VLMs性能下降达33%，重新确立CR挑战。
2024-11-13 cs.CV
PhysVista: Benchmarking Physical Intelligence in VLMs via a Perception-Reasoning-Assessment Loop
University of Science and Technology of China（中国科学技术大学）；ByteDance（字节跳动）；City University of Hong Kong（香港城市大学）
PhysVista通过闭环认知框架联合评估视觉语言模型的物理状态感知、动态推理与合理性判断，实验发现其在物理推理与评估上存在显著局限，揭示了视觉识别与真实物理理解之间的差距。
2026-10-14 cs.CV
Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）
提出Occ-VLM，仅用姿态RGB图像和单一2D视觉编码器，通过重建3D占用作为几何先验，实现统一的3D场景理解，在占用预测、3D VQA和密集描述任务上达到领先水平。
2026-06-19 cs.CV
Road Rage Reasoning with Vision-language Models (VLMs): Task Definition and Evaluation Dataset
University of Electronic Science and Technology of China（电子科技大学）；School of Computer Science and Engineering（计算机科学与工程学院）
本文定义路怒推理任务，构建精细标注测试集与指标评估主流VLMs，发现其在视觉场景理解和文本空间关系理解上存在明显不足。
2025-03-14 cs.CV
NICE FACT: Diagnosing and Calibrating VLMs in Quantitative Reasoning for Kinematic Physics
University of Munich (LMU)（慕尼黑大学（LMU））；Munich Center of Machine Learning（慕尼黑机器学习中心）；Sichuan University（四川大学）
本文研究VLMs在运动物理定量推理中的表现，提出NICE和FACT双诊断框架，分析视觉真实性、物理定律理解和时间定位，揭示模型在识别视觉前提和应用物理定律方面的不足。
2026-05-08 cs.CV
Vision-Language Models for Vision Tasks: A Survey
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文系统综述了视觉语言模型（VLMs）在视觉识别任务中的应用，涵盖其背景、基础架构、数据集、预训练与迁移方法及未来方向，旨在解决传统范式依赖众包标注且需逐任务训练的痛点。
2024-02-16 cs.CV
Semantic Richness or Geometric Reasoning? The Fragility of VLM's Visual Invariance
Boston University（波士顿大学）
研究揭示VLM在基本几何变换下的脆弱性，指出其在空间不变性与等变性上的不足，影响物体识别的可靠性。
2026-07-22 cs.CV
How Reasoning Influences Intersectional Biases in Vision Language Models
Student（学生）
本文在 FairFace 数据集上对五个开源视觉语言模型进行职业预测实验，系统分析推理过程，发现偏见性推理模式是交叉差异的系统性根源，强调部署前需使 VLM 推理与人类价值观对齐。
2025-11-08 cs.CV
GuideGround: VLM-guided Semantic Understanding and Viewpoint-aware Reasoning for 3D Visual Grounding
GuideGround是一种VLM引导的3D视觉定位框架，用VLM生成的语义描述替代闭集分类、逐视图保留假设并经VLM验证，在ReferIt3D基准上性能优于现有SOTA。
2026-08-04 cs.CV
Linear Mechanisms for Spatiotemporal Reasoning in Vision Language Models
California Institute of Technology（加利福尼亚理工学院）
本文提出了一种线性机制用于视觉语言模型中的时空推理，通过分析空间ID和时间ID的结合，揭示了模型内部的因果推理过程，以提升模型的可解释性和设计能力。
2026-01-18 cs.CV
Probing the Reliability of Driving VLMs: From Inconsistent Responses to Grounded Temporal Reasoning
DFKI Augmented Vision（DFKI增强视觉实验室）；TU Delft（代尔夫特理工大学）
本文研究了驾驶视觉语言模型的可靠性问题，通过引入FutureVQA数据集和自监督微调方法，提升模型在时序推理和一致性上的表现。
2026-03-10 cs.CV
Can VLMs be used on videos for action recognition? LLMs are Visual Reasoning Coordinators
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Mathematics of Generative Modeling（生成式建模数学研究所）
本研究探索利用大语言模型协调多个视觉语言模型，在仅依赖少量关键帧和弱时序信息的情况下进行监控视频动作识别，实验验证了可行性，并建议增强时序信号和帧数以提升性能。
2024-07-20 cs.CV
VLMs are Good Teachers for Video Reasoning via Adaptive Test-Time Optimization
City University of Hong Kong（香港城市大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）
提出将视觉语言模型（VLM）作为“教师”，通过提取任务规则并设计可微分奖励，指导视频生成模型（VGM）在测试时在线优化轻量级 LoRA 模块，从而提升视频推理的泛化能力。
2026-06-26 cs.CV
DepthLM: Metric Depth From Vision Language Models
Meta；Princeton University（普林斯顿大学）
针对视觉语言模型3D理解能力不足的问题，提出DepthLM方法，通过带稀疏标签的文本监督微调、视觉提示和内参条件增强，让VLM在度量深度估计上首次媲美纯视觉模型，还可拓展至更多3D任务。
2025-10-01 cs.CV
VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs
Technology Innovation Institute, Abu Dhabi, UAE（阿布扎比技术创新研究所）；Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学）
VisRes Bench通过三个层次评估VLMs的视觉推理能力，揭示其在复杂任务中的局限性，并为多模态研究提供统一框架。
2025-12-24 cs.CV
AVA-VLM: Adaptive Visual Attention-Vision Language Model for In-the-Wild Construction Site Monitoring
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；AI+KCIR Global Resilience Research Center（人工智能与韩国气候变化影响韧性研究中心）；SmartInside AI Co., Ltd.（思玛特因赛德人工智能有限公司）；Sungkyunkwan University（成均馆大学）
针对野外建筑工地监测，提出AVA-VLM自适应视觉注意力视觉语言模型，遵循粗到细推理策略，先对低分辨率全局图像推理，按需请求高分辨率局部裁剪，并引入区域感知思维链数据集，提升了低分辨率下的可靠性并减少视觉令牌使用。
2026-09-09 cs.CV
VLM-PL: Advanced Pseudo Labeling Approach for Class Incremental Object Detection via Vision-Language Model
UNIST（韩国蔚山科学技术院）；MODULABS（MODULABS公司）
针对类别增量目标检测中的伪标签遗忘问题，本文提出VLM-PL，利用视觉-语言模型和提示查询验证并精炼伪标签，融合新旧知识，在Pascal VOC与MS COCO上达到最先进性能。
2024-05-09 cs.CV
EO-VLM: VLM-Guided Energy Overload Attacks on Vision Models
ETRI（韩国电子通信研究院）；KAIST（韩国科学技术院）；Kwangwoon University（光云大学）
本文提出EO-VLM框架，利用视觉语言模型提示生成人眼不可察觉的对抗图像，在不依赖目标模型内部信息的情况下使视觉模型GPU能耗最多增加50%，揭示了视觉模型在资源可用性方面的关键安全漏洞。
2025-04-11 cs.CR cs.CV
Spatial Reasoning with Vision-Language Models in Ego-Centric Multi-View Scenes
Huawei Technologies Canada（华为技术加拿大分公司）；Huawei Cloud Project Page Code Ego3D-Bench（华为云项目页面代码Ego3D-Bench）
本文构建面向自我中心多视角户外场景的Ego3D-Bench评测16个VLM，并提出可模块化集成的Ego3D-VLM后训练框架，显著提升3D空间推理与距离估计。
2025-09-30 cs.CV
Image Recognition with Vision and Language Embeddings of VLMs
Visual Recognition Group, Faculty of Electrical Engineering, Czech Technical University in Prague（视觉识别组，电气工程学院，布拉格捷克技术大学）
本研究评估了多种视觉语言模型的纯视觉与语言引导分类性能，提出基于每类精度的无学习融合方法，利用两者互补优势提升ImageNet-1k分类准确率。
2026-10-09 cs.CV
InspectorGPT: A Comparative Reasoning Enhanced VLM for Comprehensive Industrial Anomaly Detection
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）
本研究提出InspectorGPT，一种结合对比推理的VLM框架，通过CoT微调与GRPO优化，配合任务向量融合的InspectorGPT-Seg实现工业异常检测，在多维度性能及未见基准泛化上表现优异。
2026-09-01 cs.CV
How Well Can Vision Language Models See Image Details?
Monash University（莫纳什大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出像素值预测任务PVP，揭示VLM需适配视觉编码器才能准确预测像素值，并证明该预训练任务可显著提升细粒度视觉理解与游戏决策性能。
2024-08-07 cs.CV
SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning
XMU（厦门大学）；UCLA（美国大学）；Google（谷歌）；UW-Madison（威斯康星大学麦迪逊分校）；TAMU（德克萨斯农工大学）
本文提出SpatialStack框架，通过分层融合视觉、几何和语言表征，提升3D空间推理能力，实验表明其在多个基准上表现优异。
2026-05-02 cs.CV
ProSR: Process-Shaped Spatial Reasoning for Reliable Chain-of-Thought in VLMs
Xi’an Jiaotong University（西安交通大学）；Amap, Alibaba Group（阿里巴巴集团Amap）；Tsinghua University（清华大学）；Shenzhen University of Advanced Technology（深圳大学先进技术学院）
针对视觉语言模型在空间推理中存在的虚假基础与尾部不稳定性问题，提出ProSR框架，通过反事实不变性惩罚和尾部漂移惩罚优化推理过程，提升答案准确率及轨迹稳定性与视觉依赖性。
2026-05-25 cs.CV
VLMDiff: Leveraging Vision-Language Models for Multi-Class Anomaly Detection with Diffusion
University of Luxembourg（卢森堡大学）
针对多类图像异常检测的挑战，提出VLMDiff框架，集成视觉语言模型与潜在扩散模型，通过VLM提取正常图像描述作为扩散模型的条件，无需手动标注，提升异常检测性能并增强泛化性。
2025-11-11 cs.CV
View-on-Graph: Zero-shot 3D Visual Grounding via Vision-Language Reasoning on Scene Graphs
本文提出视图-图方法，通过场景图上的视觉-语言推理实现零样本3D视觉定位，有效解决空间语义关系处理难题。
2025-12-10 cs.CV
Seeing Clearly, Reasoning Confidently: Plug-and-Play Remedies for Vision Language Model Blindness
Department of Computer Science, Tulane University（路易斯安那大学计算机科学系）；Department of Computer Science, University of Memphis（密苏里大学计算机科学系）
本文提出一种无需微调的即插即用模块，通过细化视觉标记和丰富文本提示，提升VLM对罕见物体的推理能力。
2026-02-23 cs.CV
TS-VLM: Text-Guided SoftSort Pooling for Vision-Language Models in Multi-View Driving Reasoning
Department of Electrical and Computer Engineering, Western University（电气与计算机工程系，西方大学）
针对现有视觉语言模型在自动驾驶多视角推理中计算开销大、多视角数据整合效率低的问题，提出集成文本引导SoftSort池化模块的轻量级模型TS-VLM，在DriveLM基准上性能优于现有最优模型且大幅降低计算成本。
2025-05-19 cs.CV
How Do VLMs Fail? Vision-Operation Misalignment in Compositional VQA
Singapore Institute of Technology（新加坡科技学院）；NVIDIA（英伟达）
研究组合式视觉问答中视觉语言模型失败的机制，引入以操作为中心的框架分解失败模式，揭示四种失败模式及传播路径，表明不同失败类型需不同纠正策略，为提升模型可靠性提供基础。
2026-08-20 cs.CV
Test-Time Hinting for Black-Box Vision-Language Models
AlaaLab（Alaa实验室）
本文提出测试时提示法，通过单次VLM调用提升性能，无需开放权重模型访问，适用于前沿闭源模型。方法通过轻量提示生成器预测提示，引导VLM避开常见错误模式，提升自然图像VQA基准的准确率。
2026-05-13 cs.CV
Event-Priori-Based Vision-Language Model for Efficient Visual Understanding
Center for Project-Based Learning D-ITET, ETH Zürich, Switzerland（项目基于学习中心D-ITET，苏黎世联邦理工学院，瑞士）；State Key Laboratory of Industrial Control Technology, Zhejiang University, China（工业控制技术国家重点实验室，浙江大学，中国）
本文提出 EP-VLM，利用事件视觉运动先验引导 RGB patch 稀疏化并保持位置编码，在 Qwen2-VL-2B 上节省 50% FLOPs 且保留 98% 精度。
2025-06-09 cs.CV
Tri-Bench: Stress-Testing VLM Reliability on Spatial Reasoning under Camera Tilt and Object Interference
Amit Bendkhale（独立研究者）
Tri-Bench通过测试VLM在相机倾斜和物体干扰下的空间推理可靠性，揭示了模型在几何推理中的不足。
2025-12-09 cs.CV
3D-R1: Enhancing Reasoning in 3D VLMs for Unified Scene Understanding
针对现有3D视觉语言模型推理与泛化能力不足的问题，研究提出3D-R1基础模型，通过构建带CoT的Scene-30K数据集、结合GRPO的RLHF训练与多奖励函数、动态视角选择策略，实现3D场景基准平均10%的性能提升。
2025-07-31 cs.CV
VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Qwen Team, Alibaba Inc.（阿里巴巴公司Qwen团队）
本文通过VLM4VLA最小适配管道，系统研究视觉-语言模型（VLM）的选择和能力如何影响下游视觉-语言-动作（VLA）策略性能，发现VLM通用能力无法预测下游任务表现，且视觉模块是性能瓶颈。
2026-05-30 cs.AI cs.CV
VLM-SubtleBench: How Far Are VLMs from Human-Level Subtle Comparative Reasoning?
KRAFTON；KAIST（韩国科学技术院）
VLM-SubtleBench通过评估VLMs在细微比较推理上的表现，揭示了模型与人类性能之间的差距，并为提升VLMs的推理能力提供了基础。
2026-03-09 cs.AI cs.CV cs.LG
VLMGuard-R1: Proactive Safety Alignment for VLMs via Reasoning-Driven Prompt Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出VLMGuard-R1框架，通过多模态推理驱动的提示重写机制，利用三级推理流程训练重写器推断隐蔽威胁并生成定制响应，在不改变核心功能的前提下显著提升多种VLM架构的安全性。
2025-10-13 cs.CL cs.CV cs.LG
VLM3: Vision Language Models Are Native 3D Learners
Meta；Princeton University（普林斯顿大学）
本文提出VLM3，通过焦距统一、文本像素参考和数据混合缩放，使标准视觉语言模型无需复杂架构或损失函数即可高效掌握多种3D任务。
2026-05-28 cs.AI cs.CV
VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs
Princeton University（普林斯顿大学）
本文评估了领先VLMs的非局部视觉推理能力，发现其在复杂视觉任务上表现不佳，缺乏人类核心视觉推理能力。
2025-11-28 cs.AI cs.CV
Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders
Stony Brook University（石英 Brook 大学）
本文评估了状态空间模型作为视觉编码器在视觉语言模型中的有效性，发现其在VQA和定位任务中表现优异，并提出稳定策略提升鲁棒性。
2026-03-19 cs.CV cs.LG
ViFP: A Framework for Visual False Positive Detection to Enhance Reasoning Reliability in VLMs
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出ViFP框架，通过多轮问答构建推理路径、检测并纠正视觉语言模型中的假阳性推理，并引入VoC指标评估推理可靠性，在多个数据集上显著提升准确率并减少假阳性。
2025-11-05 cs.AI cs.CV
Attention in Space: Functional Roles of VLM Heads for Spatial Reasoning
The University of Melbourne（墨尔本大学）；Australian National University（澳大利亚国立大学）；Fudan University（复旦大学）；Monash University（莫纳什大学）
本文研究VLM中注意力头部在空间推理中的作用，通过机制可解释性视角分析其功能，提出CogVSR数据集并开发探针框架，揭示注意力头部在空间推理中的稀疏性和关键作用。
2026-03-21 cs.AI cs.CV
Canonical Color as a Lens into Concept Decodability in Vision Encoders and VLMs
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Technical University of Denmark（丹麦技术大学）
本研究利用规范颜色作为受控测试案例，通过构建数据集和探测实验，发现视觉编码器能从灰度图像中解码规范颜色且与物体身份关联，并揭示VLM后训练显著影响颜色可解码性，为追踪概念语义信息提供新透镜。
2026-09-09 cs.AI cs.CV
Can Vision-Language Models be a Good Guesser? Exploring VLMs for Times and Location Reasoning
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）
本文提出两阶段识别与推理探测任务及WikiTiLo数据集，探究视觉语言模型在时间与地点推理上的能力，发现其虽能保留特征但推理不完美。
2023-12-29 cs.AI cs.CV
GHR-VLM: Making Zero-Shot Transit Video Analytics Realizable with Grounded Hybrid Reasoning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究旨在实现零样本公交视频分析，提出GHR-VLM框架，利用边缘-云设计，通过轻量级边缘监视器跟踪门状态、分割乘客片段，后端VLM经两阶段细化识别乘客与支付行为，减少云推理，评估显示其在公交支付分析中有潜力且面临视频条件挑战。
2026-08-31 cs.AI cs.CV
Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning
Fudan University（复旦大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）；Nankai University（南开大学）；Shanghai University（上海大学）；Nanyang Technological University（南洋理工大学）；Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Nanjing University（南京大学）；University of California, Merced（加州大学梅德福分校）；Chinese University of Hong Kong（香港中文大学）
Critic-V提出一种受Actor-Critic启发的框架，通过Reasoner生成推理路径和Critic提供自然语言批评来增强视觉语言模型的多模态推理能力，在8个基准中5个上超越GPT-4V等现有方法。
2025-04-23 cs.CL cs.CV
VFM-VLM: Vision Foundation Model and Vision Language Model based Visual Comparison for 3D Pose Estimation
Dept. of Electronic Engineering Yeungnam University Advanced Visual Intelligence Lab（电子工程系 韩国又南大学 高级视觉智能实验室）
本文比较了基于CLIP和DINOv2的视觉模型在3D姿态估计中的性能，展示了两者在语义理解和几何精度上的互补优势，为机器人抓取应用提供了模型选择依据。
2025-12-09 cs.AI cs.CV
Can Generalist Vision Language Models (VLMs) Rival Specialist Medical VLMs? Benchmarking and Strategic Insights
The Chinese University of Hong Kong（香港中文大学）；The University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
研究比较了通用与专门化医疗VLMs的性能，发现高效微调的通用模型在多数任务中表现可比或更优，尤其在处理未见医疗模态时。
2026-08-14 cs.AI cs.CV eess.IV
VLM-FO1: Bridging the Gap Between High-Level Reasoning and Fine-Grained Perception in VLMs
Om AI Research（Om AI研究机构）；Binjiang Institute of Zhejiang University（浙江大学滨江研究院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对视觉语言模型细粒度感知能力弱的问题，提出即插即用框架VLM-FO1，通过特征检索重构任务、双视觉编码器生成区域token，在多基准上取得SOTA且不损害通用视觉能力。
2025-09-30 cs.CL cs.CV
Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
本文提出V3Fusion方法，通过融合多种视觉语言模型，利用焦点误差多样性与CKA-focal度量来提升视觉推理性能，实验显示在多个基准上优于现有模型。
2026-03-13 cs.CV cs.LG
VLM's Eye Examination: Instruct and Inspect Visual Competency of Vision Language Models
POSTECH（浦项科技大学）；Yonsei University（延世大学）
本文提出一种VLM眼科检查流程及数据集LENS，量化并可视化VLM对颜色、形状及语义匹配的敏感度，发现其对绿色不敏感且形状敏感度取决于LLM容量，为VLM设计与视觉输入预处理提供启发。
2024-09-23 cs.AI cs.CV
Praxis-VLM: Vision-Grounded Decision Making via Text-Driven Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；InspireOmni AI；Alibaba Group（阿里巴巴集团）；Case Western Reserve University（凯斯西储大学）
针对视觉语言模型复杂决策推理能力不足的问题，提出Praxis-VLM，通过文本场景下的GRPO算法训练推理能力，可迁移至多模态视觉决策任务，性能优于监督微调且泛化性更强。
2025-10-06 cs.CL cs.CV
From Behavioral Performance to Internal Competence: Interpreting Vision-Language Models with VLM-Lens
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；University of Michigan（密歇根大学）；Stony Brook University（石溪大学）；McGill University（麦吉尔大学）；Dartmouth College（达特茅斯学院）
本研究推出开源工具包VLM-Lens，支持从16款主流基础VLM及其30余个变体的任意层提取中间输出，提供统一配置接口屏蔽模型差异，可适配新模型，助力VLM的可解释性分析与性能改进。
2025-10-02 cs.CL cs.CV
