Reinforcing VLMs to Use Tools for Detailed Visual Reasoning Under Resource Constraints
本研究针对资源受限下VLM详细视觉推理难题，采用GRPO训练小模型使用缩放等外部工具，结合简化接口与数据混合，在VQA任务上超越同规模基线。
2025-08-05 cs.AI cs.CV cs.LG
Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
本文提出V3Fusion方法，通过融合多种视觉语言模型，利用焦点误差多样性与CKA-focal度量来提升视觉推理性能，实验显示在多个基准上优于现有模型。
2026-03-13 cs.CV cs.LG
Ill-Posed by Design: Probing Evidence Use in VLMs
Tel Aviv University（特拉维夫大学）；IBM Research（IBM研究院）
提出单目物体尺寸估计作为不适定诊断任务，通过反事实分析分解六种视觉和语言证据通道，评估12个开源VLM，发现最大模型仍落后于纯文本LLM，且模型未有效利用场景几何信息。
2026-06-24 cs.CV
Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens
UC Berkeley（加州大学伯克利分校）；UCLA（洛杉矶大学）；Panasonic AI Research（松下人工智能研究）
COVT通过连续视觉标记提升VLMs的视觉推理能力，使模型在多个基准测试中性能提升3%-16%。
2026-08-06 cs.AI cs.CV cs.LG
ViCrit: A Verifiable Reinforcement Learning Proxy Task for Visual Perception in VLMs
University of Maryland College Park（马里兰大学学院市分校）；Microsoft（微软）；University of Michigan（密歇根大学）；Cardiff University（卡迪夫大学）
针对视觉语言模型视觉感知强化学习缺乏兼具挑战性与可验证性任务的问题，提出ViCrit代理任务与ViCrit-Bench基准，通过定位字幕细微幻觉训练模型，有效提升多场景视觉感知能力与泛化性。
2025-06-11 cs.CV cs.LG
VGS-Decoding: Visual Grounding Score Guided Decoding for Hallucination Mitigation in Medical VLMs
MBZUAI；Rajiv Gandhi University of Knowledge Technologies（拉贾·甘地知识技术大学）；Aarhus University（奥胡斯大学）；Khalifa University（卡里玛大学）
本文提出 VGS-Decoding 方法，通过视觉 grounding 分数指导解码以减少医疗 VLM 的幻觉问题，实验表明在多个数据集上取得了显著提升，且仅引入2倍推理开销。
2026-03-19 cs.CV cs.LG
Probing the Reliability of Driving VLMs: From Inconsistent Responses to Grounded Temporal Reasoning
DFKI Augmented Vision（DFKI增强视觉实验室）；TU Delft（代尔夫特理工大学）
本文研究了驾驶视觉语言模型的可靠性问题，通过引入FutureVQA数据集和自监督微调方法，提升模型在时序推理和一致性上的表现。
2026-03-10 cs.CV
Look Closer! An Adversarial Parametric Editing Framework for Hallucination Mitigation in VLMs
本文提出了一种对抗性参数编辑框架，通过激活-定位-编辑-对抗范式减轻视觉语言模型中的幻觉问题。
2025-12-26 cs.CV cs.LG
ReViCo: Unveiling the Limitations of VLMs in Visual Text Understanding via Error Correction
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Zhongke Fanyu Technology Co., Ltd（中科梵语科技有限公司）
该研究提出ReViCo基准，以视觉文本纠错任务评估VLMs，发现其与人类存在显著性能差距，为开发更优文本感知VLMs提供新基础。
2026-08-28 cs.CV
VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs
Princeton University（普林斯顿大学）
本文评估了领先VLMs的非局部视觉推理能力，发现其在复杂视觉任务上表现不佳，缺乏人类核心视觉推理能力。
2025-11-28 cs.AI cs.CV
VisualActBench: Can VLMs See and Act like a Human?
University of Rochester（罗切斯特大学）；Purdue University（普渡大学）；Northeastern University（东北大学）
VisualActBench通过评估VLMs在视觉行动推理任务中的表现，揭示了其在主动推理和高优先级动作生成方面与人类能力的差距。
2026-01-04 cs.CV
Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs
Huazhong University of Science and Technology（华中科技大学）；Alibaba Cloud（阿里云）
通过视觉对比提升VLMs的推理能力，提出VC-STaR框架，有效减少推理幻觉并提升多种VLMs的视觉推理性能。
2026-03-03 cs.AI cs.CL cs.CV
Investigating Relational Reasoning in VLMs
ETH Zurich（苏黎世联邦理工学院）
本研究以Qwen3-VL-4B为对象，构建含几何形状的合成数据集，探究VLMs的关系推理能力，发现其结合了真正视觉推理与基于语言线索的捷径策略。
2026-08-25 cs.CV
Generalizing from SIMPLE to HARD Visual Reasoning: Can We Mitigate Modality Imbalance in VLMs?
Meta AI
本文提出合成框架研究VLM在多步视觉推理中的模态不平衡问题，发现显式图像转文本及思维链训练策略可促进从简单到困难任务的泛化。
2025-06-02 cs.CL cs.CV cs.LG
VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes
Independent Researcher（独立研究者）；JKU Linz（林茨JKU）；MIT CSAIL；Tübingen AI Center（图宾根人工智能中心）；Stanford（斯坦福）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
提出VisualOverload基准，通过密集场景中的简单视觉任务测试VLM，发现最佳模型仅达69.5%准确率，揭示计数、OCR和逻辑一致性等关键缺陷。
2026-05-24 cs.AI cs.CV cs.LG
Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文系统研究了视觉条件语言模型的设计空间，编制标准化评估套件并沿关键设计轴进行严格分析，提出统一框架、优化代码和检查点，其7-13B规模模型严格优于现有最先进的开放VLMs。
2024-05-30 cs.AI cs.CL cs.CV
Visual Language Models show widespread visual deficits on neuropsychological tests
School of Psychology, The University of Auckland（奥克兰大学心理学院）
针对视觉语言模型（VLMs）与人类视觉的潜在鸿沟，本文利用神经心理学工具包通过51项测试评估三种先进VLMs，发现其在低中水平视觉能力存在广泛临床级缺陷，却能实现复杂物体识别。
2025-04-16 cs.AI cs.CV cs.LG
SemVink: Advancing VLMs' Semantic Understanding of Optical Illusions via Visual Global Thinking
University of California, Merced（加州大学默塞德分校）；University of Queensland（昆士兰大学）
针对视觉语言模型难以检测光学错觉中隐藏内容的问题，提出SemVink方法，通过将图像缩放到低分辨率消除噪声，在HC-Bench基准上实现超过99%的准确率，揭示了模型过度依赖高层语义的架构缺陷，倡导多尺度混合模型。
2025-10-15 cs.CL cs.CV
VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs
Technology Innovation Institute, Abu Dhabi, UAE（阿布扎比技术创新研究所）；Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学）
VisRes Bench通过三个层次评估VLMs的视觉推理能力，揭示其在复杂任务中的局限性，并为多模态研究提供统一框架。
2025-12-24 cs.CV
VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors
University of California, Riverside（加州大学河滨分校）；MBZUAI（穆桑人工智能研究院）
研究发现视觉语言模型在需要细粒度视觉感知的任务中表现不佳，因其依赖语义锚点而非视觉细节。通过实验验证，模型在可命名实体上表现更佳，而Logit Lens分析显示其能恢复语义标签。任务特定微调可提升性能，无需语言先验。
2026-08-05 cs.CL cs.CV
Calibrate Before Reason: Robust Visual Token Reduction against Semantic Drift in VLMs
该研究针对VLMs的语义漂移问题，提出无训练的CaRe框架，通过两个互补模块校准视觉表示，在剪枝94.4%视觉令牌时保留96.4%原性能，使推理速度提升最高2.30倍。
2026-07-31 cs.CV
Retrieval Heads Meet Vision: Uncovering How VLMs Locate and Extract Visual Information
KAIST（韩国科学技术院）
该研究发现视觉语言模型（VLMs）中存在视觉检索头（VRHs），其占注意力头的1.7%-2.6%，负责将文本描述与图像区域建立因果关联，屏蔽前20个VRHs可使定位准确率降低多达80个百分点，且VRHs具备泛化性、功能特异性与架构共享性。
2026-08-28 cs.CV
Geometry-Supervised Visual Representation Learning for Multi-Phenotype Lesion Interpretation in Medical VLMs
The University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Northeastern University（东北大学）
提出PureVision框架，通过几何监督学习（PureEyes）和解剖引导证据聚合（PureNeurons）改善医学VLM对多表型病变的解读，在三个数据集上验证了有效性。
2026-11-13 cs.CV
Focusing by Contrastive Attention: Enhancing VLMs' Visual Reasoning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of California, Merced（加州大学默塞德分校）
本研究针对VLMs在复杂环境下性能下降的问题，提出无训练方法CARVE，通过像素级注意力对比提取任务相关视觉信号，在开源模型上实现最高75%的性能提升，为提升视觉推理提供了高效路径。
2026-08-18 cs.AI cs.CV
Can VLMs be used on videos for action recognition? LLMs are Visual Reasoning Coordinators
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Mathematics of Generative Modeling（生成式建模数学研究所）
本研究探索利用大语言模型协调多个视觉语言模型，在仅依赖少量关键帧和弱时序信息的情况下进行监控视频动作识别，实验验证了可行性，并建议增强时序信号和帧数以提升性能。
2024-07-20 cs.CV
Decomposing Visual Classification: Assessing Tree-Based Reasoning in VLMs
本文研究结构化基于树的推理能否提升VLMs在细粒度视觉分类中的性能，发现尽管模型能理解树知识，但该方法仍逊色于零样本提示，而添加LLM生成的描述可提升两者性能，揭示了结构化推理的局限性。
2026-10-19 cs.CV
Shaking Up VLMs: Comparing Transformers and Structured State Space Models for Vision & Language Modeling
Heriot-Watt University（赫瑞瓦特大学）；Alana AI
本文比较了基于 Mamba 与 Transformer 的视觉语言模型，发现 Mamba 在图像描述、问答和阅读理解上更优，而 Transformer 在视觉定位及上下文多模态检索上更强，并分析了视觉编码与检索机制对性能差距的影响。
2024-10-01 cs.AI cs.CV cs.LG
Attention-Guided Saliency Maps for Interpreting Visualization Literacy in VLMs
The Alan Turing Institute（艾伦·图灵研究所）
研究视觉语言模型如何解释数据可视化这一问题，提出针对图像文本生成的轻量级诊断显著图方法，通过聚合注意力并映射到图像，生成快速无梯度显著图，用删除度量评估，揭示模型注意力分配情况。
2026-07-20 cs.CV cs.HC
To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs
George Mason University（乔治·玛斯纳大学）；Independent Researcher（独立研究者）
提出三层诊断框架，通过反事实干预实验发现视觉语言模型中普遍存在视觉谄媚（内部证据保留但输出幻觉答案）现象，并证明扩展模型规模无法解决该问题。
2026-11-04 cs.AI cs.CV
VLM's Eye Examination: Instruct and Inspect Visual Competency of Vision Language Models
POSTECH（浦项科技大学）；Yonsei University（延世大学）
本文提出一种VLM眼科检查流程及数据集LENS，量化并可视化VLM对颜色、形状及语义匹配的敏感度，发现其对绿色不敏感且形状敏感度取决于LLM容量，为VLM设计与视觉输入预处理提供启发。
2024-09-23 cs.AI cs.CV
PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs
Google DeepMind（谷歌DeepMind）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
本文提出PIVOT方法，通过迭代视觉提示将任务转化为视觉问答，使VLMs无需微调即可零样本输出空间坐标和动作，实现机器人控制与导航。
2024-02-12 cs.CL cs.CV cs.LG
Inductive Visual Logic for Few-Shot Out-Of-Distribution Adaptation in VLMs
National Tsing Hua University（国立清华大学）；National Taiwan University（国立台湾大学）
针对视觉语言模型在远距离分布外任务上的判别失败，提出无需训练的归纳视觉逻辑框架，利用模型保留的描述能力构建分类知识，在多个基准上取得最优准确率。
2026-10-01 cs.CV
Probing and Inducing Combinational Creativity in Vision-Language Models
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Yuanpei College, Peking University（北京大学元培学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（人工智能通用基础理论国家重点实验室）；Center on Frontiers of Computing Studies, School of Computer Science, Peking University（计算机科学学院前沿计算研究中心）
提出IEI框架从概念融合视角探究视觉语言模型的组合创造力，并构建CreativeMashup数据集验证其有效性，发现模型在理解任务超越普通人类但未达专家水平，在生成任务中能显著提升输出创造性。
2025-04-29 cs.AI cs.CL cs.CV
How Far Can VLMs Go for Visual Bug Detection? Studying 19,738 Keyframes from 41 Hours of Gameplay Videos
University of Alberta（阿尔伯塔大学）
研究通过分析41小时游戏录像中的19,738个关键帧，评估VLMs在实际场景中检测视觉缺陷的能力，发现其性能有限，需结合混合方法提升。
2026-03-24 cs.CV cs.SE
Language-Guided Invariance Probing of Vision-Language Models
Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出LGIP基准，用于评估视觉-语言模型对语言扰动的鲁棒性，发现EVA02-CLIP和OpenCLIP表现优异，而SigLIP存在显著缺陷。
2026-02-18 cs.AI cs.CV
Why Do VLMs Fail at Remote Physiological Measurement? Rethinking with Physiological Grounding and Numerical Alignment
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Sichuan University（四川大学）；Nanyang Technological University（南洋理工大学）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
该研究针对VLMs在远程生理测量（RPM）中的失效问题，提出VITAL框架及结构化数值对齐方法，在多rPPG数据集上提升跨域估计性能，同时保留VLMs通用视觉理解能力。
2026-10-13 cs.CV
Right this way: Can VLMs Guide Us to See More to Answer Questions?
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本研究针对视觉语言模型不会评估信息充足性的问题，提出“信息不足时引导调整图像”的VQA新任务，构建人工标注基准，提出生成合成训练数据的自动化框架，经微调后主流VLMs性能显著提升，更接近人类水平。
2024-11-01 cs.AI cs.CV cs.LG
Visual Data-Type Understanding does not emerge from Scaling Vision-Language Models
University of Cambridge（剑桥大学）
本文提出视觉数据类型识别任务，构建含27种修改类型的动物图像数据集并评估39个VLM，发现模型规模化无法带来该能力，而在微调描述中加入数据类型信息可显著提升性能。
2023-12-06 cs.CL cs.CV cs.LG
Test-Time Reasoning Through Visual Human Preferences with VLMs and Soft Rewards
本研究训练VLM在测试时对人类视觉偏好进行推理，采用受DeepSeek R1和OpenAI O1启发的强化学习方法，在ImageReward和HPSv2数据集上达到与传统编码器模型相媲美的准确率，并引入高效软奖励策略提升图像排序和视觉偏好优化效果。
2025-06-28 cs.AI cs.CV
Which private attributes do VLMs agree on and predict well?
EPFL（苏黎世联邦理工学院）；Idiap Research Institute（Idiap研究机构）
本文研究了VLMs在隐私属性识别上的表现，发现其在某些属性上与人类标注一致且预测准确，可辅助大规模图像数据集的隐私标注。
2026-02-08 cs.CV
iVISPAR -- An Interactive Visual-Spatial Reasoning Benchmark for VLMs
Institute of Cognitive Science, Osnabrück University（认知科学研究所，奥斯纳布吕克大学）
该研究提出交互式多模态基准 iVISPAR，通过滑块拼图变体在 3D、2D 和文本模态下评估 VLM 智能体的空间推理，并结合最优解与人类基线揭示其视觉对齐差距。
2025-09-30 cs.AI cs.CL cs.CV
PatchCue: Enhancing Vision-Language Model Reasoning with Patch-Based Visual Cues
本文提出PatchCue，一种基于补丁的视觉提示方法，通过两阶段训练提升VLMs的视觉推理能力，在多项任务中表现优于像素级和点级提示。
2026-03-13 cs.CV
Exploiting the Asymmetric Uncertainty Structure of Pre-trained VLMs on the Unit Hypersphere
Department of Information Technology, Uppsala University（信息科技系，乌普萨拉大学）；Science for Life Laboratory, Uppsala University（生命科学实验室，乌普萨拉大学）
针对预训练视觉语言模型忽略模态间不对称不确定性及单位超球面约束的问题，提出AsymVLM构建概率嵌入，实现不确定性量化，并在基准上验证其有效性。
2025-09-26 cs.LG
Decomposing Complex Visual Comprehension into Atomic Visual Skills for Vision Language Models
Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Google DeepMind（谷歌DeepMind）
该研究将复杂视觉理解分解为原子视觉技能，构建AVSD数据集，基准测试显示VLM在这些简单任务上表现不佳，强调需专用数据集训练和评估原子视觉感知。
2025-05-26 cs.AI cs.CV
ETC: Extreme Token Compression via Task-aware Visual Information Distillation in VLMs
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院）
提出ETC框架，基于变分信息蒸馏原理，在减少输入令牌数量时最小化任务损失，通过文本-图像交叉注意力加权视觉特征并引入变分信息蒸馏，实现单令牌压缩下仍保持强任务性能。
2026-07-24 cs.CV
Direct Visual Grounding by Directing Attention of Visual Tokens
Temple University（特拉华大学）
该研究针对VLMs中视觉令牌注意力不足的问题，提出KL注意力损失，结合下一个令牌预测损失，在多个视觉任务上取得显著提升，还引入了用于评估VLMs线条追踪能力的新数据集。
2026-08-10 cs.CV
VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following
Yonsei University（延世大学）
研究VLMs在视觉路径跟随任务中的表现，发现其在面对局部相似干扰时易切换路径，揭示局部竞争导致的失败原因。
2026-10-26 cs.AI cs.CV
Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs
Inha University（延世大学）
提出SPARE方法，将令牌剪枝重构为子空间重建问题，通过迭代选择投影残差大的令牌进行剪枝，并引入反相关性机制保留上下文信息，在LLaVA上剪枝94%令牌仍保持95%性能。
2026-07-27 cs.CV
Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs
本文提出VISER方法，通过为视觉输入添加低级空间结构并配合顺序化文本提示，有效缓解视觉语言模型的绑定问题，显著提升视觉搜索、计数和空间关系等推理任务的性能。
2025-11-10 cs.AI cs.CV cs.LG
When Seeing Overrides Knowing: Visual Dominance and Deferral-Based Method for Personalized Safety in VLMs
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）；Microsoft Research Asia（微软亚洲研究院）；William & Mary（威廉玛丽学院）
针对VLMs在高风险场景中对特定用户存在个性化安全风险的问题，构建基准MPS-Bench，揭示其视觉主导机制，提出PRISM方法，实现0.978 AUC并优化安全-效用帕累托前沿。
2026-09-07 cs.AI cs.CV cs.LG
When Big Models Train Small Ones: Label-Free Model Parity Alignment for Efficient Visual Question Answering using Small VLMs
Indian Institute of Technology Jodhpur（印度理工学院朱诺尔）
本文提出模型对齐器MPA，通过无标签图像和基于差异对齐的知识迁移策略，在不依赖标注数据的情况下系统提升小型视觉语言模型在多个VQA基准上的性能，缩小与大型模型的差距并保持计算效率。
2025-09-20 cs.AI cs.CL cs.CV
COVR:Collaborative Optimization of VLMs and RL Agent for Visual-Based Control
COVR通过协同优化视觉语言模型与强化学习代理，利用RL生成数据提升VLM语义推理能力，并通过动作先验引导策略学习，实现视觉控制任务中的高效优化。
2026-01-04 cs.AI cs.CV cs.LG
Beyond the Linear Separability Ceiling: Aligning Representations in VLMs
Applied Artificial Intelligence Group（应用人工智能小组）；Tallinn University of Technology（塔林技术大学）
提出线性可分上限（LSC）诊断框架，发现VLM存在对齐差距，并通过对比目标重塑视觉流形，使模型在抽象组合推理任务上显著超越LSC。
2026-06-18 cs.CV
Structural Graph Probing of Vision-Language Models
Northeastern University（东北大学）；Massachusetts Institute of Technology（麻省理工学院）
研究通过神经拓扑分析视觉-语言模型的层间相关图谱，揭示群体结构对行为的意义、跨模态变化及因果影响，提出神经拓扑作为解释性中间尺度。
2026-03-28 cs.CV
