DeepLatent: Think with Images via Parallel Latent Visual Reasoning
Baidu Inc.（百度公司）；Peking University（北京大学）
提出DeepLatent框架，通过LatentFormer并行生成潜在视觉状态，并结合连续空间强化学习优化潜在表示，在多个基准上达到最先进性能。
2026-05-30 cs.CV cs.LG
Slot Abstractors: Toward Scalable Abstract Visual Reasoning
Princeton University（普林斯顿大学）；Princeton Neuroscience Institute（普林斯顿神经科学研究所）；University of California Los Angeles（加州大学洛杉矶分校）
本文提出Slot Abstractors方法，结合基于槽的物体中心表示与Abstractors的关系归纳偏置，解决了多物体多关系视觉推理的可扩展性问题，在多个任务上达到最先进性能。
2024-06-02 cs.CV cs.LG
EasyARC: Evaluating Vision Language Models on True Visual Reasoning
ETH Zurich（苏黎世联邦理工学院）
针对现有多模态基准缺乏真实视觉推理的问题，本文提出程序化生成的EasyARC视觉语言基准，支持多步推理与渐进难度，测试前沿模型并分析失效模式，为视觉语言推理评估设立新标准。
2025-06-13 cs.CV cs.LG
Lifting Vision: Ground to Aerial Localization with Reasoning Guided Planning
School of Computer Science, UPES（UPES计算机科学学院）；Department of CS&E, NIT Warangal（NIT Warangal计算机科学与工程系）
本文提出ViReLoc框架，通过视觉推理实现地面到空中定位，无需依赖GPS数据，提升空间推理和跨视角检索性能。
2025-12-30 cs.CV cs.LG
Inferring and Executing Programs for Visual Reasoning
Stanford University（斯坦福大学）；Facebook AI Research（Facebook AI研究院）
现有的视觉推理方法试图使用黑盒架构直接将输入映射到输出，而不显式地对底层推理过程进行建模。因此，这些黑盒模型经常学会利用数据中的偏差，而不是学习执行视觉推理。受模块网络的启发，本文提出了一种模型，由一个程序生成器，构建一个明确的表示要执行的推理过程，和一个执行引擎，执行产生的程序，以产生一个答案的视觉推理。程序生成器和执行引擎都由神经网络实现，并使用反向传播和REINFORCE的组合进行训练。使用CLEVR基准的视觉推理，我们表明，我们的模型显着优于强大的基线，并在各种设置更好地概括。
2017-05-10 cs.CL cs.CV cs.LG
IVR-R1: Refining Trajectories through Iterative Visual-Grounded Reasoning in Reinforcement Learning
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Kuaishou Technology（快手科技）；Shenzhen Institute of Advanced Integration Technology, Shenzhen（深圳先进集成技术研究院）
提出IVR-R1框架，利用奖励驱动的筛选机制和迭代再推理循环，在强化学习中动态校正多模态推理轨迹，以解决视觉幻觉和逻辑错误问题。
2026-05-18 cs.AI cs.CV cs.LG
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
在构建能够推理和回答视觉数据问题的人工智能系统时，我们需要诊断测试来分析我们的进展并发现不足。现有的视觉问答基准可以提供帮助，但有很强的偏见，模型可以利用这些偏见来正确回答问题，而无需推理。它们还合并了多种错误来源，使得很难确定模型的弱点。我们提出了一个诊断数据集，测试一系列的视觉推理能力。它包含最小的偏见，并有详细的注释，描述了每个问题所需的推理类型。我们使用这个数据集来分析各种现代视觉推理系统，为它们的能力和局限性提供新的见解。
2016-12-20 cs.CL cs.CV cs.LG
JRDB-Reasoning: A Difficulty-Graded Benchmark for Visual Reasoning in Robotics
针对现有视觉推理基准缺乏复杂度定义、难度控制和分步标注的局限，该研究形式化推理复杂度，引入自适应查询引擎生成带标注的定制问题，扩展JRDB数据集创建JRDB-Reasoning基准，支持细粒度评估与动态测试。
2025-08-20 cs.CV
SceneAlign: Aligning Multimodal Reasoning to Scene Graphs in Complex Visual Scenes
University of California, San Diego（加州大学圣地亚哥分校）；University of Toronto（多伦多大学）；University of New South Wales（新南威尔士大学）
SceneAlign通过利用场景图进行结构干预，提升多模态推理在复杂视觉场景中的准确性和忠实性。
2026-01-09 cs.CL cs.CV cs.LG
Learning Differentiable Logic Programs for Abstract Visual Reasoning
针对抽象视觉推理中一阶逻辑表达受限与内存开销大的问题，提出图基可微前向推理器NEUMANN及高效结构学习算法，并引入幕后视觉推理任务，实验表明其性能优于神经、符号及神经符号基线。
2025-07-04 cs.AI cs.CV cs.LG
Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Tencent（腾讯）；Center for Language AI Research, Tohoku University（东北大学语言人工智能研究中心）；RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进人工智能项目中心）
针对多模态大语言模型在长链推理中逐渐忽视视觉信息的问题，本文提出随程视觉条件化（TVC）策略，通过将图像输入迁移到关键推理阶段并动态剪枝冗余视觉token，在五个数学推理基准上平均提升3.4分，达到最先进性能。
2025-06-03 cs.AI cs.CV cs.LG
Gen-VCoT: Generative Visual Chain-of-Thought Reasoning via Diffusion-Based RGB Intermediate Representations
Hunan Chemical Industry Vocational and Technical College（湖南化工职业技术学院）
提出Gen-VCoT框架，利用专家视觉模型生成RGB图像作为推理中间步骤，通过自适应路由器选择推理深度，在空间和深度问题上分别提升25%和50%，但简单事实查询性能下降，表明最优表示依赖于任务。
2026-06-16 cs.AI cs.CV cs.LG
Model Guides You How to Draw: Adaptive Visual Gating for Unified Multimodal Reasoning
Imperial College London（伦敦帝国理工学院）；Tsinghua University（清华大学）
针对统一多模态模型在视觉推理中存在的问题，提出基于生成意图和视觉保真度两个内部信号的AdaViG方法，可动态评估视觉步骤，避免误导性视觉证据进入推理过程，提升了准确率并降低计算量和延迟。
2026-07-14 cs.CV
Imagine while Reasoning in Space: Multimodal Visualization-of-Thought
Microsoft Research（微软研究院）；University of Cambridge（剑桥大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对思维链提示在复杂空间推理任务中表现不佳的问题，提出多模态思维可视化范式，通过生成推理轨迹图像让多模态大模型具备视觉思考能力，引入token差异损失提升可视化质量，在多项动态空间推理任务中取得有竞争力的性能，尤其在思维链失效的难场景中表现稳健。
2025-01-13 cs.CL cs.CV cs.LG
Grounded Reinforcement Learning for Visual Reasoning
Carnegie Mellon University（卡内基梅隆大学）
本文提出ViGoRL，通过强化学习实现视觉推理，通过空间坐标锚定推理步骤，提升视觉定位和搜索性能，优于传统方法。
2026-05-15 cs.CV
Visual Structures Helps Visual Reasoning: Addressing the Binding Problem in VLMs
本文提出VISER方法，通过为视觉输入添加低级空间结构并配合顺序化文本提示，有效缓解视觉语言模型的绑定问题，显著提升视觉搜索、计数和空间关系等推理任务的性能。
2025-11-10 cs.AI cs.CV cs.LG
Does Visual Pretraining Help End-to-End Reasoning?
Brown University（布朗大学）；Google（谷歌）；Google Research（谷歌研究院）
本文提出一种基于视频帧压缩与时间上下文重建的自监督视觉预训练框架，证明预训练对端到端视觉推理的组合泛化至关重要，并在 CATER 和 ACRE 上显著超过图像分类与目标检测等监督预训练方法。
2023-12-16 cs.AI cs.CV cs.LG
VisionPulse: Dynamic Visual Sparsity for Efficient Multimodal Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China, Beijing, China（中国人民大学北京校区人工智能学院）
提出VisionPulse框架，通过步骤级视觉令牌剪枝，利用视觉注意力质量估计保留预算，仅保留关键令牌，在几乎不损失准确率的情况下减少推理开销和推理轨迹长度。
2026-05-29 cs.CV
Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence
针对潜在视觉推理中潜在标记对视觉证据响应弱的问题，提出ReaLVR方法，通过引入视觉证据监督，在多个模型上提升性能，并首次将视觉推理扩展到235B规模。
2026-09-29 cs.CL cs.CV cs.LG
Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution
VLM Run Research（VLM Run研究）
Orion通过整合视觉推理与工具增强执行，实现了多模态感知、高级视觉推理与执行的统一，提升多步骤视觉智能性能。
2025-11-19 cs.AI cs.CV cs.LG
Self-Rewarding Vision-Language Model via Reasoning Decomposition
Tencent AI Seattle Lab（腾讯AI西雅图实验室）；University of Maryland（马里兰大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出Vision SR1，通过分解视觉与语言推理，提升视觉推理能力，减少视觉幻觉和语言捷径依赖，效率优于需外部视觉奖励模型的方法。
2026-04-27 cs.CV
Learning Adaptive Reasoning Paths for Efficient Visual Reasoning
Fudan University（复旦大学）；University of California, Davis（加州大学戴维斯分校）
本文提出AVR框架，通过分解视觉推理为三个认知功能，动态选择响应格式，减少推理冗余，提升效率。
2026-04-16 cs.CL cs.CV
Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers
Google DeepMind（谷歌DeepMind）
本研究针对LLM作为视觉推理控制器时需人工设计特定上下文示例的问题，提出含时空抽象例程、用少量标注自动生成上下文示例的框架，提升了性能与鲁棒性，免去人工设计成本。
2024-05-14 cs.AI cs.CV cs.LG
VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文提出大规模合成视觉逻辑推理数据集VisualSphinx及规则到图像的合成流水线，通过GRPO训练显著提升VLM在逻辑推理及其他相关推理任务上的性能。
2026-11-02 cs.AI cs.CV cs.LG
Neuro-Symbolic Visual Reasoning: Disentangling "Visual" from "Reasoning"
Microsoft Applied Sciences Group (ASG)（微软应用科学集团）；Microsoft Research AI（微软人工智能研究院）
视觉推理任务，如视觉问答（VQA）需要一个相互作用的视觉感知与推理的问题语义的基础上的看法。然而，这一领域的最新进展仍然主要由感知改进（例如场景图生成）而不是推理驱动。神经模块网络等神经符号模型为VQA带来了组合推理的好处，但它们仍然与视觉表示学习纠缠在一起，因此神经推理很难自行改进和评估。为了解决这个问题，我们提出了（1）一个框架，以隔离和评估VQA的推理方面独立于其感知，（2）一种新的自上而下的校准技术，允许模型回答推理问题，即使有不完美的感知。为此，我们引入了一个可微的一阶逻辑形式主义的VQA，明确地从视觉感知的问答。在具有挑战性的GQA数据集上，该框架用于在知名的VQA模型之间进行深入的、分解的比较，从而获得有关参与模型和任务的信息性见解。
2020-08-25 cs.AI cs.CV cs.LG
Improving Visual Reasoning with Iterative Evidence Refinement
本文提出SIEVE框架，利用模型内部信号直接支持图像 grounded 推理，通过强化学习指导视觉重访，提升多基准性能8%。
2026-03-14 cs.CV
Two-stage Rule-induction Visual Reasoning on RPMs with an Application to Video Prediction
University of Nottingham Ningbo China（宁波诺丁汉大学）；Nanyang Technological University（南洋理工大学）
瑞文推理矩阵（Raven's Progressive Matrices，RPMs）是评价人类视觉推理能力的常用工具。研究人员在开发自动解决RPM问题的系统方面做出了相当大的努力，通常通过黑盒端到端卷积神经网络进行视觉识别和逻辑推理任务。基于RPM问题的视觉识别和逻辑推理两个本质特征，提出了一种两阶段规则归纳视觉推理器（TRIVR），它由感知模块和推理模块组成，分别用于解决现实世界中的视觉识别和后续的逻辑推理任务。对于推理模块，我们进一步提出了一个“2+1”的公式，模拟人类的思维在解决RPM和显着降低模型的复杂性。它从每个RPM样本中导出一个推理规则，这对于现有的方法是不可行的。因此，所提出的推理模块是能够产生一组推理规则建模人类在解决RPM问题。为了验证所提出的方法在现实世界中的应用，RPM类视频预测（RVP）数据集的构建，其中视觉推理进行RPM使用现实世界中的视频帧构造。在各种RPM类数据集上的实验结果表明，与现有的模型相比，所提出的TRIVR实现了显着和一致的性能增益。
2022-01-05 cs.CV
A Neurosymbolic Agent System for Compositional Visual Reasoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
针对现有视觉-语言模型组合视觉推理能力不足的问题，本文提出神经符号视觉-语言智能体系统VLAgent，通过两阶段推理架构、SS-parser和执行验证器提升推理效果，在多个基准上超越现有代表性方法。
2025-10-04 cs.CV
Take A Step Back: Rethinking the Two Stages in Visual Reasoning
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
本文重新审视视觉推理的两阶段过程，发现推理阶段比符号化阶段更具泛化能力，提出分离符号化与共享推理的设计原则，在多种2D和3D视觉推理任务上实现了出色的泛化能力。
2024-07-29 cs.CV
Zero-Shot Visual Reasoning by Vision-Language Models: Benchmarking and Analysis
ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））；ASUS Global Pte. Ltd.（华硕全球私人有限公司）；Centre for Frontier AI Research (CFAR)（前沿人工智能研究中心（CFAR））；Institute of High Performance Computing (IHPC)（高性能计算研究所（IHPC））；Agency for Science, Technology and Research (A*STAR)（新加坡科学、技术与研究局（A*STAR））
本文通过合成数据集系统基准测试视觉语言模型的零样本视觉推理能力，发现文本场景描述优于视觉嵌入，思维链提示仅在大规模LLM上有效，揭示了VLM在复杂视觉推理中的局限及LLM的重要作用。
2024-08-27 cs.AI cs.CL cs.CV
SpatialMath: Spatial Comprehension-Infused Symbolic Reasoning for Mathematical Problem-Solving
Indian Institute of Technology Delhi（印度理工学院德里）；Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎克）；Microsoft Research（微软研究院）
SpatialMath通过整合空间表示到结构化符号推理链中，提升多模态模型在视觉密集型数学问题中的推理能力。
2026-01-24 cs.CL cs.CV cs.LG
TAB-VCR: Tags and Attributes based Visual Commonsense Reasoning Baselines
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
推理是一种重要的能力，我们从很小的时候就开始学习。然而，推理对于算法来说是极其困难的。尽管最近在需要推理的任务上取得了令人印象深刻的进展，例如视觉问答和视觉对话，但模型经常利用数据集中的偏见。为了开发具有更好推理能力的模型，最近，新的视觉常识推理（VCR）任务已经被引入。模型不仅要回答问题，还要为给定的答案提供理由。拟议的基线取得了令人信服的结果，利用了由LSTM模块和注意力网络组成的精心设计的模型。在这里，我们表明，通过消融和修剪现有的复杂基线获得的更简单的模型可以用一半的可训练参数来表现得更好。通过将视觉特征与属性信息和更好的文本到图像接地相关联，我们获得了更简单有效的基线TAB-VCR的进一步改进。我们表明，这种方法的结果在5.3%，4.4%和6.5%的绝对改善比以前的国家的最先进的问答，答案的理由和整体VCR。
2020-01-09 cs.CL cs.CV cs.LG
Heterogeneous Graph Learning for Visual Commonsense Reasoning
Sun Yat-sen University（中山大学）
视觉常识推理任务旨在引导研究领域解决具有预测正确答案的能力并同时提供令人信服的推理路径的认知级推理，产生了三个子任务，即，Q->A，QA->R和Q->AR。它对视觉和语言域之间的适当语义对齐以及知识推理以生成有说服力的推理路径提出了很大的挑战。现有的作品要么诉诸于一个强大的端到端的网络，不能产生可解释的推理路径，或只探索内部关系的视觉对象（同质图），而忽略了跨域的视觉概念和语言词汇之间的语义对齐。在本文中，我们提出了一个新的异构图学习（HGL）框架无缝集成的内部图和图间的推理，以桥梁视觉和语言领域。我们的HGL由一个原始的视觉到答案的异构图（VAHG）模块和一个双重的问题到答案的异构图（QAHG）模块，以交互式地细化推理路径的语义协议。此外，我们的HGL集成了一个上下文投票模块，以利用更好的全局推理的远程视觉上下文。在大规模视觉常识推理基准测试上的实验表明，我们提出的模块在三个任务上具有优异的性能（提高Q->A的准确率5%，QA->R的准确率3.5%，Q->AR的准确率5.8%）
2019-10-25 cs.CV
UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Zhongguancun Academy（中关村学院）
UniVLR提出一种统一的视觉潜在推理框架，将文本推理和辅助视觉证据视为共享的视觉工作空间，通过压缩统一表示提升多模态大语言模型的视觉推理效率。
2026-05-12 cs.CL cs.CV
Mixture-of-Visual-Thoughts: Exploring Context-Adaptive Reasoning Mode Selection for General Visual Reasoning
Fudan University（复旦大学）；Alibaba Group Holding Limited（阿里巴巴集团控股有限公司）；Future Living Lab of Alibaba（阿里巴巴未来生活实验室）；University of Southern California（南加州大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出MoVT框架，通过AdaVaR实现多模式统一学习与上下文自适应选择，提升通用视觉推理能力。
2026-05-14 cs.AI cs.CV
Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark
UC Merced（加州大学默塞德分校）；PKU（北京大学）；NTU（国立台湾大学）；CUHK（香港中文大学）；WHU（武汉大学）；FDU（福建大学）
本文提出视觉推理追踪器任务，通过对象级 grounded 推理基准评估模型的推理路径生成能力，并引入了新的评估指标和大规模数据集提升模型推理表现。
2025-12-04 cs.CV
Visually Interpretable Subtask Reasoning for Visual Question Answering
University of Edinburgh（爱丁堡大学）；NVIDIA（英伟达）
本文提出子任务驱动框架 VISTAR，通过微调 MLLM 生成文本与视觉的 Subtask-of-Thought 推理序列，在两个基准上兼顾并提升视觉问答的可解释性与准确率。
2025-05-12 cs.CV
Latent Visual Diffusion Reasoning with Monte Carlo Tree Search
Beijing Jiaotong University（北京交通大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）；University at Buffalo（布法罗大学）
提出LVDR框架，结合关键点引导的蒙特卡洛树搜索，实现细粒度技能活动的可解释视觉推理，在多个体育和手术数据集上取得竞争性表现。
2026-06-29 cs.CV
One for All: One-stage Referring Expression Comprehension with Dynamic Reasoning
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
引用表达式理解（referencingexpressioncomprehension，REC）是视觉推理中最重要的任务之一，它需要一个模型来检测由自然语言表达式引用的目标对象。在提出的管道中，一阶段引用表达式理解（OSREC）已成为主导趋势，因为它合并了区域建议和选择阶段。许多最先进的OSREC模型采用多跳推理策略，因为一个对象的序列中经常提到一个单一的表达式，需要多跳推理来分析语义关系。然而，这些模型的一个未解决的问题是，推理步骤的数量需要预先定义和固定的推理之前，忽略了不同的复杂性的表达式。在本文中，我们提出了一个动态的多步推理网络，它允许推理步骤是动态调整的基础上的推理状态和表达式的复杂性。具体地说，我们采用了一个Transformer模块来存储和处理推理状态，并采用了一个强化学习策略来动态地推断推理步骤。这项工作在几个REC数据集上实现了最先进的性能或显着改进，从具有短表达式的RefCOCO（+，g）到具有长而复杂的组合表达式的Ref-Reasoning数据集。
2022-10-27 cs.CV
VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity
University of Rochester（罗切斯特大学）；University of Central Florida（中佛罗里达大学）
本文提出 VERIFY 基准，通过最少文本上下文、人工标注推理路径和新型保真度指标，严格评估 MLLM 的真实视觉推理能力，并揭示主流模型在感知与推理间的失衡。
2025-03-14 cs.CV
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
Southeast University（东南大学）；University of Oxford（牛津大学）；AIIA, Ministry of Education, China（教育部人工智能研究院，中国）
本文提出无需训练的迭代框架，通过视觉证据监督推理步骤，减少多模态推理中的幻觉问题，提升推理准确性。
2026-03-07 cs.CV
Interpretable Visual Question Answering via Reasoning Supervision
DeepLab（深度实验室）
针对VQA模型缺乏视觉基础的问题，提出利用常识推理作为监督信号的新架构，通过相似性损失对齐注意力分布引导视觉关注，无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
UniVR: Thinking in Visual Space for Unified Visual Reasoning
Beijing Jiaotong University（北京交通大学）；ByteDance（字节跳动）
UniVR旨在从纯视觉演示中同时学习复杂推理、物理动力学和长期规划，核心是VR-GRPO强化学习范式。构建VR-X基准进行训练和评估，在VR-X上有25%的提升，还提高了多模态理解基准性能，相关资源已开源。
2026-07-15 cs.CV
Abstract Visual Reasoning with Tangram Shapes
Cornell University（康奈尔大学）；Allen Institute for AI（艾伦人工智能研究所）；New York University（纽约大学）；Princeton University（普林斯顿大学）
我们介绍KiloGram，这是一个用于研究人类和机器的抽象视觉推理的资源。借鉴七巧板作为认知科学中刺激的历史，我们建立了一个注释丰富的数据集，该数据集具有>1k个不同的刺激，比现有资源大几个数量级，并且更加多样化。它在视觉上和语言上都更丰富，超越了整个形状描述，包括分割图和部分标签。我们使用这个资源来评估最近的多模态模型的抽象视觉推理能力。我们观察到，预先训练的权重表现出有限的抽象推理，这在微调后会显着改善。我们还观察到，明确地描述部件有助于人类和模型的抽象推理，特别是在联合编码语言和视觉输入时。KiloGram可在https://lil.nlp.cornell.edu/kilogram上获得。
2022-11-29 cs.AI cs.CL cs.CV
VisCRA: A Visual Chain Reasoning Attack for Jailbreaking Multimodal Large Language Models
Huazhong University of Science and Technology（华中科技大学）；Hong Kong University of Science and Technology（香港科技大学）
本文揭示了多模态大语言模型视觉推理能力提升与越狱脆弱性之间的权衡，并提出 VisCRA 越狱框架，结合视觉注意力掩蔽与两阶段推理诱导策略，在多个领先闭源模型上实现高攻击成功率。
2025-05-28 cs.CV
Beyond Embeddings: The Promise of Visual Table in Visual Reasoning
The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出面向视觉推理的层次化文本表征Visual Table及其小规模标注训练生成器，在11个基准上优于既有结构化与文本表征，并可稳定增强多模态大模型。
2024-06-17 cs.AI cs.CL cs.CV
VCD: Visual Causality Discovery for Cross-Modal Question Reasoning
Sun Yat-sen University（中山大学）
针对现有视觉问题推理方法忽略跨模态时序与因果建模的问题，提出含VCD架构、LGCAM模块与IVLT的CMQR框架，通过因果干预缓解虚假关联，在四个数据集上实现了更鲁棒的推理效果。
2023-12-11 cs.CV
SHOP-VRB: A Visual Reasoning Benchmark for Object Perception
Imperial College London（帝国理工学院）
在本文中，我们提出了一种方法和机器人应用中的视觉推理基准，特别是小物体的抓取和操纵。该方法和基准测试的重点是从视觉和文本数据推断对象属性。它涉及小的家用对象与他们的属性，功能，自然语言描述以及问答对的视觉推理查询及其相应的场景语义表示。我们还提出了一种生成合成数据的方法，该方法允许将基准扩展到其他对象或场景，并提出了一种比现有数据集更具挑战性的评估协议。我们提出了一个基于符号程序执行的推理系统。获得视觉和文本输入的解纠缠表示，并用于执行表示算法的“推理过程”的符号程序。我们进行了一组实验，建议的基准和比较的结果，最先进的方法。这些结果暴露了现有基准的缺点，可能会导致误导性的结论的视觉推理系统的实际性能。
2020-04-06 cs.AI cs.CV cs.LG
Distilling Visual Reasoning into Text Space
University of California, Los Angeles（加州大学洛杉矶分校）；Cisco Research（思科研究院）
提出V2T框架，通过知识蒸馏将视觉推理内化到文本空间，避免推理时生成中间视觉表示，在多个多模态基准上平均准确率提升14.3%，训练速度提升42倍。
2026-09-29 cs.CV
Diagnosing Visual Reasoning: Challenges, Insights, and a Path Forward
University of Rochester（罗切斯特大学）；University of Central Florida（中央佛罗里达大学）
针对多模态大语言模型在视觉推理中的幻觉与文本先验依赖问题，提出结合轻量级视觉模块的智能体架构，实现细粒度分析与迭代优化，在MMMU和MathVista上显著提升并超越更大模型。
2025-10-23 cs.CV
Perception Before Reasoning: Two-Stage Reinforcement Learning for Visual Reasoning in Vision-Language Models
针对直接迁移强化学习至视觉语言模型效果不佳的问题，提出两阶段强化学习框架，分别增强感知与推理能力，得到模型PeBR-R1，在七个基准上验证了优越性能。
2025-10-17 cs.AI cs.CV
Position: The Systemic Lack of Agency in Visual Reasoning
National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University（武汉大学计算机学院人工智能研究所多媒体软件工程研究中心）；Hubei Key Laboratory of Multimedia（湖北省多媒体与网络通信工程重点实验室）；Zhongguancun Academy, Beijing, China. 100094（中关村学院，北京，中国）；School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）；Shanda AI Research Tokyo（上海大势人工智能研究东京）
本文指出当前视觉语言模型因缺乏自主探索能力而无法进行隐式推理，并提出V-IRD基准来评估这一能力，实验表明强语义识别不等同于主动视觉探索。
2026-06-16 cs.CV
Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
视频中的时间句子定位（TSLV）旨在根据给定的句子查询，从未经裁剪的视频中检索出最感兴趣的片段。然而，现有的TSLV方法都存在以下局限性：（1）它们只关注框架级或对象级的视觉表示学习和相关推理，而没有将两者结合起来;（2）它们忽略了利用丰富的语义上下文来进一步促进查询推理。为了解决这些问题，在本文中，我们提出了一种新的层次视觉和语义感知推理网络（HVSARN），它使视觉和语义感知查询推理从对象级到帧级。具体而言，我们提出了一种新的图记忆机制来执行视觉语义查询推理：对于视觉推理，我们设计了一个视觉图记忆，利用视频的视觉信息;对于语义推理，语义图记忆也被引入，显式地利用包含在视频对象的类和属性的语义知识，并在语义空间进行相关推理。三个数据集上的实验表明，我们的HVSARN实现了一个新的国家的最先进的性能。
2023-03-15 cs.CV
CAVE: A Structured Credit Assignment Approach for Fragmented Visual Evidence Reasoning
Tsinghua University（清华大学）；Peking University（北京大学）；Zhejiang University of Technology（浙江工业大学）
CAVE通过结构化过程-奖励机制提升碎片化视觉推理能力，引入三个互补信号优化推理步骤，提升模型可靠性与鲁棒性。
2026-10-22 cs.AI cs.CV
