Self-Rewarding Vision-Language Model via Reasoning Decomposition
Tencent AI Seattle Lab（腾讯AI西雅图实验室）；University of Maryland（马里兰大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出Vision SR1，通过分解视觉与语言推理，提升视觉推理能力，减少视觉幻觉和语言捷径依赖，效率优于需外部视觉奖励模型的方法。
2026-04-27 cs.CV
Improving Visual Reasoning with Iterative Evidence Refinement
本文提出SIEVE框架，利用模型内部信号直接支持图像 grounded 推理，通过强化学习指导视觉重访，提升多基准性能8%。
2026-03-14 cs.CV
Two-stage Rule-induction Visual Reasoning on RPMs with an Application to Video Prediction
University of Nottingham Ningbo China（宁波诺丁汉大学）；Nanyang Technological University（南洋理工大学）
瑞文推理矩阵（Raven's Progressive Matrices，RPMs）是评价人类视觉推理能力的常用工具。研究人员在开发自动解决RPM问题的系统方面做出了相当大的努力，通常通过黑盒端到端卷积神经网络进行视觉识别和逻辑推理任务。基于RPM问题的视觉识别和逻辑推理两个本质特征，提出了一种两阶段规则归纳视觉推理器（TRIVR），它由感知模块和推理模块组成，分别用于解决现实世界中的视觉识别和后续的逻辑推理任务。对于推理模块，我们进一步提出了一个“2+1”的公式，模拟人类的思维在解决RPM和显着降低模型的复杂性。它从每个RPM样本中导出一个推理规则，这对于现有的方法是不可行的。因此，所提出的推理模块是能够产生一组推理规则建模人类在解决RPM问题。为了验证所提出的方法在现实世界中的应用，RPM类视频预测（RVP）数据集的构建，其中视觉推理进行RPM使用现实世界中的视频帧构造。在各种RPM类数据集上的实验结果表明，与现有的模型相比，所提出的TRIVR实现了显着和一致的性能增益。
2022-01-05 cs.CV
Is Geometry Enough for Matching in Visual Localization?
Technical University of Munich（慕尼黑工业大学）；Universidade de Lisboa（里斯本大学）
在本文中，我们建议超越成熟的方法，以视觉为基础的本地化，依赖于查询图像和3D点云之间的视觉描述符匹配。虽然通过视觉描述符匹配关键点使定位高度准确，但它具有显著的存储需求，引起了隐私问题，并需要长期更新描述符。为了优雅地解决大规模定位的实际挑战，我们提出了GoMatch，这是一种基于视觉的匹配的替代方案，它仅依赖于将图像关键点与地图匹配的几何信息，表示为一组方位向量。我们新颖的3D点的方位矢量表示，显着缓解了基于几何的匹配中的跨模态挑战，这些挑战阻止了先前的工作在现实环境中解决定位问题。通过额外的精心架构设计，GoMatch改进了先前基于几何的匹配工作，在剑桥地标和7场景上的平均中值姿态误差减少了（10.67m，95.7deg）和（1.43m，34.7deg），同时与最好的基于视觉的匹配方法相比，只需要1.5/1.7%的存储容量。这证实了其在现实世界中的定位的潜力和可行性，并为未来不需要存储视觉描述符的城市规模视觉定位方法的发展打开了大门。
2022-07-30 cs.CV
A Neurosymbolic Agent System for Compositional Visual Reasoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
针对现有视觉-语言模型组合视觉推理能力不足的问题，本文提出神经符号视觉-语言智能体系统VLAgent，通过两阶段推理架构、SS-parser和执行验证器提升推理效果，在多个基准上超越现有代表性方法。
2025-10-04 cs.CV
Heterogeneous Graph Learning for Visual Commonsense Reasoning
Sun Yat-sen University（中山大学）
视觉常识推理任务旨在引导研究领域解决具有预测正确答案的能力并同时提供令人信服的推理路径的认知级推理，产生了三个子任务，即，Q->A，QA->R和Q->AR。它对视觉和语言域之间的适当语义对齐以及知识推理以生成有说服力的推理路径提出了很大的挑战。现有的作品要么诉诸于一个强大的端到端的网络，不能产生可解释的推理路径，或只探索内部关系的视觉对象（同质图），而忽略了跨域的视觉概念和语言词汇之间的语义对齐。在本文中，我们提出了一个新的异构图学习（HGL）框架无缝集成的内部图和图间的推理，以桥梁视觉和语言领域。我们的HGL由一个原始的视觉到答案的异构图（VAHG）模块和一个双重的问题到答案的异构图（QAHG）模块，以交互式地细化推理路径的语义协议。此外，我们的HGL集成了一个上下文投票模块，以利用更好的全局推理的远程视觉上下文。在大规模视觉常识推理基准测试上的实验表明，我们提出的模块在三个任务上具有优异的性能（提高Q->A的准确率5%，QA->R的准确率3.5%，Q->AR的准确率5.8%）
2019-10-25 cs.CV
Take A Step Back: Rethinking the Two Stages in Visual Reasoning
Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）
本文重新审视视觉推理的两阶段过程，发现推理阶段比符号化阶段更具泛化能力，提出分离符号化与共享推理的设计原则，在多种2D和3D视觉推理任务上实现了出色的泛化能力。
2024-07-29 cs.CV
Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark
UC Merced（加州大学默塞德分校）；PKU（北京大学）；NTU（国立台湾大学）；CUHK（香港中文大学）；WHU（武汉大学）；FDU（福建大学）
本文提出视觉推理追踪器任务，通过对象级 grounded 推理基准评估模型的推理路径生成能力，并引入了新的评估指标和大规模数据集提升模型推理表现。
2025-12-04 cs.CV
Visually Interpretable Subtask Reasoning for Visual Question Answering
University of Edinburgh（爱丁堡大学）；NVIDIA（英伟达）
本文提出子任务驱动框架 VISTAR，通过微调 MLLM 生成文本与视觉的 Subtask-of-Thought 推理序列，在两个基准上兼顾并提升视觉问答的可解释性与准确率。
2025-05-12 cs.CV
Latent Visual Diffusion Reasoning with Monte Carlo Tree Search
Beijing Jiaotong University（北京交通大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）；University at Buffalo（布法罗大学）
提出LVDR框架，结合关键点引导的蒙特卡洛树搜索，实现细粒度技能活动的可解释视觉推理，在多个体育和手术数据集上取得竞争性表现。
2026-06-29 cs.CV
VERIFY: A Benchmark of Visual Explanation and Reasoning for Investigating Multimodal Reasoning Fidelity
University of Rochester（罗切斯特大学）；University of Central Florida（中佛罗里达大学）
本文提出 VERIFY 基准，通过最少文本上下文、人工标注推理路径和新型保真度指标，严格评估 MLLM 的真实视觉推理能力，并揭示主流模型在感知与推理间的失衡。
2025-03-14 cs.CV
See It, Say It, Sorted: An Iterative Training-Free Framework for Visually-Grounded Multimodal Reasoning in LVLMs
Southeast University（东南大学）；University of Oxford（牛津大学）；AIIA, Ministry of Education, China（教育部人工智能研究院，中国）
本文提出无需训练的迭代框架，通过视觉证据监督推理步骤，减少多模态推理中的幻觉问题，提升推理准确性。
2026-03-07 cs.CV
Interpretable Visual Question Answering via Reasoning Supervision
DeepLab（深度实验室）
针对VQA模型缺乏视觉基础的问题，提出利用常识推理作为监督信号的新架构，通过相似性损失对齐注意力分布引导视觉关注，无需显式基础标注即可提升视觉感知能力与性能。
2023-09-07 cs.CV
Reasoning or Pattern Matching? Probing Large Vision-Language Models with Visual Puzzles
National Technical University of Athens（国家技术大学雅典）；Instituto de Telecomunicações（电信研究所）
本文通过视觉谜题探测大型视觉-语言模型的推理能力，揭示其在泛化、感知与推理整合及执行一致性方面的局限，并提出未来基准和系统的发展方向。
2026-01-20 cs.CV
UniVR: Thinking in Visual Space for Unified Visual Reasoning
Beijing Jiaotong University（北京交通大学）；ByteDance（字节跳动）
UniVR旨在从纯视觉演示中同时学习复杂推理、物理动力学和长期规划，核心是VR-GRPO强化学习范式。构建VR-X基准进行训练和评估，在VR-X上有25%的提升，还提高了多模态理解基准性能，相关资源已开源。
2026-07-15 cs.CV
VisCRA: A Visual Chain Reasoning Attack for Jailbreaking Multimodal Large Language Models
Huazhong University of Science and Technology（华中科技大学）；Hong Kong University of Science and Technology（香港科技大学）
本文揭示了多模态大语言模型视觉推理能力提升与越狱脆弱性之间的权衡，并提出 VisCRA 越狱框架，结合视觉注意力掩蔽与两阶段推理诱导策略，在多个领先闭源模型上实现高攻击成功率。
2025-05-28 cs.CV
VCD: Visual Causality Discovery for Cross-Modal Question Reasoning
Sun Yat-sen University（中山大学）
针对现有视觉问题推理方法忽略跨模态时序与因果建模的问题，提出含VCD架构、LGCAM模块与IVLT的CMQR框架，通过因果干预缓解虚假关联，在四个数据集上实现了更鲁棒的推理效果。
2023-12-11 cs.CV
Distilling Visual Reasoning into Text Space
University of California, Los Angeles（加州大学洛杉矶分校）；Cisco Research（思科研究院）
提出V2T框架，通过知识蒸馏将视觉推理内化到文本空间，避免推理时生成中间视觉表示，在多个多模态基准上平均准确率提升14.3%，训练速度提升42倍。
2026-09-29 cs.CV
Diagnosing Visual Reasoning: Challenges, Insights, and a Path Forward
University of Rochester（罗切斯特大学）；University of Central Florida（中央佛罗里达大学）
针对多模态大语言模型在视觉推理中的幻觉与文本先验依赖问题，提出结合轻量级视觉模块的智能体架构，实现细粒度分析与迭代优化，在MMMU和MathVista上显著提升并超越更大模型。
2025-10-23 cs.CV
Position: The Systemic Lack of Agency in Visual Reasoning
National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University（武汉大学计算机学院人工智能研究所多媒体软件工程研究中心）；Hubei Key Laboratory of Multimedia（湖北省多媒体与网络通信工程重点实验室）；Zhongguancun Academy, Beijing, China. 100094（中关村学院，北京，中国）；School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）；Shanda AI Research Tokyo（上海大势人工智能研究东京）
本文指出当前视觉语言模型因缺乏自主探索能力而无法进行隐式推理，并提出V-IRD基准来评估这一能力，实验表明强语义识别不等同于主动视觉探索。
2026-06-16 cs.CV
Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
视频中的时间句子定位（TSLV）旨在根据给定的句子查询，从未经裁剪的视频中检索出最感兴趣的片段。然而，现有的TSLV方法都存在以下局限性：（1）它们只关注框架级或对象级的视觉表示学习和相关推理，而没有将两者结合起来;（2）它们忽略了利用丰富的语义上下文来进一步促进查询推理。为了解决这些问题，在本文中，我们提出了一种新的层次视觉和语义感知推理网络（HVSARN），它使视觉和语义感知查询推理从对象级到帧级。具体而言，我们提出了一种新的图记忆机制来执行视觉语义查询推理：对于视觉推理，我们设计了一个视觉图记忆，利用视频的视觉信息;对于语义推理，语义图记忆也被引入，显式地利用包含在视频对象的类和属性的语义知识，并在语义空间进行相关推理。三个数据集上的实验表明，我们的HVSARN实现了一个新的国家的最先进的性能。
2023-03-15 cs.CV
Expansion of Visual Hints for Improved Generalization in Stereo Matching
NVIDIA（英伟达）；Aalto University（阿尔托大学）；Niantic
我们引入视觉提示扩展来指导立体匹配，以提高泛化能力。我们的工作是出于视觉惯性里程计（VIO）在计算机视觉和机器人技术，其中一个稀疏和不均匀分布的特征点集表征场景的鲁棒性。为了提高立体匹配，我们建议将2D提示提升到3D点。这些稀疏且不均匀分布的3D视觉提示使用3D随机几何图来扩展，这增强了学习和推理过程。我们在多个广泛采用的基准测试中评估了我们的建议，并在不使用图像序列以外的其他传感器的情况下显示出更好的性能。为了突出实用性和共生与视觉里程计，我们演示了我们的方法如何运行在嵌入式硬件上。
2022-11-01 cs.CV
Learning Only with Images: Visual Reinforcement Learning with Reasoning, Rendering, and Visual Feedback
针对MLLMs深度视觉推理严重依赖图文监督的瓶颈，提出RRVF框架，基于“验证不对称性”原则，通过推理、渲染与视觉反馈的闭环强化学习，仅用原始图像即可训练出优于同规模开源模型且泛化更强的视觉推理模型。
2025-08-07 cs.CV
Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Planck Aerosystems（普朗克航空系统公司）
视觉问答需要对图像进行高阶推理，这是机器系统遵循复杂指令所需的基本能力。最近，模块化网络已被证明是执行视觉推理任务的有效框架。虽然模块化网络最初设计时具有一定程度的模型透明性，但它们在复杂的视觉推理基准上的性能却有所欠缺。目前最先进的方法不提供一个有效的机制来理解推理过程。在本文中，我们关闭可解释的模型和最先进的视觉推理方法之间的性能差距。我们提出了一组视觉推理原语，组成时，表现为一个模型，能够执行复杂的推理任务，在一个明确的解释方式。基元输出的保真度和可解释性使其具有无与伦比的诊断结果模型的优点和缺点的能力。重要的是，我们证明了这些原语的高性能，在CLEVR数据集上达到了99.1%的最先进的准确率。我们还表明，我们的模型是能够有效地学习广义表示时，提供了少量的数据包含新的对象属性。使用CoGenT泛化任务，我们显示出比目前最先进的技术水平提高了20个百分点以上。
2018-07-02 cs.CV
Word2VisualVec: Image and Video to Sentence Matching by Visual Feature Prediction
Zhejiang University（浙江大学）；Renmin University of China（中国人民大学）；University of Amsterdam（阿姆斯特丹大学）
本文试图找到最能描述图像或视频内容的句子。不同于现有的作品，它依赖于一个联合子空间的图像/视频句子匹配，我们建议这样做的视觉空间。我们贡献了Word 2 VisualVec，这是一个深度神经网络架构，可以学习预测基于句子向量化和多层感知器的文本输入的深度视觉编码。我们深入分析了它的架构设计，通过改变句子向量化策略，网络深度和深度特征来预测图像到句子的匹配。我们还通过将预测能力扩展到3-D ConvNet特征以及视觉-音频表示，将Word 2 VisualVec推广到视频与句子的匹配。在四个具有挑战性的图像和视频基准上的实验详细介绍了Word 2 VisualVec的属性，图像和视频与句子匹配的能力，以及在所有数据集上的最先进的结果。
2016-11-25 cs.CV
PatchCue: Enhancing Vision-Language Model Reasoning with Patch-Based Visual Cues
本文提出PatchCue，一种基于补丁的视觉提示方法，通过两阶段训练提升VLMs的视觉推理能力，在多项任务中表现优于像素级和点级提示。
2026-03-13 cs.CV
Constructing and Interpreting Digital Twin Representations for Visual Reasoning via Reinforcement Learning
Department of Computer Science, Johns Hopkins University（计算机科学系，约翰霍普金斯大学）
针对现有视觉推理方法依赖任务专用架构、泛化性差的问题，提出强化学习框架DT-R1，通过训练大模型构建视觉输入的数字孪生表征实现统一推理，在多基准测试中性能超越现有专用模型。
2025-11-15 cs.CV
Visual Abductive Reasoning
Zhejiang University（浙江大学）；University of Technology Sydney（悉尼科技大学）；ETH Zurich（苏黎世联邦理工学院）；Baidu Research（百度研究院）
溯因推理为部分观察寻找最可能的解释。虽然溯因在人类日常推理中经常被使用，但在计算机视觉文献中却很少被探讨。在本文中，我们提出了一个新的任务和数据集，视觉溯因推理（VAR），检查日常视觉情况下的机器智能溯因推理能力。给定一组不完整的视觉事件，人工智能系统不仅需要描述观察到的内容，还需要推断出最能解释视觉前提的假设。基于我们的大规模VAR数据集，我们设计了一个强大的基线模型，Reasoner（cascand-and-cascaded reasoning Transformer）。首先，为了捕获观测的因果结构，在编码器中采用上下文化的方向位置嵌入策略，该策略产生前提和假设的判别表示。然后，级联多个解码器以生成并逐步细化前提和假设语句。在级联推理过程中，句子的预测分数用于指导跨句子的信息流。我们的VAR基准测试结果表明，Reasoner超越了许多著名的视频-语言模型，但仍远远落后于人类的表现。这项工作预计将促进未来的推理超越观察范式的努力。
2022-03-26 cs.CV
TVI-CoT: Text-Visual Interleaved Chain-of-Thought Reasoning for Multimodal Understanding
University of Science and Technology of China（中国科学技术大学）
提出TVI-CoT框架，通过可学习控制令牌实现文本推理与视觉特征访问的动态交错，解决多模态LLM在推理过程中无法访问视觉特征的问题，在多个基准上取得最优结果。
2026-06-07 cs.CV
Best of Both Worlds: Multimodal Reasoning and Generation via Unified Discrete Flow Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究）；Sony Research, India（索尼印度研究）；Indian Institute of Technology, Roorkee（印度理工学院罗尔基分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出UniDFlow框架，通过任务特定低秩适配器解耦理解与生成，并利用基于参考的多模态偏好对齐优化忠实性与可控性，在多个基准上达到最先进性能。
2026-06-02 cs.CV
Identity-Aware Textual-Visual Matching with Latent Co-attention
The Chinese University of Hong Kong（香港中文大学）
文本视觉匹配的目的是衡量句子描述和图像之间的相似性。大多数现有的方法没有有效地利用身份级别的注释来解决这个问题。在本文中，我们提出了一个身份感知的两阶段框架的文本视觉匹配问题。我们的第一阶段CNN-LSTM网络学习嵌入具有新的跨模态交叉熵（CMCE）损失的跨模态特征。第一阶段的网络能够有效地筛选容易不正确的匹配，也为第二阶段的训练提供初始训练点。阶段2 CNN-LSTM网络使用潜在的共同注意力机制来细化匹配结果。空间注意将每个词与对应的图像区域相关联，而潜在语义注意将不同的句子结构对齐，以使匹配结果对句子结构变化更具鲁棒性。在三个具有身份级别注释的数据集上进行的大量实验表明，我们的框架的性能大大优于最先进的方法。
2017-08-07 cs.CV
Deep Neural Networks for Visual Reasoning
Deakin University（迪肯大学）
视觉感知和语言理解是人类智能的基本组成部分，使他们能够理解和推理物体及其相互作用。对于机器来说，使用这两种模式来发明新的机器人-人类协作系统，具有这种推理能力至关重要。深度学习的最新进展已经建立了视觉场景和语言的独立复杂表示。然而，在多模态推理的共享环境中理解两种模态之间的关联仍然是一个挑战。本论文以语言和视觉模态为重点，提出了如何利用神经网络来支持推理的视觉和语言任务的关键方面的理解。我们从一系列的著作中获得这些理解，做出了双重贡献：（i）用于响应于语言查询从动态视觉场景选择内容和构建时间关系的有效机制，以及为推理过程准备足够的知识（ii）通过利用视觉-语言关联来用神经网络执行推理的新框架，直接从数据中推断或由外部先验指导。
2022-09-24 cs.CV
Genesis: Visual Augmentation Primitives for Multimodal Chain-of-Thought Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Jiaotong University（北京交通大学）；Wuhan AI Research（武汉人工智能研究院）；Xiaohongshu Inc.（小红书科技有限公司）
本研究针对多模态大模型视觉推理在复杂真实场景下性能下降的问题，提出视觉增强原语VAP及相关方法，构建UNREAL基准，验证了视觉推理的缩放定律。
2026-10-14 cs.CV
Visual Para-Thinker++: A Single-Policy Multi-Agent Framework for Visual Reasoning
Zhejiang University（浙江大学）；Hunan University（湖南大学）；Tianjin University（天津大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shanghai Jiao Tong University（上海交通大学）；Jilin University（吉林大学）
提出Visual Para-Thinker++框架，通过共享MLLM策略实例化为多个角色智能体并行推理，结合多智能体能力注入和角色解耦优化，有效缓解视觉推理中的早期感知承诺和幻觉问题。
2026-06-08 cs.CV
VisRes Bench: On Evaluating the Visual Reasoning Capabilities of VLMs
Technology Innovation Institute, Abu Dhabi, UAE（阿布扎比技术创新研究所）；Tuebingen AI Center/University of Tuebingen（图宾根人工智能中心/图宾根大学）
VisRes Bench通过三个层次评估VLMs的视觉推理能力，揭示其在复杂任务中的局限性，并为多模态研究提供统一框架。
2025-12-24 cs.CV
Two-stream Hierarchical Similarity Reasoning for Image-text Matching
Tongji University（同济大学）；DeepBlue Academy of Sciences（深兰科学院）；City University of Hong Kong（香港城市大学）
基于推理的方法已经证明了其强大的能力，为任务的图像-文本匹配。在这项工作中，解决了两个问题的图像-文本匹配。首先，对于推理处理，传统的方法没有能力发现和使用多层次的层次相似性信息。为了解决这个问题，提出了一个层次相似性推理模块，自动提取上下文信息，然后与本地交互信息进行有效的推理。其次，先前的方法仅考虑学习单流相似性对齐（即，图像到文本级或文本到图像级），这不足以完全使用相似性信息进行图像-文本匹配。为了解决这个问题，一个双流架构的开发分解图像-文本匹配到图像到文本的水平和文本到图像的水平相似度计算。这两个问题进行了调查的一个统一的框架，是在一个端到端的方式，即双流层次相似性推理网络的训练。在MSCOCO和Flickr 30 K两个基准数据集上进行的广泛实验表明，与现有的最先进方法相比，所提出的方法具有优越性。
2022-03-10 cs.CV cs.MM
CoLVR: Enhancing Exploratory Latent Visual Reasoning via Contrastive Optimization
Shandong University（山东大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；The University of Hong Kong（香港大学）
CoLVR通过引入潜在对比训练框架，利用角度扰动引导学习多样化且探索性的表示，提升潜在视觉推理的探索能力，在VSP和Jigsaw任务中分别提升5.83%和8.00%。
2026-10-22 cs.CV
ChainV: Atomic Visual Hints Make Multimodal Reasoning Shorter and Better
School of Computer Science, Peking University（北京大学计算机科学学院）；ByteDance Inc.（字节跳动公司）；Shanghai Jiao Tong University（上海交通大学）
ChainV通过动态整合视觉提示，提升多模态推理的效率和准确性，尤其在数学密集型基准测试中表现突出。
2025-11-21 cs.CV
Autonomous Imagination: Closed-Loop Decomposition of Visual-to-Textual Conversion in Visual Reasoning for Multimodal Large Language Models
State Key Laboratory of CAD&CG（计算机辅助设计与图形学国家重点实验室）
针对多模态大模型视觉-文本转换存在感知瓶颈、难完成简单视觉任务的问题，提出自主想象方法，通过闭环迭代修改视觉输入生成中间状态来分解转换过程，无需重训即可让模型解决超出原有感知能力的任务。
2025-10-06 cs.CV
Q-Tacit: Image Quality Assessment via Latent Visual Reasoning
Visual Information Lab, University of Bristol（布里斯托大学视觉信息实验室）；Nanyang Technological University（南洋理工大学）
本文提出Q-Tacit方法，通过在潜在质量空间中超越自然语言进行视觉推理，提升图像质量评估效果，实验表明其在更少token下表现优异。
2026-03-23 cs.CV
SrTR: Self-reasoning Transformer with Visual-linguistic Knowledge for Scene Graph Generation
Beijing Institute of Technology（北京理工大学）；Huawei（华为）；The University of Hong Kong（香港大学）
场景中的对象并不总是相关的。一阶段场景图生成方法的执行效率相当高，它使用稀疏建议集和少量查询来推断实体对之间的有效关系。但是，它们只关注主语实体、谓语实体、宾语实体三元组中的主语与宾语的关系，忽略了主语与谓语、谓语与宾语的关系，模型缺乏自推理能力。此外，一阶段法忽略了语言情态。为了提高模型的推理能力，需要挖掘语言模态知识。针对上述不足，提出了一种基于视觉语言知识的自推理转换器（Self-reasoning Transformer with Visual-linguistic Knowledge，SrTR），为模型增加了灵活的自推理能力。SrTR采用编解码器结构，设计了一个自推理解码器，完成对三元组集合s+o-p、s+p-o和p+o-s的三种推理。受大规模预训练图像-文本基础模型的启发，引入视觉-语言先验知识，设计了一种视觉-语言对齐策略，将视觉表示投影到具有先验知识的语义空间中，以辅助关系推理。在Visual Genome数据集上的实验证明了该方法的优越性和快速推理能力。
2022-12-19 cs.CV
VisualQuest: A Benchmark for Abstract Visual Reasoning in MLLMs
School of Computer Science and Technology, Dalian University of Technology, Dalian, China（大连理工大学计算机科学与技术学院）；School of Foreign Languages, Dalian University of Technology, Dalian, China（大连理工大学外语学院）；School of Computer Science and Technology, Xinjiang Normal University, Urumqi, China（新疆师范大学计算机科学与技术学院）
VisualQuest通过风格化图像和针对性问题，评估多模态大语言模型在抽象视觉推理上的能力，发现Gemini和GPT-4o在不同任务上表现突出，揭示多模态理解的挑战。
2026-01-02 cs.CV
Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
提出Perceive-to-Reason (P2R)框架，将细粒度视觉推理解耦为感知和推理两阶段，并引入PRA-GRPO强化学习策略，在多个高分辨率基准上显著提升性能。
2026-07-02 cs.CV
BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception
Sun Yat-sen University（中山大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；CUHK MMLab（香港中文大学多模态实验室）；Peking University（北京大学）
本文提出视觉中心推理基准BLINK-Twice，包含七种视觉挑战、自然对抗图像对和带注释推理链，评估20个多模态大模型，发现重复图像观察与主动视觉交互能显著提升视觉推理性能。
2025-10-10 cs.CV
Point-RFT: Improving Multimodal Reasoning with Visually Grounded Reinforcement Finetuning
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Microsoft（微软公司）
Point-RFT提出视觉接地思维链与两阶段微调，在ChartQA上准确率达90.04%，超越纯文本CoT，并展现出跨基准的强泛化能力。
2025-05-26 cs.CV
LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；University of Central Florida（中佛罗里达大学）；Linköping University（林雪平大学）；Australian National University（澳大利亚国立大学）
针对多步视觉推理缺乏系统评估与训练框架的问题，本文提出含八类任务的基准、逐步推理质量指标及课程学习模型LlamaV-o1，实验显示其性能和推理效率显著提升。
2025-01-10 cs.CV
TerraScope: Pixel-Grounded Visual Reasoning for Earth Observation
University of Trento（特伦托大学）；BIFOLD and TU Berlin（BIFOLD和柏林技术大学）；Technical University of Munich（慕尼黑技术大学）；MBZUAI
TerraScope通过模态灵活推理和多时序推理，提升地球观测中像素级空间推理能力，提出Terra-CoT数据集和TerraScope-Bench基准，验证其在像素级地理空间推理中的优越性。
2026-03-19 cs.CV
SAViR-T: Spatially Attentive Visual Reasoning with Transformers
Rutgers University（罗格斯大学）
我们提出了一种新的计算模型，“SAViR-T”，在乌鸦的渐进矩阵（RPM）中体现的视觉推理问题的家庭。我们的模型考虑了拼图中每个图像内视觉元素的明确空间语义，编码为空间视觉令牌，并学习图像内以及图像间令牌依赖关系，与视觉推理任务高度相关。通过基于转换器的SAViR-T架构建模的令牌式关系通过利用组规则一致性来提取组（行或列）驱动的表示，并将其用作归纳偏置来提取RPM中每个令牌的前两行（或列）中的底层规则表示。我们使用这种关系表示来定位正确的选择图像，该图像完成RPM的最后一行或最后一列。在两个合成RPM基准测试（包括RAVEN、I-RAVEN、RAVEN-FAIR和PGM）以及基于自然图像的“V-PROM”上进行的广泛实验表明，SAViR-T为视觉推理提供了一个新的最先进的技术，大大超过了先前模型的性能。
2022-06-22 cs.CV
ChartProbe: A Diagnostic Study on Visual Reasoning through Perception, Grounding, and Simple Reasoning
本文提出诊断框架ChartProbe，发现视觉-语言模型可通过单独监督感知、定位等简单技能，在无需复杂推理数据的情况下提升复杂图表推理能力。
2026-08-17 cs.CV
Context-Aware Multi-Turn Visual-Textual Reasoning in LVLMs via Dynamic Memory and Adaptive Visual Guidance
Beihua University（白华大学）；Kasem Bundit University（Kasem Bundit大学）
针对LVLM多轮交互中推理碎片化与上下文丢失问题，提出CAMVR框架，通过动态记忆单元和自适应视觉引导机制，实现连贯多轮视觉-文本推理，在多个数据集上达到最先进性能。
2025-09-06 cs.CV
From Shallow to Deep: Compositional Reasoning over Graphs for Visual Question Answering
University of Chinese Academy of Sciences（中国科学院大学）
为了实现一个通用的视觉问答（VQA）系统，它是必不可少的学习回答更深层次的问题，需要对图像和外部知识的组合推理。同时，推理过程应该是明确的和可解释的，以理解模型的工作机制。这对人类来说很容易，但对机器来说很有挑战性。在本文中，我们提出了一个层次图神经模块网络（HGNMN），原因在多层图与神经模块，以解决上述问题。具体来说，我们首先从视觉，语义和常识的观点，因为支持答案的线索可能存在于不同的模态的多层图编码的图像。我们的模型由几个精心设计的神经模块组成，它们在图上执行特定的功能，可用于在不同的图内和图之间进行多步推理。与现有的模块化网络相比，我们将视觉推理从一个图扩展到更多的图。我们可以显式地跟踪推理过程中，根据模块的权重和图的关注度。实验表明，我们的模型不仅达到了最先进的性能在CRIC数据集上，但也获得了明确的和可解释的推理过程。
2022-06-25 cs.CV
Visual Objects Classification with Sliding Spatial Pyramid Matching
University of Tunku Abdul Rahman（东姑阿都拉曼大学）
我们提出了一种仅使用单一特征的视觉对象分类方法，即转换的彩色SIFT与空间金字塔匹配（SPM）的变体，我们称之为滑动空间金字塔匹配（SSPM），使用线性回归（由LINEAR提供）的集合进行训练，以获得Caltech-101上83.46%的最新结果。SSPM是SPM的一个特殊版本，其中不是将图像划分为K个区域，而是以固定步长围绕图像滑动固定大小的子窗口。对于每个子窗口，生成视觉单词的直方图。为了获得视觉词汇，我们从训练集中随机挑选N个样本，并使用软非线性映射方法对其进行编码，而不是执行K-means聚类。然后，我们训练了15个模型，每个模型都有不同的视觉单词大小和线性回归。然后将所有15个模型平均在一起以形成单个强模型。
2012-12-18 cs.CV
Leveraging Latent Visual Reasoning in Silence
North Carolina State University（北卡罗来纳州立大学）；UC, San Diego（加州大学圣地亚哥分校）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Johns Hopkins University（约翰霍普金斯大学）；Duke University（杜克大学）；Boston University（波士顿大学）；The Ohio State University（俄亥俄州立大学）
本文探讨了在推理过程中是否需要持续的潜在令牌，发现即使移除这些令牌或用随机噪声替代，性能影响较小，提出了一种基于注意力的奖励机制以促进潜在令牌与后续文本令牌的交互，从而提升视觉感知和视觉推理任务的性能。
2026-09-30 cs.CV
EAGLE: Elevating Geometric Reasoning through LLM-empowered Visual Instruction Tuning
Department of Computer Science, Western University（计算机科学系，西部大学）；Meituan Inc.（美团公司）；Department of Automation, Tsinghua University（自动化系，清华大学）；School of Computer Science and Technology, East China Normal University（计算机科学与技术学院，东华大学）
EAGLE通过视觉增强框架提升几何推理能力，解决MLLMs在几何理解与视觉感知上的不足。
2026-02-07 cs.CV
