视觉大模型 / VLM

Visual serial processing deficits explain divergences in human and VLM reasoning

视觉序列处理缺陷解释了人类与VLM推理之间的差异

Nicholas Budny, Kia Ghods, Declan Campbell, Raja Marjieh, Amogh Joshi, Sreejan Kumar, Jonathan D. Cohen, Taylor W. Webb, Thomas L. Griffiths

机构 * Princeton Neuroscience Institute（普林斯顿神经科学研究所） ； Department of Psychology, Princeton University（普林斯顿大学心理学系） ； Department of Psychology, Université de Montréal（蒙特利尔大学心理学系） ； Mila - Quebec AI Institute（魁北克AI研究所） ； Department of Computer Science, Princeton University（普林斯顿大学计算机科学系） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision language model(abstract)；visual reasoning(abstract)；分类 cs.AI

AI总结 研究发现视觉语言模型在视觉序列处理能力上存在缺陷，导致其在不同领域中的推理表现与人类存在显著差距。

MATEX: Multi-scale Attention and Text-guided Explainability of Medical Vision-Language Models

MATEX: 医疗视觉-语言模型的多尺度注意力与文本引导可解释性

Muhammad Imran, Chi Lee, Yugyung Lee

机构 * Computer Science, School of Science and Engineering（科学与工程学院计算机科学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 MATEX通过多尺度注意力与文本引导方法提升医疗视觉-语言模型的可解释性，实现更精确和临床相关的梯度归因图。

Comments 12 pages, 3 figures, 1 table

Predicting When to Trust Vision-Language Models for Spatial Reasoning

预测何时信任视觉-语言模型进行空间推理

Muhammad Imran, Yugyung Lee

机构 * University of Missouri Kansas City（密苏里大学堪萨斯城分校） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出一种基于视觉的置信度估计框架，通过几何验证提升VLM空间推理的可靠性，实验显示其在BLIP-2和CLIP上的AUROC显著优于文本方法基线。

Comments 9 pages, 5 figures, 6 tables

LLM-VLM Fusion Framework for Autonomous Maritime Port Inspection using a Heterogeneous UAV-USV System

基于异构无人机-水下机器人系统的LLM-VLM融合框架用于自主港口检测

Muhayy Ud Din, Waseem Akram, Ahsan B. Bakht, Irfan Hussain

机构 * Khalifa University Center for Autonomous Robotic Systems (KUCARS)（卡利法大学自主机器人系统中心（KUCARS）） ； Khalifa University（卡利法大学） 纠错

专题命中 视觉推理 ：VLM(title,abstract)；vision language model(abstract)；分类 cs.CV

AI总结 本文提出基于LLM和VLM的融合框架，利用异构无人机-水下机器人系统实现自主港口检测，通过符号规划与语义检测提升检测效率和安全性。

Comments submitted in AEJ

Linear Mechanisms for Spatiotemporal Reasoning in Vision Language Models

线性机制用于视觉语言模型中的时空推理

Raphi Kang, Hongqiao Chen, Georgia Gkioxari, Pietro Perona

机构 * California Institute of Technology（加利福尼亚理工学院） 纠错

专题命中 视觉推理 ：vision language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出了一种线性机制用于视觉语言模型中的时空推理，通过分析空间ID和时间ID的结合，揭示了模型内部的因果推理过程，以提升模型的可解释性和设计能力。

Reasoning or Pattern Matching? Probing Large Vision-Language Models with Visual Puzzles

推理还是模式匹配？通过视觉谜题探测大型视觉-语言模型

Maria Lymperaiou, Vasileios Karampinis, Giorgos Filandrianos, Angelos Vlachos, Chrysoula Zerva, Athanasios Voulodimos

机构 * National Technical University of Athens（国家技术大学雅典） ； Instituto de Telecomunicações（电信研究所） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文通过视觉谜题探测大型视觉-语言模型的推理能力，揭示其在泛化、感知与推理整合及执行一致性方面的局限，并提出未来基准和系统的发展方向。

RobotDesignGPT: Automated Robot Design Synthesis using Vision Language Models

RobotDesignGPT: 基于视觉语言模型的自动化机器人设计合成

Nitish Sontakke, K. Niranjan Kumar, Sehoon Ha

机构 * School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院） 纠错

专题命中 视觉推理 ：vision language model(title)；vision-language model(abstract)；分类 cs.AI

AI总结 RobotDesignGPT利用视觉语言模型实现自动化机器人设计，通过用户提示和参考图像生成美观且运动学有效的机器人设计。

Beyond Accuracy: Evaluating Grounded Visual Evidence in Thinking with Images

超越准确率：评估图像推理中的 grounded 视觉证据

Xuchen Li, Xuzhao Li, Renjie Pi, Shiyu Hu, Jian Zhao, Jiahui Gao

机构 * ZGCA（中钢集团自动化研究院） ； NTU（国立.ntu） ； HKUST（香港科技大学） ； HKU（香港大学） ； ZGCI（中钢集团信息院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.CV

AI总结 ViEBench 是一个用于评估视觉语言模型图像推理能力的基准，通过细粒度视觉证据和双轴矩阵评估模型在不同任务复杂度下的推理表现。

Comments Preprint, Under review

PhysicsSolutionAgent: Towards Multimodal Explanations for Numerical Physics Problem Solving

PhysicsSolutionAgent: 向数值物理问题求解的多模态解释迈进

Aditya Thole, Anmol Agrawal, Arnav Ramamoorthy, Dhruv Kumar

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)

AI总结 PhysicsSolutionAgent通过生成多模态视频解释，提升数值物理问题的可视化教学效果，揭示了多模态推理与评估的挑战。

Reasoning with Pixel-level Precision: QVLM Architecture and SQuID Dataset for Quantitative Geospatial Analytics

基于像素级精度的推理：QVLM架构与SQuID数据集用于定量遥感分析

Peter A. Massih, Eric Cosatto

机构 * Department of Machine Learning, NEC Laboratories America（机器学习系，NEC美国实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出QVLM架构和SQuID数据集，通过解耦语言理解和视觉分析，提升定量空间推理的准确性。

Comments Submitted to CVPR 2026. Introduces the QVLM architecture and the SQuID dataset for quantitative geospatial reasoning. Dataset DOI: 10.57967/hf/7565

Think Then Embed: Generative Context Improves Multimodal Embedding

思考后再嵌入：生成性上下文提升多模态嵌入

Xuanming Cui, Jianpeng Cheng, Hong-you Chen, Satya Narayan Shukla, Abhijeet Awasthi, Xichen Pan, Chaitanya Ahuja, Shlok Kumar Mishra, Yonghuan Yang, Jun Xiao, Qi Guo, Ser-Nam Lim, Aashu Singh, Xiangjun Fan

机构 * AI at Meta（Meta人工智能部门） ； University of Central Florida（中央佛罗里达大学） ； New York University（纽约大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出Think-Then-Embed框架，通过生成性推理提升多模态嵌入性能，实现更高效的复杂指令处理。

Enginuity: Building an Open Multi-Domain Dataset of Complex Engineering Diagrams

Enginuity：构建一个复杂的工程图多领域开放数据集

Ethan Seefried, Prahitha Movva, Naga Harshita Marupaka, Tilak Kasturi, Tirthankar Ghosal

机构 * Oak Ridge National Laboratory（奥克伍德国家实验室） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 Enginuity是一个开放的多领域工程图数据集，旨在通过结构注释帮助AI处理工程图解析和科学发现。

Comments Accepted at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Ai4 Science

Do MLLMs See What We See? Analyzing Visualization Literacy Barriers in AI Systems

MLLMs是否看到我们看到的？分析AI系统中可视化素养障碍

Mengli, Duan, Yuhe, Jiang, Matthew Varona, Carolina Nobre

机构 * University of Toronto（多伦多大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

AI总结 本研究分析了MLLMs在可视化素养中的障碍，揭示了两种机器特定的障碍，并展示了模型在复杂可视化任务上的表现差异。

Reasoning is a Modality

推理是一种模态

Zhiguang Liu, Yi Shang

机构 * University of Missouri - Columbia（密苏里大学哥伦比亚分校） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出了一种新的视觉推理方法，通过分离控制器和工作区令牌，实现了更高效的规则执行，从而在ARC任务中取得优于人类和先前方法的准确率。

Comments Code access: https://github.com/lz7fd/Reasoning_is_a_Modality

The Side Effects of Being Smart: Safety Risks in MLLMs' Multi-Image Reasoning

智能的副作用：MLLMs多图像推理中的安全风险

Renmiao Chen, Yida Lu, Shiyao Cui, Xuan Ouyang, Victor Shea-Jay Huang, Shumin Zhang, Chengwei Pan, Han Qiu, Minlie Huang

机构 * CoAI group, DCST, Tsinghua University（清华大学） ； Beihang University（北航） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究发现，多图像推理能力越强的模型在安全测试中越容易产生不安全响应，揭示了模型在任务解决中可能忽视安全约束的风险。

Comments *15 pages, 5 figures. Introduces MIR-SafetyBench (2,676 instances; 9 multi-image relations). Equal contribution; †Corresponding author. Code/data: https://github.com/thu-coai/MIR-SafetyBench

Revisiting Multi-Task Visual Representation Learning

重新审视多任务视觉表示学习

Shangzhe Di, Zhonghua Zhai, Weidi Xie

机构 * SAI, Shanghai Jiao Tong University（上海交通大学SAI） ； ByteDance Seed（字节跳动种子） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 MTV框架通过多任务学习结合视觉-语言对比、自监督和密集空间目标，提升空间推理能力的同时保持全局语义理解。

Comments Code: https://github.com/Becomebright/MTV

HateXScore: A Metric Suite for Evaluating Reasoning Quality in Hate Speech Explanations

HateXScore: 一个评估仇恨言论解释推理质量的度量套件

Yujia Hu, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 HateXScore通过四个维度评估仇恨言论解释的推理质量，揭示可解释性问题，提升审核透明度

Comments EACL 2026 Main Conference

CausalSpatial: A Benchmark for Object-Centric Causal Spatial Reasoning

CausalSpatial: 一个用于以对象为中心的因果空间推理的基准

Wenxin Ma, Chenlong Wang, Ruisheng Yuan, Hao Chen, Nanru Dai, S. Kevin Zhou, Yijun Yang, Alan Yuille, Jieneng Chen

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 CausalSpatial提出一个基准测试，评估模型在因果空间推理中的能力，揭示当前MLLMs在3D场景中处理‘如果’问题的不足，并提出COW模型以改进基于物理现实的推理。

Comments Code is available: https://github.com/CausalSpatial/CausalSpatial

Incentivizing In-depth Reasoning over Long Contexts with Process Advantage Shaping

通过过程优势塑造激励深入推理长上下文

Miao Peng, Weizhou Shen, Nuo Chen, Chenliang Li, Ming Yan, Jia Li

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tongyi Lab, Alibaba Group（阿里云实验室） 纠错

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 通过过程优势塑造激励深入推理长上下文，提出DeepReasonQA和LongPAS方法，提升长上下文推理性能。

MMedExpert-R1: Strengthening Multimodal Medical Reasoning via Domain-Specific Adaptation and Clinical Guideline Reinforcement

MMedExpert-R1: 通过领域特定适应与临床指南强化多模态医学推理

Meidan Ding, Jipeng Zhang, Wenxuan Wang, Haiqin Zhong, Xiaoling Luo, Wenting Chen, Linlin Shen

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） ； Guangdong Provincial Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Renmin University of China（中国人民大学） ； School of Biomedical Engineering, Shenzhen University（深圳大学生物医学工程学院） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 MMedExpert-R1通过领域特定适应和临床指南强化，提升多模态医学推理能力，实现多专科对齐和高精度推理性能。

PlotGen-Bench: Evaluating VLMs on Generating Visualization Code from Diverse Plots across Multiple Libraries

PlotGen-Bench: 评估VLMs在从多样化图表生成可视化代码的能力 across 多个库

Yi Zhao, Zhen Yang, Shuaiqi Duan, Wenmeng Yu, Zhe Su, Jibing Gong, Jie Tang

专题命中 视觉推理 ：vision-language model(abstract)

AI总结 PlotGen-Bench评估VLMs在多库场景下生成可视化代码的能力，发现开源模型在视觉和语义一致性上表现欠佳，需进一步提升。

Comments 30 pages, 27 figures