视觉大模型 / VLM

ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

ChartMuseum: 测试大型视觉-语言模型的视觉推理能力

Liyan Tang, Grace Kim, Xinyu Zhao, Thom Lake, Wenxuan Ding, Fangcong Yin, Prasann Singhal, Manya Wadhwa, Zeyu Leo Liu, Zayne Sprague, Ramya Namuduri, Bodun Hu, Juan Diego Rodriguez, Puyuan Peng, Greg Durrett

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；visual reasoning(title,abstract)；分类 cs.CV

AI总结 ChartMuseum通过评估复杂视觉和文本推理能力，揭示了大型视觉-语言模型在视觉推理上的不足。

Comments NeurIPS 2025 Datasets & Benchmarks

TwiFF (Think With Future Frames): A Large-Scale Dataset for Dynamic Visual Reasoning

TwiFF (Think With Future Frames): 一个大规模动态视觉推理数据集

Junhua Liu, Zhangcheng Wang, Zhike Han, Ningli Wang, Guotao Liang, Kun Kuang

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou, China（浙江大学计算机科学与技术学院） ； School of Computer and Computing Science, Hangzhou City University, Hangzhou, China（杭州市城市大学计算机与计算科学学院） ； Henan Academy of Innovations in Medical Science (AIMS), Zhengzhou, China（河南省医学创新研究院） ； School of Software, Beihang University, Beijing, China（北京航空航天大学软件学院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 TwiFF提出一个大规模动态视觉推理数据集及模型，通过整合视频生成与图像理解能力，提升动态场景下的视觉问答性能。

Comments preprint

Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models

代理拼图交互学习：提升视觉感知与推理能力在视觉-语言模型中

Yu Zeng, Wenxuan Huang, Shiting Huang, Xikun Bao, Yukun Qi, Yiming Zhao, Qiuchen Wang, Lin Chen, Zehui Chen, Huaian Chen, Wanli Ouyang, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 AGILE通过代理拼图交互学习提升视觉-语言模型的感知与推理能力，显著提高拼图任务性能并增强多模态模型的泛化能力。

Red-teaming the Multimodal Reasoning: Jailbreaking Vision-Language Models via Cross-modal Entanglement Attacks

多模态推理的红队测试：通过跨模态纠缠攻击劫持视觉-语言模型

Yu Yan, Sheng Sun, Shengjia Cheng, Teli Liu, Mingfeng Li, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； People’s Public Security University of China（中国人民公安大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本文提出CrossTALK方法，通过跨模态纠缠攻击提升对视觉-语言模型的劫持效果，实现高攻击成功率。

MetaphorStar: Image Metaphor Understanding and Reasoning with End-to-End Visual Reinforcement Learning

MetaphorStar: 基于端到端视觉强化学习的图像隐喻理解与推理

Chenhao Zhang, Yazhe Niu, Hongsheng Li

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong MMLab（香港中文大学MMLab） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MetaphorStar通过端到端视觉强化学习框架提升图像隐喻理解与推理能力，显著优于现有模型。

Comments 14 pages, 4 figures, 11 tables; Code: https://github.com/MING-ZCH/MetaphorStar, Model & Dataset: https://huggingface.co/collections/MING-ZCH/metaphorstar

Canvas-of-Thought: Grounding Reasoning via Mutable Structured States

Canvas-of-Thought：通过可变的结构化状态进行推理

Lingzhuang Sun, Yuxia Zhu, Ruitong Liu, Hao Liang, Zheng Sun, Caijun Jia, Honghao He, Yuchen Wu, Siyuan Li, Jingxuan Wei, Xiangxiang Zhang, Bihui Yu, Wentao Zhang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Peking University（北京大学） ； New York University（纽约大学） ； Westlake University（西湖大学） 纠错

专题命中 视觉推理 ：grounding(title)；multimodal large language model(abstract)

AI总结 Canvas-CoT通过引入HTML Canvas实现可变结构化状态，提升多模态推理效率与精度。

Chain-of-Look Spatial Reasoning for Dense Surgical Instrument Counting

密集手术器械计数的链式观察空间推理

Rishikesh Bhyri, Brian R Quaranto, Philip J Seger, Kaity Tung, Brendan Fox, Gene Yang, Steven D. Schwaitzberg, Junsong Yuan, Nan Xi, Peter C W Kim

机构 * State University of New York at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Chain-of-Look框架，通过结构化视觉链提升密集手术器械计数的准确性，并引入邻近损失函数和SurgCount-HD数据集，实验证明其在复杂场景中的优越性能。

Comments Accepted to WACV 2026. This version includes additional authors who contributed during the rebuttal phase

Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

通过对比嵌入链理解LVLMs的语言先验

Lin Long, Changdae Oh, Seongheon Park, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过对比嵌入链分析，揭示LVLMs中视觉信息整合的关键层及影响响应生成的强度量化方法。

Comments ICLR 2026

VERA: Identifying and Leveraging Visual Evidence Retrieval Heads in Long-Context Understanding

VERA：识别和利用长上下文理解中的视觉证据检索头

Rongcan Pei, Huan Li, Fang Guo, Qi Zhu

机构 * Tongji University（同济大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 VERA通过识别和利用视觉证据检索头，提升长上下文理解能力，显著提高开源VLMs的性能。

Comments 12 pages, 12 figures

PhysUniBench: A Multi-Modal Physics Reasoning Benchmark at Undergraduate Level

PhysUniBench: 一个面向本科生层面的多模态物理推理基准测试

Lintao Wang, Encheng Su, Jiaqi Liu, Pengze Li, Jiabei Xiao, Wenlong Zhang, Xinnan Dai, Xi Chen, Yuan Meng, Lei Bai, Wanli Ouyang, Shixiang Tang, Aoran Wang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Michigan State University（密歇根州立大学） ； Tsinghua University（清华大学） ； Beihang University（北航大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 PhysUniBench是一个面向本科生层面的多模态物理推理基准测试，旨在评估和提升多模态大语言模型在物理问题上的推理能力。

AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval

AudioRAG：一个用于音频推理和信息检索的挑战性基准

Jingru Lin, Chen Zhang, Tianrui Wang, Haizhou Li

专题命中 视觉推理 ：grounding(abstract)

AI总结 AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准，通过整合检索增强生成技术，为未来研究提供更强大的基准。

Comments Accepted by Audio-AAAI