视觉大模型 / VLM

The Spatial Blindspot of Vision-Language Models

视觉-语言模型的空间盲区

Nahid Alam, Leema Krishna Murali, Siddhant Bharadwaj, Patrick Liu, Timothy Chung, Drishti Sharma, Akshata A, Kranthi Kiran, Wesley Tam, Bala Krishna S Vegesna

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；grounding(abstract)；分类 cs.CV

AI总结 本文提出通过改进图像编码器和2D位置编码来提升视觉-语言模型的空间推理能力，以解决其在空间关系捕捉上的不足。

Comments Work done as part of the EleutherAI SOAR Program

TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning

TangramPuzzle: 通过组合空间推理评估多模态大语言模型

Daixian Liu, Jiayi Kuang, Yinghui Li, Yangning Li, Di Yin, Haoyu Cao, Xing Sun, Ying Shen, Hai-Tao Zheng, Liang Lin, Philip S. Yu

机构 * Tsinghua University（清华大学） ； Sun-Yat Sen University（孙逸人大学） ； Tencent Youtu Lab（腾讯优图实验室） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 TangramPuzzle通过几何基准测试评估多模态大语言模型的组合空间推理能力，发现模型在匹配轮廓时忽视几何约束，导致碎片变形。

EMemBench: Interactive Benchmarking of Episodic Memory for VLM Agents

EMemBench: 交互式评估VLM代理情景记忆的基准测试

Xinze Li, Ziyue Zhu, Siyuan Liu, Yubo Ma, Yuhang Zang, Yixin Cao, Aixin Sun

专题命中 视觉推理 ：VLM(title,abstract)；分类 cs.CV

AI总结 EMemBench通过交互式游戏评估VLM代理的情景记忆，发现归纳和空间推理在视觉设置中仍是瓶颈，且持续记忆对文本游戏有明显提升，但对VLM代理的提升不一致。

Comments 25 pages

M3Kang: Evaluating Multilingual Multimodal Mathematical Reasoning in Vision-Language Models

M3Kang: 评估视觉-语言模型在多语言多模态数学推理中的表现

Aleix Torres-Camps, Nathaniel Mitrani Hadida, Víctor Conchello Vendrell, Àlex Batlle Casellas, Arnau Padrés Masdemont, Jordi Ros-Giralt

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 M3Kang是一个大规模多语言多模态数学推理数据集，用于评估视觉-语言模型在多语言数学推理中的表现，通过基准测试揭示模型在基础数学和图表推理上的不足，并展示多语言技术在多模态设置中的有效性。

Comments 10 pages, 8 figures

VMMU: A Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark

VMMU：一个多任务多模态理解和推理基准

Vy Tuong Dang, An Vo, Emilio Villa-Cueva, Quang Tau, Duc Dm, Thamar Solorio, Daeyoung Kim

机构 * KAIST（韩国科学技术院） ； MBZUAI（慕布扎伊大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；visual reasoning(abstract)；grounding(abstract)；分类 cs.LG

AI总结 VMMU是一个评估视觉语言模型在非英语环境下多模态理解和推理能力的基准，通过2500个多模态问题测试模型对视觉和文本信息的整合与推理能力。

Symmetry breaking for inductive logic programming

归纳逻辑编程中的对称性打破

Andrew Cropper, David M. Cerna, Matti Järvisalo

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种在归纳逻辑编程中打破对称性的方法，通过答案集编程实现，显著提升了在视觉推理和游戏玩法等领域的求解效率。

Comments AAAI26

SimWorld: An Open-ended Realistic Simulator for Autonomous Agents in Physical and Social Worlds

SimWorld：一种用于物理和社会世界中自主代理的开放式真实模拟器

Jiawei Ren, Yan Zhuang, Xiaokang Ye, Lingjun Mao, Xuhong He, Jianzhi Shen, Mrinaal Dogra, Yiming Liang, Ruixuan Zhang, Tianai Yue, Yiqing Yang, Eric Liu, Ryan Wu, Kevin Benavente, Rajiv Mandya Nagaraju, Muhammad Faayez, Xiyan Zhang, Dhruv Vivek Sharma, Xianrui Zhong, Ziqiao Ma, Tianmin Shu, Zhiting Hu, Lianhui Qin

机构 * UCSD（加州大学圣地亚哥分校） ； UVA（弗吉尼亚大学） ； UIUC（伊利诺伊大学香槟分校） ； JHU（约翰·霍普金斯大学） ； Purdue（Purdue 大学） ； PolyU ； USC（美国南加州大学） ； UMich（密歇根大学） 纠错

专题命中 视觉推理 ：VLM(abstract)；分类 cs.AI

AI总结 SimWorld是一个基于Unreal Engine 5构建的开放式真实模拟器，旨在开发和评估LLM/VLM代理在复杂物理和社会环境中的能力，通过多代理配送任务验证其推理模式与局限性。

Efficient rule induction by ignoring pointless rules

通过忽略无用规则实现高效的规则归纳

Andrew Cropper, David M. Cerna

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种通过忽略无用规则来提升归纳逻辑编程效率的方法，实验表明该方法在多个领域显著减少了学习时间并保持了预测准确性。

Comments AAAI26

WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning

WildScore: 多模态符号音乐推理在现实中的基准测试

Gagan Mundada, Yash Vishe, Amit Namburi, Xin Xu, Zachary Novack, Julian McAuley, Junda Wu

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)

AI总结 WildScore是首个用于评估多模态大语言模型在现实世界中符号音乐推理能力的基准测试，通过真实音乐作品和用户生成问题，系统性评估模型在音乐学分析中的表现。