视觉大模型 / VLM

VLM-based automatic multi-granularity graph representation of building layouts for design informatics

基于视觉语言模型的建筑布局多粒度图自动表示方法，用于设计信息学

Song Guo, Zhuoshi Chen, Maosu Li, Weimin Zhuang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：VLM(title,summary_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 本研究提出基于VLM的多粒度图自动构建方法，以147份高校图书馆平面图为案例，验证其生成的图与人工标注图一致性良好，可用于设计信息学相关任务，提升建筑全生命周期设计信息利用率。

VBVR-Pro: A Scalable and Verifiable Suite for Native Visual Reasoning

VBVR-Pro：用于原生视觉推理的可扩展且可验证工具套件

Junxiang Xu, Ruisi Wang, Fanyi Pu, Maijunxian Wang, Ran Ji, Tongxi Zhou, Chenyang Gu, Jing Zuo, Hongcan Xiao, Yimeng Geng, Wanqi Yin, Wei Chen, Oscar Qian, Zhengan Yan, Ziqi Huang, Haiwen Diao, Liang Pan, Bo Li, Xiangyu Fan, Dezhi Luo, Fengyuan Yu, Zehong Zhao, Qingying Gao, Tinghui Zhu, Yilan Zhang, Jingqi Tong, Pinyuan Feng, Zhengze Jiang, Letian Wang, Ziyu Guo, Renrui Zhang, Jieneng Chen, Sonia Joseph, Constantin Venhoff, Saman Motamed, Mengyue Yang, Chandra Sripada, Alan Yuille, Philip Torr, Lvmin Zhang, Vikash Kumar, Daniel Khashabi, Nikolaus Kriegeskorte, Raphaël Millière, Vincent C. Müller, Anyi Rao, Quan Wang, Ziwei Liu, Dahua Lin, Lei Yang, Hokin Deng, Zhongang Cai

机构 * Nanyang Technological University（南洋理工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, San Diego（加州大学圣地亚哥分校） ； The University of Tokyo（东京大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of Michigan（密歇根大学） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, Davis（加州大学戴维斯分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Carnegie Mellon University（卡内基梅隆大学） ； Columbia University（哥伦比亚大学） ； University of Toronto（多伦多大学） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；VLM(abstract,abstract_cn)；MLLM(abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本研究提出VBVR-Pro，一个可扩展可验证的原生视觉推理闭环测试平台，含300个生成任务、确定性评分器及多生成器机制研究，训练模型在多视觉推理基准上迁移性强，发布全部相关资源。

Comments Homepage: this https URL (https://video-reason.com/)

Leveraging Inter-object Affordances for Efficient Planning in Contact-rich Tasks

利用物体间可供性实现接触密集型任务的高效规划

Pouya P. Niaz, Justus Piater, Alejandro Agostini

机构 * University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 该研究针对传统TAMP方法在接触密集型任务中规划时间长、成功率低的问题，提出结合VLM与U-TAMP的方法，在模拟厨房场景中实现了更高的规划成功率与更快的规划速度。

Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning

超越视觉记忆：潜在视觉推理的机制诊断

Jiawei Guo, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Shuai Dong, Feifei Zhai, Yu Zhou

机构 * Amap, Alibaba Group（阿里集团亚马通） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；分类 cs.CV、cs.AI

AI总结 通过分解潜在令牌为三个可测试组件，发现边界标记和格式而非潜在槽贡献了主要性能提升，揭示了潜在视觉推理的真正机制。

PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?

PhysElite：大型语言模型在解决奥林匹克级物理问题上的表现差距有多大？

Ruoran Xu, Wending Gao, Liyunfeng Chen, Aixin Shi, Haoyu Cheng, Zixiang Fang, Yiqiang Zou, Qiufeng Wang

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 本文提出PhysElite基准，含11586道奥林匹克级物理题及配套资源，测试18款MLLM发现最强者准确率仅33.7%，还开展分步流程评估诊断推理失败环节。

OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs

OVO-S-Bench：多模态大语言模型中流式空间智能的分层基准

Yifei Li, Pengyiang Liu, Yuhang Zang, Zhongyue Shi, Qi Fu, Hongye Hao, Jiwen Lu

机构 * Tsinghua University（清华大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beihang University（北京航空航天大学） 纠错

专题命中 视觉推理 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV

AI总结 提出OVO-S-Bench，一个完全人工标注的流式空间智能基准，包含1680个问题，涵盖四个抽象层次，评估38个MLLM，发现Gemini-3.1-Pro落后人类专家27分，流式空间微调MLLM表现不如其骨干模型。

Comments Accepted to EMNLP 2026 Main Conference. 55 pages, 12 figures, 20 tables. Project page: this https URL (https://internlm.github.io/OVO-S-Bench/)

AFDBench: A Reasoning-First AI Scientist for NationalWeather Service Forecast Discussions

AFDBench：面向国家气象局预报讨论的推理优先AI科学家

Manmeet Singh, Somnath Luitel, Prabhjot Singh, Manraaj Banga, Naveen Sudharsan, Josh Durkee

机构 * Western Kentucky University（西肯塔基大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； RediMinds Inc.（睿智公司） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；分类 cs.LG

AI总结 针对LLMs生成高风险气象文本时虚构数值的问题，研究提出AFDBench基准，采用GRPO优化7B参数模型，提升其生成专业气象讨论的风格契合度与数据保真度。

UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval

UMER：通过感知对的判别推理统一嵌入与排序以实现通用多模态检索

Libiao Chen, Xiyang Liu, Yanheng Wei, Tao Wang, Zhenyu Tang

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对通用多模态检索的需求，提出UMER框架，通过感知对的判别推理联合学习对比式嵌入与判别式排序，在MMEB-V2基准上实现最优性能且支持可调整预算的推理。

OSCAR: Optimization-Steered Agentic Planning for Composed Image Retrieval

OSCAR：基于优化的代理规划用于组合图像检索

Teng Wang, Rong Shan, Jianghao Lin, Junjie Wu, Tianyi Xu, Jianping Zhang, Wenteng Chen, Changwang Zhang, Zhaoxiang Wang, Weinan Zhang, Jun Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 OSCAR通过优化引导的代理规划框架，提升组合图像检索的性能，仅用10%训练数据即超越现有最佳方法。

Comments EMNLP 2026 Main Conference

TAU-Agent: An Agentic Retrieval-Augmented Framework for Traffic Anomaly Understanding

TAU-Agent：用于交通异常理解的智能体式检索增强框架

Yuqiang Lin, Yan Shi, Sam Lockyer, Harish Tayyar Madabushi, Adrian Evans, Wenbin Li, Yinhai Wang, Nic Zhang

机构 * University of Bath（巴斯大学） ； University of Washington（华盛顿大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对交通异常理解需求，提出TAU-Agent智能体式检索增强框架，调度两类视觉工具获取证据，结合微调视觉语言模型推理，在AI City 2026挑战赛多赛道取得对应排名成绩。

V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

V-Rubrics：基于评分规则的强化学习实现视觉忠实性

Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（新加坡南洋理工大学S-Lab） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； A*STAR（新加坡科技研究局） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对视觉-语言模型回答缺乏视觉依据的问题，提出基于评分规则的强化学习方法V-Rubrics，通过分解响应为原子命题并从三方面评分，训练的模型在相关推理基准上性能优于基线。

Comments Proj page: this https URL (https://shulin16.github.io/v-rubrics/)

VGI-Bench: Probing Visual Intelligence in Video Generation Models

VGI-BENCH：探究视频生成模型的视觉智能

Xuan He, Cong Wei, Yuhao Cheng, Linrui Ma, Yuxuan Zhang, Zuojun Li, Yuhao Wen, Jize Jiang, Zeyi Liu, Yuren Hao, Songcheng Cai, Keming Wu, Penghui Du, Kai Zou, Rui Yang, Chenkai Sun, Ke Yang, Ping Nie, Kelsey R Allen, Chenglong Wang, Michel Galley, Jianfeng Gao, ChengXiang Zhai

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） ； University of Waterloo（滑铁卢大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（矢量研究所） ； Microsoft Research（微软研究院） ； Etude AI 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 本研究推出VGI-bench基准，含27项任务810个实例，评估视频生成模型视觉推理能力，发现最强模型Seedance~2.0仅达51.0%，将推动下一代视频生成模型发展。

Infer Human's Intentions Before Following Natural Language Instructions

在遵循自然语言指令前推断人类的意图

Yanming Wan, Yue Wu, Yiping Wang, Jiayuan Mao, Natasha Jaques

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对人类指令的歧义问题，提出FISER框架，通过显式推断人类意图改进协作具身任务的指令遵循，在HandMeThat基准上达到最优性能。

From Plots to Words: Model-Aware Multimodal Explanations as a Foundation for Accessible, Non-Visual Interaction

从图表到文本：模型感知的多模态解释作为可访问非视觉交互的基础

Nur Keleşoğlu, Łukasz Sobczak, Joanna Domańska

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 该研究提出多智能体框架，将时间序列预测的视觉输出转为模型感知文本解释，可提升非视觉交互的可访问性，其可解释配置使解释质量最高提升32%。

StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley

StarDojo：基于Stardew Valley的多模态大语言模型在生产-生活模拟中的开放性行为基准测试

Weihao Tan, Changjiu Jiang, Yu Duan, Mingcong Lei, Jiageng Li, Yitian Hong, Xinrun Wang, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； East China University of Science and Technology（华东理工大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 StarDojo通过Stardew Valley模拟评估多模态大语言模型在生产与社交活动中的综合能力，包含1000个任务，发现GPT-4.1在视觉理解与多模态推理方面存在显著不足。

Comments Accepted by ECCV 2026. Project website: this https URL (https://weihaotan.github.io/StarDojo)

ClueWeaver: Reward-Guided Dual-Agent Evidence Reasoning for Compact LLMs on Literary Long Narratives

ClueWeaver：面向紧凑型大语言模型的、针对文学长篇叙事的奖励引导双智能体证据推理框架

Jihao Zhu, Zhiwei Yang, Wenxiao Zhang, Junqian Zhao, Qi You, Fangqi Wang, Zheyuan Deng, Hanzhe Yang, Yu Liu, Jin B. Hong

机构 * Institute of Information Engineering, CAS（中国科学院信息工程研究所） ； University of Aberdeen（阿伯丁大学） ； The University of Western Australia（西澳大学） ； Brown University（布朗大学） 纠错

专题命中 视觉推理 ：grounding(abstract)

AI总结 ClueWeaver是用于紧凑型本地模型的双智能体证据推理框架，可提升本地语言模型在长篇叙事问答与声明验证任务中的性能，提供可检查的证据推理轨迹。

Comments Accepted by ICONIP 2026

OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

OmniPhys：面向中文教育语料库的物理理解与生成统一多模态基准

Hao Chen, Yumin Lin, Nadila Yushanjiang, Xin Lin, Min Zhang

机构 * East China Normal University（华东师范大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)

AI总结 研究人员推出OmniPhys这一覆盖中文教育语料库中中学至大学物理问题的大规模多模态基准，含15246个问题与19850张图像，可评估MLLMs的物理理解、推理及结构化图表生成能力，发现当前模型存在复杂推理与视觉生成差距，将推进物理领域多模态智能发展。

Comments Accepted to Findings of EMNLP 2026

Scene2Demo: Self-Evolving Embodied Data Generation via Object-Action Graph

具身学习的可扩展任务生成：基于 affordance 的任务世界

Xiang Liu, Sen Cui, Guocai Yao, Zhong Cao, Jingheng Ma, Min Zhang, Changshui Zhang

专题命中 视觉推理 ：vision-language model(abstract)

AI总结 本文提出 AGT-World 框架，通过结构化图方法实现任务空间的精确分解，并结合混合反馈机制实现策略的自进化，从而提升机器人任务生成的可扩展性和泛化能力。