视觉大模型 / VLM

3D Question Answering via only 2D Vision-Language Models

仅通过2D视觉-语言模型实现3D问答

Fengyun Wang, Sicheng Yu, Jiawei Wu, Jinhui Tang, Hanwang Zhang, Qianru Sun

机构 * Nanyang Technological University, Singapore ； Singapore Management University, Singapore ； National University of Singapore, Singapore ； Nanjing University of Science \& Technology, Nanjing, China 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV

AI总结 本文提出cdViews方法，通过仅使用2D视觉-语言模型，实现3D问答任务的高性能表现。

Comments ICML2025

ChromouVQA: Benchmarking Vision-Language Models under Chromatic Camouflaged Images

ChromouVQA：在色度伪装图像下评估视觉-语言模型的基准测试

Yunfei Zhang, Yizhuo He, Yuanxun Shao, Zhengtao Yao, Haoyan Xu, Junhao Dong, Zhen Yao, Zhikang Dong

机构 * Amazon（亚马逊公司） ； Google（谷歌公司） ； MurcuryMind（MurcuryMind公司） ； University of Southern California（南加州大学） ； Nanyang Technological University（南洋理工大学） ； Lehigh University（莱斯大学） ； Stony Brook University（石溪大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 ChromouVQA通过色度伪装图像评估视觉-语言模型在复杂背景下的表现，提出对比度配方提升形状恢复能力。

Optimizing Medical Question-Answering Systems: A Comparative Study of Fine-Tuned and Zero-Shot Large Language Models with RAG Framework

优化医疗问答系统：基于RAG框架的微调与零样本大语言模型比较研究

Tasnimul Hassan, Md Faisal Karim, Haziq Jeelani, Elham Behnam, Robert Green, Fayeq Jeelani Syed

机构 * Department of Electrical Engineering ； Computer Science University of Toledo Toledo, USA ； Institute of Mathematical Sciences Claremont Graduate University Claremont, USA ； Department of Bioengineering University of Toledo Toledo, USA ； Department of Computer Science Bowling Green State University Bowling Green, USA 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文通过RAG框架结合微调与零样本大语言模型，提升医疗问答系统的准确性与可靠性，实验证明检索增强显著提高回答质量。

RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering

RAG-IGBench: 用于开放领域问答中基于检索增强生成的交错生成的创新评估

Rongyang Zhang, Yuqing Huang, Chengqiang Lu, Qimeng Wang, Yan Gao, Yi Wu, Yao Hu, Yin Xu, Wei Wang, Hao Wang, Enhong Chen

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； Xiaohongshu Inc.（小红书公司） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 RAG-IGBench通过创新的评估指标和多模态数据，评估基于检索增强生成的交错生成任务，验证了模型在开放领域问答中的性能提升。

Comments 26 pages, 6 figures, NeurIPS 2025 D&B Track poster

iFinder: Structured Zero-Shot Vision-Based LLM Grounding for Dash-Cam Video Reasoning

iFinder: 结构化零样本视觉基于LLM的地面定位用于行车记录仪视频推理

Manyi Yao, Bingbing Zhuang, Sparsh Garg, Amit Roy-Chowdhury, Christian Shelton, Manmohan Chandraker, Abhishek Aich

机构 * NEC Laboratories, America（NEC美国实验室） ； University of California, Riverside（加州大学河滨分校） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 视觉推理 ：grounding(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 iFinder通过结构化语义接地框架，利用行车记录仪视频中的关键线索提升LLM在驾驶视频推理中的性能。

Comments Accepted at NeurIPS 2025

Language-Instructed Reasoning for Group Activity Detection via Multimodal Large Language Model

基于多模态大语言模型的语言引导推理用于群体活动检测

Jihua Peng, Qianxiong Xu, Yichen Liu, Chenxi Liu, Cheng Long, Rui Zhao, Ziyue Li

专题命中 视觉推理 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出LIR-GAD框架，通过多模态大语言模型实现群体活动检测，引入活动标记和群体标记以提升语义理解和分类性能。

Comments This work is being incorporated into a larger study

COOPER: A Unified Model for Cooperative Perception and Reasoning in Spatial Intelligence

COOPER：一种用于空间智能中协作感知与推理的统一模型

Zefeng Zhang, Xiangzhao Hao, Hengzhu Tang, Zhenyu Zhang, Jiawei Sheng, Xiaodong Li, Zhenyang Li, Li Gao, Daiting Shi, Dawei Yin, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Baidu Inc.（百度公司） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 COOPER是一种统一的多模态大语言模型，通过整合深度和分割等辅助模态，提升空间感知与推理能力，实现空间智能的增强。

InfiniBench: Infinite Benchmarking for Visual Spatial Reasoning with Customizable Scene Complexity

InfiniBench：用于可定制场景复杂度的无限基准测试

Haoming Wang, Qiyao Xue, Wei Gao

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 InfiniBench通过可定制的3D场景生成方法，提升视觉语言模型在复杂空间推理任务中的评估能力。

Adaptive Chain-of-Focus Reasoning via Dynamic Visual Search and Zooming for Efficient VLMs

基于动态视觉搜索和缩放的自适应聚焦推理方法用于高效VLMs

Xintong Zhang, Zhi Gao, Bofei Zhang, Pengxiang Li, Xiaowen Zhang, Yang Liu, Tao Yuan, Yuwei Wu, Yunde Jia, Song-Chun Zhu, Qing Li

机构 * organization= School of Computer Science \& Technology, Beijing Institute of Technology , city= Beijing , country= China ； organization= State Key Laboratory of General Artificial Intelligence, BIGAI , city= Beijing , country= China ； organization= School of Intelligence Science ； Technology, Peking University , city= Beijing , country= China ； organization= Guangdong Laboratory of Machine Perception ； Intelligent Computing, Shenzhen MSU--BIT University , city= Shenzhen , country= China ； organization= Department of Automation, Tsinghua University , city= Beijing , country= China 纠错

专题命中 视觉推理 ：vision language model(abstract)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出基于动态视觉搜索和缩放的自适应聚焦推理方法，提升VLMs的多模态推理效率和实际应用效果。

Comments https://github.com/xtong-zhang/Chain-of-Focus

Probing the effectiveness of World Models for Spatial Reasoning through Test-time Scaling

通过测试时缩放探查世界模型在空间推理中的有效性

Saurav Jha, M. Jehanzeb Mirza, Wei Lin, Shiqi Yang, Sarath Chandar

机构 * MILA – Quebec AI Institute（魁北克人工智能研究所） ； Polytechnique Montréal（蒙特利尔理工学院） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Institute for Machine Learning, Johannes Kepler University Linz（林茨约瑟夫·夫兰克大学机器学习研究所） ； Nankai University（南开大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ViSA框架，通过可验证的微断言改进世界模型的空间推理能力，但发现当前模型在复杂任务中仍存在信息瓶颈。

Comments Extended abstract at World Modeling Workshop 2026

V-CECE: Visual Counterfactual Explanations via Conceptual Edits

V-CECE：通过概念编辑生成视觉反事实解释

Nikolaos Spanos, Maria Lymperaiou, Giorgos Filandrianos, Konstantinos Thomas, Athanasios Voulodimos, Giorgos Stamou

机构 * National Technical University of Athens（国家技术大学雅典） 纠错

专题命中 视觉推理 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 V-CECE通过概念编辑生成反事实解释，无需训练即可产生人类水平的可解释性结果。

Comments Accepted in NeurIPS 2025

SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models

SAT：多模态语言模型的动态空间能力训练

Arijit Ray, Jiafei Duan, Ellis Brown, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko

机构 * Boston University（波士顿大学） ； University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） ； Microsoft Research（微软研究院） ； New York University（纽约大学） 纠错

专题命中 视觉推理 ：LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 SAT通过模拟数据提升多模态语言模型在动态空间推理中的能力，实验表明其在多个基准测试中优于现有方法。

Comments Accepted to COLM 2025. Project webpage: https://arijitray.com/SAT/

EditThinker: Unlocking Iterative Reasoning for Any Image Editor

EditThinker: 解锁任何图像编辑器的迭代推理

Hongyu Li, Manyuan Zhang, Dian Zheng, Ziyu Guo, Yimeng Jia, Kaituo Feng, Hao Yu, Yexin Liu, Yan Feng, Peng Pei, Xunliang Cai, Linjiang Huang, Hongsheng Li, Si Liu

机构 * Beihang University（北航大学） ； Meituan（美团） ； CUHK MMLab ； CUHK IMIXR ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：MLLM(abstract)；分类 cs.CV

AI总结 EditThinker通过迭代推理框架提升图像编辑指令遵循能力，利用强化学习优化编辑过程，显著提高模型性能。

Comments Project page: https://appletea233.github.io/think-while-edit

PRiSM: An Agentic Multimodal Benchmark for Scientific Reasoning via Python-Grounded Evaluation

PRiSM：一种基于Python基础评估的科学推理多模态基准

Shima Imani, Seungwhan Moon, Adel Ahmadyan, Lu Zhang, Kirmani Ahmed, Babak Damavandi

机构 * Meta Reality Lab（Meta现实实验室） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.AI

AI总结 PRiSM通过基于Python代码的动态多模态基准，评估科学推理能力，揭示VLMs在科学领域中的局限性。

The Dynamic Prior: Understanding 3D Structures for Casual Dynamic Videos

动态先验：为随意动态视频理解3D结构

Zhuoyuan Wu, Xurui Yang, Jiahui Huang, Yue Wang, Jun Gao

机构 * PKU（北京大学） ； NVIDIA（英伟达） ； USC（南加州大学） ； University of Michigan（密歇根大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出动态先验模型，利用Vision-Language Models和SAM2实现无需任务特定训练的动态物体识别，提升结构3D理解的准确性和鲁棒性。

Comments Code is available at https://github.com/wuzy2115/DYNAPO

OpenMMReasoner: Pushing the Frontiers for Multimodal Reasoning with an Open and General Recipe

OpenMMReasoner: 推动多模态推理的前沿研究：一个开放且通用的配方

Kaichen Zhang, Keming Wu, Zuhao Yang, Bo Li, Kairui Hu, Bin Wang, Ziwei Liu, Xingxuan Li, Lidong Bing

机构 * MiroMind AI ； Nanyang Technological University（南洋理工大学） ； Tsinghua University（清华大学） ； LMMs-Lab Team（多模态实验室团队） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；分类 cs.AI

AI总结 OpenMMReasoner提出了一种开放且通用的多模态推理训练配方，通过两阶段方法提升推理性能，实现在多个基准测试中超越现有基线。

Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding

聚焦，点击：解锁和评估缩放在GUI定位中的潜力

Zhiyuan Jiang, Shenghao Xie, Wenyi Li, Wenqiang Zu, Peihang Li, Jiahao Qiu, Siqi Pei, Lei Ma, Tiejun Huang, Mengdi Wang, Shilong Liu

机构 * Xi’an Jiaotong University（西安交通大学） ； Princeton University（普林斯顿大学） ； Peking University（北京大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； The University of Hong Kong（香港大学） ； Michigan State University（密歇根州立大学） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出ZoomClick方法，通过引入缩放先验知识提升GUI定位性能，实现动态空间聚焦与自适应上下文切换，并在多个基准上取得最佳结果。

Comments Code is available at https://github.com/Princeton-AI2-Lab/ZoomClick

Concept-based Explainable Data Mining with VLM for 3D Detection

基于概念的可解释数据挖掘与VLM用于3D检测

Mai Tsujimoto

机构 * The University of Tokyo（东京大学） 纠错

专题命中 视觉定位与Grounding ：VLM(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出基于概念的可解释数据挖掘方法，利用VLMs识别稀有物体以提升3D检测性能，减少标注负担并提高模型效果。

Comments 28 pages including appendix. Code: https://github.com/mm1129/concept_based_rare_detector_2025

AnyAnomaly: Zero-Shot Customizable Video Anomaly Detection with LVLM

AnyAnomaly: 零样本可定制化视频异常检测与LVLM

Sunghyun Ahn, Youngwan Jo, Kijung Lee, Sein Kwon, Inpyo Hong, Sanghyun Park

机构 * Yonsei University（延世大学） 纠错

专题命中 视觉定位与Grounding ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 AnyAnomaly通过上下文感知的视觉问答模型实现零样本可定制化视频异常检测，无需微调大型视觉语言模型，在多个基准测试中取得最佳性能。

Comments Accepted to WACV 2026

ARGUS: Defending Against Multimodal Indirect Prompt Injection via Steering Instruction-Following Behavior

ARGUS: 通过引导指令遵循行为防御多模态间接提示注入攻击

Weikai Lu, Ziqian Zeng, Kehua Zhang, Haoran Li, Huiping Zhuang, Ruidong Wang, Cen Chen, Hao Peng

专题命中 视觉定位与Grounding ：multimodal large language model(abstract)；MLLM(abstract)

AI总结 ARGUS通过引导指令遵循行为，在表示空间中寻找最优防御方向，实现对多模态间接提示注入攻击的有效防御，同时保持模型性能。

Open-PMC-18M: A High-Fidelity Large Scale Medical Dataset for Multimodal Representation Learning

Open-PMC-18M: 一种高保真大规模医学数据集用于多模态表示学习

Negin Baghbanzadeh, Mohammed Saidul Islam, Sajad Ashkezari, Elham Dolatabadi, Arash Afkanpour

机构 * Vector Institute（Vector研究所） ； York University（约克大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；分类 cs.CV

AI总结 Open-PMC-18M通过高保真医学数据集提升多模态表示学习性能，实现子图提取与上下文丰富化，支持多种视觉-语言任务。

Comments 21 pages

VERIRAG: A Post-Retrieval Auditing of Scientific Study Summaries

VERIRAG：一种科学研究摘要的后检索审计

Shubham Mohole, Hongjun Choi, Shusen Liu, Christine Klymko, Shashank Kushwaha, Derek Shi, Wesam Sakla, Sainyam Galhotra, Ruben Glatt

机构 * Cornell University（康奈尔大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Illinois Urbana‑Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 VERIRAG通过后检索审计框架检测科学摘要的方法学漏洞，提升宏F1值19个百分点，提供结构化审计轨迹支持负责任的科学实践。

Automated Identification of Incidentalomas Requiring Follow-Up: A Multi-Anatomy Evaluation of LLM-Based and Supervised Approaches

自动识别需要随访的偶发瘤：基于LLM和监督方法的多解剖评估

Namu Park, Farzad Ahmed, Zhaoyi Sun, Kevin Lybarger, Ethan Breinhorst, Julie Hu, Ozlem Uzuner, Martin Gunn, Meliha Yetisgen

机构 * Department of Biomedical Informatics and Medical Education, University of Washington, Seattle, WA, USA（生物医学信息学与医学教育系，华盛顿大学，西雅图，华盛顿州，美国） ； Department of Information Sciences and Technology, George Mason University, Fairfax, VA, USA（信息科学与技术系，乔治·马歇尔大学，弗吉尼亚州，美国） ； Department of Radiology, Te Whatu Ora Health New Zealand, Te Toka Tumai Auckland, Auckland, New Zealand（放射学系，新西兰Te Whatu Ora健康机构，奥克兰，新西兰） ； Department of Radiology, School of Medicine, University of Washington, Seattle, WA, USA（放射学系，医学院，华盛顿大学，西雅图，华盛顿州，美国） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 本文提出了一种基于LLM和监督方法的多解剖评估，通过结构化病变标记和解剖学上下文提升偶发瘤检测性能，达到与人类专家相当的水平。

Bita: A Conversational Assistant for Fairness Testing

Bita：一个用于公平性测试的对话助手

Keeryn Johnson, Cleyton Magalhaes, Ronnie de Souza Santos

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 Bita是一个基于大型语言模型的对话助手，旨在通过公平性视角帮助软件测试人员检测偏见、评估测试计划并生成公平性导向的测试章程，提供可重复的公平性测试解决方案。

H-GAR: A Hierarchical Interaction Framework via Goal-Driven Observation-Action Refinement for Robotic Manipulation

H-GAR: 一种通过目标驱动的观察-动作细化的分层交互框架用于机器人操控

Yijie Zhu, Rui Shao, Ziyang Liu, Jie He, Jizhihui Liu, Jiuru Wang, Zitong Yu

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 H-GAR通过目标驱动的观察-动作细化分层框架提升机器人操控的准确性和一致性。

Comments Accepted to AAAI 2026 (Oral), Project Page: https://github.com/JiuTian-VL/H-GAR

Self-Improving VLM Judges Without Human Annotations

无需人工标注的自改进VLM评判模型

Inna Wanyin Lin, Yushi Hu, Shuyue Stella Li, Scott Geng, Pang Wei Koh, Luke Zettlemoyer, Tim Althoff, Marjan Ghazvininejad

机构 * FAIR at Meta（Meta 的 FAIR） ； University of Washington（华盛顿大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

AI总结 无需人工标注，通过自训练提升VLM评判模型的准确性和多维度表现

IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks

IS-Bench：评估由视觉语言模型驱动的具身智能体在日常家务任务中的交互安全性

Xiaoya Lu, Zeren Chen, Xuhao Hu, Yijin Zhou, Weichen Zhang, Dongrui Liu, Lu Sheng, Jing Shao

机构 * Xiaoya Lu 1, 2（某大学） ； Zeren Chen 2, 3（某大学） ； Xuhao Hu 2, 4（某大学） ； Yijin Zhou 2（某大学） ； Weichen Zhang 2（某大学） ； Dongrui Liu 2（某大学） ； Lu Sheng 3（某研究所） ； Jing Shao 2（某研究所） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 IS-Bench通过多模态基准评估视觉语言模型驱动的具身智能体在日常家务任务中的交互安全性，揭示现有智能体缺乏安全意识的问题。

Conscious Gaze: Adaptive Attention Mechanisms for Hallucination Mitigation in Vision-Language Models

有意识的注视：用于视觉-语言模型中幻觉抑制的自适应注意力机制

Weijue Bu, Guan Yuan, Guixian Zhang

机构 * School of Computer Science and Technology/School of Artificial Intelligence（计算机科学与技术学院/人工智能学院） ； China University of Mining and Technology（中国矿业大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；LLaVA(abstract)；grounding(abstract)

AI总结 CG-VLM通过认知需求传感器和聚焦共识诱导模块，在推理时精准干预视觉-语言模型的注意力，有效抑制幻觉并提升性能。

Comments 6 pages, 6 figures

Semore: VLM-guided Enhanced Semantic Motion Representations for Visual Reinforcement Learning

Semore：基于VLM的增强语义运动表示用于视觉强化学习

Wentao Wang, Chunyang Liu, Kehua Sheng, Bo Zhang, Yan Wang

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Semore通过结合VLM和CLIP实现高效的视觉强化学习，提升语义和运动表示的融合能力。

Concept-Guided Backdoor Attack on Vision Language Models

基于概念的视觉语言模型后门攻击

Haoyu Shen, Weimin Lyu, Haotian Xu, Tengfei Ma

机构 * Stony Brook University（石溪大学） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本研究提出基于概念的视觉语言模型后门攻击方法，通过概念阈值污染和概念瓶颈模型引导未见后门两种技术，实现对模型生成文本的恶意替换。