视觉大模型 / VLM

O3SLM: Open Weight, Open Data, and Open Vocabulary Sketch-Language Model

O3SLM：开放权重、开放数据和开放词汇草图-语言模型

Rishi Gupta, Mukilan Karuppasamy, Shyam Marjit, Aditay Tripathi, Anirban Chakraborty

机构 * IISc（印度理工学院） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

AI总结 O3SLM通过构建大规模图像-草图-指令三元组数据集和训练模型，实现了对草图理解和推理的突破性进展。

Comments Accepted to AAAI 2026

A Benchmark for Ultra-High-Resolution Remote Sensing MLLMs

超高分辨率遥感多模态大语言模型基准

Yunkai Dang, Meiyi Zhu, Donghao Wang, Yizhuo Zhang, Jiacheng Yang, Qi Fan, Yuekun Yang, Wenbin Li, Feng Miao, Yang Gao

机构 * School of Artificial Intelligence Science and Technology, Nanjing University（人工智能科学与技术学院，南京大学） ； School of Physics, Nanjing University（物理学院，南京大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出RSHR-Bench，一个超高分辨率遥感多模态大语言模型基准，通过高分辨率图像和多样化任务评估视觉理解与推理能力。

ARIAL: An Agentic Framework for Document VQA with Precise Answer Localization

ARIAL：一个用于文档视觉问答的代理框架，具有精确答案定位

Ahmad Mohammadshirazi, Pinaki Prasad Guha Neogi, Dheeraj Kulshrestha, Rajiv Ramnath

机构 * Ohio State University（俄亥俄州立大学） ； Flairsoft（Flairsoft公司） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 ARIAL通过代理协调专门工具，实现文档VQA的高精度和可解释性，取得最佳性能和可解释性成果。

ENACT: Evaluating Embodied Cognition with World Modeling of Egocentric Interaction

ENACT：通过视角交互的世界建模评估具身认知

Qineng Wang, Wenlong Huang, Yu Zhou, Hang Yin, Tianwei Bao, Jianwen Lyu, Weiyu Liu, Ruohan Zhang, Jiajun Wu, Li Fei-Fei, Manling Li

机构 * Northwestern University（西北大学） ； Stanford University（斯坦福大学） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 ENACT通过视角交互的世界建模评估具身认知，揭示VLMs在长周期交互中与人类表现差距扩大，且模型在逆向任务中表现更优。

Comments Preprint version

Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering

剪枝后再规划：用于具身问答中稳定前沿探索的分步校准

Noah Frahm, Prakrut Patel, Yue Zhang, Shoubin Yu, Mohit Bansal, Roni Sengupta

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 Prune-Then-Plan通过分步校准稳定具身问答中的前沿探索，提升导航效率和回答质量。

Comments webpage: https://noahfrahm.github.io/Prune-Then-Plan-project-page/

PhyBlock: A Progressive Benchmark for Physical Understanding and Planning via 3D Block Assembly

PhyBlock：通过3D积木组装实现物理理解和规划的渐进性基准

Liang Ma, Jiajun Wen, Min Lin, Rongtao Xu, Xiwen Liang, Bingqian Lin, Jun Ma, Yongxin Wang, Ziming Wei, Haokun Lin, Mingfei Han, Meng Cao, Bokui Chen, Ivan Laptev, Xiaodan Liang

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； Tsinghua Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院） ； Shenzhen Campus of Sun Yat-sen University（孙中山大学深圳校区） ； Spatialtemporal AI（时空人工智能） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 PhyBlock通过3D积木组装任务评估VLMs在物理理解和规划能力，揭示其在复杂任务中的局限性。

Med-GLIP: Advancing Medical Language-Image Pre-training with Large-scale Grounded Dataset

Ziye Deng, Ruihan He, Jiaxiang Liu, Yuan Wang, Zijie Meng, Songtao Jiang, Yong Xie, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Guangdong Institute of Intelligence Science（广东智能科学研究院） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

iFlyBot-VLA Technical Report

Yuan Zhang, Chenyu Xue, Wenjie Xu, Chao Ji, Jiajia wu, Jia Pan

机构 * iFlyTek Reasearch and Development Group（iFlyTek 研发部） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

When to Trust the Answer: Question-Aligned Semantic Nearest Neighbor Entropy for Safer Surgical VQA

Dennis Pierantozzi, Luca Carlini, Mauro Orazio Drago, Chiara Lena, Cesare Hassan, Elena De Momi, Danail Stoyanov, Sophia Bano, Mobarak I. Hoque

机构 * IRCCS Humanitas Research Hospital（Humanitas研究医院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Robust Driving QA through Metadata-Grounded Context and Task-Specific Prompts

Seungjun Yu, Junsung Park, Youngsun Lim, Hyunjung Shim

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Knowledge-based Visual Question Answer with Multimodal Processing, Retrieval and Filtering

Yuyang Hong, Jiaqi Gu, Qi Yang, Lubin Fan, Yue Wu, Ying Wang, Kun Ding, Shiming Xiang, Jieping Ye

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Alibaba Cloud Computing（阿里巴巴云计算） 纠错

专题命中 视觉问答 ：visual language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments Accepted by NeurIPS 2025

Neglected Risks: The Disturbing Reality of Children's Images in Datasets and the Urgent Call for Accountability

Carlos Caetano, Gabriel O. dos Santos, Caio Petrucci, Artur Barros, Camila Laranjeira, Leo S. F. Ribeiro, Júlia F. de Mendonça, Jefersson A. dos Santos, Sandra Avila

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

Comments ACM Conference on Fairness, Accountability, and Transparency (FAccT 2025)

SCRAMBLe : Enhancing Multimodal LLM Compositionality with Synthetic Preference Data

Samarth Mishra, Kate Saenko, Venkatesh Saligrama

机构 * Boston University（波士顿大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025 Findings

GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering

Saumya Saxena, Blake Buchanan, Chris Paxton, Peiqi Liu, Bingqing Chen, Narunas Vaskevicius, Luigi Palmieri, Jonathan Francis, Oliver Kroemer

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Neya Systems（Neya系统） ； Agility Robotics（敏捷机器人） ； Hello Robot ； Bosch Center for AI（博世人工智能中心） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

Comments Project website: https://saumyasaxena.github.io/grapheqa

Both Text and Images Leaked! A Systematic Analysis of Data Contamination in Multimodal LLM

Dingjie Song, Sicheng Lai, Mingxuan Wang, Shunian Chen, Lichao Sun, Benyou Wang

机构 * Lehigh University（莱维大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted to EMNLP 2025 Findings

RegionMed-CLIP: A Region-Aware Multimodal Contrastive Learning Pre-trained Model for Medical Image Understanding

Tianchen Fang, Guiru Liu

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments Upon further review, we identified that our dataset requires optimization to ensure research reliability and accuracy. Additionally, considering the target journal's latest submission policies, we believe comprehensive manuscript revisions are necessary

SurgWound-Bench: A Benchmark for Surgical Wound Diagnosis

Jiahao Xu, Changchang Yin, Odysseas Chatzipanagiotou, Diamantis Tsilimigras, Kevin Clear, Bingsheng Yao, Dakuo Wang, Timothy Pawlik, Ping Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； The Ohio State University Wexner Medical Center（俄亥俄州立大学韦克斯纳医学中心） ； Northeastern University（东北大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

EfficientEQA: An Efficient Approach to Open-Vocabulary Embodied Question Answering

Kai Cheng, Zhengyuan Li, Xingpeng Sun, Byung-Cheol Min, Amrit Singh Bedi, Aniket Bera

机构 * Purdue University（普渡大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments IROS 2025 Oral

Visual Enumeration Remains Challenging for Multimodal Generative AI

Alberto Testolin, Kuinan Hou, Marco Zorzi

机构 * Department of General Psychology and Department of Mathematics University of Padova（帕多瓦大学心理学系和数学系） ； Department of General Psychology University of Padova（帕多瓦大学心理学系） ； Department of General Psychology and Padova Neuroscience Center University of Padova（帕多瓦大学心理学系和帕多瓦神经科学中心） ； IRCSS San Camillo Hospital, Venice-Lido（威尼斯利多医院IRCSS桑卡莫医院） 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

MMCircuitEval: A Comprehensive Multimodal Circuit-Focused Benchmark for Evaluating LLMs

Chenchen Zhao, Zhengyuan Shi, Xiangyu Wen, Chengjie Liu, Yi Liu, Yunhao Zhou, Yuxiang Zhao, Hefei Feng, Yinan Zhu, Gwok-Waa Wan, Xin Cheng, Weiyu Chen, Yongqi Fu, Chujie Chen, Chenhao Xue, Guangyu Sun, Ying Wang, Yibo Lin, Jun Yang, Ning Xu, Xi Wang, Qiang Xu

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（中国香港中文大学计算机科学与工程系） ； School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院） ； School of Integrated Circuits, Peking University（北京大学集成电路学院） ； School of Intergrated Circuits, Southeast University（东南大学集成电路学院） ； School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术系） ； National Center of Technology Innovation for EDA（EDA技术创新国家中心） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 1 figure, 5 tables. To appear in ICCAD 2025

VolDoGer: LLM-assisted Datasets for Domain Generalization in Vision-Language Tasks

Juhwan Choi, Junehyoung Kwon, JungMin Yun, Seunguk Yu, YoungBin Kim

机构 * AITRICS Seoul（AITRICS首尔） ； Chung-Ang University（Chung-ang 大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025 Workshop on Curated Data for Efficient Learning (CDEL)

Towards Multimodal Understanding via Stable Diffusion as a Task-Aware Feature Extractor

Vatsal Agarwal, Matthew Gwilliam, Gefen Kohavi, Eshan Verma, Daniel Ulbricht, Abhinav Shrivastava

机构 * University of Maryland（马里兰大学） ； Apple（苹果公司） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Comments Website: see https://vatsalag99.github.io/mustafar/

HSENet: Hybrid Spatial Encoding Network for 3D Medical Vision-Language Understanding

Yanzhao Shi, Xiaodan Zhang, Junzhong Ji, Haoning Jiang, Chengxin Zheng, Yinong Wang, Liangqiong Qu

机构 * The University of Hong Kong（香港大学） ； Beijing University of Technology（北京工业大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments 27 pages, 9 figures. arXiv admin note: text overlap with arXiv:2410.14200 by other authors

TOGA: Temporally Grounded Open-Ended Video QA with Weak Supervision

Ayush Gupta, Anirban Roy, Rama Chellappa, Nathaniel D. Bastian, Alvaro Velasquez, Susmit Jha

机构 * SRI ； Johns Hopkins University（约翰霍普金斯大学） ； United States Military Academy（美国军事学院） ； University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

TextSquare: Scaling up Text-Centric Visual Instruction Tuning

Jingqun Tang, Chunhui Lin, Zhen Zhao, Shu Wei, Binghong Wu, Qi Liu, Yangfan He, Kuan Lu, Hao Feng, Yang Li, Siqi Wang, Lei Liao, Wei Shi, Yuliang Liu, Hao Liu, Yuan Xie, Xiang Bai, Can Huang

机构 * ByteDance Inc.（字节跳动公司） ； East China Normal University（东华大学） ； Huazhong University of Science and Technology（华中科技大学） ； University of Minnesota（明尼苏达大学） ； Cornell University（康奈尔大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

Seeing Far and Clearly: Mitigating Hallucinations in MLLMs with Attention Causal Decoding

Feilong Tang, Chengzhi Liu, Zhongxing Xu, Ming Hu, Zelin Peng, Zhiwei Yang, Jionglong Su, Minquan Lin, Yifan Peng, Xuelian Cheng, Imran Razzak, Zongyuan Ge

机构 * Monash University（蒙纳士大学） ； MBZUAI ； XJTLU（西安交通大学） ； Shanghai Jiaotong University（上海交通大学） ； Fudan University（复旦大学） ； University of Minnesota（明尼苏达大学） ； Cornell University（康奈尔大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

Comments Clarification note for the CVPR 2025 paper (FarSight). Prepared by a subset of the original authors; remaining co-authors are acknowledged in the text

BYO-Eval: Build Your Own Dataset for Fine-Grained Visual Assessment of Multimodal Language Models

Ludovic Arnould, Salim Khazem, Hugues Ali Mehenni

机构 * R&D Center, Talan（Talan 研发中心） 纠错

专题命中 视觉问答 ：VLM(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

Ontology-based knowledge representation for bone disease diagnosis: a foundation for safe and sustainable medical artificial intelligence systems

Loan Dao, Ngoc Quoc Ly

专题命中 视觉问答 ：visual language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

MMXU: A Multi-Modal and Multi-X-ray Understanding Dataset for Disease Progression

Linjie Mu, Zhongzhen Huang, Shengqian Qin, Yakun Zhu, Shaoting Zhang, Xiaofan Zhang

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Question-Answering Dense Video Events

Hangyu Qin, Junbin Xiao, Angela Yao

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted to SIGIR'25