视觉大模型 / VLM

OmniTraffic: A Controllable Generation Pipeline and Benchmark for Spatio-Temporal Traffic Reasoning

OmniTraffic：面向时空交通推理的可控生成流水线与基准

Maonan Wang, Zhengyan Huang, Kemou Jiang, Yuhang Fu, Jiayue Zhu, Yuxin Cai, Xingchen Zou, Qiaosheng Zhang, Yi Yu, Ding Wang, Xi Chen, Ben M. Chen, Yuxuan Liang, Zhiyong Cui, Man On Pun, Yirong Chen

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai AI Lab（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 提出OmniTraffic，一个基于12个真实路口3D重建的可控生成流水线与基准，通过8M VQA样本和3K人工验证测试集评估11个前沿MLLM，揭示拓扑与时空推理中的显著人机差距，并证明仿真数据微调可提升真实场景性能。

Comments 34 pages, 28 figures

Pix2Fact: When Vision Is Not Enough -- Benchmarking Fine-Grained VQA with Web Verification on High-Resolution Real-World Scenes

Pix2Fact: 当视觉不够时——基于网络验证的细粒度VQA基准测试

Yifan Jiang, Cong Zhang, Bofei Zhang, Qiaofeng Zheng, Yifan Yang, Bingzhang Wang, Yew-Soon Ong

机构 * GADE Union (Global AI Data Experts Union)（GADE联盟（全球人工智能数据专家联盟）） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； New York University（纽约大学） ； Cambridge University（剑桥大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Pix2Fact基准测试，通过高分辨率真实场景中的网络验证，评估细粒度视觉问答中的专家级视觉感知和知识搜索能力，发现现有模型在复杂任务中存在显著不足。

When Video Misreads: Closed-Loop Distillation of Reading Heuristics for Exploratory Manipulation Trace QA

当视频误读：面向探索性操作痕迹问答的阅读启发式闭环蒸馏

Haizhou Ge, Yufei Jia, Yue Li, Zhixing Chen, Lu Shi, Lei Han, Guyue Zhou, Ruqi Huang

机构 * Tsinghua University（清华大学） ； DISCOVER Robotics 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 针对探索性操作中机器人误读视频痕迹的问题，提出闭环痕迹蒸馏方法，通过任务编码代理提取单行自然语言启发式提示，使冻结VLM准确预测最小成功动作链，在模拟和真实机器人任务上提升准确率0.38-0.47。

Comments 16 pages, 4 figures, 4 tables

UniCAD: A Unified Benchmark and Universal Model for Multi-Modal Multi-Task CAD

UniCAD：面向多模态多任务CAD的统一基准与通用模型

Jingyuan Chen, Sheng Jin, Haopeng Sun, Wentao Liu, Chen Qian

机构 * SenseTime Research and Tetras.AI（秒速科技研究院和Tetras.AI） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；分类 cs.CV、cs.AI

AI总结 针对CAD领域缺乏统一多模态基准的问题，提出UniCAD基准和UniCAD-MLLM通用多模态大语言模型，在点云到CAD重建、文本/图像到CAD生成和CAD问答等任务上实现端到端统一处理，并在多个基准上取得最优性能。

Descriptor: Distance-Annotated Traffic Perception Question Answering (DTPQA)

描述：距离标注的交通感知问答（DTPQA）

Nikos Theodoridis, Tim Brophy, Reenu Mohandas, Ganesh Sistu, Fiachra Collins, Anthony Scanlan, Ciaran Eising

机构 * Department of Electronic and Computer Engineering, University of Limerick（利默尼克大学电子与计算机工程系） ； Data Driven Computer Engineering Research Centre, University of Limerick（利默尼克大学数据驱动计算机工程研究中心） ； Lero, The Irish Software Research Centre, University of Limerick（利默尼克大学Lero爱尔兰软件研究中心） ； Valeo Vision Systems（瓦莱奥视觉系统） 纠错

专题命中 视觉问答 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DTPQA基准，用于评估视觉语言模型在交通场景中的感知能力，包含合成和真实数据集，通过距离标注分析模型在远距离下的表现。

Journal ref IEEE Data Descriptions, 2026

Instruct-ICL: Instruction-Guided In-Context Learning for Post-Disaster Damage Assessment

Instruct-ICL：基于指令的上下文学习用于灾后损害评估

Armin Zarbaft, Ehsan Karimi, Nhut Le, Maryam Rahnemoonfar

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Instruct-ICL方法，通过指令引导的上下文学习提升预训练多模态大语言模型在灾后视觉问答中的可靠性，实验表明结合CoT推理能显著提高回答准确性。

Comments Accepted by the 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026)

LatentRouter: Can We Choose the Right Multimodal Model Before Seeing Its Answer?

LatentRouter: 在看到答案之前，我们能否选择合适的多模态模型？

Xueqi Cheng, Yushun Dong

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 LatentRouter通过多模态效用预测实现多模态大语言模型的路由，通过隐式通信和胶囊修正提升模型选择准确性，在MMR-Bench和VL-RouterBench实验中优于基线方法。

ARFBench: Benchmarking Time Series Question Answering Ability for Software Incident Response

ARFBench: 用于软件事件响应的时间序列问题回答能力基准测试

Stephan Xie, Ben Cohen, Mononito Goswami, Junhong Shen, Emaad Khwaja, Chenghao Liu, David Asker, Othmane Abou-Amal, Ameet Talwalkar

机构 * Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系） ； Datadog AI Research（Datadog AI研究） ； Amazon Web Services（亚马逊网络服务） 纠错

专题命中 视觉问答 ：VLM(summary_cn,abstract)；分类 cs.CV、cs.LG

AI总结 本文提出ARFBench基准测试，评估多模态基础模型对软件事件数据中时间序列异常的理解能力，发现前沿VLM表现优异，提出混合模型并建立模型-专家 oracle，达到超人类水平。

Comments Updated author affiliation

mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

mKG-RAG：利用多模态知识图谱在检索增强生成中进行知识密集型视觉问答

Xu Yuan, Liangbo Ning, Qingqing Ye, Wenqi Fan, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视觉问答 ：MLLM(abstract,abstract_cn)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出mKG-RAG框架，通过整合多模态知识图谱提升检索增强生成在知识密集型视觉问答中的性能，采用双阶段检索策略和图提取方法构建高质量知识图谱，实验表明优于现有方法。

Comments In Proceedings of the 49th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'26), July 20-24, 2026, Melbourne, VIC, Australia

BridgeEQA: Virtual Embodied Agents for Real Bridge Inspections

BridgeEQA：用于真实桥梁检查的虚拟具身代理

Subin Varghese, Joshua Gao, Asad Ur Rahman, Vedhus Hoskere

机构 * University of Houston（德克萨斯大学休斯顿分校） 纠错

专题命中 视觉问答 ：visual reasoning(abstract,abstract_cn)；vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BridgeEQA基准，通过200个真实桥梁场景和2200个开放词汇问题对，评估具身记忆问答能力，引入Image Citation Relevance指标，并提出EMVR模型提升性能。

M4CXR: Exploring Multi-task Potentials of Multi-modal Large Language Models for Chest X-ray Interpretation

M4CXR：探索多任务潜力的多模态大语言模型在胸部X光解读中的应用

Jonggwon Park, Soobum Kim, Byungmu Yoon, Jihun Hyun, Kyoyun Choi

机构 * DEEPNOID Inc.（DEEPNOID公司） 纠错

专题命中 视觉问答 ：grounding(summary_cn,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出M4CXR，一种多模态大语言模型，通过链式推理策略提升胸部X光报告生成的临床准确性，并在视觉问答和视觉 grounding 任务中表现出色。

Journal ref IEEE Transactions on Neural Networks and Learning Systems, vol. 36, no. 10, pp. 17841-17855, Oct. 2025

MemLoRA: Distilling Expert Adapters for On-Device Memory Systems

MemLoRA: 通过专家适配器实现设备端记忆系统

Massimo Bini, Ondrej Bohdal, Umberto Michieli, Zeynep Akata, Mete Ozay, Taha Ceritli

机构 * Samsung R&D Institute UK（三星英国研发中心） ； Technical University of Munich（慕尼黑技术大学） ； Helmholtz Munich（慕尼黑海德堡研究所） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual reasoning(abstract)；visual question answering(abstract)

AI总结 MemLoRA通过为小型语言模型添加专用记忆适配器，实现设备端记忆系统的本地部署，并扩展至视觉理解任务，提升多模态场景下的性能。

CrossMed: A Multimodal Cross-Task Benchmark for Compositional Generalization in Medical Imaging

Pooja Singh, Siddhant Ujjain, Tapan Kumar Gandhi, Sandeep Kumar

专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；visual question answering(abstract)；multimodal large language model(abstract)

S-Chain: Structured Visual Chain-of-Thought For Medicine

Khai Le-Duc, Duy M. H. Nguyen, Phuong T. H. Trinh, Tien-Phat Nguyen, Nghiem T. Diep, An Ngo, Tung Vu, Trinh Vuong, Anh-Tien Nguyen, Mau Nguyen, Van Trung Hoang, Khai-Nguyen Nguyen, Hy Nguyen, Chris Ngo, Anji Liu, Nhat Ho, Anne-Christin Hauschild, Khanh Xuan Nguyen, Thanh Nguyen-Tang, Pengtao Xie, Daniel Sonntag, James Zou, Mathias Niepert, Anh Totti Nguyen

专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；visual question answering(abstract)；grounding(abstract)

Comments First version

Can VLMs Recall Factual Associations From Visual References?

Dhananjay Ashok, Ashutosh Chaubey, Hirona J. Arai, Jonathan May, Jesse Thomason

机构 * University of Southern California（南加州大学） ； Information Sciences Institute, University of Southern California（信息科学研究所，南加州大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；visual question answering(abstract)；grounding(abstract)

Comments To appear at EMNLP 2025 (Findings)

MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis

Mai A. Shaaban, Adnan Khan, Mohammad Yaqub

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

ReWind: Understanding Long Videos with Instructed Learnable Memory

Anxhelo Diko, Tinghuai Wang, Wassim Swaileh, Shiyan Sun, Ioannis Patras

机构 * La Sapienza University of Roma（罗马第一大学） ； Huawei Helsinki Research Center（华为赫尔辛基研究中心） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；grounding(abstract)

VLR-Bench: Multilingual Benchmark Dataset for Vision-Language Retrieval Augmented Generation

Hyeonseok Lim, Dongjae Shin, Seohyun Song, Inho Won, Minjun Kim, Junghun Yuk, Haneol Jang, KyungTae Lim

机构 * Seoul National University of Science and Technology (SeoulTech)（首尔科学技术大学） ； Teddysum（泰迪森姆） ； Hanbat National University（韩巴大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；LLaVA(abstract)；visual question answering(abstract)

Comments The 31st International Conference on Computational Linguistics (COLING 2025), 19 pages

Veagle: Advancements in Multimodal Representation Learning

Rajat Chawla, Arkajit Datta, Tushar Verma, Adarsh Jha, Anmol Gautam, Ayush Vatsal, Sukrit Chaterjee, Mukunda NS, Ishaan Bhola

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；grounding(abstract)；multimodal large language model(abstract)

World to Code: Multi-modal Data Generation via Self-Instructed Compositional Captioning and Filtering

Jiacong Wang, Bohong Wu, Haiyong Jiang, Xun Zhou, Xin Xiao, Haoyuan Guo, Jun Xiao

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；grounding(abstract)

Comments Accepted at EMNLP 2024 Main Conference, 16pages

Question-Guided Evidence Acquisition for Multimodal Visual Question Answering

面向多模态视觉问答的问题引导式证据获取

Alin-Ionut Popa

机构 * Amazon Inc.（亚马逊公司） 纠错

专题命中 视觉问答 ：visual question answering(title)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对多模态视觉问答中模型读取文档不可靠的问题，提出Q-Guide智能体引导感知，在两个数据集上优于基线方法，且增益来自精准感知引导而非复杂控制逻辑。

RoboVista: Evaluating Vision Language Models for Diverse Robot Applications

RoboVista：评估用于各种机器人应用的视觉语言模型

Shuangyu Xie, Kaiyuan Chen, Ziyang Chen, Simeon Adebola, Yixuan Huang, Zehan Ma, Tianshuang Qiu, Wentao Yuan, Dhruv Shah, Pannag R. Sanketi, Ken Goldberg

机构 * University of California, Berkeley（加州大学伯克利分校） ； Princeton University（普林斯顿大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视觉问答 ：vision language model(title)；vision-language model(abstract)；visual question answering(abstract)

AI总结 研究针对机器人多样应用，提出模块化评估框架Robot Question Answering及基准RoboVista，其源于真实机器人系统等，含多任务类型VQA实例，实验表明现有视觉语言模型有差距，且与现实任务执行相关。

Comments Accepted to RSS 2026. Project website: https://berkeleyautomation.github.io/robovista/

CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity

CArtBench: 评估视觉语言模型在中国艺术理解、解读与真实性方面的能力

Xuefeng Wei, Zhixuan Wang, Xuan Zhou, Zhi Qu, Hongyao Li, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技術大學） ； Liaoning Normal University（遼寧師範大學） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract_cn)

AI总结 提出CARTBENCH基准，通过四个子任务评估视觉语言模型在中国艺术作品上的识别、推理、鉴赏和真伪鉴别能力，发现现有模型在复杂证据链接、风格断代和真伪诊断方面表现不足。

Comments under review

Modality-Inconsistent Continual Learning of Multimodal Large Language Models

多模态大语言模型的模态不一致持续学习

Weiguo Pian, Shijian Deng, Shentong Mo, Mingrui Liu, Yunhui Guo, Yapeng Tian

机构 * The University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Carnegie Mellon University（卡内基梅隆大学） ； George Mason University（乔治·梅森大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出MICL，一种针对多模态大语言模型的持续学习场景，涉及不一致的模态和变化的任务类型。通过伪目标生成模块和基于指令的知识蒸馏，解决任务类型转移导致的遗忘问题，实验验证了方法的有效性。

Comments Accepted at Transactions on Machine Learning Research (TMLR), 2026

Bench2Drive-VL: Benchmarks for Closed-Loop Autonomous Driving with Vision-Language Models

Bench2Drive-VL: 用于基于视觉语言模型的闭环自动驾驶的基准测试

Xiaosong Jia, Yuqian Shao, Zhenjie Yang, Qifeng Li, Zhiyuan Zhang, Junchi Yan

机构 * Shanghai Key Laboratory of Multimodal Embodied AI（上海市多模态具身智能重点实验室） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文提出Bench2Drive-VL，通过闭环评估方法提升视觉语言模型在自动驾驶中的性能，包含DriveCommenter生成多样化问题对、统一协议接口、灵活推理框架及完整开发生态，开源代码和标注数据。

Comments All codes and annotated datasets are available at \url{https://github.com/Thinklab-SJTU/Bench2Drive-VL} and \url{https://huggingface.co/datasets/Telkwevr/Bench2Drive-VL-base}

Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding

基于证据的关键帧采样用于基于MLLM的长视频理解

Yiheng Wang, Lichen Zhu, Yueqian Lin, Yudong Liu, Jingyang Zhang, Hai "Helen" Li, Yiran Chen

机构 * Duke University（杜克大学） ； Independent Researcher（独立研究员） 纠错

专题命中 视觉问答 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出基于信息瓶颈理论的证据驱动关键帧采样框架，通过最大化选帧与查询的条件互信息，提升长视频理解性能，实验表明在严格token预算下优于现有方法。

Parallel In-context Learning for Large Vision Language Models

大规模视觉语言模型的并行上下文学习

Shin'ya Yamaguchi, Daiki Chijiwa, Tamao Sakao, Taku Hasegawa

机构 * NTT（日本电信电话研究所） 纠错

专题命中 视觉问答 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出并行上下文学习方法，通过将长上下文分割为短片段并行处理，提升大视觉语言模型的推理效率，同时保持性能与传统多模态上下文学习相当。

Comments Accepted to CVPR 2026 (Findings); Code is available at https://github.com/yshinya6/parallel-icl

ERGO: Efficient High-Resolution Visual Understanding for Vision-Language Models

ERGO：高效高分辨率视觉理解用于视觉-语言模型

Jewon Lee, Wooksu Shin, Seungmin Yang, Ki-Ung Song, DongUk Lim, Jaeyeon Kim, Tae-Ho Kim, Bo-Kyeong Kim

机构 * Nota Inc.（Nota公司） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ERGO提出一种两阶段'粗到细'推理流程，通过下采样图像识别任务相关区域，再以全分辨率裁剪处理，从而在降低计算成本的同时保留必要的细粒度视觉细节，提升视觉-语言模型的效率与准确性。

Open-World Task and Motion Planning via Vision-Language Model Generated Constraints

开放世界任务与运动规划 via 视觉-语言模型生成的约束

Nishanth Kumar, William Shen, Fabio Ramos, Dieter Fox, Tomás Lozano-Pérez, Leslie Pack Kaelbling, Caelan Reed Garrett

机构 * NVIDIA Research（NVIDIA研究） ； MIT CSAIL 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；visual question answering(abstract)

AI总结 本文提出OWL-TAMP方法，通过整合视觉-语言模型生成的约束，提升开放世界任务与运动规划的性能，实现对自然语言目标的处理能力。

Comments A version of this paper appears in IEEE Robotics and Automation Letters (RA-L) Volume 11, Issue 3

Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering

元适应性提示蒸馏用于少样本视觉问答

Akash Gupta, Amos Storkey, Mirella Lapata

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出元适应性提示蒸馏方法，通过固定软提示提升少样本视觉问答性能，实验表明在低数据情况下优于ICL和参数高效微调方法。

Comments ICLR 2026