视觉大模型 / VLM

CXReasonBench: A Benchmark for Evaluating Structured Diagnostic Reasoning in Chest X-rays

Hyungyung Lee, Geon Choi, Jung-Oh Lee, Hangyul Yoon, Hyuk Gi Hong, Edward Choi

机构 * KAIST（韩国国立科学技术院） ； Seoul National University Hospital（首尔国立大学医院） ； Seoul Medical Center（首尔医疗中心） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Comments Accepted at NeurIPS 2025 Datasets and Benchmarks Track

Semantic World Models

Jacob Berg, Chuning Zhu, Yanda Bao, Ishan Durugkar, Abhishek Gupta

机构 * University of Washington（华盛顿大学） ； Sony AI（索尼人工智能） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；vision language model(abstract)；visual question answering(abstract)；分类 cs.AI、cs.LG

mRAG: Elucidating the Design Space of Multi-modal Retrieval-Augmented Generation

Chan-Wei Hu, Yueqi Wang, Shuo Xing, Chia-Ju Chen, Suofei Feng, Ryan Rossi, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯农工大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Stanford University（斯坦福大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Comments 16 pages

Mitigating Easy Option Bias in Multiple-Choice Question Answering

Hao Zhang, Chen Li, Basura Fernando

机构 * Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore（高性能计算研究所，科学、技术及研究局，新加坡） ； Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore（前沿人工智能研究中心，科学、技术及研究局，新加坡） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Comments Under review

Grid-LOGAT: Grid Based Local and Global Area Transcription for Video Question Answering

Md Intisar Chowdhury, Kittinun Aukkapinyo, Hiroshi Fujimura, Joo Ann Woo, Wasu Wasusatein, Fadoua Ghourabi

机构 * AWL, Inc.（AWL公司） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Comments Copyright 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works

Multimodal LLM Integrated Semantic Communications for 6G Immersive Experiences

Yusong Zhang, Yuxuan Sun, Lei Guo, Wei Chen, Bo Ai, Deniz Gunduz

机构 * School of Electronic and Information Engineering, Beijing Jiaotong University（电子信息工程学院，北京交通大学） ； School of Electrical and Electronic Engineering, Imperial College London（电子电气工程学院，帝国理工学院伦敦分校） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

Comments This work has been submitted to the IEEE for possible publication

SURE-VQA: Systematic Understanding of Robustness Evaluation in Medical VQA Tasks

Kim-Celine Kahl, Selen Erkan, Jeremias Traub, Carsten T. Lüth, Klaus Maier-Hein, Lena Maier-Hein, Paul F. Jaeger

机构 * German Cancer Research Center (DKFZ) Heidelberg, Division of Medical Image Computing（德国癌症研究中心（DKFZ）海德堡，医学影像计算部门） ； Helmholtz Imaging, German Cancer Research Center (DKFZ), Heidelberg, Germany（海德堡影像技术，德国癌症研究中心（DKFZ），海德堡，德国） ； Faculty of Mathematics and Computer Science, University of Heidelberg, Germany（海德堡大学数学与计算机科学学院，德国） ； German Cancer Research Center (DKFZ) Heidelberg, Division of Intelligent Medical Systems（德国癌症研究中心（DKFZ）海德堡，智能医学系统部门） ； German Cancer Research Center (DKFZ) Heidelberg, Interactive Machine Learning Group（德国癌症研究中心（DKFZ）海德堡，交互式机器学习小组） ； Pattern Analysis and Learning Group, Department of Radiation Oncology, Heidelberg University Hospital, Germany（放射肿瘤科，海德堡大学医院模式分析与学习小组，德国） ； National Center for Tumor Diseases (NCT) Heidelberg, Germany（海德堡国家肿瘤疾病中心（NCT），德国） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

Comments TMLR 07/2025

Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning

LASA Team, Weiwen Xu, Hou Pong Chan, Long Li, Mahani Aljunied, Ruifeng Yuan, Jianyu Wang, Chenghao Xiao, Guizhen Chen, Chaoqun Liu, Zhaodonghui Li, Yu Sun, Junao Shen, Chaojun Wang, Jie Tan, Deli Zhao, Tingyang Xu, Hao Zhang, Yu Rong

机构 * DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Technical Report, 53 pages, 25 tables, and 16 figures. Our webpage is https://alibaba-damo-academy.github.io/lingshu/

Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios

Charles Corbière, Simon Roburin, Syrielle Montariol, Antoine Bosselut, Alexandre Alahi

机构 * EPFL（洛桑联邦理工学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments Project page: https://vita-epfl.github.io/DrivingVQA

MLLMs Know Where to Look: Training-free Perception of Small Visual Details with Multimodal LLMs

Jiarui Zhang, Mahyar Khayatkhoei, Prateek Chhikara, Filip Ilievski

机构 * University of Southern California（南加州大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Published as a conference paper at ICLR 2025. Code at: https://github.com/saccharomycetes/mllms_know

Less is More: A Simple yet Effective Token Reduction Method for Efficient Multi-modal LLMs

Dingjie Song, Wenjun Wang, Shunian Chen, Xidong Wang, Michael Guan, Benyou Wang

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted to COLING 2025

Skipping Computations in Multimodal LLMs

Mustafa Shukor, Matthieu Cord

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

Comments Accepted at NeurIPS 2024 Workshop RBFM. Code: https://github.com/mshukor/ima-lmms

Revisiting Multi-Modal LLM Evaluation

Jian Lu, Shikhar Srivastava, Junyu Chen, Robik Shrestha, Manoj Acharya, Kushal Kafle, Christopher Kanan

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Harnessing Large Vision and Language Models in Agriculture: A Review

Hongyan Zhu, Shuai Qin, Min Su, Chengzhi Lin, Anjie Li, Junfeng Gao

专题命中 视觉问答 ：vision-language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

MiniGPT-Med: Large Language Model as a General Interface for Radiology Diagnosis

Asma Alkhaldi, Raneem Alnajim, Layan Alabdullatef, Rawan Alyahya, Jun Chen, Deyao Zhu, Ahmed Alsinan, Mohamed Elhoseiny

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

MindBench: A Comprehensive Benchmark for Mind Map Structure Recognition and Analysis

Lei Chen, Feng Yan, Yujie Zhong, Shaoxiang Chen, Zequn Jie, Lin Ma

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments technical report

Enhancing Human-Computer Interaction in Chest X-ray Analysis using Vision and Language Model with Eye Gaze Patterns

Yunsoo Kim, Jinge Wu, Yusuf Abdulle, Yue Gao, Honghan Wu

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

Comments Under review

EVE: Efficient Vision-Language Pre-training with Masked Prediction and Modality-Aware MoE

Junyi Chen, Longteng Guo, Jia Sun, Shuai Shao, Zehuan Yuan, Liang Lin, Dongyu Zhang

专题命中 视觉问答 ：vision-language model(abstract)；visual reasoning(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

Comments Accepted by AAAI 2024

PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs

Soroush Nasiriany, Fei Xia, Wenhao Yu, Ted Xiao, Jacky Liang, Ishita Dasgupta, Annie Xie, Danny Driess, Ayzaan Wahid, Zhuo Xu, Quan Vuong, Tingnan Zhang, Tsang-Wei Edward Lee, Kuang-Huei Lee, Peng Xu, Sean Kirmani, Yuke Zhu, Andy Zeng, Karol Hausman, Nicolas Heess, Chelsea Finn, Sergey Levine, Brian Ichter

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

MAMO: Masked Multimodal Modeling for Fine-Grained Vision-Language Representation Learning

Zijia Zhao, Longteng Guo, Xingjian He, Shuai Shao, Zehuan Yuan, Jing Liu

专题命中 视觉问答 ：visual reasoning(abstract)；visual question answering(abstract)；grounding(abstract)；分类 cs.CV、cs.LG

Comments SIGIR 2023, 10 pages

Calibrated Triage, Not Autonomy: Confidence Estimation for Medical Vision-Language Models

校准的分诊，而非自主：医学视觉-语言模型的置信度估计

Reza Khanmohammadi, Kundan Thind, Mohammad M. Ghassemi

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)

AI总结 针对医学视觉-语言模型在回答时可能忽略图像而依赖语言先验的问题，提出使用置信度估计进行校准分诊，通过评估七种置信度估计器，发现高置信度区域是区分可用估计器的关键，最佳探针可将错误率从41-45%降至1-4%，但无估计器在所有领域和模型中一致最优。

Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA

Doc-V*：多页文档视觉问答中的粗到细交互推理

Yuanlei Zheng, Pei Fu, Hang Li, Ziyang Wang, Yuyi Zhang, Wenyu Ruan, Xiaojin Zhang, Zhongyu Wei, Zhenbo Luo, Jian Luan, Wei Chen, Xiang Bai

机构 * School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件工程学院） ； MiLM Plus, Xiaomi Inc.（小米公司MiLM Plus团队） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 视觉问答 ：visual reasoning(title)；visual question answering(abstract)

AI总结 Doc-V*提出一种无OCR的智能框架，通过序列证据聚合解决多页文档VQA问题，结合语义检索和目标页面获取，提升回答准确性和证据收集效率，在五个基准测试中优于开源基线，提升领域外性能达47.9%。

Comments Accepted by Association for Computational Linguistics (ACL)

LitTraceQA: A Benchmark for Multi-Stage Grounding and Verification in Scientific Question Answering

LitTraceQA：面向科学问答的多阶段溯源与验证基准

Xuye Liu, Yimu Wang, Peng Shi, Bo Xue, Xiangrui Ke, Songcheng Cai, Kath Choi, Di Wu, Freda Shi, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） ； Amazon（亚马逊公司） ； City University of Hong Kong（香港城市大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 视觉问答 ：grounding(title,abstract)

AI总结 该研究提出LitTraceQA基准，用于科学问答的多阶段溯源与验证，提供含多类型证据的问答数据，可评估系统的论文检索、证据溯源及答案准确性，助力生成可验证的科学问答结果。

Comments Work in Progress

SpaCE: Rethinking Spatial Capacity and Generalization in Multi-Frame Multimodal Large Language Models

SpaCE: 重新思考多帧多模态大语言模型中的空间容量与泛化能力

Mariana Costa, Camila Ferreira, Alberlucia Rafael Soarez, Alejandro Torres

专题命中 视觉问答 ：multimodal large language model(title)；visual question answering(abstract)

AI总结 提出SpaCE理论框架，证明多帧空间推理的信息论上界、样本复杂度界、PAC-Bayes泛化界，并刻画显式3D表示与隐式推理的偏差-方差权衡，在多个基准上验证了理论紧致性。

Knowledge-Graph Grounding Helps LLMs Only for Out-of-Training Knowledge: A Controlled Study on Clinical Question Answering

知识图谱基础仅对训练外知识帮助LLM：临床问答的受控研究

Madhulatha Mandarapu, Sandeep Kunkunuru

专题命中 视觉问答 ：grounding(title,abstract)

AI总结 通过受控实验发现，知识图谱基础仅在问题涉及模型训练外知识时提升LLM性能，对已知事实无帮助，且公共KG信息冗余。

Comments 9 pages. Code: https://github.com/samyama-ai/clinical-llm-graphrag

Revisiting Greedy Decoding for Visual Question Answering: A Calibration Perspective

重新审视视觉问答中的贪婪解码：一种校准视角

Boqi Chen, Xudong Liu, Yunke Ao, Jianing Qiu

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Toronto（多伦多大学） ； MBZUAI（穆桑比克人工智能研究所） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)

AI总结 针对视觉问答任务，从校准角度理论证明贪婪解码优于随机采样，并提出适用于推理模型的贪婪解码方法，实验验证其有效性。

Lifelong Learning in Vision-Language Models: Enhanced EWC with Cross-Modal Knowledge Retention

视觉-语言模型的终身学习：增强的EWC与跨模态知识保留

Hamza Ahmed Durrani, Rafay Suleman Durrani

机构 * Sejong University, Computer Science Engineering（世宗大学，计算机科学工程） ； Technische Universität Ilmenau, Computer Engineering（伊门瑙技术大学，计算机工程） 纠错

专题命中 视觉问答 ：vision-language model(title)；visual question answering(abstract)

AI总结 本文提出一种结合增强EWC与参数高效微调的框架，有效减少视觉-语言模型在连续学习中的遗忘，通过多模态Fisher信息矩阵计算和跨模态一致性保留，实现78%的遗忘率降低，并在动态环境中提升多模态AI系统的适应能力。

Comments 8 pages, 5 figures, 1 table. Applications in autonomous driving, intelligent robotic assistants, and adaptive robotics systems

MM-Doc-R1: Training Agents for Long Document Visual Question Answering through Multi-turn Reinforcement Learning

MM-Doc-R1: 通过多轮强化学习训练代理进行长文档视觉问答

Jiahang Lin, Kai Hu, Binghai Wang, Yuhao Zhou, Zhiheng Xi, Honglin Guo, Shichun Liu, Junzhe Wang, Shihan Dou, Enyu Zhou, Hang Yan, Zhenhua Han, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * Fudan University（复旦大学） ； Shanghai Qiji Zhifeng Co., Ltd（上海启智锋科技有限公司） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)

AI总结 MM-Doc-R1通过多轮强化学习训练代理，利用相似性基于策略优化提升长文档视觉问答性能，实验表明其优于现有方法。

JW-VL: A Vision-Language Model for Solar Physics

JW-VL：用于太阳物理的视觉-语言模型

Mingfu Shao, Hui Wang, Liyue Tong, Yuyang Li, Cunshi Wang, Jiaben Lin, Suo Liu, Haiqing Xu, Yin Zhang, Jing Huang

专题命中 视觉问答 ：vision-language model(title,abstract)

AI总结 本文提出JW-VL模型，专为太阳物理设计，整合多波段观测数据，实现从原始观测数据到图像识别、活动分析和OCR的端到端处理，同时构建多波段图像基准数据集。

Comments 16 Pages,8figures

ViTextVQA: A Large-Scale Visual Question Answering Dataset and a Novel Multimodal Feature Fusion Method for Vietnamese Text Comprehension in Images

ViTextVQA: 一个大规模视觉问答数据集和一种新的多模态特征融合方法用于图像中的越南语文本理解

Quan Van Nguyen, Dan Quang Tran, Huy Quang Pham, Thang Kien-Bao Nguyen, Nghia Hieu Nguyen, Kiet Van Nguyen, Ngan Luu-Thuy Nguyen

机构 * Faculty of Information Science and Engineering, University of Information Technology（信息科学与工程学院，信息科技大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)

AI总结 ViTextVQA是一个大规模视觉问答数据集，提出了一种新的多模态特征融合方法，用于提升图像中越南语文本的理解能力。

Comments International Journal of Expert Systems with Applications