视觉大模型 / VLM

Integrating Cognitive Processing Signals into Language Models: A Review of Advances, Applications and Future Directions

将认知处理信号整合进语言模型：关于进展、应用与未来方向的综述

Angela Lopez-Cardona, Sebastian Idesis, Ioannis Arapakis

机构 * Telefónica Scientific Research（Telefónica科学研究院） ； Universitat Politècnica de Catalunya（加泰罗尼亚理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 本文综述了将认知信号，特别是眼动数据整合到语言模型中的最新进展、应用及未来方向，探讨了其在提升模型性能和解决环境成本方面的潜力。

MedGEN-Bench: Contextually entangled benchmark for open-ended multimodal medical generation

Junjie Yang, Yuhao Yan, Gang Wu, Yuxuan Wang, Ruoyu Liang, Xinjie Jiang, Xiang Wan, Fenglei Fan, Yongquan Zhang, Feiwei Qin, Changmiao Wang

机构 * South China University of Technology（华南理工大学） ； Sun Yat-sen University（中山大学） ； Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang University of Finance & Economics（浙江财经大学） ； National University of Singapore（新加坡国立大学） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments CVPR 2026 Under Review

VLMs Guided Interpretable Decision Making for Autonomous Driving

Xin Hu, Taotao Jing, Renran Tian, Zhengming Ding

机构 * Department of Computer Science, Tulane University（路易斯安那大学计算机科学系） ； Qualcomm（高通公司） ； Department of Industrial and Systems Engineering, North Carolina State University（北卡罗来纳州立大学工业与系统工程系） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted by WACV 2026

Tracing and Mitigating Hallucinations in Multimodal LLMs via Dynamic Attention Localization

Tiancheng Yang, Lin Zhang, Jiaye Lin, Guimin Hu, Di Wang, Lijie Hu

机构 * MBZUAI ； Provable Responsible AI and Data Analytics (PRADA) Lab（可证明负责任的人工智能与数据分析实验室） ； King Abdullah University of Science and Technology（卡迪夫大学科学与技术大学） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院） ； University of Copenhagen（哥本哈根大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive

Xuan Shen, Brian Wingenroth, Zichao Wang, Jason Kuen, Wanrong Zhu, Ruiyi Zhang, Yiwei Wang, Lichun Ma, Anqi Liu, Hongfu Liu, Tong Sun, Kevin S. Hawkins, Kate Tasker, G. Caleb Alexander, Jiuxiang Gu

专题命中 视觉问答 ：grounding(abstract)；multimodal large language model(abstract)；分类 cs.AI

Comments Accepted by AAAI 2026 Artificial Intelligence for Social Impact Track

Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering

Kuicai Dong, Yujing Chang, Shijie Huang, Yasheng Wang, Ruiming Tang, Yong Liu

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉问答 ：VLM(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Paper accepted to NeurIPS 2025 DB

ToolScope: An Agentic Framework for Vision-Guided and Long-Horizon Tool Use

Mengjie Deng, Guanting Dong, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

CATCH: A Modular Cross-domain Adaptive Template with Hook

Xinjin Li, Yulie Lu, Jinghan Cao, Yu Ma, Zhenglin Li, Yeyang Zhou

机构 * Columbia University, United States Shanghai Jiao Tong University, China San Francisco State University, United States Carnegie Mellon University, United States Texas A\&M University, College Station, United States University of California, San Diego, United States 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

A Video Is Not Worth a Thousand Words

Sam Pollard, Michael Wray

机构 * University of Bristol（布里斯托大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

3D-RAD: A Comprehensive 3D Radiology Med-VQA Dataset with Multi-Temporal Analysis and Diverse Diagnostic Tasks

Xiaotang Gai, Jiaxiang Liu, Yichen Li, Zijie Meng, Jian Wu, Zuozhu Liu

机构 * ZJU-Angelalign R&D Center for Intelligence Healthcare（浙江大学智能医疗研发中心） ； Zhejiang University（浙江大学） ； Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence（浙江省医学影像人工智能重点实验室） ； Guangdong Institute of Intelligence Science and Technology（广东省智能科学与技术研究院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted by NeurIPS 2025

MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning

Siyong Chen, Jinbo Wen, Jiawen Kang, Tenghui Huang, Xumin Huang, Yuanjia Su, Hudan Pan, Zishao Zhong, Dusit Niyato, Shengli Xie, Dong In Kim

机构 * School of Automation, Guangdong University of Technology（广东工业大学自动化学院） ； College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； State Key Laboratory of Traditional Chinese Medicine Syndrome, The Second Affiliated Hospital of Guangzhou University of Chinese Medicine, Guangdong Provincial Hospital of Chinese Medicine, Guangdong Provincial Academy of Chinese Medical Sciences（广东省中医药科学院中医证候重点实验室，广州中医药大学第二附属医院，广东省中医院，广东省中医药科学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院） ； Department of Electrical and Computer Engineering, Sungkyunkwan University（成均馆大学电子与计算机工程系） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

MedReason-R1: Learning to Reason for CT Diagnosis with Reinforcement Learning and Local Zoom

Yifan Li, Fenghe Tang, Yingtai Li, Shaohua Kevin Zhou

机构 * 1 School of Biomedical Engineering, Division of Life Sciences ； Medicine, University of Science ； Technology of China, Hefei, Anhui, 230026, P.R. China 2 Center for Medical Imaging, Robotics ； Analytic Computing \& LEarning (MIRACLE), Suzhou Institute for Advanced Research, USTC, Suzhou 215123, P.R. China 3 Jiangsu Provincial Key Laboratory of Multimodal Digital Twin Technology, Suzhou Jiangsu, 215123 4 State Key Laboratory of Precision 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Comments The code, checkpoints, and dataset are available at: https://github.com/Leevan001/MedReason-R1

Visual Instruction Bottleneck Tuning

Changdae Oh, Jiatong Li, Shawn Im, Sharon Li

机构 * Department of Computer Sciences, University of Wisconsin–Madison（计算机科学系，威斯康星大学麦迪逊分校） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

Comments NeurIPS 2025

CoDefend: Cross-Modal Collaborative Defense via Diffusion Purification and Prompt Optimization

Fengling Zhu, Boshi Liu, Jingyu Hua, Sheng Zhong

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales

Zhaofang Qian, Hardy Chen, Zeyu Wang, Li Zhang, Zijun Wang, Xiaoke Huang, Hui Liu, Xianfeng Tang, Zeyu Zheng, Haoqin Tu, Cihang Xie, Yuyin Zhou

机构 * University of Central Florida（中央佛罗里达大学） ； University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Columbia University（哥伦比亚大学） ； Amazon Research（亚马逊研究） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Mediator-Guided Multi-Agent Collaboration among Open-Source Models for Medical Decision-Making

Kaitao Chen, Mianxin Liu, Daoming Zong, Chaoyue Ding, Shaohao Rui, Yankai Jiang, Mu Zhou, Xiaosong Wang

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

Comments 14 pages, 4 figures

PhysToolBench: Benchmarking Physical Tool Understanding for MLLMs

Zixin Zhang, Kanghao Chen, Xingwang Lin, Lutao Jiang, Xu Zheng, Yuanhuiyi Lyu, Litao Guo, Yinchuan Li, Ying-Cong Chen

机构 * HKUST(GZ)（香港科技大学（广州）） ； HKUST（香港科技大学） ； Beihang University（北航大学） ； Knowin 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

MMA-ASIA: A Multilingual and Multimodal Alignment Framework for Culturally-Grounded Evaluation

Weihua Zheng, Zhengyuan Liu, Tanmoy Chakraborty, Weiwen Xu, Xiaoxue Gao, Bryan Chen Zhengyu Tan, Bowei Zou, Chang Liu, Yujia Hu, Xing Xie, Xiaoyuan Yi, Jing Yao, Chaojun Wang, Long Li, Rui Liu, Huiyao Liu, Koji Inoue, Ryuichi Sumida, Tatsuya Kawahara, Fan Xu, Lingyu Ye, Wei Tian, Dongjun Kim, Jimin Jung, Jaehyung Seo, Nadya Yuki Wangsajaya, Pham Minh Duc, Ojasva Saxena, Palash Nandi, Xiyan Tao, Wiwik Karlina, Tuan Luong, Keertana Arun Vasan, Roy Ka-Wei Lee, Nancy F. Chen

机构 * Singapore University of Technology and Design（新加坡科技设计大学） ； Agency for Science, Technology and Research, Singapore（新加坡科技研究局） ； Indian Institute of Technology Delhi（印度理工学院德里分校） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； Microsoft Research Asia（微软亚洲研究院） ； Shanghai University of Finance and Economics（上海财经大学） ； Inner Mongolia University（内蒙古大学） ； Kyoto University（京都大学） ； Jiangxi Normal University（江西师范大学） ； Korea University（韩国大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；grounding(abstract)；分类 cs.AI

MoA-VR: A Mixture-of-Agents System Towards All-in-One Video Restoration

Lu Liu, Chunlei Cai, Shaocheng Shen, Jianfeng Liang, Weimin Ouyang, Tianxiao Ye, Jian Mao, Huiyu Duan, Jiangchao Yao, Xiaoyun Zhang, Qiang Hu, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Bilibili Inc.（哔哩哔哩公司） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Context Matters: Learning Global Semantics via Object-Centric Representation

Jike Zhong, Yuxiang Lai, Xiaofeng Yang, Konstantinos Psounis

机构 * University of Southern California（美国南加州大学） ； Emory University（埃默里大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；MLLM(abstract)；分类 cs.CV

SAR-TEXT: A Large-Scale SAR Image-Text Dataset Built with SAR-Narrator and A Progressive Learning Strategy for Downstream Tasks

Yiguo He, Xinjun Cheng, Junjie Zhu, Chunping Qiu, Jun Wang, Xichuan Zhang, Qiangjuan Huang, Ke Yang

机构 * Intelligent Game and Decision Lab（智能游戏与决策实验室） 纠错

专题命中 视觉问答 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments IEEE Submission

AutoDrive-QA: A Multiple-Choice Benchmark for Vision-Language Evaluation in Urban Autonomous Driving

Boshra Khalili, Andrew W. Smyth

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV

Comments Updated results with larger dataset experiments and expanded discussion

Ranked from Within: Ranking Large Multimodal Models Without Labels

Weijie Tu, Weijian Deng, Dylan Campbell, Yu Yao, Jiyang Zheng, Tom Gedeon, Tongliang Liu

机构 * Australian National University ； Sydney AI Centre, The University of Sydney ； Curtin University ； University of \'OBuda 纠错

专题命中 视觉问答 ：LLaVA(abstract)；visual question answering(abstract)；分类 cs.CV

Comments ICML 2025 Camera Ready

Interpret, prune and distill Donut : towards lightweight VLMs for VQA on document

Adnan Ben Mansour, Ayoub Karine, David Naccache

机构 * DIENS, École Normale Supérieure of Paris, Paris, France（巴黎高等师范学院DIENS） ； Université Paris Cité, LIPADE, F-75006 Paris, France（巴黎大学） ； Be-ys Research, Paris, France（Be-ys研究所） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Accepted at Workshop on Machine Learning in Document Analysis and Recognition (ICDAR WML 2025), Wuhan, China

DescribeEarth: Describe Anything for Remote Sensing Images

Kaiyu Li, Zixuan Jiang, Xiangyong Cao, Jiayu Wang, Yuchen Xiao, Deyu Meng, Zhi Wang

机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件工程学院） ； College of Artificial Intelligence, Xi’an Jiaotong University（西安交通大学人工智能学院） ； School of Computer Science and Technology and Ministry of Education Key Lab For Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院和教育部智能网络与网络安全重点实验室） ； School of Mathematics and Statistics and Ministry of Education Key Lab of Intelligent Networks and Network Security, Xi’an Jiaotong University（西安交通大学数学与统计学院和教育部智能网络与网络安全重点实验室） ； Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China（琶洲实验室（黄埔），广州，广东，中国） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；MLLM(abstract)；分类 cs.CV

ReLoop: "Seeing Twice and Thinking Backwards" via Closed-loop Training to Mitigate Hallucinations in Multimodal understanding

Jianjiang Yang, Yanshu li, Ziyan Huang

机构 * University of Bristol（布里斯托大学） ； Brown University（布朗大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments Accepted by conference EMNLP2025

Falcon: A Cross-Modal Evaluation Dataset for Comprehensive Safety Perception

Qi Xue, Minrui Jiang, Runjia Zhang, Xiurui Xie, Pei Ke, Guisong Liu

机构 * Laboratory of Intelligent Collaborative Computing University of Electronic Science and Technology of China（智能协同计算实验室 电子科技大学） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；multimodal large language model(abstract)；分类 cs.AI

Hanfu-Bench: A Multimodal Benchmark on Cross-Temporal Cultural Understanding and Transcreation

Li Zhou, Lutong Yu, Dongchu Xie, Shaohuan Cheng, Wenyan Li, Haizhou Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； Chengdu Technological University（成都理工大学） ； University of Copenhagen（哥本哈根大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

Comments Cultural Analysis, Cultural Visual Understanding, Cultural Image Transcreation. Accepted by EMNLP 2025 (Oral)

MineAnyBuild: Benchmarking Spatial Planning for Open-world AI Agents

Ziming Wei, Bingqian Lin, Zijian Jiao, Yunshuang Nie, Liang Ma, Yuecheng Liu, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shanghai Jiao Tong University（上海交通大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 视觉问答 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025 Datasets and Benchmarks Track

OmniScene: Attention-Augmented Multimodal 4D Scene Understanding for Autonomous Driving

Pei Liu, Hongliang Lu, Haichao Liu, Haipeng Liu, Xin Liu, Ruoyu Yao, Shengbo Eben Li, Jun Ma

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Li Auto Inc. ； the School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV