视觉大模型 / VLM

PolarVLM: Bridging the Semantic-Physical Gap in Vision-Language Models

PolarVLM：弥合视觉语言模型中的语义-物理差距

Yuliang Li, Chu Zhou, Heng Guo, Boxin Shi, Imari Sato, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications, China（北京邮电大学） ； National Institute of Informatics, Japan（日本国立信息机构） ； Peking University, China（北京大学） ； The University of Tokyo, Japan（东京大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 PolarVLM通过引入极化物理参数，解决视觉语言模型在反射和透明物体等光学模糊问题中的局限，提出双流架构和分阶段训练策略，构建首个极化感知的VQA基准，实现25.4%的总体提升。

Comments 23 pages, 12 figures, including appendices

SpecVQA: A Benchmark for Spectral Understanding and Visual Question Answering in Scientific Images

SpecVQA：一种用于科学图像光谱理解和视觉问答的基准测试

Jialu Shen, Han Lyu, Suyang Zhong, Hanzheng Li, Haoyi Tao, Nan Wang, Changhong Chen, Xi Fang

机构 * DP Technology（DP技术） 纠错

专题命中 视觉问答 ：visual question answering(title)；multimodal large language model(abstract)；分类 cs.AI

AI总结 SpecVQA通过7种典型光谱类型和专家标注的问答对，评估多模态模型在科学光谱理解中的能力，提出光谱数据采样与插值重建方法，提升模型在科学光谱理解中的表现。

When Surfaces Lie: Exploiting Wrinkle-Induced Attention Shift to Attack Vision-Language Models

当表面欺骗：利用褶皱诱导的注意力转移攻击视觉-语言模型

Chengyin Hu, Xuemeng Sun, Jiaju Han, Qike Zhang, Xiang Chen, Xin Wang, Yiwei Wei, Jiahua Long

专题命中 视觉问答 ：vision-language model(title)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出一种参数化结构扰动方法，通过构建多尺度褶皱场和整合位移场扭曲与表面一致的外观变化，以攻击视觉-语言模型的鲁棒性。

Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification

检索以恢复：通过语义一致的净化实现不完整音频-视觉问答

Jiayu Zhang, Shuo Ye, Qilang Ye, Zihan Song, Jiajian Huang, Zitong Yu

机构 * School of Computing and Information Technology, Great Bay University（大湾大学计算机与信息学院） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞智能与信息科技重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； College of Computer Science, Nankai University（南开大学计算机学院） ； School of mathematics, Sun Yat-sen University（中山大学数学学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出R$^{2}$ScP框架，通过检索而非生成方法处理缺失模态，利用统一语义嵌入进行跨模态检索，并引入上下文感知适应净化机制，提升语义恢复能力，实验表明其在不完整模态场景中性能更优。

Comments Accepted by ACL 2026 Main Conference

FPBench: A Comprehensive Benchmark of Multimodal Large Language Models for Fingerprint Analysis

FPBench: 多模态大语言模型在指纹分析中的综合基准测试

Ekta Gavas, Sudipta Banerjee, Chinmay Hegde, Nasir Memon

机构 * New York University（纽约大学） ； University of Wyoming（怀俄明大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title)；visual question answering(abstract)；分类 cs.CV

AI总结 本文提出FPBench基准测试，评估20种多模态大语言模型在7个真实和合成数据集上的8项生物识别任务，发现微调视觉和语言编码器可提升性能7%-39%。

Comments Revised version with additional experiments and code release

KG-CMI: Knowledge graph enhanced cross-Mamba interaction for medical visual question answering

KG-CMI: 基于知识图谱的跨Mamba交互用于医学视觉问答

Xianyao Zheng, Hong Yu, Hui Cui, Changming Sun, Xiangyu Li, Ran Su, Leyi Wei, Jia Zhou, Junbo Wang, Qiangguo Jin

机构 * School of Software, Northwestern Polytechnical University（西北工业大学软件学院） ； Tianjin Central Hospital of Gynecology Obstetrics（天津市中心妇产科医院） ； Department of Computer Science and Information Technology, La Trobe University（拉筹伯大学计算机科学与信息技术系） ； CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； School of Computer Software, Tianjin University（天津大学计算机软件学院） ； Centre for Artificial Intelligence driven Drug Discovery, Faculty of Applied Science, Macao Polytechnic University（澳门理工大学应用科学学院人工智能驱动药物发现中心） ； Department of Cardiology, Tianjin Chest Hospital（天津市胸科医院心内科） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出KG-CMI框架，通过整合医学知识图谱提升医学视觉问答的准确性与多样性，实验表明其在三个数据集上表现优于现有方法。

Structure Causal Models and LLMs Integration in Medical Visual Question Answering

结构因果模型与大语言模型在医学视觉问答中的整合

Zibo Xu, Qiang Li, Weizhi Nie, Weijie Wang, Anan Liu

机构 * School of Microelectronics, Tianjin University（天津大学微电子学院） ； School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） ； Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出一种因果推理框架，通过消除图像与问题间的混杂效应，提升医学视觉问答的准确性，并引入因果图结构和多变量重采样方法以增强模型对复杂医疗数据的理解能力。

Comments Accepted by IEEE TMI 2025

Video-Only ToM: Enhancing Theory of Mind in Multimodal Large Language Models

视频-only ToM：增强多模态大语言模型的理论思维

Siqi Liu, Xinyang Li, Bochao Zou, Junbao Zhuo, Huimin Ma, Jiansheng Chen

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出VisionToM框架，通过视觉干预增强多模态大语言模型的理论思维能力，改进模型在多模态任务中的推理和问答性能。

Comments 20 pages, 7 figures, accepted at CVPR 2026, project page: see https://founce.github.io/VisionToM

TAU-R1: Visual Language Model for Traffic Anomaly Understanding

TAU-R1：用于交通异常理解的视觉语言模型

Yuqiang Lin, Kehua Chen, Sam Lockyer, Arjun Yadav, Mingxuan Sui, Shucheng Zhang, Yan Shi, Bingzhang Wang, Yuang Zhang, Markus Zarbock, Florain Stanek, Adrian Evans, Wenbin Li, Yinhai Wang, Nic Zhang

机构 * University of Bath（巴斯大学） ； University of Washington（华盛顿大学） ； City of Carmel, Indiana（印第安纳州卡迈尔市） ； Starwit GmbH 纠错

专题命中 视觉问答 ：visual language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出TAU-R1模型，通过两层框架提升交通异常识别与推理能力，结合定制化训练策略与数据集，实现高效部署。

Attention-guided Evidence Grounding for Spoken Question Answering

基于注意力的证据 grounding 用于语音问答

Ke Yang, Bolin Chen, Yuejie Li, Yueying Hua, Jianhao Nie, Yueping He, Bowen Li, Chengjun Mao

专题命中 视觉问答 ：grounding(title,abstract)；分类 cs.AI

AI总结 本文提出基于注意力的证据 grounding 方法，通过 SpeechLLM 的内部跨模态注意力机制定位关键证据，减少幻觉并提升效率，优于传统 cascaded 系统。

Comments Accepted to ICME 2026

Frame Sampling Strategies Matter: A Benchmark for small vision language models

帧采样策略至关重要：小视觉语言模型的基准测试

Marija Brkic, Anas Filali Razzouki, Yannis Tevissen, Khalil Guetari, Mounim A. El Yacoubi

专题命中 视觉问答 ：vision language model(title,abstract)；分类 cs.CV

AI总结 本文提出首个小规模视频视觉语言模型的帧准确基准测试，揭示了不同帧采样策略对模型性能的影响，强调了标准化采样策略的重要性。

OPENXRD: A Comprehensive Benchmark Framework for LLM/MLLM XRD Question Answering

OPENXRD：一个全面的基准框架用于LLM/MLLM XRD问答

Ali Vosoughi, Ayoub Shahnazari, Yufeng Xi, Zeliang Zhang, Griffin Hess, Chenliang Xu, Niaz Abdolrahim

专题命中 视觉问答 ：MLLM(title)；LLaVA(abstract)；分类 cs.AI

AI总结 OPENXRD是一个用于评估LLM和MLLM在晶体学问答中性能的综合基准框架，通过专家审核材料验证内容质量对模型性能的关键影响。

Comments Accepted at Digital Discovery (Royal Society of Chemistry)

Query-Guided Spatial-Temporal-Frequency Interaction for Music Audio-Visual Question Answering

基于查询引导的时空频交互的音乐音频视觉问答

Kun Li, Michael Ying Yang, Sami Sebastian Brandt

机构 * University of Twente（特文特大学） ； University of Bath（巴斯大学） ； IT University of Copenhagen（哥本哈根IT大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出一种查询引导的时空频交互方法，通过整合问题引导的线索和频域特性，提升音频-视觉问答的性能。

Comments Accepted to ICLR 2026

A Two-Stage Multitask Vision-Language Framework for Explainable Crop Disease Visual Question Answering

一种用于可解释作物疾病视觉问答的双阶段多任务视觉-语言框架

Md. Zahid Hossain, Most. Sharmin Sultana Samu, Md. Rakibul Islam, Md. Siam Ansary

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出了一种轻量且可解释的双阶段多任务视觉-语言框架，用于作物疾病视觉问答，实现了高准确率和良好的可解释性。

Comments Preprint, manuscript is under review

Multimodal Integration of Human-Like Attention in Visual Question Answering

多模态人类样注意机制在视觉问答中的整合

Ekta Sood, Fabian Kögel, Philipp Müller, Dominike Thomas, Mihai Bace, Andreas Bulling

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 MULAN通过整合文本和图像显著性模型的注意预测，提升了VQA模型的性能，同时减少参数数量，达到新的准确率水平。

VQA-MHUG: A Gaze Dataset to Study Multimodal Neural Attention in Visual Question Answering

VQA-MHUG：一个用于研究视觉问答中多模态神经注意机制的注视数据集

Ekta Sood, Fabian Kögel, Florian Strohm, Prajit Dhar, Andreas Bulling

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 VQA-MHUG数据集用于研究视觉问答中多模态神经注意机制，发现文本注意与模型性能的相关性是提升VQA性能的关键因素。

Comments CoNLL 2021

The Aftermath of DrawEduMath: Vision Language Models Underperform with Struggling Students and Misdiagnose Errors

DrawEduMath之后的后果：视觉语言模型在挣扎学生面前表现不佳且误判错误

Li Lucy, Albert Zhang, Nathan Anderson, Ryan Knight, Kyle Lo

机构 * University of Washington（华盛顿大学） ； Insource Services（Insource服务） ； Worcester Polytechnic Institute（沃斯特理工学院） ； Allen Institute for AI（人工智能联合研究所） 纠错

专题命中 视觉问答 ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文研究了视觉语言模型在处理学生数学错误识别任务中的表现，发现其在挣扎学生面前表现不佳，需改进以支持教育应用。

Comments 15 pages, 10 figures

UNICBench: UNIfied Counting Benchmark for MLLM

UNICBench: 多模态多层级计数基准与评估工具包

Chenggang Rong, Tao Han, Zhiyuan Zhao, Yaowu Fan, Jia Wan, Song Guo, Yuan Yuan, Junyu Gao

机构 * Northwestern Polytechnical University（北华大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究所） ； Sun Yat-sen University（中山大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视觉问答 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 UNICBench是一个统一的多模态计数基准，通过准确的地面真实值和分层报告，评估45种最先进的MLLMs在图像、文本和音频计数任务上的性能，揭示了模型在推理和难分支上的不足。

Comments This paper has been accepted by CVPR 2026

ConFoThinking: Consolidated Focused Attention Driven Thinking for Visual Question Answering

ConFoThinking：基于整合聚焦注意力的视觉问答思考

Zhaodong Wu, Haochen Xue, Qi Cao, Wenqi Mo, Yu Pei, Wenqi Xu, Jionglong Su, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（北京大学王轩计算机技术研究所） ； School of AI and Advanced Computing, Xi'an Jiaotong-Liverpool University, Suzhou, China（西安交通大学利物浦大学人工智能与高级计算学院） 纠错

专题命中 视觉问答 ：visual question answering(title)；grounding(abstract)；分类 cs.CV

AI总结 ConFoThinking 通过整合聚焦注意力机制，提升大语言模型在视觉问答中的感知性能。

Mechanistically Guided LoRA Improves Paraphrase Consistency in Medical Vision-Language Models

基于机制的LoRA改进医学视觉-语言模型的同义词一致性

Binesh Sadanandan, Vahid Behzadan

机构 * University of New Haven（新罕布什尔大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 基于机制的LoRA改进医学视觉-语言模型的同义词一致性，通过结合损失平衡一致性与准确性，降低翻转率并提升准确性。

Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

打破多模态知识驱动视觉问答中的视觉捷径

Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Paul Hongsuck Seo

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； Amazon（亚马逊） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本研究通过RETINA基准和MIMIR方法，打破多模态知识驱动视觉问答中的视觉捷径问题，验证现有模型对捷径的依赖并展示改进效果。

Say It My Way: Exploring Control in Conversational Visual Question Answering with Blind Users

说我的方式：探索盲人用户在对话式视觉问答中的控制能力

Farnaz Zamiri Zeraati, Yang Trista Cao, Yuehan Qiao, Hal Daumé, Hernisa Kacorri

机构 * University of Maryland（马里兰大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.AI

AI总结 本文通过邀请盲人用户定制对话式VQA系统，探讨如何通过提示工程等技术克服系统局限性，并提供新的公开数据集和交互设计见解。

Comments Preprint, Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems

Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering

具有相关性的多上下文对比解码用于检索增强的视觉问答

Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； Google Cloud AI（谷歌云人工智能） 纠错

专题命中 视觉问答 ：visual question answering(title)；vision language model(abstract)；分类 cs.CV

AI总结 RMCD通过结合多个相关上下文并抑制无关上下文的负面影响，提升检索增强视觉问答的性能。

Comments WACV 2026

Knowing When to Answer: Adaptive Confidence Refinement for Reliable Audio-Visual Question Answering

何时回答：可靠音频-视觉问答的自适应置信度细化

Dinh Phu Tran, Jihoon Jeong, Saad Wazir, Seongah Kim, Thao Do, Cem Subakan, Daeyoung Kim

机构 * School of Computing, KAIST, Republic of Korea（韩国釜山科学技术院计算机科学学院） ； Laval University（拉瓦尔大学） ； Mila-Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.LG

AI总结 本文提出自适应置信度细化方法，用于提升音频-视觉问答任务中可靠性的性能。

Comments Technical Report

ReasonVQA: A Multi-hop Reasoning Benchmark with Structural Knowledge for Visual Question Answering

ReasonVQA: 一个带有结构知识的多跳推理问答基准数据集

Duong T. Tran, Trung-Kien Tran, Manfred Hauswirth, Danh Le Phuoc

机构 * Bosch Center for AI（博世人工智能中心） ； Technical University of Berlin（柏林技术大学） ； Fraunhofer FOKUS（弗劳恩霍夫研究所） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 ReasonVQA是一个结合结构知识的多跳推理问答基准数据集，通过生成复杂问题挑战现有VQA模型，推动领域发展。

Comments Accepted at the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

Visual question answering-based image-finding generation for pulmonary nodules on chest CT from structured annotations

基于视觉问答的肺部结节胸部CT图像查找生成

Maiko Nagao, Kaito Urata, Atsushi Teramoto, Kazuyoshi Imaizumi, Masashi Kondo, Hiroshi Fujita

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本研究提出基于视觉问答的肺部结节胸部CT图像查找生成方法，通过构建VQA数据集实现交互式诊断支持，提升医生对影像发现的精准解读能力。

GeoReason: Aligning Thinking And Answering In Remote Sensing Vision-Language Models Via Logical Consistency Reinforcement Learning

GeoReason: 通过逻辑一致性强化学习对遥感视觉-语言模型中的思考与回答进行对齐

Wenshuai Li, Xiantai Xiang, Zixiao Wen, Guangyao Zhou, Ben Niu, Feng Wang, Lijia Huang, Qiantong Wang, Yuxin Hu

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所） ； Key Laboratory of Target Cognition and Application Technology, Chinese Academy of Sciences（中国科学院目标认知与应用技术重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 GeoReason通过逻辑一致性强化学习提升遥感视觉-语言模型的推理可靠性与可解释性，实现思考与决策的同步。

MacVQA: Adaptive Memory Allocation and Global Noise Filtering for Continual Visual Question Answering

MacVQA: 适应性内存分配与全局噪声过滤用于连续视觉问答

Zhifei Li, Yiran Wang, Chenyi Xiong, Yujing Xia, Xiaoju Hou, Yue Zhao, Miao Zhang, Kui Xiao, Bing Yang

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 MacVQA通过适应性内存分配和全局噪声过滤提升持续视觉问答的性能，实现更高的准确率和更低的遗忘率。

Comments Accepted to AAAI 2026

Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark

面向路牌的视觉问答：ViSignVQA数据集、方法与基准

Hieu Minh Nguyen, Tam Le-Thanh Dang, Kiet Van Nguyen

机构 * University of Information Technology, Ho Chi Minh City, Vietnam（胡志明市信息技术大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 ViSignVQA首次提出大规模越南语路牌多模态数据集，结合OCR与预训练语言模型，提升低资源语言VQA性能。

Comments Dataset paper; code and data will be released

VL4Gaze: Unleashing Vision-Language Models for Gaze Following

VL4Gaze：释放视觉-语言模型用于追随目光

Shijing Wang, Chaoqun Cui, Yaping Huang, Hyung Jin Chang, Yihua Cheng

机构 * Beijing Jiaotong University（北京交通大学） ； MAIS, Institute of Automation, Chinese Academy of Sciences（MAIS，自动化研究所，中国科学院） ； University of Birmingham（伯明翰大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 VL4Gaze通过四个互补任务统一目光理解为VQA问题，系统评估VLMs在目光解读上的表现，揭示了针对性多任务监督对提升VLMs目光理解能力的重要性。