视觉大模型 / VLM

Mechanistically Guided LoRA Improves Paraphrase Consistency in Medical Vision-Language Models

基于机制的LoRA改进医学视觉-语言模型的同义词一致性

Binesh Sadanandan, Vahid Behzadan

机构 * University of New Haven（新罕布什尔大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 基于机制的LoRA改进医学视觉-语言模型的同义词一致性，通过结合损失平衡一致性与准确性，降低翻转率并提升准确性。

Breaking the Visual Shortcuts in Multimodal Knowledge-Based Visual Question Answering

打破多模态知识驱动视觉问答中的视觉捷径

Dosung Lee, Sangwon Jung, Boyoung Kim, Minyoung Kim, Sungyeon Kim, Junyoung Sung, Paul Hongsuck Seo

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； Amazon（亚马逊） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本研究通过RETINA基准和MIMIR方法，打破多模态知识驱动视觉问答中的视觉捷径问题，验证现有模型对捷径的依赖并展示改进效果。

Say It My Way: Exploring Control in Conversational Visual Question Answering with Blind Users

说我的方式：探索盲人用户在对话式视觉问答中的控制能力

Farnaz Zamiri Zeraati, Yang Trista Cao, Yuehan Qiao, Hal Daumé, Hernisa Kacorri

机构 * University of Maryland（马里兰大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.AI

AI总结 本文通过邀请盲人用户定制对话式VQA系统，探讨如何通过提示工程等技术克服系统局限性，并提供新的公开数据集和交互设计见解。

Comments Preprint, Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems

Relevance-aware Multi-context Contrastive Decoding for Retrieval-augmented Visual Question Answering

具有相关性的多上下文对比解码用于检索增强的视觉问答

Jongha Kim, Byungoh Ko, Jeehye Na, Jinsung Yoon, Hyunwoo J. Kim

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； Google Cloud AI（谷歌云人工智能） 纠错

专题命中 视觉问答 ：visual question answering(title)；vision language model(abstract)；分类 cs.CV

AI总结 RMCD通过结合多个相关上下文并抑制无关上下文的负面影响，提升检索增强视觉问答的性能。

Comments WACV 2026

Knowing When to Answer: Adaptive Confidence Refinement for Reliable Audio-Visual Question Answering

何时回答：可靠音频-视觉问答的自适应置信度细化

Dinh Phu Tran, Jihoon Jeong, Saad Wazir, Seongah Kim, Thao Do, Cem Subakan, Daeyoung Kim

机构 * School of Computing, KAIST, Republic of Korea（韩国釜山科学技术院计算机科学学院） ； Laval University（拉瓦尔大学） ； Mila-Quebec AI Institute（魁北克人工智能研究所） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.LG

AI总结 本文提出自适应置信度细化方法，用于提升音频-视觉问答任务中可靠性的性能。

Comments Technical Report

ReasonVQA: A Multi-hop Reasoning Benchmark with Structural Knowledge for Visual Question Answering

ReasonVQA: 一个带有结构知识的多跳推理问答基准数据集

Duong T. Tran, Trung-Kien Tran, Manfred Hauswirth, Danh Le Phuoc

机构 * Bosch Center for AI（博世人工智能中心） ； Technical University of Berlin（柏林技术大学） ； Fraunhofer FOKUS（弗劳恩霍夫研究所） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 ReasonVQA是一个结合结构知识的多跳推理问答基准数据集，通过生成复杂问题挑战现有VQA模型，推动领域发展。

Comments Accepted at the IEEE/CVF International Conference on Computer Vision (ICCV) 2025

Visual question answering-based image-finding generation for pulmonary nodules on chest CT from structured annotations

基于视觉问答的肺部结节胸部CT图像查找生成

Maiko Nagao, Kaito Urata, Atsushi Teramoto, Kazuyoshi Imaizumi, Masashi Kondo, Hiroshi Fujita

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本研究提出基于视觉问答的肺部结节胸部CT图像查找生成方法，通过构建VQA数据集实现交互式诊断支持，提升医生对影像发现的精准解读能力。

GeoReason: Aligning Thinking And Answering In Remote Sensing Vision-Language Models Via Logical Consistency Reinforcement Learning

GeoReason: 通过逻辑一致性强化学习对遥感视觉-语言模型中的思考与回答进行对齐

Wenshuai Li, Xiantai Xiang, Zixiao Wen, Guangyao Zhou, Ben Niu, Feng Wang, Lijia Huang, Qiantong Wang, Yuxin Hu

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空信息研究所） ； Key Laboratory of Target Cognition and Application Technology, Chinese Academy of Sciences（中国科学院目标认知与应用技术重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 GeoReason通过逻辑一致性强化学习提升遥感视觉-语言模型的推理可靠性与可解释性，实现思考与决策的同步。

MacVQA: Adaptive Memory Allocation and Global Noise Filtering for Continual Visual Question Answering

MacVQA: 适应性内存分配与全局噪声过滤用于连续视觉问答

Zhifei Li, Yiran Wang, Chenyi Xiong, Yujing Xia, Xiaoju Hou, Yue Zhao, Miao Zhang, Kui Xiao, Bing Yang

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 MacVQA通过适应性内存分配和全局噪声过滤提升持续视觉问答的性能，实现更高的准确率和更低的遗忘率。

Comments Accepted to AAAI 2026

Towards Signboard-Oriented Visual Question Answering: ViSignVQA Dataset, Method and Benchmark

面向路牌的视觉问答：ViSignVQA数据集、方法与基准

Hieu Minh Nguyen, Tam Le-Thanh Dang, Kiet Van Nguyen

机构 * University of Information Technology, Ho Chi Minh City, Vietnam（胡志明市信息技术大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 ViSignVQA首次提出大规模越南语路牌多模态数据集，结合OCR与预训练语言模型，提升低资源语言VQA性能。

Comments Dataset paper; code and data will be released

VL4Gaze: Unleashing Vision-Language Models for Gaze Following

VL4Gaze：释放视觉-语言模型用于追随目光

Shijing Wang, Chaoqun Cui, Yaping Huang, Hyung Jin Chang, Yihua Cheng

机构 * Beijing Jiaotong University（北京交通大学） ； MAIS, Institute of Automation, Chinese Academy of Sciences（MAIS，自动化研究所，中国科学院） ； University of Birmingham（伯明翰大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 VL4Gaze通过四个互补任务统一目光理解为VQA问题，系统评估VLMs在目光解读上的表现，揭示了针对性多任务监督对提升VLMs目光理解能力的重要性。

Verb Mirage: Unveiling and Assessing Verb Concept Hallucinations in Multimodal Large Language Models

动词幻觉：揭示和评估多模态大语言模型中的动词概念幻觉

Zehao Wang, Xinpeng Liu, Yudonglin Zhang, Xiaoqian Wu, Zhou Fang, Yifan Fang, Junfu Pu, Cewu Lu, Yong-Lu Li

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV

AI总结 本文首次揭示多模态大语言模型中的动词概念幻觉问题，并提出基于丰富动词知识的调优方法以有效缓解该问题。

Comments Accepted by AAAI-26

DrivePI: Spatial-aware 4D MLLM for Unified Autonomous Driving Understanding, Perception, Prediction and Planning

DrivePI: 基于空间感知的4D MLLM用于统一自动驾驶理解、感知、预测与规划

Zhe Liu, Runhui Huang, Rui Yang, Siming Yan, Zining Wang, Lu Hou, Di Lin, Xiang Bai, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Yinwang Intelligent Technology Co. Ltd.（英维智能科技有限公司） ； Tianjin University（天津大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 视觉问答 ：MLLM(title,abstract)；分类 cs.CV

AI总结 DrivePI是一种基于空间感知的4D MLLM，用于统一自动驾驶的理解、感知、预测和规划，通过端到端优化实现多任务并行，提升性能并减少碰撞率。

Reconstruction as a Bridge for Event-Based Visual Question Answering

重建作为事件驱动视觉问答的桥梁

Hanyue Lou, Jiayi Zhou, Yang Zhang, Boyu Li, Yi Wang, Guangnan Ye, Boxin Shi

机构 * Peking University（北京大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 视觉问答 ：visual question answering(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出基于重建的框架，通过FRT和ART方法提升事件驱动视觉问答性能，并引入EvQA基准验证其有效性。

Towards Cross-View Point Correspondence in Vision-Language Models

面向视觉-语言模型的跨视图点对应研究

Yipu Wang, Yuheng Ji, Yuyang Liu, Enshen Zhou, Ziqiang Yang, Yuxuan Tian, Ziheng Qin, Yue Liu, Huajie Tan, Cheng Chi, Zhiyuan Ma, Daniel Dajun Zeng, Xiaolong Zheng

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Beihang University（北航大学） ； Jilin University（吉林大学） ； National University of Singapore（新加坡国立大学） ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Huazhong University of Science And Technology（华中科技大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文提出跨视图点对应任务和 CrossPoint-Bench 基准，通过 CroPond 模型在 CrossPoint-Bench 上取得超越 Gemini-2.5-Pro 的准确率，推动跨视图对应研究发展。

WearVQA: A Visual Question Answering Benchmark for Wearables in Egocentric Authentic Real-world scenarios

WearVQA: 一个用于评估智能眼镜等可穿戴设备上多模型AI助手视觉问答能力的基准测试

Eun Chang, Zhuangqun Huang, Yiwei Liao, Sagar Ravi Bhavsar, Amogh Param, Tammy Stark, Adel Ahmadyan, Xiao Yang, Jiaqi Wang, Ahsan Abdullah, Giang Nguyen, Akil Iyer, David Hall, Elissa Li, Shane Moon, Nicolas Scheffer, Kirmani Ahmed, Babak Damavandi, Rakesh Wanga, Anuj Kumar, Rohit Patel, Xin Luna Dong

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.AI

AI总结 WearVQA是一个评估可穿戴设备上多模型AI助手视觉问答能力的基准测试，通过真实场景下的图像-问题-答案三元组，评估其在复杂视觉输入和现实任务中的表现。

Comments 11 pages, 5 figures, NeurIPS 2025

DEJIMA: A Novel Large-scale Japanese Dataset for Image Captioning and Visual Question Answering

DEJIMA：一种新的大规模日语数据集用于图像描述和视觉问答

Toshiki Katsube, Taiga Fukuhara, Kenichiro Ando, Yusuke Mukuta, Kohei Uehara, Tatsuya Harada

机构 * The University of Tokyo（东京大学） ； RIKEN（日本资源技术研究所） 纠错

专题命中 视觉问答 ：visual question answering(title)；grounding(abstract)；分类 cs.CV

AI总结 DEJIMA是首个大规模日语图像描述与视觉问答数据集，通过整合网络收集、目标检测和大语言模型优化，提升了日语语言和文化表现力，显著优于现有翻译或人工标注数据集。

SweeperBot: Making 3D Browsing Accessible through View Analysis and Visual Question Answering

SweeperBot：通过视图分析和视觉问答实现3D浏览的可访问性

Chen Chen, Cuong Nguyen, Alexa Siu, Dingzeyu Li, Nadir Weibel

机构 * Florida International University（佛罗里达国际大学） ； Adobe Research（Adobe研究） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.AI

AI总结 SweeperBot通过视图分析和视觉问答技术，帮助屏幕阅读器用户更有效地探索和比较3D模型。

Comments 28 pages, 16 figures, this is an original manuscript of an article published by Taylor & Francis in the International Journal of Human-Computer Interaction (IJHCI), available online: https://doi.org/10.1080/10447318.2025.2594750

Geospatial Chain of Thought Reasoning for Enhanced Visual Question Answering on Satellite Imagery

Shambhavi Shanker, Manikandan Padmanaban, Jagabondhu Hazra

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔） ； IBM Research India（IBM印度研究） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程与技术大学） ； IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology（IT-BT融合技术部，越南-韩国科学技术院） ； TADI Global Lab, TADI Global Company Limited（TADI全球实验室，TADI全球公司） ； Faculty of Finance, Banking Academy of Vietnam（金融学院，越南银行学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

Comments 7 pages, 3 figures, 3 tables, FAIR 2025 conference

Visualization Biases MLLM's Decision Making in Network Data Tasks

Timo Brand, Henry Förster, Stephen G. Kobourov, Jacob Miller

机构 * Technical University of Munich, Heilbronn, Germany（慕尼黑技术大学） 纠错

专题命中 视觉问答 ：MLLM(title,abstract)；分类 cs.AI

Comments This manuscript was presented at VIS x GenAI, a workshop co-located with IEEE VIS 2025

Rethinking Facial Expression Recognition in the Era of Multimodal Large Language Models: Benchmark, Datasets, and Beyond

Fan Zhang, Haoxuan Li, Shengju Qian, Xin Wang, Zheng Lian, Hao Wu, Zhihong Zhu, Yuan Gao, Qiankun Li, Yefeng Zheng, Zhouchen Lin, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Peking University（北京大学） ； Tencent（腾讯） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） ； Westlake University（西湖大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV

MedXplain-VQA: Multi-Component Explainable Medical Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology VNU University of Engineering（信息科技学院越南工程大学） ； IT-BT Convergence Technology Division Vietnam-Korea Institute of Science（IT-BT融合技术部门越南-韩国科学技术院） ； TADI Global Lab TADI Global Company Limited（TADI全球实验室TADI全球有限公司） ； Faculty of Finance Banking Academy of Vietnam（金融学院越南银行学院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

Comments 10 pages, 4 figures, IEEE conference format

Text-conditioned State Space Model For Domain-generalized Change Detection Visual Question Answering

Elman Ghazaei, Erchan Aptoula

机构 * Faculty of Engineering and Natural Sciences (VPALab)（工程与自然科学学院（VPALab）） ； Sabanci University（萨班奇大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting

Taiying Peng, Jiacheng Hua, Miao Liu, Feng Lu

机构 * State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院） ； College of AI, Tsinghua University（清华大学人工智能学院） 纠错

专题命中 视觉问答 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

Adapting and Evaluating Multimodal Large Language Models for Adolescent Idiopathic Scoliosis Self-Management: A Divide and Conquer Framework

Zhaolong Wu, Pu Luo, Nan Meng, Jason Pui Yin Cheung, Teng Zhang

机构 * Department of Orthopaedics and Traumatology, The University of Hong Kong（骨科与创伤外科部，香港大学） 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.AI

Comments Accepted by MICCAI 2025 MLLMCP Workshop

Journal ref Lecture Notes in Computer Science 16147 (2026) 280-289

Alignment, Mining and Fusion: Representation Alignment with Hard Negative Mining and Selective Knowledge Fusion for Medical Visual Question Answering

Yuanhao Zou, Zhaozheng Yin

机构 * University of Michigan（密歇根大学） ； Stony Brook University（石溪大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

Comments CVPR2025 Paper

Zero-Shot Fine-Grained Image Classification Using Large Vision-Language Models

Md. Atabuzzaman, Andrew Zhang, Chris Thomas

机构 * Department of Computer Science（计算机科学系） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；分类 cs.CV

Comments Accepted to EMNLP 2025 Findings

LEAML: Label-Efficient Adaptation to Out-of-Distribution Visual Tasks for Multimodal Large Language Models

Ci-Siang Lin, Min-Hung Chen, Yu-Yang Sheng, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾国立台湾大学通信工程研究所） ； NVIDIA 纠错

专题命中 视觉问答 ：multimodal large language model(title,abstract)；分类 cs.CV

Q-FSRU: Quantum-Augmented Frequency-Spectral For Medical Visual Question Answering

Rakesh Thakur, Yusra Tariq, Rakesh Chandra Joshi

机构 * Amity University（阿米蒂大学） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

Comments 12 pages (9 main + 2 references/appendix), 2 figures, conference paper submitted to ICLR 2026