Multi-Agent VQA: Exploring Multi-Agent Foundation Models in Zero-Shot Visual Question Answering
University of Pennsylvania（宾夕法尼亚大学）
本文提出自适应多智能体系统 Multi-Agent VQA，通过将专门化智能体作为工具克服基础模型在目标检测与计数上的局限，探索其在零样本视觉问答任务中的性能表现，并展示初步实验结果与失败案例以指明未来研究方向。
2024-03-21 cs.AI cs.CL cs.CV
SOrT-ing VQA Models : Contrastive Gradient Learning for Improved Consistency
Georgia Tech（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）；University of California, San Diego（加州大学圣迭戈分校）；Salesforce Research（Salesforce研究院）
视觉问答（VQA）的最新研究表明，最先进的模型在对世界的理解上是不一致的--它们回答了看似困难的问题，需要正确的推理，但却把更简单的相关子问题弄错了。这些子问题涉及图像中的较低级别的视觉概念，模型理想地应该理解这些概念以能够正确地回答较高级别的问题。为了解决这个问题，我们首先提出了一种基于梯度的可解释性方法来确定与图像上的推理问题最密切相关的问题，并使用它来评估VQA模型识别回答推理问题所需的相关子问题的能力。接下来，我们提出了一种基于对比梯度学习的方法，称为面向子问题的调整（SOrT），它鼓励模型将相关子问题的排名高于<image，reasoning-question>对的不相关问题。我们表明，SOrT提高了模型的一致性高达6.5%的点比现有的基线，同时也提高了视觉基础。
2020-12-01 cs.AI cs.CL cs.CV
Analyzing and Mitigating Cross-Lingual Degradation in Multilingual Medical VQA
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
针对多模态医学VQA中LVLMs的跨语言退化问题，构建多语言基准并提出MedVL-XLRepE方法，可在3种LVLMs和8种语言上将退化缓解幅度提升至最高6.33%。
2026-08-25 cs.AI
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University（亚利桑那州立大学）
针对现有VQA域泛化基准仅关注文本偏移的问题，提出首个多模态分布偏移基准VQA-GEN，揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG
VQArt-Bench: A semantically rich VQA Benchmark for Art and Cultural Heritage
University of Zurich, Max Planck Society（苏黎世大学、马克斯·普朗克研究所）
针对现有VQA基准缺乏深层语义理解的问题，提出VQArt-Bench，利用多智能体流水线生成多样化问题，评估14个MLLMs，发现计数薄弱及专有与开源模型性能差距。
2025-10-14 cs.AI cs.CV cs.LG
Visually Grounded VQA by Lattice-based Retrieval
University of Bremen（不来梅大学）
视觉问答（VQA）系统中的视觉基础（VG）描述了系统如何将问题及其答案与相关图像区域联系起来。具有强VG的系统被认为是直观可解释的，并且建议改进的场景理解。虽然VQA精度性能在过去几年中取得了令人印象深刻的进步，但VG性能及其评估的显式改进往往在整体精度改进的道路上退居次要地位。其原因源于VQA系统的学习范式的主要选择，其包括在预定的一组答案选项上训练判别分类器。在这项工作中，我们打破了占主导地位的VQA建模范式的分类和调查VQA的立场上的信息检索任务。因此，开发的系统直接将VG与其核心搜索程序联系起来。我们的系统运行在一个加权的，有向的，无环图，又名。“格子”，它是从给定图像的场景图中结合从问题中提取的区域引用表达式导出的。我们给出了详细的分析，我们的方法，并讨论其独特的属性和局限性。我们的方法实现了最强的VG性能检查系统中，并表现出特殊的泛化能力，在一些情况下。
2022-11-15 cs.AI cs.CL cs.CV
Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions
Technion - Israel Institute of Technology（以色列理工学院）
深度学习算法已经在视觉问答（VQA）任务中显示出了有希望的结果，但更仔细的观察会发现，它们通常不理解所输入的丰富信号。为了理解和更好地衡量VQA系统的泛化能力，我们研究了它们对反事实增强数据的鲁棒性。我们提出的增强旨在对问题的特定属性进行集中干预，以便答案发生变化。使用这些增强，我们提出了一个新的鲁棒性措施，增强数据的鲁棒性（RAD），它衡量原始和增强的例子之间的模型预测的一致性。通过大量的实验，我们表明，RAD，不像经典的准确性措施，可以量化时，国家的最先进的系统是不稳健的反事实。我们发现大量的失败案例表明，目前的VQA系统仍然是脆弱的。最后，我们将鲁棒性和泛化联系起来，展示了RAD对看不见的增强性能的预测能力。
2021-09-17 cs.CL cs.CV cs.LG
SpatialPIN: Enhancing Spatial Reasoning Capabilities of Vision-Language Models through Prompting and Interacting 3D Priors
University of Oxford（牛津大学）
本研究提出无需训练的零样本框架SpatialPIN，通过提示并交互多3D基础模型先验增强VLM空间推理，在多类空间VQA及下游机器人任务中表现优异。
2024-10-30 cs.CV
KNVQA: A Benchmark for evaluation knowledge-based VQA
针对LVLMs的对象幻觉、事实准确性及多模态交互评估不足问题，本文提出KNVQA-Eval与人工标注的KNVQA数据集，用于基于知识的VQA事实性评估并分析模型细粒度能力。
2024-06-13 cs.AI cs.CV
An Evaluation of GPT-4V and Gemini in Online VQA
Microsoft（微软公司）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
本文在真实在线问答社区数据集上评估GPT-4V和Gemini，通过细粒度元数据与零样本分析揭示了这两类大型多模态模型最具挑战性的问题类型。
2024-02-14 cs.AI cs.CV
Zero-shot Translation of Attention Patterns in VQA Models to Natural Language
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
本研究提出免训练的零样本框架ZS-A2T，利用VQA模型的图文匹配能力引导LLM，将模型注意力翻译为自然语言解释，在相关数据集零样本任务上达SOTA。
2023-11-08 cs.AI cs.CL cs.CV
Entity-Focused Dense Passage Retrieval for Outside-Knowledge Visual Question Answering
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
大多数外部知识视觉问答（OK-VQA）系统采用两阶段框架，首先检索给定视觉问题的外部知识，然后基于检索到的内容预测答案。然而，检索到的知识往往是不够的。检索往往过于笼统，无法涵盖回答问题所需的特定知识。此外，自然可用的监督（文章是否包含正确答案）很弱，不能保证问题的相关性。为了解决这些问题，我们提出了一个以知识为中心的检索（EnFoRe）模型，该模型在训练过程中提供更强的监督，并识别与问题相关的实体，以帮助检索更具体的知识。实验表明，我们的EnFoRe模型在目前最大的外部知识VQA数据集OK-VQA上取得了优异的检索性能。我们还将检索到的知识与最先进的VQA模型相结合，并在OK-VQA上实现了新的最先进的性能。
2022-10-20 cs.CL cs.CV
MD-VQA: Multi-Dimensional Quality Assessment for UGC Live Videos
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文针对UGC直播视频质量评估问题，构建了首个主观UGC直播VQA数据库，并提出多维VQA评估器MD-VQA，从语义、失真和运动三方面衡量视觉质量，在多个数据库上取得最先进性能。
2023-04-19 cs.CV
SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
Intel Labs（英特尔实验室）；Amazon（亚马逊）
本文提出含 200 多万带上下文文档问答对的大规模合成多模态数据集 SK-VQA，用于训练和评测上下文增强型 MLLM，并验证其可提升上下文感知 VQA 与多模态 RAG 泛化能力。
2025-06-09 cs.CL cs.CV
Querying GI Endoscopy Images: A VQA Approach
Johannes Kepler University Linz（约翰·凯撒大学林茨）
针对通用多模态大模型在医学影像VQA任务中表现不佳的问题，本研究适配Florence2模型处理胃肠道内窥镜图像的医学视觉问答，参与ImageCLEFmed-MEDVQA-GI 2025子任务1并用标准指标评估性能。
2025-07-25 cs.CV eess.IV
Efficient Whole Slide Pathology VQA via Token Compression
Stony Brook University（石溪大学）
针对全切片病理图像VQA中MLLM上下文过长、计算成本高的问题，提出TCP-LLaVA架构，通过可训练压缩token和模态压缩模块压缩输入，在10种TCGA肿瘤亚型上准确率优于基线且大幅降低训练资源消耗。
2025-10-02 cs.CL cs.CV
Knowing Earlier what Right Means to You: A Comprehensive VQA Dataset for Grounding Relative Directions via Multi-Task Learning
University of Hamburg（汉堡大学）
空间推理对智能代理提出了特殊的挑战，同时也是它们在物理世界中成功交互和通信的先决条件。一个这样的推理任务是通过相对方向来描述目标对象相对于某个参考对象的内在取向的位置。在本文中，我们介绍GRiD-A-3D，一种新的诊断视觉问答（VQA）数据集的基础上抽象的对象。我们的数据集允许对端到端VQA模型的地面相对方向能力进行细粒度分析。与此同时，与现有的数据集相比，模型训练需要的计算资源要少得多，但却能产生相当甚至更高的性能。除了新的数据集外，我们还提供了一个基于GRiD-A-3D训练的两个众所周知的端到端VQA架构的全面评估。我们证明，在几个时期内，所需的子任务的原因在相对方向，如识别和定位对象在场景中，并估计其内在的方向，学习的顺序，其中相对方向直观地处理。
2022-07-06 cs.CL cs.CV
KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）；Georgia Tech（佐治亚理工学院）
VQA中最具挑战性的问题类型之一是回答问题需要图像中不存在的外部知识。在这项工作中，我们研究开放域知识，当回答问题所需的知识没有给出/注释时，无论是在训练还是测试时。我们利用两种类型的知识表示和推理。第一，隐式知识，可以有效地学习无监督的语言预训练和监督训练数据与基于transformer的模型。第二，在知识库中编码的明确的、符号化的知识。我们的方法结合了两者-利用Transformer模型的强大隐式推理进行答案预测，并从知识图谱中集成符号表示，同时不会将其显式语义丢失到隐式嵌入。我们结合不同的知识来源，以涵盖解决基于知识的问题所需的各种知识。我们展示了我们的方法，KRISP（知识推理与隐式和符号再现），显着优于最先进的OK-VQA，最大的可用数据集的开放域知识为基础的VQA。我们展示了广泛的消融，而我们的模型成功地利用了隐含的知识推理，明确连接的知识图谱的答案词汇的符号答案模块是至关重要的性能，我们的方法和推广到罕见的答案。
2020-12-20 cs.CL cs.CV
Evaluating the Capabilities of Multi-modal Reasoning Models with Synthetic Task Data
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出基于高分辨率文本到图像生成的多模态推理评估数据合成框架，构建上下文相关异常检测数据集，并揭示SOTA VQA模型在该任务上显著弱于标准VQA。
2023-06-01 cs.CL cs.LG
SCRA-VQA: Summarized Caption-Rerank for Augmented Large Language Models in Visual Question Answering
School of Computer Science, Hubei University, Wuhan, China（湖北大学计算机学院）；Hubei Key Laboratory of Big Data Intelligent Analysis and Application (Hubei University)（湖北大数据智能分析与应用重点实验室）；Key Laboratory of Intelligent Sensing System and Security (Hubei University)（智能传感系统与安全重点实验室）；Institute of Vocational Education, Guangdong Industry Polytechnic University（广东行业职业大学职业教育学院）；Shandong Police College（山东警察学院）
针对KB-VQA中图像标题噪声大且LLM不熟悉任务的问题，提出SCRA-VQA，通过预训练视觉语言模型生成标题并摘要重排，增强LLM推理，在OK-VQA和A-OKVQA上取得38.8%和34.6%的准确率。
2025-09-25 cs.AI cs.CV
Answering Questions about Data Visualizations using Efficient Bimodal Fusion
Rochester Institute of Technology（罗切斯特理工学院）；Adobe Research（Adobe 研究院）；Paige；Cornell Tech（康奈尔科技校区）
图表问答（CQA）是一种新提出的可视化问答（VQA）任务，其中算法必须回答有关数据可视化的问题，例如条形图，饼图和线图。CQA需要自然图像VQA算法所缺乏的功能：细粒度测量、光学字符识别以及处理问题和答案中的词汇表外单词。在没有修改的情况下，最先进的VQA算法在这项任务上表现不佳。在这里，我们提出了一种新的CQA算法称为并行递归图像和语言的融合（PReFIL）。PReFIL首先通过融合问题和图像特征来学习双峰嵌入，然后智能地聚合这些学习的嵌入来回答给定的问题。尽管简单，但PReFIL在FigureQA和DVQA数据集上大大超过了最先进的系统和人类基线。此外，我们证明，PReFIL可以用来重建表，问一系列的问题，一个图表。
2020-07-22 cs.AI cs.CL cs.CV
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
M$^3$-VQA引入了多实体问题，要求模型在多个文档间进行顺序和并行多跳推理，揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
Open-ended VQA benchmarking of Vision-Language models by exploiting Classification datasets and their semantic hierarchy
University of Freiburg（弗莱堡大学）
本文提出一种基于分类数据集及其语义层次的新型开放式VQA基准，通过自动生成后续问题实现细粒度评估，并比较NLP与LLM指标，为视觉-语言模型能力评估奠定更精确的基础。
2024-05-05 cs.CL cs.CV cs.LG
LogiScope-VQA: Benchmarking Vision-Language Models for Logistics Hazard Identification in Industrial Scenarios
Cainiao Group, Alibaba Group（菜鸟集团，阿里巴巴集团）；Zhejiang University（浙江大学）
LogiScope-VQA构建了包含2,476张图像、2,918个视频和10,274个VQA的物流危险识别基准，通过39个子任务评估主流LMMs，发现即使GPT-5.5等专有模型与人类表现仍有显著差距，并揭示了安全偏差问题。
2026-09-10 cs.AI cs.CL cs.CV
Achieving Human Parity on Visual Question Answering
Alibaba Group（阿里巴巴集团）
视觉问答（VQA）任务利用视觉图像和语言分析来回答关于图像的文本问题。在过去的十年里，它一直是一个热门的研究课题，越来越多的实际应用。本文描述了我们最近对AliceMind-MMU（达摩院机器智能实验室的ALIbaba's Collection of Encoder-decoders from Machine IntelligenceLab of Damo Academy - MultiMedia Understanding）的研究，它在VQA上获得了与人类相似甚至略好的结果。这是通过系统地改进VQA管道来实现的，包括：（1）使用全面的视觉和文本特征表示进行预训练;（2）有效的跨模态交互与学习参与;以及（3）具有用于复杂VQA任务的专业专家模块的新型知识挖掘框架。用相应的专业知识来处理不同类型的视觉问题，在将我们的VQA架构的性能提升到人类水平方面起着重要的作用。一组广泛的实验和分析进行了证明新的研究工作的有效性。
2021-11-19 cs.CL cs.CV
Enhancing Financial VQA in Vision Language Models using Intermediate Structured Representations
Synechron（森科龙（Synechron））
本文在 5 万张柱状图上微调 DEPLOT 以生成中间表格，并通过 RMS、RNSS 及 100 个问答样本证明结构化表示能显著提升 LLM 的金融图表问答能力。
2025-01-08 cs.AI cs.CL cs.CV
Text-VQA Aug: Pipelined Harnessing of Large Multimodal Models for Automated Synthesis
International Institute of Information Technology Bangalore（国际信息科技学院班加罗尔）
提出一种自动化合成text-VQA数据集的端到端流水线，结合OCR、ROI检测、字幕与问题生成等组件，首次自动合成并验证了基于约44K张图像的约72K个QA对。
2025-11-03 cs.AI cs.CV
Advancing Surgical VQA with Scene Graph Knowledge
University of Strasbourg（斯特拉斯堡大学）；Technische Universität München（慕尼黑工业大学）；IHU Strasbourg（斯特拉斯堡大学医院中心）；CNRS（法国国家科学研究中心）
该研究针对手术VQA系统的数据集偏差与场景推理不足问题，构建了基于手术场景图的无偏数据集SSG-QA，并提出融入场景嵌入交互模块的SSG-QA-Net模型，显著提升了手术VQA性能。
2024-06-24 cs.AI cs.CV
Understanding Knowledge Gaps in Visual Question Answering: Implications for Gap Identification and Testing
The Ohio State University（俄亥俄州立大学）；Wright State University（莱特州立大学）；AFRL（美国空军研究实验室）
视觉问答（VQA）系统的任务是回答与所呈现的图像相对应的自然语言问题。传统的VQA数据集通常包含与对象的空间信息、对象属性或一般场景问题相关的问题。最近，研究人员已经认识到需要改善这些数据集的平衡，以减少系统对记忆语言特征和统计偏差的依赖，同时旨在增强视觉理解。然而，目前还不清楚是否存在任何潜在的模式来量化和解释这些失败。作为更好地量化我们对VQA模型性能的理解的第一步，我们使用知识缺口（KG）的分类来标记具有一种或多种类型KG的问题。每一个知识缺口（KG）都描述了达成解决方案所需的推理能力。在确定每个问题的KG之后，我们检查每个KG的问题分布的偏斜。然后，我们引入了一个有针对性的问题生成模型来减少这种偏差，这使我们能够为图像生成新类型的问题。这些新问题可以添加到现有的VQA数据集中，以增加问题的多样性并减少偏差。
2020-06-03 cs.AI cs.CL cs.CV
Cross-Lingual Text-Rich Visual Comprehension: An Information Theory Perspective
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Inc.（华为公司）；The University of Hong Kong（香港大学）
本文提出跨语言富文本视觉问答基准XT-VQA，揭示LVLM在跨语言场景下的性能下降问题，并提出MVCL-MI方法通过最大化互信息与知识蒸馏有效缓解该差距。
2024-12-23 cs.CL cs.CV
Kvasir-VQA-x1: A Multimodal Dataset for Medical Reasoning and Robust MedVQA in Gastrointestinal Endoscopy
Simula Metropolitan Center for Digital Engineering (SimulaMet)（Simula Metropolitan Center for Digital Engineering）；Oslo Metropolitan University (OsloMet)（Oslo Metropolitan University）；Simula Research Laboratory
针对现有MedVQA数据集临床复杂性与视觉多样性不足的问题，研究团队推出大规模胃肠道内镜数据集Kvasir-VQA-x1，新增15万余分层问答对与视觉增强，设两个评估赛道，以推动临床多模态AI系统研发。
2025-06-11 cs.CV cs.LG
Can Multimodal Large Language Models Truly Understand Small Objects?
Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）；MMLab, The Chinese University of Hong Kong（香港中文大学MMLab）
本文提出SOUBench基准，评估现有多模态大语言模型对小物体的理解能力，发现其能力有限，并通过SOU-Train数据集提升模型表现。
2026-04-24 cs.AI cs.CV
Modularized Zero-shot VQA with Pre-trained Models
Singapore Management University（新加坡管理大学）
针对零样本 VQA 的多步推理难题，提出将问题显式分解并分配合适 PTM 的模块化网络，在两个基准上提升了效果与可解释性。
2024-01-24 cs.CV cs.MM
LMM-VQA: Advancing Video Quality Assessment with Large Multimodal Models
Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究所）；MoE Key Laboratory of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院（教育部人工智能重点实验室））；Huawei Technologies（华为技术有限公司）
提出首个大型多模态视频质量评估模型LMM-VQA，通过时空视觉建模与问答指令微调提取并对齐质量特征，在五个VQA基准上达到SOTA且泛化能力平均提升5%。
2024-08-26 cs.AI cs.CV
Logical Implications for Visual Question Answering Consistency
University of Bern（伯尔尼大学）
尽管视觉问答（VQA）模型最近取得了相当大的进展，但不一致或矛盾的答案继续对其真正的推理能力产生怀疑。然而，大多数提出的方法使用间接策略或强假设对问题和答案，以加强模型的一致性。相反，我们提出了一种新的策略，旨在通过直接减少逻辑不一致来提高模型性能。为此，我们引入了一个新的一致性损失术语，该术语可以被广泛的VQA模型使用，并且依赖于知道问题和答案对之间的逻辑关系。虽然这样的信息通常是不可用的VQA数据集，我们建议推断这些逻辑关系，使用一个专用的语言模型，并使用这些在我们提出的一致性损失函数。我们在VQA Introspect和DME数据集上进行了广泛的实验，并表明我们的方法为最先进的VQA模型带来了改进，同时在不同的架构和设置中具有鲁棒性。
2023-03-16 cs.CV
MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs
Apple（苹果公司）
本文提出CA-VQA数据集和基准，训练通用MLLM MM-Spatial，在3D空间理解任务上达到最先进性能，并证明数据驱动可媲美专用深度估计模型。
2025-09-08 cs.CL cs.CV cs.LG
Clarify or Answer: Reinforcement Learning for Agentic VQA with Context Under-specification
University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）
CoA通过强化学习解决上下文不充分的视觉问答问题，通过生成聚焦问题澄清歧义，提升问答准确性。
2026-10-21 cs.CL
Extracting Training Data from Document-Based VQA Models
University of Oxford（牛津大学）；Google（谷歌公司）；ETH Zurich（苏黎世联邦理工学院）
本研究揭示基于文档的VQA模型存在记忆训练数据的隐私风险，定量区分了记忆与泛化的差异，探究了影响记忆的因素并提出可阻止PII提取的启发式防御策略。
2024-07-11 cs.CV cs.LG
KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts
Waddle；Seoul National University（首尔国立大学）；Krafton；UNIST（全南大学）；SK Telecom（SK电信）
针对韩语等低资源语言缺乏富文本VQA基准的问题，研究提出适配多样视觉上下文的韩语基准KRETA及半自动化生成流水线，可多维度评估模型能力并助力多语种VLM研究。
2025-08-31 cs.CL cs.CV
The Color of the Cat is Gray: 1 Million Full-Sentences Visual Question Answering (FSVQA)
The University of Tokyo（东京大学）
视觉问答任务是人工智能中最重要的两个组成部分，它将语言和视觉的交互作用推向了一个新的阶段。然而，它主要集中在生成简短和重复的答案，主要是单个单词，这与人类丰富的语言能力不符。我们介绍了全句子视觉问答（FSVQA）数据集，包括近100万对图像的问题和全句子答案，通过将一些基于规则的自然语言处理技术应用于MS COCO数据集中的原始VQA数据集和标题。这给传统的VQA任务带来了许多额外的复杂性，我们为接近和评估任务提供了一个基线，在此基础上，我们邀请研究界进一步改进。
2016-09-21 cs.CL cs.CV
Measuring Faithful and Plausible Visual Grounding in VQA
University of Bremen（不来梅大学）
本文提出FPVG指标，用于定量衡量VQA模型是否识别并真正依赖与问题相关的图像对象，从而评估其视觉定位的忠实性与合理性，并在多种VQA架构上进行了验证。
2023-10-14 cs.CV
MC-CoT: A Modular Collaborative CoT Framework for Zero-shot Medical-VQA with LLM and MLLM Integration
Huazhong University of Science and Technology（华中科技大学）；Eastern Institute of Technology（宁波工程学院）；Purple Mountain Laboratories（紫金山实验室）；Alibaba Inc.（阿里巴巴集团）；Fudan University（复旦大学）
针对现有医学视觉问答依赖任务特定微调、零样本能力受限的问题，提出模块化跨模态协同思维链框架MC-CoT，通过整合LLM的医学推理链与MLLM的图像观察提升零样本性能，在多个基准数据集上准确率和召回率优于现有方法。
2024-10-06 cs.CV
How to Configure Good In-Context Sequence for Visual Question Answering
Southeast University（东南大学）；Northwestern University（西北大学）
本文以视觉问答为案例，通过设计多种检索方法与演示操纵策略探索上下文配置，在三个VQA数据集上揭示了LVLM的内部特性并找到能持续提升ICL性能的策略。
2023-12-04 cs.AI cs.CV
Question Generation for Evaluating Cross-Dataset Shifts in Multi-modal Grounding
University of California, Los Angeles（加州大学洛杉矶分校）
视觉问答（VQA）是回答关于输入图像的自然语言问题的多模态任务。通过跨数据集自适应方法，可以将知识从具有较大训练样本的源数据集转移到训练集有限的目标数据集。假设在一个数据集训练集上训练的VQA模型无法适应另一个数据集，则很难识别域不匹配的根本原因，因为可能存在多种原因，例如图像分布不匹配和问题分布不匹配。在加州大学洛杉矶分校，我们正在开发一个VQG模块，该模块有助于自动生成OOD偏移，从而有助于系统地评估VQA模型的跨数据集适应能力。
2022-01-24 cs.CV
Towards Top-Down Reasoning: An Explainable Multi-Agent Approach for Visual Question Answering
School of computer science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；South China Normal University（华南师范大学）；Northeastern University（东北大学）；Anhui University（安徽大学）
针对现有VQA方法忽略图像常识知识的局限，受人类自上而下推理启发，提出含Responder、Seeker、Integrator三智能体的可解释协作框架，零样本下性能与可解释性优于基线。
2025-02-14 cs.CV
AQuA: Toward Strategic Response Generation for Ambiguous Visual Questions
Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH）；Department of Computer Science and Engineering, POSTECH（计算机科学与工程系，POSTECH）
AQuA通过细粒度数据集和策略微调，提升VLMs在模糊视觉问答中的策略性响应生成能力。
2026-03-08 cs.AI cs.CL cs.CV
SlideChat: A Large Vision-Language Assistant for Whole-Slide Pathology Image Understanding
Shanghai AI Laboratory（上海人工智能实验室）；Xiamen University（厦门大学）；East China Normal University（华东师范大学）；Stanford University（斯坦福大学）；Monash University（莫纳什大学）
针对现有多模态大模型仅聚焦病理图像斑块级分析、缺乏全切片上下文的问题，本文提出首个支持十亿像素全切片病理图像理解的视觉语言助手SlideChat，构建了最大规模WSI指令数据集SlideInstruction与多模态基准SlideBench，在22项任务中18项达SOTA。
2025-03-19 cs.AI cs.CV
OAD-Promoter: Enhancing Zero-shot VQA using Large Language Models with Object Attribute Description
针对大语言模型在零样本VQA中存在语言偏差、分布外泛化能力弱的问题，提出OAD-Promoter方法，通过三个模块协同增强视觉输入、补充域外知识，取得了新的SOTA结果。
2025-11-15 cs.AI cs.CV
MovieCORE: COgnitive REasoning in Movies
National Taiwan University（国立台湾大学）；NVIDIA；National Tsing Hua University（国立清华大学）
本文提出MovieCORE数据集，通过多LLM智能体生成深层认知问答，并引入ACE模块将VQA模型推理能力提升25%，推进AI电影理解。
2025-09-18 cs.AI cs.CL cs.CV
Where is this coming from? Making groundedness count in the evaluation of Document VQA models
Carnegie Mellon University（卡内基梅隆大学）；J.P. Morgan（摩根大通）
针对文档VQA评估忽视语义与多模态有据可依性的问题，提出可配置的评分方法，经人类验证及分析表明其更能反映模型鲁棒性并奖励校准良好的答案。
2025-03-24 cs.AI cs.CL
Towards Models that Can See and Read
Technion（以色列理工学院）；AWS AI Labs（AWS人工智能实验室）
视觉问答（VQA）和图像描述（CAP）是最流行的视觉语言任务之一，它们具有类似的场景文本版本，需要从图像中的文本进行推理。尽管它们有明显的相似之处，但两者被独立对待，正如我们所展示的，产生特定于任务的方法，可以看到或阅读，但不能两者兼而有之。在这项工作中，我们对这种现象进行了深入分析，并提出了UniTNT，一种统一的文本-非文本方法，它赋予现有的多模态架构场景-文本理解能力。具体来说，我们将场景文本信息视为一种额外的模态，通过指定的模块将其与任何预训练的基于编码器-解码器的架构融合。彻底的实验表明，UniTNT导致第一个单一的模型，成功地处理两种任务类型。此外，我们表明，场景文本理解能力可以提高视觉语言模型的性能一般VQA和CAP分别高达2.69%和0.6 CIDER。
2023-03-21 cs.CV cs.LG
Enhancing Visual Question Answering through Question-Driven Image Captions as Prompts
Middle East Technical University（中东技术大学）
针对零样本视觉问答的挑战，提出将问题驱动的图像描述作为提示融入大语言模型的方法，通过提取问题关键词生成定制描述，在GQA基准零样本设置下取得有竞争力的性能。
2024-04-12 cs.AI cs.CV
Jaeger: A Concatenation-Based Multi-Transformer VQA Model
The University of Sydney（悉尼大学）
提出基于拼接的多Transformer VQA模型Jaegar，利用RoBERTa large和GPT2-xl提取特征并拼接降维，在PDF-VQA数据集Task C上取得有竞争力的性能。
2023-10-19 cs.AI cs.CL
ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering
University of Modena and Reggio Emilia（摩德纳大学和雷焦艾米利亚大学）；University of Pisa（比萨大学）
ReAG通过结合粗粒度和细粒度检索及批评模型过滤无关信息，提升知识密集型视觉问答的准确性和可解释性。
2026-03-31 cs.AI cs.CL cs.CV
