Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出基于自注意力评分机制的多页文档视觉问答方法，利用Pix2Struct编码器检索相关页面，无需OCR即可在近800页文档上保持最先进性能，并显著降低GPU资源需求。
2024-04-29 cs.CV
DocAttriBench: Benchmarking Answer Grounding in Document Visual Question Answering
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Pisa（比萨大学）
针对文档VQA答案溯源缺乏标注且构建成本高的问题，提出DocAttriBench基准及MAPPET方法，基于掩码困惑度自动生成元素级溯源数据，并评测多模态大模型，发现强模型仍难定位支持元素。
2026-09-23 cs.CV
ViSAR: Training-Free Adaptive-$k$ Retrieval for Visual Document Question Answering
INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；EPITA Research Laboratory (LRE)（EPITA研究实验室）；Lowit（洛维特公司）；LIRIS UMR 5205（里昂信息、图像与智能系统实验室）
ViSAR是一种无需训练的自适应k检索方法，用于视觉文档问答，可动态确定检索页面数量，降低RAG延迟最高58.7%，同时保持或提升答案准确性。
2026-09-04 cs.AI cs.CL cs.CV
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.（Sansan公司）
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题，本文探究多字段联合提取的优势，通过多模型与数据集实验验证其准确率提升效果，还分析了性能与字段数的关系并量化字段关联，为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering
Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出 MMDocRAG 基准，通过 4,055 个多页跨模态问答对和 60 个 VLM/LLM 及 14 个检索系统的大规模实验，揭示多模态证据检索与整合挑战，并发现专有 LVMs 优于开源模型、图像描述可提升微调 LLMs 性能。
2025-11-07 cs.CL cs.CV cs.IR
Invoice Haystack: Benchmarking Document Retrieval and Visual Question Answering Under Strong Visual Homogeneity
The University of Melbourne（墨尔本大学）；Lakehead University（湖首大学）
针对视觉同质文档集合中的检索困难，提出Invoice Haystack基准和VL-RAG混合检索框架，通过文本与视觉嵌入融合及VLM验证过滤，显著提升检索准确率。
2026-09-04 cs.CV
PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering
The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）；The University of Western Australia（西澳大利亚大学）
提出PDF-MVQA数据集和VRD-QA框架，解决以文本为主的多页研究论文中的多模态信息检索与问答问题，增强视觉语言模型对层次化布局的理解。
2024-04-19 cs.CL cs.CV
Towards Self-Explainable Document Visual Question Answering with Chain-of-Explanation Predictions
Department of Informatics, University of Oslo（奥斯陆大学信息学院）；Integreat – Norwegian Centre for Knowledge-driven Machine Learning（挪威知识驱动机器学习中心）；TRUST – The Norwegian Centre for Trustworthy AI（挪威可信人工智能中心）
本文提出CoExVQA框架，通过解释链设计实现文档视觉问答的自解释，通过证据识别、答案定位和基于证据解码三步流程提升可解释性，实验显示在PFL-DocVQA上取得SotA性能，ANLS提升12%。
2026-05-07 cs.CV cs.LG
Where To Look: Focus Regions for Visual Question Answering
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种方法，学习回答视觉问题，通过选择相关的图像区域的基于文本的查询。我们的方法表现出显着的改进，在回答问题，如“什么颜色”，它是必要的，以评估一个特定的位置，和“什么房间”，它选择性地识别信息图像区域。我们的模型在VQA数据集上进行了测试，VQA数据集是我们所知的最大的人类注释视觉问答数据集。
2016-01-10 cs.CV
VQA-Aid: Visual Question Answering for Post-Disaster Damage Assessment and Analysis
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与无人机相结合的可视化问答系统对提高灾后损失评估的目的具有很大的潜力。向受影响地区提供援助在很大程度上取决于实时数据评估和分析。可视化问答的范围是了解场景，并提供与查询相关的答案，这肯定会加快灾难后的恢复过程。在这项工作中，我们解决的重要性，\textit{visual question answering (VQA)}任务的灾后损失评估，提出我们最近开发的VQA数据集称为\textit{HurMic-VQA}收集在飓风迈克尔，并比较基准VQA模型的性能。
2021-06-19 cs.CV
Comparative Study of Domain-adapted VLMs for General Document Visual Question Answering
Universidad Autónoma de Madrid (UAM)（马德里自治大学）；BiometricsAI（生物识别人工智能）
研究对8个开源预训练VLMs在三种文档领域的DocVQA进行全面评估，通过多种评估方式发现其在不同布局性能有差异，参数缩放影响性能，视觉理解是瓶颈，还表明少样本微调能让模型快速适应目标域文档。
2026-07-09 cs.CV cs.LG
DocIntent: Answerability-Guided Agentic Restoration for Real-World Document Visual Question Answering
South China University of Technology（华南理工大学）
针对真实场景退化影响多模态大语言模型文档问答的问题，提出无需训练的DocIntent框架，通过评估可回答性、选择性调用恢复工具及比较式回滚机制，提升了各类MLLM在WildDoc基准上的表现。
2026-09-01 cs.AI cs.CV
Marten: Visual Question Answering with Mask Generation for Multi-modal Document Understanding
Meituan（美团）；Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）
本文提出 VQAMask 预训练任务与 MTMask6M 数据集，通过文本解析和可丢弃掩码生成器实现语义及空间对齐，并构建训练高效的文档理解 MLLM Marten。
2025-03-18 cs.CV
Focal Visual-Text Attention for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）；HelloVera AI（HelloVera人工智能）
最近的见解语言和视觉与神经网络已成功地应用于简单的单图像视觉问答。然而，要解决现实生活中的问答问题的多媒体集合，如个人照片，我们必须看看整个集合的照片或视频序列。当回答来自大量集合的问题时，一个自然的问题是识别支持答案的片段。在本文中，我们描述了一种新的神经网络称为焦点视觉-文本注意力网络（FVTA）的集体推理的视觉问答，其中既有视觉和文本序列信息，如图像和文本元数据。FVTA引入了一种端到端的方法，该方法利用分层过程来动态确定在顺序数据中关注什么媒体和什么时间来回答问题。FVTA不仅能很好地回答问题，而且还能为系统结果提供依据以获得答案。FVTA在MemexQA数据集上实现了最先进的性能，并在MovieQA数据集上取得了有竞争力的结果。
2019-05-31 cs.CV
Visual Question Generation as Dual Task of Visual Question Answering
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Sydney（悉尼大学）
视觉问答和视觉问题生成是计算机视觉领域的两个研究热点。在这项工作中，我们提出了一个端到端的统一框架，可逆的问答网络（iQAN），利用图像中的问题和答案之间的互补关系，通过联合训练VQA和VQG任务的模型。提出了相应的参数共享方案和规则项作为约束，以显式地利用Q，A的依赖性来指导训练过程。经过训练后，iQAN可以将问题或答案作为输入，然后输出对应的内容。在大规模视觉问答数据集CLEVR和VQA 2上进行评估，我们的iQAN在基线上提高了VQA的准确性。我们还表明，iQAN的双重学习框架可以推广到其他VQA架构，并在VQA和VQG任务上持续改进结果。
2017-09-21 cs.CV
HierDoc: Hierarchical Page-to-Region Evidence Routing for Long-Document Visual Question Answering
HierDoc是分层证据路由框架，将长文档视觉问答的页与区域选择整合为连续两阶段，在开放权重系统中达SOTA，使LongDocURL提升16.87%，区域证据可显著提升单页系统性能。
2026-08-03 cs.CV
SciEGQA: A Dataset for Scientific Evidence-Grounded Question Answering and Reasoning
Beihang University（北京航空航天大学）；Peking University（北京大学）；The University of Hong Kong（香港大学）；Baidu Inc.（百度公司）
SciEGQA数据集通过精细标注和大规模自动构建，提升视觉语言模型在科学文档中的证据定位与推理能力。
2026-03-30 cs.AI cs.CV cs.DB
Benchmarking Multimodal RAG through a Chart-based Document Question-Answering Generation Framework
College of Computer Science, Chongqing University（重庆大学计算机学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；Kuaishou Technology（快手科技）
针对现有多模态RAG基准忽略复杂图表格式的问题，研究提出CHARGE生成框架，构建含4738个问答对的Chart-MRAG Bench基准，揭示了当前方法的三类关键局限。
2025-02-20 cs.AI cs.CV
Transfer Learning via Unsupervised Task Discovery for Visual Question Answering
POSTECH（浦项科技大学）；OpenAI；Seoul National University（首尔国立大学）
本文研究了在视觉问答任务中，如何利用现成的视觉和语言数据来处理词汇外答案。现有的大规模视觉数据集与注释，如图像类标签，边界框和区域描述是学习丰富多样的视觉概念的良好来源。然而，由于问题相关回答模型和没有问题的视觉数据之间的链接缺失，如何捕获视觉概念并将其转移到视觉问答模型并不简单。我们通过两个步骤来解决这个问题：1）学习任务条件视觉分类器，它能够解决各种特定于问题的视觉识别任务，基于无监督任务发现和2）将任务条件视觉分类器转移到视觉问答模型。具体来说，我们采用语言知识源，如结构化的词汇数据库（如WordNet）和视觉描述的无监督任务发现，并转移学习任务条件视觉分类器作为一个回答单元的视觉问答模型。我们的经验表明，该算法推广到词汇表外的答案成功地使用从视觉数据集转移的知识。
2019-04-07 cs.CL cs.CV cs.LG
Synthetic Document Question Answering in Hungarian
SambaNova Systems, Inc.（SambaNova系统公司）；University of Washington（华盛顿大学）
针对匈牙利语文档视觉问答数据缺乏问题，提出HuDocVQA等数据集及构建方法，并通过微调使Llama 3.2 11B准确率提升7.2%。
2025-05-29 cs.AI cs.CL cs.CV
Reproducibility Report for "Learning To Count Objects In Natural Images For Visual Question Answering"
MILA（蒙特利尔学习算法研究所）；Département d’informatique et de recherche opérationnelle（计算机与运筹学系）；Université de Montréal（蒙特利尔大学）
这是论文“学习在自然图像中计算对象以进行视觉识别”的再现性报告。
2018-05-21 cs.CL cs.CV
Can Machines Help Us Answering Question 16 in Datasheets, and In Turn Reflecting on Inappropriate Content?
Technical University Darmstadt（达姆施塔特工业大学）；Hessian Center for AI（黑森人工智能中心）；Centre for Cognitive Science Darmstadt（达姆施塔特认知科学中心）
大部分当前机器学习的基础数据集提出了关于不适当内容的严重问题，例如攻击性，侮辱性，威胁性或可能导致焦虑。这就要求增加数据集文档，例如，使用活页纸。除其他专题外，这些专题鼓励对数据集的组成进行反思。然而，到目前为止，这些文档都是手动完成的，因此可能很繁琐且容易出错，特别是对于大型图像数据集。在这里，我们提出了一个可以说是“循环”的问题，即机器是否可以帮助我们反思不适当的内容，回答数据表中的问题16。为此，我们建议使用存储在预训练的Transformer模型中的信息来帮助我们进行文档处理。具体来说，基于社会道德价值观数据集的自动调优引导CLIP识别潜在的不适当内容，从而减少人工劳动。然后，我们根据使用视觉语言模型生成的标题，使用词云记录发现的不合适的图像。以这种方式产生的两个流行的大规模计算机视觉数据集- ImageNet和OpenImages的文档表明，机器确实可以帮助数据集创建者回答关于不适当图像内容的问题16。
2022-07-14 cs.AI cs.CV cs.CY
Privacy-Aware Document Visual Question Answering
Computer Vision Center, Universitat Autonoma de Barcelona（计算机视觉中心，巴塞罗那自治大学）；University of Helsinki（赫尔辛基大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；French Institute for Research in Computer Science and Automation (INRIA)（法国国家信息与自动化研究所）；Yooz（Yooz公司）
本文首次研究 DocVQA 的隐私问题，提出发票场景下的大规模数据集，并结合联邦学习与差分隐私评估多模态隐私泄露风险，同时设计基于记忆效应的攻击方法验证隐私漏洞。
2024-09-02 cs.AI cs.CV cs.LG
Speech-Based Visual Question Answering
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
本文介绍了基于语音的视觉问答（VQA），生成一个给定的图像和一个口头问题的答案的任务。研究了两种方法：一种直接使用音频波形作为输入的端到端深度神经网络，而不是对问题执行ASR（自动语音识别）的流水线方法，然后是基于文本的视觉问答。此外，我们调查了这两种方法的鲁棒性，通过注入不同程度的噪声到口语问题，并发现这两种方法是容忍噪声在类似的水平。
2017-09-16 cs.CL cs.CV
Federated Document Visual Question Answering: A Pilot Study
Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本研究提出联邦学习框架下的文档VQA训练方法，结合自预训练与集中式自适应优化，在异构私有文档数据上提升模型性能，并验证超参数调优的重要性。
2024-05-22 cs.AI cs.CL cs.CV
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）；University of Science, Ho Chi Minh City（胡志明市理科大学）；Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校）；Zalo Research Center（Zalo研究中心）
针对视觉问答中的可回答性预测，提出VT-Transformer模型，利用Transformer架构融合视觉与文本特征，在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV
Recent, rapid advancement in visual question answering architecture: a review
University of Arkansas at Little Rock（阿肯色大学小石城分校）
理解视觉问答对许多人类活动至关重要。然而，它在人工智能努力的核心提出了重大挑战。本文介绍了在视觉问答的快速进步，在过去的几年中发生的图像的更新。近年来，关于改进可视问答系统体系结构的研究取得了巨大的增长，这表明了多通道体系结构的重要性。关于视觉问答的好处，Manmadhan等人（2020）的综述论文中提到了几点，本文以其为基础，包括该领域的后续更新。
2022-07-09 cs.AI cs.CL cs.CV
Explicit Knowledge-based Reasoning for Visual Question Answering
The University of Adelaide（阿德莱德大学）
我们描述了一种用于视觉问答的方法，该方法能够根据从大规模知识库中提取的信息来推理图像的内容。该方法不仅使用图像中不包含的概念来回答自然语言问题，而且可以提供对推理的解释，通过该推理来开发其答案。该方法能够回答比主流的基于长短期记忆的方法复杂得多的问题，并且在测试中显著优于它。我们还提供了一个数据集和一个协议，通过它来评估这些方法，从而解决了一般的视觉问题的回答的关键问题之一。
2015-11-12 cs.CL cs.CV
Textually Enriched Neural Module Networks for Visual Question Answering
Carnegie Mellon University（卡内基梅隆大学）
随着计算机视觉研究超越传统的识别任务，语言和视觉交叉点的问题，如视觉问答，最近在多模态机器学习领域获得了大量关注。最近在使用深度神经网络模型的视觉问答中取得了成功，深度神经网络模型使用问题的语言结构来动态地实例化网络布局。在将问题转换为网络布局的过程中，问题被简化，这导致模型中的信息丢失。在本文中，我们丰富的图像信息与文本数据，使用图像标题和外部知识库，以生成更连贯的答案。我们实现了57.1%的整体准确率的测试开发开放式问题的视觉问答（VQA 1.0）的真实图像数据集。
2018-09-23 cs.CL cs.CV
Language bias in Visual Question Answering: A Survey and Taxonomy
University of Electronic Science and Technology of China（电子科技大学）
视觉问答（VQA）是一项具有挑战性的任务，在计算机视觉和自然语言处理领域引起了越来越多的关注。但是，目前的视觉问答存在语言偏向的问题，降低了模型的鲁棒性，对视觉问答的实际应用产生了不利影响。本文首次对这一领域进行了全面的回顾和分析，并将现有的方法按照增强视觉信息、弱化语言先验、数据增强和训练策略三大类进行了分类。同时，对相关的代表性方法依次进行了介绍、总结和分析。揭示了语言偏见产生的原因并进行了分类。其次，本文介绍了主要用于测试的数据集，并报告了各种现有方法的实验结果。最后，我们讨论了该领域未来可能的研究方向。
2021-11-16 cs.AI cs.CV
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
UC Berkeley EECS（加州大学伯克利分校电子工程与计算机科学系）；Sony Corp.（索尼公司）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
近年来，使用从大型语言或视觉数据集训练的向量表示对文本或视觉信息进行建模已被成功探索。然而，诸如视觉问答之类的任务需要将这些向量表示彼此组合。多模态池化的方法包括元素乘积或和，以及视觉和文本表示的连接。我们假设这些方法不像视觉和文本载体的外产品那样富有表现力。由于外积通常是不可行的，由于其高维度，我们建议利用多模态紧凑双线性池（MCB），有效地和表达地结合多模态功能。我们在视觉问答和接地任务上广泛评估MCB。我们一致显示MCB优于无MCB消融。对于视觉问答，我们提出了一个架构，它使用MCB两次，一次用于预测注意空间特征，并再次结合出席表示与问题表示。该模型在Visual7W数据集和VQA挑战上的性能优于最先进的模型。
2016-09-24 cs.AI cs.CL cs.CV
Dynamic Memory Networks for Visual and Textual Question Answering
MetaMind（MetaMind公司）
具有记忆和注意力机制的神经网络架构表现出问答所需的某些推理能力。动态记忆网络（DMN）就是这样一种架构，它在各种语言任务中获得了很高的准确性。然而，没有显示当在训练期间没有标记支持事实时，该架构是否实现了问答的强结果，或者它是否可以应用于其他模态，如图像。在对DMN进行分析的基础上，我们对其存储和输入模块提出了几点改进。与这些变化一起，我们引入了一个新的图像输入模块，以便能够回答视觉问题。我们的新DMN+模型改进了Visual问答数据集和\babi-10k文本问答数据集的最新技术，而不支持事实监督。
2016-03-04 cs.CL cs.CV cs.NE
Multi-Image Visual Question Answering
Indian Institute Of Technology Dharwad（印度理工学院达瓦德分校）
虽然已经做了大量的工作来开发模型来解决视觉问答的问题，这些模型的能力，将问题与图像特征仍然很少探索。我们提出了一个不同的特征提取方法与不同的损失函数的实证研究。我们提出了新的数据集的任务，视觉问答与多个图像输入只有一个地面真理，并基准我们的结果。我们的最终模型利用Resnet + RCNN图像特征和BERT嵌入，灵感来自堆栈注意力网络，在CLEVER+TinyImagenet数据集上提供了39%的单词准确率和99%的图像准确率。
2022-02-06 cs.AI cs.CV cs.LG
Spatially Grounded Explanations in Vision Language Models for Document Visual Question Answering
Computer Vision Center, Universitat Autònoma de Barcelona（计算机视觉中心，巴塞罗那自治大学）；Gradiant
本文提出无需训练的模型无关流程EaGERS，通过生成推理依据、空间定位相关区域并限制响应生成，在DocVQA上提升准确率与可解释性。
2025-07-15 cs.AI cs.CL cs.CV
Visual Question Answering as a Multi-Task Problem
University of Manchester（曼彻斯特大学）
可视化问答（VQA）是一个高度复杂的问题集，依赖于许多子问题来产生合理的答案。在本文中，我们提出了假设，视觉问答应被视为一个多任务的问题，并提供证据来支持这一假设。我们证明了这一点，重新格式化两个常用的可视化问答数据集，COCO-QA和DAQUAR，到一个多任务格式和训练这些重新格式化的数据集在两个基线网络，一个专门设计，以消除其他可能的原因，性能变化的结果，重新格式化。虽然本文中展示的网络没有实现强有力的竞争结果，我们发现，多任务的方法来视觉问答结果在性能上的增加5-9%，对单任务格式化，网络达到收敛速度比单任务的情况下。最后，我们讨论了观察到的性能差异的可能原因，并进行了额外的实验，排除了与作为多任务问题的数据集学习无关的原因。
2020-07-03 cs.AI cs.CL cs.CV
Recognition-free Question Answering on Handwritten Document Collections
TU Dortmund University（多特蒙德工业大学）
近年来，基于文档图像的问答研究取得了长足的进展。目前，来自文档图像分析社区的QA方法主要集中在机器打印的文档上，并且对手写的执行相当有限。这主要是由于手写文档的识别性能降低。为了解决这个问题，我们提出了一个免擦除的QA方法，特别是专为手写文档图像集。我们提出了一个强大的文档检索方法，以及两个QA模型。我们的方法在具有挑战性的BenthamQA和HW-SQuAD数据集上的表现优于最先进的无干扰模型。
2022-02-12 cs.CV
TabIQA: Table Questions Answering on Business Document Images
National Institute of Informatics（国立信息学研究所）
表格回答业务文档中的问题有许多挑战，需要理解表格结构、跨文档引用以及简单搜索查询之外的其他数值计算。本文介绍了一种新的管道，名为TabIQA，回答有关业务文档图像的问题。TabIQA结合了最先进的深度学习技术，1）从图像中提取表格内容和结构信息，2）回答与数字数据、基于文本的信息以及结构化表格中的复杂查询相关的各种问题。在VQAonBD 2023数据集上的评估结果证明了TabIQA在回答表格相关问题方面的有效性。TabIQA存储库可在https://github.com/phucty/itabqa上获得。
2023-03-27 cs.CL cs.CV
Advancing Question Answering on Handwritten Documents: A State-of-the-Art Recognition-Based Model for HW-SQuAD
CVIT, IIIT Hyderabad（印度理工学院海得拉巴分校计算机视觉与图像技术中心）
针对手写文档问答任务，提出融合基于transformer的文档检索与模型层集成的新型识别方法，在HW-SQuAD、BenthamQA数据集上刷新SOTA，提升检索精度，且将开源代码与模型。
2024-07-15 cs.CV
ICDAR 2021 Competition on Document VisualQuestion Answering
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；CVIT, IIIT Hyderabad（海德拉巴国际信息技术学院视觉与信息技术中心）
在本报告中，我们介绍了ICDAR 2021版文档视觉问题挑战的结果。这个版本补充了以前的任务单文档VQA和文档集合VQA与新引入的信息图表VQA。Infographics VQA基于一个新的数据集，其中包含5，000多个信息图表图像和30，000个问答对。获胜方法在Infographics VQA任务中得分为0.6120 ANLS，在Document Collection VQA任务中得分为0.7743 ANLSL，在Single Document VQA中得分为0.8705 ANLS。我们提出了用于每个任务的数据集的摘要，每个提交的方法的描述和结果及其性能分析。还介绍了自DocVQA 2020挑战第一版以来在单文档VQA方面取得的进展。
2021-11-10 cs.CV cs.LG
TAP-RAG: Task-Aware Policy Control for Long-Document Multimodal Question Answering
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；The International Joint Institute of Tianjin University（天津大学国际联合学院）；Department of Automation, Tsinghua University（清华大学自动化系）
研究长文档多模态问答，提出TAP-RAG框架，含任务感知策略控制器及两个执行器，能预测任务先验、估计证据信号并生成策略，在多模态文档图上扩展证据，在相关数据集上取得最佳总体准确率。
2026-07-22 cs.CV
DocVXQA: Context-Aware Visual Explanations for Document Question Answering
Inria（法国国家信息与自动化研究所）
本文提出 DocVXQA 框架，通过显式可解释性学习目标生成上下文充分且表征高效的视觉热图，在保证文档问答性能的同时提升决策可解释性。
2025-05-12 cs.CV cs.LG
Analyzing the Efficacy of an LLM-Only Approach for Image-based Document Question Answering
Google Research（谷歌研究院）
本文研究文档问答中视觉编码器与 LLM 的作用，提出将文档图像文本序列化后直接输入指令微调 LLM 的无视觉编码器方案，并在六个基准上验证其可接近最先进性能。
2023-09-25 cs.AI cs.CV
VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents
University of Southern California（南加州大学）；Oracle AI（甲骨文人工智能公司）；Turing Enterprise Inc（图灵企业公司）；University of Pennsylvania（宾夕法尼亚大学）
研究人员提出VELD-QA数据集，该数据集含15000个人工问答对，用于评估长文档问答中视觉证据的定位与解释，发现视觉元素标注可缩小性能差距17%-24%。
2026-10-20 cs.CL cs.CV
DocVideoQA: Towards Comprehensive Understanding of Document-Centric Videos through Question Answering
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
针对文档类教学视频多模态理解研究不足的问题，本文提出DocVideoQA任务与含1454条视频、15.4万问答对的数据集，并提出DV-LLaMA基线模型，通过指令微调和对比学习提升性能，效果优于现有模型。
2025-03-20 cs.CV
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University（浙江大学）
针对零样本文档图像问答，提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning，使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering
提出无训练归因方法MultAttnAttrib，利用模型预填充、选定注意力头和校准阈值定位证据，并构建多模态归因基准MultAttrEval，实验表明其优于多种方法，匹配GPT 5.4且延迟降低至1/7。
2026-07-09 cs.AI cs.CL cs.CV
