Federated Document Visual Question Answering: A Pilot Study
Computer Vision Center（计算机视觉中心）；Universitat Autonoma de Barcelona（巴塞罗那自治大学）
本研究提出联邦学习框架下的文档VQA训练方法，结合自预训练与集中式自适应优化，在异构私有文档数据上提升模型性能，并验证超参数调优的重要性。
2024-05-22 cs.AI cs.CL cs.CV
GRAM: Global Reasoning for Multi-Page VQA
Technion, Israel（以色列理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
GRAM通过扩展单页模型至多页DocVQA，利用文档级层与可学习令牌实现全局推理，并引入压缩阶段平衡质量与延迟，达到最先进性能。
2024-03-18 cs.CL cs.CV
Comparative Study of Domain-adapted VLMs for General Document Visual Question Answering
Universidad Autónoma de Madrid (UAM)（马德里自治大学）；BiometricsAI（生物识别人工智能）
研究对8个开源预训练VLMs在三种文档领域的DocVQA进行全面评估，通过多种评估方式发现其在不同布局性能有差异，参数缩放影响性能，视觉理解是瓶颈，还表明少样本微调能让模型快速适应目标域文档。
2026-07-09 cs.CV cs.LG
AVIR: Adaptive Visual In-Document Retrieval for Efficient Multi-Page Document Question Answering
China University of Petroleum (East China)（中国石油大学（华东））；Shandong Xiehe University（山东谢家大学）
AVIR通过自适应视觉在文档检索框架减少多页文档问答所需的页面数，提升效率并降低计算成本。
2026-01-17 cs.CV
Synthetic Document Question Answering in Hungarian
SambaNova Systems, Inc.（SambaNova系统公司）；University of Washington（华盛顿大学）
针对匈牙利语文档视觉问答数据缺乏问题，提出HuDocVQA等数据集及构建方法，并通过微调使Llama 3.2 11B准确率提升7.2%。
2025-05-29 cs.AI cs.CL cs.CV
Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering
Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出 MMDocRAG 基准，通过 4,055 个多页跨模态问答对和 60 个 VLM/LLM 及 14 个检索系统的大规模实验，揭示多模态证据检索与整合挑战，并发现专有 LVMs 优于开源模型、图像描述可提升微调 LLMs 性能。
2025-11-07 cs.CL cs.CV cs.IR
Multiple-Question Multiple-Answer Text-VQA
AWS AI Labs（亚马逊云科技人工智能实验室）
提出MQMA方法，在编码器-解码器变换器中同时处理多个文本视觉问答，通过架构改进和去噪预训练，在多个数据集上取得最先进性能。
2023-11-15 cs.CL cs.CV cs.LG
Enhancing Document VQA Models via Retrieval-Augmented Generation
Computer Vision Center, Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学计算机视觉中心）
本文系统评估了将检索增强生成（RAG）引入文档视觉问答的效果，发现基于OCR文本的检索在多个多页基准上最多提升+22.5 ANLS，纯视觉检索提升+5.0 ANLS，且检索与重排序是主要增益来源，而布局引导分块策略未能带来帮助。
2025-08-28 cs.CV
Spatially Grounded Explanations in Vision Language Models for Document Visual Question Answering
Computer Vision Center, Universitat Autònoma de Barcelona（计算机视觉中心，巴塞罗那自治大学）；Gradiant
本文提出无需训练的模型无关流程EaGERS，通过生成推理依据、空间定位相关区域并限制响应生成，在DocVQA上提升准确率与可解释性。
2025-07-15 cs.AI cs.CL cs.CV
Interpret, prune and distill Donut : towards lightweight VLMs for VQA on document
DIENS, École Normale Supérieure of Paris, Paris, France（巴黎高等师范学院DIENS）；Université Paris Cité, LIPADE, F-75006 Paris, France（巴黎大学）；Be-ys Research, Paris, France（Be-ys研究所）
针对 Donut 等文档 VQA 模型部署成本高的问题，本文结合机制可解释性、知识蒸馏与剪枝设计 Donut-MINT，在 DocVQA 上保持性能并降低推理时间与内存占用。
2025-09-30 cs.CV
SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images
NTT Human Informatics Laboratories, NTT Corporation（日本电信电话株式会社人类信息学实验室）
包含文本、视觉和布局信息的文档图像上的视觉问答，称为文档VQA，近来受到了广泛的关注。尽管已经提出了许多数据集用于开发文档VQA系统，但大多数现有数据集都专注于理解单个图像内的内容关系，而不是多个图像之间的内容关系。在这项研究中，我们提出了一个新的多图像文档VQA数据集，SlideVQA，包含2.6k+幻灯片甲板组成的52k+幻灯片图像和14.5k问题的幻灯片甲板。SlideVQA需要复杂的推理，包括单跳、多跳和数值推理，并提供数值答案的注释算术表达式，以增强数值推理能力。此外，我们开发了一个新的端到端的文档VQA模型，将证据选择和问答在一个统一的序列到序列的格式。在SlideVQA上的实验表明，我们的模型优于现有的最先进的QA模型，但它仍然与人类的表现有很大的差距。我们相信，我们的数据集将促进对文件VQA的研究。
2023-01-12 cs.CL cs.CV
CogAgent: A Visual Language Model for GUI Agents
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
本文提出180亿参数的视觉语言模型CogAgent，通过高低分辨率双编码器支持1120×1120输入，仅凭截图在多个VQA基准及PC和Android GUI导航任务上达到最先进水平。
2024-12-27 cs.CV
Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出基于自注意力评分机制的多页文档视觉问答方法，利用Pix2Struct编码器检索相关页面，无需OCR即可在近800页文档上保持最先进性能，并显著降低GPU资源需求。
2024-04-29 cs.CV
Extracting Training Data from Document-Based VQA Models
University of Oxford（牛津大学）；Google（谷歌公司）；ETH Zurich（苏黎世联邦理工学院）
本研究揭示基于文档的VQA模型存在记忆训练数据的隐私风险，定量区分了记忆与泛化的差异，探究了影响记忆的因素并提出可阻止PII提取的启发式防御策略。
2024-07-11 cs.CV cs.LG
Question-Guided Evidence Acquisition for Multimodal Visual Question Answering
Amazon Inc.（亚马逊公司）
针对多模态视觉问答中模型读取文档不可靠的问题，提出Q-Guide智能体引导感知，在两个数据集上优于基线方法，且增益来自精准感知引导而非复杂控制逻辑。
2026-08-25 cs.AI cs.CV cs.LG
DocAttriBench: Benchmarking Answer Grounding in Document Visual Question Answering
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；University of Pisa（比萨大学）
针对文档VQA答案溯源缺乏标注且构建成本高的问题，提出DocAttriBench基准及MAPPET方法，基于掩码困惑度自动生成元素级溯源数据，并评测多模态大模型，发现强模型仍难定位支持元素。
2026-09-23 cs.CV
Fine-grained Late-interaction Multi-modal Retrieval for Retrieval Augmented Visual Question Answering
University of Cambridge（剑桥大学）
本文提出细粒度晚期交互多模态检索FLMR，通过视觉模型对齐和多维嵌入改进RA-VQA的知识检索，将PRRecall@5提升约8%，并在OK-VQA上取得约61%的VQA分数。
2023-10-28 cs.CL cs.CV
Marten: Visual Question Answering with Mask Generation for Multi-modal Document Understanding
Meituan（美团）；Shanghai Jiao Tong University（上海交通大学）；Beijing Institute of Technology（北京理工大学）
本文提出 VQAMask 预训练任务与 MTMask6M 数据集，通过文本解析和可丢弃掩码生成器实现语义及空间对齐，并构建训练高效的文档理解 MLLM Marten。
2025-03-18 cs.CV
NoTeS-Bank: Benchmarking Neural Transcription and Search for Scientific Notes Understanding
IIIT Hyderabad（印度信息技术研究所海得拉巴分校）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Habitat Lens Pvt. Ltd.（栖息地镜头私人有限公司）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对学术手写笔记理解的挑战，本文提出NoTeS-Bank基准，通过跨领域复杂笔记定义两个VQA任务，测试模型处理非结构化多模态内容的能力，暴露现有模型局限并建立新评估标准。
2025-04-12 cs.CV cs.IR cs.LG
DocVLM: Make Your VLM an Efficient Reader
AWS AI Labs（亚马逊人工智能实验室）
针对视觉语言模型文档理解需高分辨率输入导致计算开销大的问题，提出集成OCR模态的DocVLM方法，通过可学习查询压缩OCR信息融入模型，在多个主流VLM上实现了低token用量下的文档理解性能提升。
2024-12-11 cs.CV cs.LG
InfographicVQA
IIIT Hyderabad（海得拉巴国际信息技术学院）；IISER Pune（浦那印度科学教育与研究院）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
信息图表是设计用于使用文本、图形和视觉元素的组合来有效地传达信息的文档。在这项工作中，我们探讨了自动理解的信息图表图像，通过使用可视化问答technique.为此，我们提出InfographicVQA，一个新的数据集，包括一个不同的集合的信息图表以及自然语言的问题和答案的注释。收集的问题需要方法来联合推理文档布局，文本内容，图形元素和数据可视化。我们策划的数据集，重点是需要基本的推理和基本的算术技能的问题。最后，我们基于最先进的多模态VQA模型评估了两个强基线，并为新任务建立了基线性能。数据集、代码和排行榜将在http://docvqa.org上提供
2021-08-22 cs.CL cs.CV
LaTr: Layout-Aware Transformer for Scene-Text VQA
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；Amazon Web Services（亚马逊云科技）
我们提出了一种新的多模态架构的场景文本视觉问题问答（STVQA），命名为布局感知Transformer（LaTr）。STVQA的任务要求模型对不同的模态进行推理。因此，我们首先调查每种模态的影响，并揭示语言模块的重要性，特别是当丰富的布局信息。考虑到这一点，我们提出了一个单一的目标预训练计划，只需要文本和空间线索。我们表明，在扫描文档上应用这种预训练方案比使用自然图像具有一定的优势，尽管存在领域差距。扫描文档易于获取，文本密集，并具有各种布局，帮助模型学习各种空间线索（例如左，下等）。通过将语言和布局信息结合在一起。与现有的方法相比，我们的方法执行无词汇解码，如图所示，推广远远超出了训练词汇。我们进一步证明了LaTr提高了对OCR错误的鲁棒性，这是STVQA失败案例的常见原因。此外，通过利用视觉Transformer，我们消除了对外部物体检测器的需要。LaTr在多个数据集上优于最先进的STVQA方法。特别是，TextVQA为+7.6%，ST-VQA为+10.8%，OCR-VQA为+4.0%（均为绝对准确度）。
2021-12-24 cs.CV
NeurIPS 2023 Competition: Privacy Preserving Federated Learning Document VQA
University of Helsinki（赫尔辛基大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；CISPA Helmholtz Center for Information Security（信息安全赫尔姆霍茨中心）；INRIA（法国国家信息与自动化技术研究所）；Yooz；Carnegie Mellon University（卡内基梅隆大学）；NTT（日本NTT公司）；Institute of Science Tokyo（东京科学研究所）；Department of Computer Science（计算机科学系）；Mphasis AI & Applied Tech Lab at Ashoka, Ashoka University（阿什oka大学人工智能与应用技术实验室）；Koita Centre for Digital Health - Ashoka (KCDH-A)（阿什oka数字健康中心（KCDH-A））；Trivedi School of Biosciences, Ashoka University（阿什oka大学Trivedi生物科学学院）
PFL-DocVQA竞赛以发票处理为场景，探索联邦学习中兼顾通信效率与差分隐私的文档视觉问答方法，为隐私联邦学习提供了测试平台和实践建议。
2025-06-03 cs.CR cs.CV cs.LG
DocVAL: Validated Chain-of-Thought Distillation for Grounded Document VQA
Department of Computer Science（计算机科学系）；Engineering, Ohio State University, Ohio, US（工程系，俄亥俄州立大学，俄亥俄，美国）；Department of Computer Science, University of Central Florida, Florida, US（计算机科学系，中央佛罗里达大学，佛罗里达，美国）
提出DocVAL框架，通过验证链式思维蒸馏将大型教师模型的空间推理能力转移到紧凑学生模型，结合规则验证器和两阶段训练，在文档VQA任务上提升定位性能。
2026-05-22 cs.AI cs.CV
Asking questions on handwritten document collections
International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术学院）；Universitat Autónoma de Barcelona（巴塞罗那自治大学）；Computer Vision Centre（计算机视觉中心）
本文研究了手写文档集的问答问题。不像典型的QA和视觉问答（VQA）公式的答案是一个简短的文本，我们的目标是找到一个文件片段的答案所在。所提议的方法在不识别文档中的文本的情况下工作。我们认为，免识别方法适用于手写文档和历史收藏，其中强大的文本识别往往是困难的。同时，对于人类用户，包含答案的文档图像片段充当文本答案的有效替代。该方法使用了一个现成的深度嵌入网络，可以将文本单词和单词图像投影到一个公共子空间中。这种嵌入连接了文本和视觉领域，并帮助我们检索可能回答问题的文档片段。我们在两个新的数据集上评估了所提出的方法的结果：（i）HW-SQuAD：SQuAD 1.0数据集的合成手写文档图像对应物;（ii）Bentham QA：在流行的Bentham手稿集的文档上定义的QA对的较小集合。我们还提出了一个彻底的分析，提出了一个基于文本识别的方法，使用OCR从图像中识别的文本相比，免识别的方法。本工作中提供的数据集可在docvqa.org下载
2021-10-02 cs.CV
PalmLeaf-VQA: A Multi-Script Visual Question Answering Benchmark for Historical Palm-Leaf Manuscript Understanding Across Diverse Regions
PalmLeaf-VQA构建了一个包含923幅图像和7,384个问答对的多脚本棕榈叶手稿视觉问答基准，评估多模态大模型在跨区域历史文档理解上的表现，发现最强模型仅达58%准确率，揭示了现有模型在稀有脚本和退化布局理解上的重大局限。
2026-09-29 cs.AI cs.CL cs.CV
ViSAR: Training-Free Adaptive-$k$ Retrieval for Visual Document Question Answering
INSA Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；EPITA Research Laboratory (LRE)（EPITA研究实验室）；Lowit（洛维特公司）；LIRIS UMR 5205（里昂信息、图像与智能系统实验室）
ViSAR是一种无需训练的自适应k检索方法，用于视觉文档问答，可动态确定检索页面数量，降低RAG延迟最高58.7%，同时保持或提升答案准确性。
2026-09-04 cs.AI cs.CL cs.CV
Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对OK-VQA任务中多模态检索模型训练数据需求大的问题，提出自动数据生成流水线预训练段落检索模型，使Precision@5提升26.9%且具备零样本检索能力。
2023-06-28 cs.CL cs.CV cs.IR
ProcTag: Process Tagging for Assessing the Efficacy of Document Instruction Data
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）；Alibaba Group（阿里巴巴集团）
本文提出ProcTag方法，通过对指令执行过程而非文本进行标记来评估文档指令数据效用，并结合DocLayPrompt提示策略，实现高效采样，仅需30.5%指令即可达到完整数据集100%的效用。
2025-03-12 cs.CL cs.CV
Joint Extraction Matters: Prompt-Based Visual Question Answering for Multi-Field Document Information Extraction
Sansan, Inc.（Sansan公司）
针对现有文档信息提取VQA方法孤立查询字段忽略依赖的问题，本文探究多字段联合提取的优势，通过多模型与数据集实验验证其准确率提升效果，还分析了性能与字段数的关系并量化字段关联，为鲁棒VQA系统设计提供实用方法。
2025-03-21 cs.CL cs.CV
ORCA: Orchestrated Reasoning with Collaborative Agents for Document Visual Question Answering
Digital Research Center of Sfax, SMARTS Laboratory（突尼斯斯法克斯数字研究中心，SMARTS实验室）；École Polytechnique de Tunisie, University of Carthage（突尼斯理工学院，卡塔赫纳大学）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
ORCA通过协作代理协同推理提升文档视觉问答的复杂推理与多步骤工作流处理能力。
2026-03-02 cs.CV
Pythia v0.1: the Winning Entry to the VQA Challenge 2018
Facebook AI Research（脸书人工智能研究院）
本文档描述了Pythia v0.1，这是Facebook AI Research（FAIR）的A-STAR团队参加2018年VQA挑战赛的获奖作品。我们的出发点是自底向上自顶向下（up-down）模型的模块化重新实现。我们证明，通过对模型架构和学习率调度进行细微但重要的更改，微调图像特征，并添加数据增强，我们可以显着提高VQA v2.0数据集上的上下模型的性能-从65.67%提高到70.22%。此外，通过使用使用不同特征和不同数据集训练的模型的多样化集成，我们能够比“标准”集成方式（即具有不同随机种子的相同模型）显着提高1.31%。总体而言，我们在VQA v2.0数据集的测试-标准分割上实现了72.27%。我们的完整代码（训练、评估、数据增强、集成）和预训练模型可在以下网站公开获取：https://github.com/facebookresearch/pythia
2018-07-27 cs.CV
mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA
The Hong Kong Polytechnic University（香港理工大学）
本文提出mKG-RAG框架，通过整合多模态知识图谱提升检索增强生成在知识密集型视觉问答中的性能，采用双阶段检索策略和图提取方法构建高质量知识图谱，实验表明优于现有方法。
2026-04-27 cs.AI cs.CV
DRISHTIKON: Visual Grounding at Multiple Granularities in Documents
提出多粒度多区块视觉定位框架DRISHTIKON，结合多语言OCR与大语言模型实现区块至点级别的答案定位，并构建MGVG基准，实验证明其在精确率和召回率上达到最优。
2025-07-16 cs.CV
Describe Anything Model for Visual Question Answering on Text-rich Images
AI VIETNAM Lab（AI越南实验室）；Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of Pittsburgh（匹兹堡大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Northwestern University（西北大学）
本研究提出DAM-QA框架，利用Describe Anything Model的区域感知能力，通过多区域视图答案聚合机制解决富文本图像视觉问答问题，在6个基准上优于基线，DocVQA提升超7个点，参数更少且性能领先。
2025-08-02 cs.CV cs.LG
VisualMRC: Machine Reading Comprehension on Document Images
NTT Media Intelligence Laboratories, NTT Corporation（NTT媒体智能实验室，NTT公司）
最近关于机器阅读理解的研究主要集中在文本层面的理解，但尚未达到人类对现实世界文档的视觉布局和内容的理解水平。在这项研究中，我们引入了一个新的视觉机器阅读理解数据集，命名为VisualMRC，其中给定一个问题和一个文档图像，机器阅读和翻译图像中的文本，以回答自然语言的问题。与现有的包含图像中文本的视觉问答（VQA）数据集相比，VisualMRC更注重开发自然语言理解和生成能力。它包含30，000+对问题和10，000+文档图像的抽象答案，这些图像来自多个网页域。我们还引入了一个新的模型，该模型扩展了现有的序列到序列模型，使用大规模文本语料库进行预训练，以考虑文档的视觉布局和内容。VisualMRC的实验表明，该模型优于基本序列到序列模型和最先进的VQA模型。然而，在大多数自动评估指标上，它的性能仍然低于人类。该数据集将促进旨在连接视觉和语言理解的研究。
2021-05-10 cs.CL cs.CV
A Symmetric Dual Encoding Dense Retrieval Framework for Knowledge-Intensive Visual Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文面向KI-VQA提出由DEDR检索器与MM-FiD阅读器组成的流程，通过双编码共享嵌入、迭代知识蒸馏和多模态解码器内融合，显著提升OK-VQA与FVQA性能。
2023-04-26 cs.CL cs.CV cs.IR
Enhancing Document Information Analysis with Multi-Task Pre-training: A Robust Approach for Information Extraction in Visually-Rich Documents
Indian Institute of Technology Roorkee（印度理工学院鲁尔基分校）
本文提出一种基于RoBERTa的多任务预训练模型，通过引入阅读顺序识别、布局分类和文本生成等任务，联合优化文档分类、实体关系抽取与视觉问答，在多个数据集上取得优异结果。
2023-10-25 cs.CV cs.LG
Retrieval-Augmented Visual Question Answering via Built-in Autoregressive Search Engines
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出ReAuSE，将知识检索器集成进多模态大语言模型作为内置搜索引擎，实现生成式检索与答案生成，并通过强化校准提升性能，在OKVQA和A-OKVQA上取得2.9%-9.6%的提升。
2025-02-23 cs.CL cs.CV cs.IR
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
CSE Department, HKUST（香港科技大学计算机科学与工程系）
本文研究了长上下文视觉-语言模型的持续预训练，通过平衡数据和检索优化，提出MMProLong模型在长文档VQA等任务中表现优异，且能扩展至更长上下文和多任务场景。
2026-10-20 cs.CV
Instruction Makes a Difference
Luleå University of Technology（吕勒奥理工大学）
该研究提出 iDocVQA 数据集与 LLaDoc 模型，证明指令微调可显著提升 LLaVA-1.5 在文档视觉问答及对象幻觉评估中的表现，但与人类水平仍有差距。
2024-06-13 cs.CL cs.CV
M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Bloomberg（彭博公司）
提出M3DocRAG多模态RAG框架，结合多模态检索器与MLM处理多页多文档视觉问答，并构建M3DocVQA基准，在三个基准上取得领先性能，尤其MP-DocVQA达到最先进水平。
2024-11-07 cs.AI cs.CL cs.CV
SK-VQA: Synthetic Knowledge Generation at Scale for Training Context-Augmented Multimodal LLMs
Intel Labs（英特尔实验室）；Amazon（亚马逊）
本文提出含 200 多万带上下文文档问答对的大规模合成多模态数据集 SK-VQA，用于训练和评测上下文增强型 MLLM，并验证其可提升上下文感知 VQA 与多模态 RAG 泛化能力。
2025-06-09 cs.CL cs.CV
M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
M$^3$-VQA引入了多实体问题，要求模型在多个文档间进行顺序和并行多跳推理，揭示了多模态大语言模型在知识获取和推理方面的挑战。
2026-04-28 cs.AI cs.CV
DocIntent: Answerability-Guided Agentic Restoration for Real-World Document Visual Question Answering
South China University of Technology（华南理工大学）
针对真实场景退化影响多模态大语言模型文档问答的问题，提出无需训练的DocIntent框架，通过评估可回答性、选择性调用恢复工具及比较式回滚机制，提升了各类MLLM在WildDoc基准上的表现。
2026-09-01 cs.AI cs.CV
ICDAR 2021 Competition on Document VisualQuestion Answering
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；CVIT, IIIT Hyderabad（海德拉巴国际信息技术学院视觉与信息技术中心）
在本报告中，我们介绍了ICDAR 2021版文档视觉问题挑战的结果。这个版本补充了以前的任务单文档VQA和文档集合VQA与新引入的信息图表VQA。Infographics VQA基于一个新的数据集，其中包含5，000多个信息图表图像和30，000个问答对。获胜方法在Infographics VQA任务中得分为0.6120 ANLS，在Document Collection VQA任务中得分为0.7743 ANLSL，在Single Document VQA中得分为0.8705 ANLS。我们提出了用于每个任务的数据集的摘要，每个提交的方法的描述和结果及其性能分析。还介绍了自DocVQA 2020挑战第一版以来在单文档VQA方面取得的进展。
2021-11-10 cs.CV cs.LG
Beyond the Leaderboard: Design Lessons for Trustworthy Multimodal VQA
以MediaEval Medico 2025为案例，分析九个多模态问答系统，发现预训练主干的参数高效适应虽有挑战性能，但答案提升未转化为完整临床推理，结构化推理等方法更可靠，结果促使多方面改进，支持可信多模态医疗保健人工智能。
2026-07-17 cs.CL cs.CV
MindBench: A Comprehensive Benchmark for Mind Map Structure Recognition and Analysis
Meituan（美团）
本文提出MindBench基准，通过五类结构化理解与解析任务系统评估多模态大语言模型在思维导图等结构化文档上的文本识别、空间感知和关系辨别能力，揭示了现有模型的潜力与不足。
2024-07-03 cs.AI cs.CL cs.CV
An LMM for Precisely Grounding Elements in Documents
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出PreciseDoc，一种通过合成数据与强化学习联合训练实现文档元素精确定位的大型多模态模型，显著提升文档理解与视觉定位精度。
2026-07-28 cs.CV
Enabling Collaborative Parametric Knowledge Calibration for Retrieval-Augmented Vision Question Answering
University of Technology Sydney（悉尼大学）；East China Normal University（华东师范大学）；The Education University of Hong Kong（香港教育大学）
本文提出了一种统一的检索增强视觉问答框架，通过协作参数知识校准来充分利用KB-VQA中的跨任务协同效应，从而提升问答准确性。
2025-07-01 cs.CV cs.IR cs.MM
HakushoBench: A Japanese Chart and Table VQA Benchmark from Governmental White Papers
Institute of Science Tokyo（东京科学研究所）；NII（日本学术振兴会）；NII LLMC（日本学术振兴会LLMC）
利用政府白皮书构建日语图表VQA基准HakushoBench，包含2053张图像和人工标注问答对，评估视觉语言模型对图表的深度理解。
2026-10-05 cs.CV
VQA Training Sets are Self-play Environments for Generating Few-shot Pools
Google DeepMind（谷歌DeepMind）
提出一种利用现有VQA训练集作为自博弈环境的技术，使模型能自主学会将自身或其他模型作为工具，通过迭代选择少样本示例来提升在图表、信息图和文档视觉问答数据集上的零样本性能。
2024-05-30 cs.CV
SimpleDoc: Multi-Modal Document Understanding with Dual-Cue Page Retrieval and Iterative Refinement
Oregon State University（俄勒冈州立大学）；Pennsylvania State University（宾夕法尼亚州立大学）；AG2AI, Inc.（AG2AI公司）；Johnson & Johnson（强生公司）
针对多模态文档视觉问答任务，提出轻量检索增强框架SimpleDoc，采用嵌入相似度加页面摘要的双线索检索与迭代拉取页面的机制，在4个数据集上平均超基线3.2%且检索页面更少。
2025-06-16 cs.AI cs.CV
Self-Bootstrapped Visual-Language Model for Knowledge Selection and Question Answering
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对DPR检索的知识难以有效辅助复杂知识型视觉问答的问题，提出由LVLM初始化、自举式参数高效微调的选择器-回答器框架，在OK-VQA基准上取得62.83%的最优准确率。
2024-10-08 cs.CV
