Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine Translation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科泛语科技有限公司)
本文提出M4Doc框架,利用多模态大语言模型将仅图像编码器与多模态表示对齐,使轻量级模型学习视觉-文本关联,推理时绕过MLLM保持高效,显著提升跨域翻译质量。
2025-07-10 cs.AI cs.CL cs.CV
Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark
Amazon AGI(亚马逊人工智能研究院)
针对长文档理解缺乏基准的问题,提出Document Haystack基准,含5至200页文档及插入的文本/图像“针”,共400变体、8250问题,用于评估VLM检索能力,并展示结果与未来方向。
2025-08-04 cs.AI cs.CL cs.CV
A Joint Model for Multimodal Document Quality Assessment
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);The University of Melbourne(墨尔本大学)
文档的质量受各种因素的影响,包括语法性、可读性、文体和专业知识深度,使得文档质量评估的任务变得复杂。在本文中,我们将探讨这一任务的背景下,评估维基百科的文章和学术论文的质量。观察到,一个文件的视觉渲染可以捕捉隐含的质量指标,不存在于文档文本-如图像,字体选择,和视觉布局-我们提出了一个联合模型,结合文本内容与视觉渲染的文件,文件质量评估。在两个数据集上的实验结果表明,文本和视觉特征是互补的,达到了最先进的结果。
2019-01-14 cs.AI cs.CL cs.DL
ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
多模态Transformers最近的努力已经通过合并视觉和文本信息来改进视觉丰富文档理解(VrDU)任务。然而,现有的方法主要集中在细粒度的元素,如单词和文档图像补丁,使它们很难从粗粒度的元素,包括自然的词汇单位,如短语和突出的视觉区域,如突出的图像区域学习。在本文中,我们更加重视包含高密度的信息和一致的语义,这是文档理解的价值的粗粒度元素。首先,提出了一个文档图模型的多粒度多模态元素之间的复杂关系,其中显着的视觉区域检测基于聚类的方法。然后,提出了一种称为mmLayout的多粒度多模态Transformer,以将粗粒度信息合并到基于图的现有预训练的细粒度多模态Transformers中。在mmLayout中,粗粒度的信息是从细粒度中聚合出来的,然后经过进一步的处理,再融合回细粒度中进行最终的预测。此外,常识增强被引入到利用自然词汇单位的语义信息。在信息抽取和文档问答等4个任务上的实验结果表明,该方法能够提高基于细粒度元素的多模态Transformers的性能,并且能够以较少的参数获得更好的性能.定性分析表明,我们的方法可以捕获一致的语义在粗粒度的元素。
2022-09-18 cs.AI cs.CL cs.CV
MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering
Key Laboratory of Target Cognition and Application Technology (TCAT), AIRI, CAS(目标认知与应用技术重点实验室(TCAT),空气动力研究所,中国科学院);School of Electronic, Electrical and Communication Engineering, UCAS(电子、电气与通信工程学院,中国科学院大学);Aerospace Information Research Institute, Chinese Academy of Sciences(航天信息研究所,中国科学院);Baidu Inc.(百度公司)
MARA框架通过引入查询自适应机制提升多模态文档检索与生成的精度和质量,实验表明其在多模态问答基准上优于现有最先进方法。
2026-02-01 cs.AI cs.CL cs.IR
SciMDR: Advancing Scientific Multimodal Document Reasoning
Yale University(耶鲁大学)
本文提出SciMDR数据集,通过合成与重嵌框架生成大规模多模态文档推理数据,提升科学问答任务的复杂度和真实性。
2026-04-29 cs.AI cs.CL cs.CV
ViBERTgrid BiLSTM-CRF: Multimodal Key Information Extraction from Unstructured Financial Documents
Yapı Kredi Technology(亚珀克雷迪科技);Istanbul Technical University(伊斯坦布尔理工大学)
本文提出ViBERTgrid BiLSTM-CRF模型,通过引入BiLSTM-CRF层将多模态Transformer适配于非结构化金融文档,提升了命名实体识别性能并保持了半结构化文档的KIE效果,同时公开了SROIE数据集的token级标注。
2024-09-23 cs.AI cs.CL cs.CV
PostDoc: Generating Poster from a Long Multimodal Document Using Deep Submodular Optimization
International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);Adobe Research(奥多比研究院);IIT Bombay(印度理工学院孟买分校)
本文提出PostDoc框架,利用深度子模函数从长文档提取多模态内容并确保覆盖、多样性与对齐,结合基于LLM的改写器生成设计模板,实现长文档到海报的自动转换。
2024-05-30 cs.AI cs.CL cs.LG
Unified Multimodal Interleaved Document Representation for Retrieval
University of North Carolina Chapel Hill(北卡罗来纳大学教堂山分校);KAIST(韩国科学技术院);DeepAuto
本文提出统一多模态交错文档表示方法,通过整合文本、图像和表格信息提升信息检索性能。
2026-01-23 cs.AI cs.CL cs.IR
Structured Attention Matters to Multimodal LLMs in Document Understanding
vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);The University of Queensland(昆士兰大学);University of California, Merced(加州大学默塞德分校)
针对多模态大语言模型在文档理解中输入格式影响性能的问题,提出基于LaTeX范式的保结构编码方法,通过诱导结构化注意力模式减少注意力浪费,无需修改架构或额外训练即可显著提升文档问答性能。
2025-06-19 cs.AI cs.CL cs.IR
PP-DocBee2: Improved Baselines with Efficient Data for Multimodal Document Understanding
Baidu Inc.(百度公司)
本报告提出PP-DocBee2,通过数据质量优化、视觉特征融合与推理优化,在中文商业文档基准上提升11.4%性能并降低73.0%延迟。
2025-06-25 cs.AI cs.CL cs.CV
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
ServiceNow;York University(约克大学);MILA - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);École de technologie supérieure(卓越工程学院)
针对多模态文档检索直接套用纯文本检索技术的局限,提出ColMate模型,结合基于OCR的预训练、自监督掩码对比学习与后期交互评分机制,在ViDoRe V2基准上提升3.61%并增强域外泛化能力。
2025-11-02 cs.CL
Unsupervised Discovery of Multimodal Links in Multi-image, Multi-sentence Documents
Cornell University(康奈尔大学)
图像和文本经常在网络上同时出现,但图像和句子(或其他文档内文本单元)之间的显式链接通常不存在。我们提出了发现图像-句子关系的算法,而不依赖于训练中的显式多模态注释。我们在七个不同难度的数据集上进行了实验,从由众包工作者事后标题的图像组组成的文档到自然发生的用户生成的多模态文档。我们发现,一个结构化的训练目标的基础上,确定是否收集的图像和句子共同出现在文档中,可以足以预测特定的句子和特定的图像之间的链接在同一个文件在测试时间。
2019-08-31 cs.CL cs.CV
MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation
Independent Researcher(独立研究者)
MLDocRAG通过构建多模态片段-查询图,实现多模态长上下文文档的检索增强生成,提升问答的准确性和连贯性。
2026-02-13 cs.CL cs.IR
LongDocURL: a Comprehensive Multimodal Long Document Benchmark Integrating Understanding, Reasoning, and Locating
MAIS, Institute of Automation, Chinese Academy of Sciences(人工智能研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Zhongguancun Academy, Beijing(中关村学院,北京)
针对现有基准在长文档布局元素定位上的不足,提出融合理解、推理与定位的综合基准LongDocURL,包含20个子任务及2,325个问答对,并通过多模型评估揭示了该领域的关键性能差距。
2025-07-15 cs.AI cs.CL
PP-DocBee: Improving Multimodal Document Understanding Through a Bag of Tricks
PaddlePaddle Team, Baidu Inc.(百度公司)
本报告提出 PP-DocBee 多模态大模型,通过数据合成策略与动态采样等训练技巧,在文档图像理解任务上取得 SOTA 性能。
2025-06-26 cs.AI cs.CL cs.CV
mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出mPLUG-DocOwl,通过构建多任务指令微调数据集并联合训练纯语言、通用视觉-语言和文档任务,增强无OCR文档理解能力,并构建LLMDoc评测集,实验证明其优于现有多模态模型且泛化良好。
2023-07-04 cs.AI cs.CL
Multimodal Approaches for Visually-Rich Document Type Classification: A Comparative Analysis
OTH Regensburg(雷根斯堡应用技术大学)
针对视觉丰富文档类型分类中多模态建模策略难以系统比较的问题,本文在统一实验框架下对基于Transformer和LLM的四种代表性模型进行受控对比,发现专用多模态Transformer优于LLM方法,且图像信息贡献最大。
2026-06-01 cs.AI cs.CL cs.CV
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能)
最近,文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能,这表明了跨不同模态联合学习的巨大潜力。在本文中,我们提出了LayoutXLM,这是一个多模态的预训练模型,用于多语言文档理解,旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM,我们还引入了一个名为XFUND的多语言表单理解基准数据集,其中包括7种语言(中文,日语,西班牙语,法语,意大利语,德语,葡萄牙语)的表单理解样本,并为每种语言手动标记键值对。实验结果表明,LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering
提出无训练归因方法MultAttnAttrib,利用模型预填充、选定注意力头和校准阈值定位证据,并构建多模态归因基准MultAttrEval,实验表明其优于多种方法,匹配GPT 5.4且延迟降低至1/7。
2026-07-09 cs.AI cs.CL cs.CV
M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework
DAMO Academy, Alibaba Group(达摩院(阿里巴巴集团));Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文提出多模态超长文档理解基准M-LongDoc及首个直接处理多模态长文档检索设置的训练框架,通过全自动构建语料库微调开源模型,使响应正确性相对提升4.6%。
2024-11-09 cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
BRIDGE是一个针对长多模态文档的多跳推理基准测试,通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
Docopilot: Improving Multimodal Models for Document-Level Understanding
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学);Nankai University(南开大学);Fudan University(复旦大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对多页文档理解不足及RAG方法缺陷,本文提出Doc-750K数据集并开发原生多模态模型Docopilot,在不依赖检索的情况下实现更优的文档级理解性能。
2025-07-19 cs.CL cs.CV
DocEdit-v2: Document Structure Editing Via Multimodal LLM Grounding
Adobe Research(奥多比研究院);MBZUAI(Mohamed bin Zayed 人工智能大学);University of Maryland College Park(马里兰大学帕克分校)
DocEdit-v2提出基于多模态大语言模型的端到端文档结构编辑框架,通过Doc2Command定位编辑区域并生成命令,结合命令重述与GPT-4V/Gemini执行编辑,在多项任务上显著超越基线。
2024-10-21 cs.CL
LongFin: A Multimodal Document Understanding Model for Long Financial Domain Documents
Arteria AI
针对现有文档AI模型和数据集无法适配金融领域多页长文档的问题,提出支持4K token编码的多模态模型LongFin及配套LongForms金融数据集,在新数据集上超越现有公开模型,单页基准性能相当。
2024-01-26 cs.CL
Overview of the EReL@MIR 2025 Multimodal Document Retrieval Challenge (Track 1)
University of Cambridge(剑桥大学);Cambridge United Kingdom(剑桥英国)
本文介绍了EReL@MIR 2025多模态文档检索挑战赛(赛道1)的设计、数据集、评估协议、最终排名及前三名获胜系统的分析,所有系统均基于Qwen2-VL系列解码器多模态大语言模型嵌入器。
2026-06-02 cs.AI cs.CL cs.CV
VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation
University of Maryland(马里兰大学);Adobe Research(奥多比研究院);IGDTUW(英迪拉·甘地德里技术大学)
针对含视觉丰富元素的多文档问答问题,本文构建VisDoMBench基准,提出融合视觉与文本检索的多模态RAG方法VisDoMRAG,通过多步推理和模态融合机制,在该基准上优于基线12-20%。
2025-02-11 cs.CL
M3DR: Towards Universal Multilingual Multimodal Document Retrieval
CognitiveLab(认知实验室)
M3DR提出了一种通用多语言多模态文档检索框架,通过对比训练实现跨语言和跨模态对齐,显著提升了多语言场景下的检索性能。
2025-12-03 cs.AI cs.CL cs.CV
Unsupervised Document and Template Clustering using Multimodal Embeddings
BNP Paribas Cardif Nanterre(BNP巴黎银行卡迪夫纳特尔尔分校);BNP Paribas Paris(BNP巴黎银行巴黎)
本研究利用冻结多模态编码器和经典聚类算法,系统评估了八种编码器在五个文档语料库上的类别与模板聚类性能,揭示了模态特定失败模式与鲁棒性-准确性权衡,并提出了可复现的调优协议。
2025-10-26 cs.AI cs.CL cs.CV
ICDAR2026 Competition on Multimodal Reasoning over Documents in Multiple Domains
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本竞赛通过多领域文档视觉问答任务,评估了多种方法,发现最强系统采用结构化证据提取、检索、验证和多组件编排,而非单次提示。
2026-09-23 cs.CL
MMDocIR: Benchmarking Multimodal Retrieval for Long Documents
Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出 MMDocIR 基准,通过页面级和版面级检索任务及大规模标注数据集,系统评估并提升长文档多模态检索性能,证明视觉检索器和 VLM-text 的显著优势。
2025-11-07 cs.AI cs.CL cs.CV
On-Device Document Classification using multimodal features
Samsung R&D Institute India-Bangalore(三星印度班加罗尔研发院)
从小屏幕截图到大视频,文档占据了现代智能手机的大部分空间。手机中的文档可以从各种来源积累,而手机的高存储容量可以在短时间内积累数百个文档。然而,搜索或管理文档仍然是一项繁重的任务,因为大多数搜索方法依赖于元信息或文档中的文本。在本文中,我们展示了一个单一的模态是不够的分类,并提出了一种新的管道来分类设备上的文档,从而防止任何私人用户数据传输到服务器。对于这项任务,我们集成了一个开源库的光学字符识别(OCR)和我们的新模型架构的管道。我们优化了模型的大小,这是设备上推理的必要指标。我们用标准的多模态数据集FOOD-101对我们的分类模型进行基准测试,并展示了与先前最先进的30%模型压缩相比具有竞争力的结果。
2021-01-06 cs.CL cs.CV
3MVRD: Multimodal Multi-task Multi-teacher Visually-Rich Form Document Understanding
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学);Politecnico di Torino(都灵理工大学)
本文提出3MVRD,一种多模态多任务多教师联合粒度知识蒸馏模型,通过token与entity关联及新损失函数优化知识迁移,在表单文档理解任务上显著优于现有基线。
2024-07-26 cs.CL cs.CV
Multimodal Document Analytics for Banking Process Automation
Humboldt University of Berlin(柏林洪堡大学)
本研究针对银行文档密集型流程效率问题,通过案例研究证实,引入布局信息的多模态模型 LayoutXLM 相比 BERT 和 GPT 等文本模型能大幅提升文档处理性能,且仅需 30% 训练数据即可达到 75% 以上的 F1 分数,为银行业多模态文档分析提供了实证依据与实践指导。
2023-11-26 cs.AI cs.CL cs.CV
MM-R5: MultiModal Reasoning-Enhanced ReRanker via Reinforcement Learning for Document Retrieval
本文提出MM-R5,一种通过强化学习训练的多模态推理增强重排序器,采用SFT和RL两阶段训练,在MMDocIR基准上达到最先进性能,recall@1提升超4%。
2025-06-22 cs.AI cs.CL cs.CV
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding
MBZUAI;Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);University of Melbourne(墨尔本大学)
本文综述了多模态检索增强生成在文档理解中的应用,提出基于领域、检索模态和粒度的分类体系,总结了关键数据集、基准测试和行业应用,指出了效率、细粒度表示和鲁棒性等挑战。
2026-04-20 cs.CL cs.CV
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
最近,各种多模态网络的视觉丰富的文档理解(VRDU)已被提出,显示促进Transformers集成视觉和布局信息与文本嵌入。然而,大多数现有的方法利用位置嵌入来合并序列信息,忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中,我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息,从我们的增强XY切割产生的正确的阅读顺序。此外,一个扩展的条件位置编码模块被提出来处理输入序列的可变长度,它另外提取本地布局信息的文本和视觉模态,同时生成位置嵌入。实验结果表明,XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Evaluating and Improving Factuality in Multimodal Abstractive Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
目前用于评估抽象文档摘要的真实性的度量已经与人类判断实现了高度相关性,但是它们不考虑视觉模态,因此不足以用于视觉和语言摘要。我们提出了CLIPBERTScore,CLIPScore和BERTScore的简单加权组合,分别利用图像摘要和文档摘要之间的鲁棒性和强真实性检测性能。接下来,由于缺乏元评估基准来评估多模态真实性指标的质量,我们收集了人类对文档和图像真实性的判断。我们表明,这种简单的组合中的两个指标的zero-shot设置实现了更高的相关性比现有的真实性指标的文档摘要,优于现有的多模态摘要指标,并执行竞争力强的多模态真实性指标专门微调的任务。我们的全面分析表明,CLIPBERTScore及其组件在四个真实性度量评估基准上具有鲁棒性和高度相关性。最后,我们展示了我们的CLIPBERTScore度量的两个实际下游应用:用于选择在训练过程中关注的重要图像,以及作为强化学习的奖励,以提高多模态摘要生成的真实性。我们的数据和代码可在https://github.com/meetdavidwan/faithful-multimodal-summ上公开获取
2022-11-04 cs.AI cs.CL cs.CV
Unlocking Multimodal Document Intelligence: From Current Triumphs to Future Frontiers of Visual Document Retrieval
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算);Hong Kong University of Science and Technology(香港科技大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文综述了视觉文档检索领域,探讨了多模态大语言模型时代下的方法演进与挑战,提出未来发展方向。
2026-09-09 cs.CL cs.IR
Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文提出ReT模型,通过基于Transformer的递归单元和LSTM启发的sigmoid门控整合多级视觉与文本特征,支持多模态查询在交错图文文档中检索,在M2KR和M-BEIR基准上达到最先进性能。
2025-03-03 cs.AI cs.CL cs.CV
Multimodal LLMs for OCR, OCR Post-Correction, and Named Entity Recognition in Historical Documents
University of Mannheim(曼海姆大学)
本研究探讨了多模态大语言模型(mLLMs)在历史文档OCR、OCR后纠错及命名实体识别任务中的应用,发现其表现优于传统模型,且无需预处理或微调即可实现高精度转录与结构化数据提取。
2025-04-01 cs.AI cs.CL cs.DL
PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents
M-A-P
针对大型多模态模型在复杂知识任务中的感知与推理错误,提出PIN数据格式,结合Markdown与整体图像构建大规模中英文数据集PIN-200M和PIN-14M,并提供质量信号,为知识密集型LMMs研究奠定基础。
2025-09-09 cs.AI cs.CL cs.CV
DocHop-QA: Towards Multi-Hop Reasoning over Multimodal Document Collections
Pohang University of Science and Technology(釜山科学技术大学);The University of Sydney(悉尼大学);The University of Western Australia(西澳大学);The University of Melbourne(墨尔本大学)
本文提出DocHop-QA基准,通过多模态、多文档、多跳科学问答评估多模态证据综合能力,揭示当前模型在长上下文和多证据需求下的局限性。
2026-09-29 cs.CL
MIDR: Enrichment-Augmented Indexing for Multimodal Document Retrieval
Bloomberg(彭博公司)
本研究提出无需训练的MIDR框架,将多模态推理移至索引时,在多领域文档检索任务中,其性能优于或匹敌现有模型,且索引内存和查询延迟更优。
2026-09-02 cs.AI cs.CL cs.CV
Doc-Researcher: A Unified System for Multimodal Document Parsing and Deep Research
Huawei Technologies Co., Ltd.(华为技术有限公司)
针对现有深度研究系统仅限文本的局限,提出Doc-Researcher统一系统,通过深度多模态解析、系统化检索和迭代多智能体工作流,在首个多模态多跳基准M4DocBench上取得50.6%准确率,较最优基线提升3.4倍。
2025-10-24 cs.CL cs.IR
$G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA
Shanghai Jiao Tong University(上海交通大学);Intelligent Game and Decision Laboratory(智能游戏与决策实验室)
$G^2$-Reader通过双重图式解决多模态文档问答中的结构破坏和检索失效问题,实现66.21%的高准确率。
2026-01-29 cs.CL
Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment
研究多模态文档问答中高效训练后优化问题,提出感知 - RFT 框架,用组相对策略优化绕过推理令牌直接对齐视觉与基础输出,通过构建变体评估推理必要性,发现启用推理模型有优势,还识别基础差异,表明早期转换可减少训练数据并保持精度。
2026-07-17 cs.AI cs.CL cs.LG
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
文档布局包括结构和视觉(例如,字体大小)信息,这些信息是重要的,但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容,而忽略了其他形式的内容,如图像的存在。此外,布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距,我们将文档解析为内容块(例如,文本,表格,图像),并提出了一种新的布局感知的多模态层次框架,LAMPreT,模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码,并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标,其中较低级别的模型与多模态接地模型类似地进行训练,而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议,并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
Hybrid Retriever Evolution for Multimodal Document Reasoning Agents
ServiceNow;University of Washington(华盛顿大学)
提出失败驱动的演化框架,让元代理自动学习任务代理如何协调多种检索器进行多步文档问答,实现自适应检索路由,在MMLongBench-Doc和DocBench上提升高达19.6分。
2026-06-28 cs.AI cs.CL cs.LG
DocLLM: A layout-aware generative language model for multimodal document understanding
JPMorgan AI Research(摩根大通人工智能研究院)
提出轻量级模型DocLLM,通过边界框信息和解耦注意力机制融合文本语义与空间布局,在四项核心文档智能任务中表现优于现有SotA LLM并具备良好泛化能力。
2023-12-31 cs.CL
PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
提出PDF-MVQA数据集和VRD-QA框架,解决以文本为主的多页研究论文中的多模态信息检索与问答问题,增强视觉语言模型对层次化布局的理解。
2024-04-19 cs.CL cs.CV
Multimodal Adaptive Inference for Document Image Classification with Anytime Early Exiting
Microsoft(微软公司);La Rochelle Université(拉罗谢尔大学);KU Leuven(鲁汶大学)
针对视觉丰富文档理解中大型模型计算成本高的问题,提出融合多种训练策略与退出层设计的多模态早退模型,在保持基线准确率的同时将延迟降低逾20%。
2024-05-21 cs.CL cs.CV cs.LG
M$^{3}$D: A Multimodal, Multilingual and Multitask Dataset for Grounded Document-level Information Extraction
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
针对现有数据集忽视视频多模态和细粒度视觉定位的问题,构建了多模态多语言多任务数据集M$^{3}$D,并提出含去噪特征融合与缺失模态构建模块的分层模型,在英中数据集上取得约53.8%的平均性能。
2024-12-15 cs.CL
Benchmarking Retrieval-Augmented Multimodal Generation for Document Question Answering
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出 MMDocRAG 基准,通过 4,055 个多页跨模态问答对和 60 个 VLM/LLM 及 14 个检索系统的大规模实验,揭示多模态证据检索与整合挑战,并发现专有 LVMs 优于开源模型、图像描述可提升微调 LLMs 性能。
2025-11-07 cs.CL cs.CV cs.IR