Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference
Phi Labs(菲实验室);Quantiphi(宽梯斐科技)
本研究提出轻量级多模态模型DRB,基于新基准BudgetDoc实现文档任务中LLM推理预算的动态分配,在降低成本的同时多数情况下达到或优于固定最大预算的性能,具备跨模型泛化潜力。
2026-08-20 cs.AI cs.CL
Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark
Amazon AGI(亚马逊人工智能研究院)
针对长文档理解缺乏基准的问题,提出Document Haystack基准,含5至200页文档及插入的文本/图像“针”,共400变体、8250问题,用于评估VLM检索能力,并展示结果与未来方向。
2025-08-04 cs.AI cs.CL cs.CV
Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine Translation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科泛语科技有限公司)
本文提出M4Doc框架,利用多模态大语言模型将仅图像编码器与多模态表示对齐,使轻量级模型学习视觉-文本关联,推理时绕过MLLM保持高效,显著提升跨域翻译质量。
2025-07-10 cs.AI cs.CL cs.CV
SciMDR: Advancing Scientific Multimodal Document Reasoning
Yale University(耶鲁大学)
本文提出SciMDR数据集,通过合成与重嵌框架生成大规模多模态文档推理数据,提升科学问答任务的复杂度和真实性。
2026-04-29 cs.AI cs.CL cs.CV
DesignQA: A Multimodal Benchmark for Evaluating Large Language Models' Understanding of Engineering Documentation
Massachusetts Institute of Technology(麻省理工学院);Autodesk Research(欧特克研究中心);MIT Motorsports(麻省理工学院赛车队)
本文提出DesignQA基准,通过源自Formula SAE的多模态工程文档数据评估GPT-4o等MLLMs在规则理解、合规与提取方面的能力,揭示了现有模型在检索规则、识别CAD组件及分析工程图纸上的不足,为AI辅助工程设计奠定基础。
2024-08-23 cs.AI cs.CL
PostDoc: Generating Poster from a Long Multimodal Document Using Deep Submodular Optimization
International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);Adobe Research(奥多比研究院);IIT Bombay(印度理工学院孟买分校)
本文提出PostDoc框架,利用深度子模函数从长文档提取多模态内容并确保覆盖、多样性与对齐,结合基于LLM的改写器生成设计模板,实现长文档到海报的自动转换。
2024-05-30 cs.AI cs.CL cs.LG
Structured Attention Matters to Multimodal LLMs in Document Understanding
vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);The University of Queensland(昆士兰大学);University of California, Merced(加州大学默塞德分校)
针对多模态大语言模型在文档理解中输入格式影响性能的问题,提出基于LaTeX范式的保结构编码方法,通过诱导结构化注意力模式减少注意力浪费,无需修改架构或额外训练即可显著提升文档问答性能。
2025-06-19 cs.AI cs.CL cs.IR
Multimodal Approaches for Visually-Rich Document Type Classification: A Comparative Analysis
OTH Regensburg(雷根斯堡应用技术大学)
针对视觉丰富文档类型分类中多模态建模策略难以系统比较的问题,本文在统一实验框架下对基于Transformer和LLM的四种代表性模型进行受控对比,发现专用多模态Transformer优于LLM方法,且图像信息贡献最大。
2026-06-01 cs.AI cs.CL cs.CV
Multimodal Adaptive Inference for Document Image Classification with Anytime Early Exiting
Microsoft(微软公司);La Rochelle Université(拉罗谢尔大学);KU Leuven(鲁汶大学)
针对视觉丰富文档理解中大型模型计算成本高的问题,提出融合多种训练策略与退出层设计的多模态早退模型,在保持基线准确率的同时将延迟降低逾20%。
2024-05-21 cs.CL cs.CV cs.LG
ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction
Xidian University(西安电子科技大学);Shanghai Jiao Tong University(上海交通大学);Alibaba Qwen(阿里巴巴量子计算实验室);Old Dominion University(旧 Dominion 大学)
本文提出ShredBench基准,用于评估多模态大语言模型在文档重建任务中的语义推理能力,发现现有模型在处理破碎文档时存在显著性能差距。
2026-10-28 cs.CL cs.CV
PP-DocBee: Improving Multimodal Document Understanding Through a Bag of Tricks
PaddlePaddle Team, Baidu Inc.(百度公司)
本报告提出 PP-DocBee 多模态大模型,通过数据合成策略与动态采样等训练技巧,在文档图像理解任务上取得 SOTA 性能。
2025-06-26 cs.AI cs.CL cs.CV
mPLUG-DocOwl: Modularized Multimodal Large Language Model for Document Understanding
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出mPLUG-DocOwl,通过构建多任务指令微调数据集并联合训练纯语言、通用视觉-语言和文档任务,增强无OCR文档理解能力,并构建LLMDoc评测集,实验证明其优于现有多模态模型且泛化良好。
2023-07-04 cs.AI cs.CL
Multimodal Document Analytics for Banking Process Automation
Humboldt University of Berlin(柏林洪堡大学)
本研究针对银行文档密集型流程效率问题,通过案例研究证实,引入布局信息的多模态模型 LayoutXLM 相比 BERT 和 GPT 等文本模型能大幅提升文档处理性能,且仅需 30% 训练数据即可达到 75% 以上的 F1 分数,为银行业多模态文档分析提供了实证依据与实践指导。
2023-11-26 cs.AI cs.CL cs.CV
Evaluating Multimodal Large Language Models on Vertically Written Japanese Text
Waseda University(早稻田大学);NII(日本国立信息机构);NII LLMC Tokyo, Japan(日本国立信息机构LLMC东京)
针对现有MLLMs竖排日文处理能力研究不足的问题,构建合成及真实竖排日文评估数据集开展评测,验证了现有模型竖排表现弱于横排,且合成数据集微调可提升模型竖排文本处理能力。
2025-11-19 cs.CL cs.CV
Train a Unified Multimodal Data Quality Classifier with Synthetic Data
UC Santa Barbara(加州大学圣芭芭拉分校);Amazon Stores Foundational AI(亚马逊商店基础人工智能);UC San Diego(加州大学圣地亚哥分校)
针对多模态数据过滤不足的问题,提出用半合成数据训练统一分类器UniFilter,同时筛选标题与交错数据,提升MLLM预训练质量及下游性能。
2025-10-16 cs.CL cs.CV
PDF-WuKong: A Large Multimodal Model for Efficient Long PDF Reading with End-to-End Sparse Sampling
Huazhong University of Science and Technology(华中科技大学);Huawei Inc.(华为公司)
本文提出PDF-WuKong,一种针对长PDF文档的多模态大语言模型,通过端到端稀疏采样提升多模态问答效率,实验表明其在长文档理解任务中优于其他模型,F1得分平均高出8.6%。
2026-04-27 cs.AI cs.CL cs.CV
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
ServiceNow;York University(约克大学);MILA - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);École de technologie supérieure(卓越工程学院)
针对多模态文档检索直接套用纯文本检索技术的局限,提出ColMate模型,结合基于OCR的预训练、自监督掩码对比学习与后期交互评分机制,在ViDoRe V2基准上提升3.61%并增强域外泛化能力。
2025-11-02 cs.CL
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能)
最近,文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能,这表明了跨不同模态联合学习的巨大潜力。在本文中,我们提出了LayoutXLM,这是一个多模态的预训练模型,用于多语言文档理解,旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM,我们还引入了一个名为XFUND的多语言表单理解基准数据集,其中包括7种语言(中文,日语,西班牙语,法语,意大利语,德语,葡萄牙语)的表单理解样本,并为每种语言手动标记键值对。实验结果表明,LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework
DAMO Academy, Alibaba Group(达摩院(阿里巴巴集团));Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文提出多模态超长文档理解基准M-LongDoc及首个直接处理多模态长文档检索设置的训练框架,通过全自动构建语料库微调开源模型,使响应正确性相对提升4.6%。
2024-11-09 cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
BRIDGE是一个针对长多模态文档的多跳推理基准测试,通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
LongFin: A Multimodal Document Understanding Model for Long Financial Domain Documents
Arteria AI
针对现有文档AI模型和数据集无法适配金融领域多页长文档的问题,提出支持4K token编码的多模态模型LongFin及配套LongForms金融数据集,在新数据集上超越现有公开模型,单页基准性能相当。
2024-01-26 cs.CL
VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation
University of Maryland(马里兰大学);Adobe Research(奥多比研究院);IGDTUW(英迪拉·甘地德里技术大学)
针对含视觉丰富元素的多文档问答问题,本文构建VisDoMBench基准,提出融合视觉与文本检索的多模态RAG方法VisDoMRAG,通过多步推理和模态融合机制,在该基准上优于基线12-20%。
2025-02-11 cs.CL
ICDAR2026 Competition on Multimodal Reasoning over Documents in Multiple Domains
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本竞赛通过多领域文档视觉问答任务,评估了多种方法,发现最强系统采用结构化证据提取、检索、验证和多组件编排,而非单次提示。
2026-09-23 cs.CL
$G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA
Shanghai Jiao Tong University(上海交通大学);Intelligent Game and Decision Laboratory(智能游戏与决策实验室)
$G^2$-Reader通过双重图式解决多模态文档问答中的结构破坏和检索失效问题,实现66.21%的高准确率。
2026-01-29 cs.CL
M$^{3}$D: A Multimodal, Multilingual and Multitask Dataset for Grounded Document-level Information Extraction
Wuhan University(武汉大学);National University of Singapore(新加坡国立大学)
针对现有数据集忽视视频多模态和细粒度视觉定位的问题,构建了多模态多语言多任务数据集M$^{3}$D,并提出含去噪特征融合与缺失模态构建模块的分层模型,在英中数据集上取得约53.8%的平均性能。
2024-12-15 cs.CL
GenKIE: Robust Generative Multimodal Document Key Information Extraction
University of Michigan(密歇根大学);National University of Defense Technology(国防科技大学);Zhejiang University(浙江大学);University of Glasgow(格拉斯哥大学)
本文提出GenKIE,一种序列到序列的多模态生成式模型,通过多模态编码器融合视觉、布局和文本特征,并利用提示作为弱监督信号引导关键信息生成,有效纠正OCR错误并免去token级标注,在多数据集上达到SOTA且展现强鲁棒性。
2023-10-24 cs.CL
When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents
Inria Paris(巴黎国家信息与自动化研究所);Sorbonne Université(索邦大学)
提出Scribe Finance基准,评估多模态模型在法语金融文档上的文本、表格、图表及多轮对话理解能力,发现模型在图表和多轮对话中表现脆弱。
2026-06-17 cs.CL
LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents
University of Luxembourg(卢森堡大学);King Fahd University of Petroleum and Minerals(法赫德国王石油矿产大学)
该研究推出LëtzCross基准,对比纯文本与ColPali式页面图像检索器,发现后者表现更优,还明确单语言微调中法语文对卢森堡语查询表现最高、多语言微调中纳入卢森堡语效果最强。
2026-08-25 cs.CL
Multimodal Cross-Document Event Coreference Resolution Using Linear Semantic Transfer and Mixed-Modality Ensembles
Colorado State University(科罗拉多州立大学);University of Colorado, Boulder(科罗拉多大学博尔德分校);Purdue University(普渡大学)
针对跨文档事件共指消解中语言歧义及多模态数据不足问题,提出三种融合图文的消解方法,在增强ECB+数据集上达91.9的CoNLL F1上限并建立AIDA Phase 1新基线。
2024-04-13 cs.CL
Unsupervised Discovery of Multimodal Links in Multi-image, Multi-sentence Documents
Cornell University(康奈尔大学)
图像和文本经常在网络上同时出现,但图像和句子(或其他文档内文本单元)之间的显式链接通常不存在。我们提出了发现图像-句子关系的算法,而不依赖于训练中的显式多模态注释。我们在七个不同难度的数据集上进行了实验,从由众包工作者事后标题的图像组组成的文档到自然发生的用户生成的多模态文档。我们发现,一个结构化的训练目标的基础上,确定是否收集的图像和句子共同出现在文档中,可以足以预测特定的句子和特定的图像之间的链接在同一个文件在测试时间。
2019-08-31 cs.CL cs.CV
MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation
Independent Researcher(独立研究者)
MLDocRAG通过构建多模态片段-查询图,实现多模态长上下文文档的检索增强生成,提升问答的准确性和连贯性。
2026-02-13 cs.CL cs.IR
Self-adaptive Multimodal Retrieval-Augmented Generation
针对传统RAG在多模态任务中检索固定文档导致信息不全或含噪的问题,提出SAM-RAG方法,通过动态过滤相关文档并验证检索与输出质量,在保持高召回率的同时显著提升了多模态任务的检索精度与响应生成表现。
2024-10-15 cs.CL
SDS KoPub VDR: A Benchmark Dataset for Visual Document Retrieval in Korean Public Documents
Samsung SDS, AI Advanced Research Lab(三星SDS AI高级研究实验室)
本文提出首个面向韩国公共文档的大规模视觉文档检索基准SDS KoPub VDR,包含361份真实文档和600个经人工验证的查询-页面-答案三元组,通过纯文本与多模态双任务评估揭示了现有模型在跨模态推理场景中的显著性能差距。
2025-11-10 cs.CL
Sequence-aware multimodal page classification of Brazilian legal documents
Universidade de Brasília(巴西利亚大学)
巴西最高法院每学期收到数万起案件。法院工作人员花费数千小时对这些案件进行初步分析和分类,这使得案件管理工作流程中更复杂的后期阶段的工作量减少。在本文中,我们将探讨从巴西最高法院的文件的多式联运分类。我们训练和评估我们的方法在一个新的多模态数据集的6,510起诉讼(339,478页)与手动注释分配每个页面到六个类之一。每个诉讼都是一个有序的页面序列,这些页面既被存储为图像,又被存储为通过光学字符识别提取的相应文本。我们首先训练两个单峰分类器:在ImageNet上预训练的ResNet在图像上进行微调,并且在文档文本上从头开始训练具有多个内核大小的过滤器的卷积网络。我们使用它们作为视觉和文本特征的提取器,然后通过我们提出的融合模块将其结合起来。我们的融合模块可以通过使用学习到的缺失数据嵌入来处理缺失的文本或视觉输入。此外,我们使用双向长短期记忆(biLSTM)网络和线性链条件随机场进行实验,以模拟页面的顺序性质。多模态方法优于文本和视觉分类器,特别是在利用页面的顺序性时。
2022-07-15 cs.CL
MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
Human-inspired AI Research(人机协同人工智能研究所);Department of Computer Science and Engineering(计算机科学与工程系);School of Software(软件学院)
针对长工业文档结构复杂的问题,提出MultiDocFusion分块流程,结合视觉解析、OCR提取、层次结构重建和DFS分组,提升RAG检索精度和问答质量。
2026-04-14 cs.AI cs.CL
On-Device Document Classification using multimodal features
Samsung R&D Institute India-Bangalore(三星印度班加罗尔研发院)
从小屏幕截图到大视频,文档占据了现代智能手机的大部分空间。手机中的文档可以从各种来源积累,而手机的高存储容量可以在短时间内积累数百个文档。然而,搜索或管理文档仍然是一项繁重的任务,因为大多数搜索方法依赖于元信息或文档中的文本。在本文中,我们展示了一个单一的模态是不够的分类,并提出了一种新的管道来分类设备上的文档,从而防止任何私人用户数据传输到服务器。对于这项任务,我们集成了一个开源库的光学字符识别(OCR)和我们的新模型架构的管道。我们优化了模型的大小,这是设备上推理的必要指标。我们用标准的多模态数据集FOOD-101对我们的分类模型进行基准测试,并展示了与先前最先进的30%模型压缩相比具有竞争力的结果。
2021-01-06 cs.CL cs.CV
3MVRD: Multimodal Multi-task Multi-teacher Visually-Rich Form Document Understanding
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学);Politecnico di Torino(都灵理工大学)
本文提出3MVRD,一种多模态多任务多教师联合粒度知识蒸馏模型,通过token与entity关联及新损失函数优化知识迁移,在表单文档理解任务上显著优于现有基线。
2024-07-26 cs.CL cs.CV
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding
MBZUAI;Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);University of Melbourne(墨尔本大学)
本文综述了多模态检索增强生成在文档理解中的应用,提出基于领域、检索模态和粒度的分类体系,总结了关键数据集、基准测试和行业应用,指出了效率、细粒度表示和鲁棒性等挑战。
2026-04-20 cs.CL cs.CV
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
最近,各种多模态网络的视觉丰富的文档理解(VRDU)已被提出,显示促进Transformers集成视觉和布局信息与文本嵌入。然而,大多数现有的方法利用位置嵌入来合并序列信息,忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中,我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息,从我们的增强XY切割产生的正确的阅读顺序。此外,一个扩展的条件位置编码模块被提出来处理输入序列的可变长度,它另外提取本地布局信息的文本和视觉模态,同时生成位置嵌入。实验结果表明,XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Unlocking Multimodal Document Intelligence: From Current Triumphs to Future Frontiers of Visual Document Retrieval
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算);Hong Kong University of Science and Technology(香港科技大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文综述了视觉文档检索领域,探讨了多模态大语言模型时代下的方法演进与挑战,提出未来发展方向。
2026-09-09 cs.CL cs.IR
CMDR: Contextual Multimodal Document Retrieval
Human Informatics Labs.(人文信息实验室);NTT, Inc.(日本NTT公司)
研究多模态文档检索,提出CMDR-Embed框架联合编码页面纳入文档上下文,引入CMCL对比学习目标训练,实验证明该框架显著优于非上下文嵌入,凸显上下文感知多模态嵌入对文档检索的重要性。
2026-07-08 cs.AI cs.CL cs.CV
MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking
Virginia Tech(弗吉尼亚理工大学)
本文提出MetaSumPerceiver,一种基于动态感知器的多模态多文档摘要模型,利用强化学习蕴含目标生成区分真实性标签的证据摘要,在MOCHEG数据集上比最先进方法提升4.6%,并在新数据集上表现强劲。
2024-09-20 cs.AI cs.CL
IPO-Mine: A Toolkit and Dataset for Section-Structured Analysis of Long, Multimodal IPO Documents
Georgia Institute of Technology(佐治亚理工学院);Sai University(赛大学);Duke University(杜克大学)
本文提出IPO-Mine工具包和数据集,通过标准化解析IPO文件为章节结构化文本和图像,构建大规模多模态数据集,并建立图表评估任务,揭示多模态模型在长文档分析中的对齐挑战。
2026-05-27 cs.AI cs.CL
PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
提出PDF-MVQA数据集和VRD-QA框架,解决以文本为主的多页研究论文中的多模态信息检索与问答问题,增强视觉语言模型对层次化布局的理解。
2024-04-19 cs.CL cs.CV
MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA
Tianjin University(天津大学);Qifu Technology(启福科技);Beihang University(北航);Jiangnan University(江南大学)
提出MARDoc框架,通过解耦为探索、精炼和反思三个智能体,并利用结构化记忆替代完整交互历史,减少上下文噪声,提升多模态长文档问答性能。
2026-06-04 cs.AI cs.CL
ViBERTgrid BiLSTM-CRF: Multimodal Key Information Extraction from Unstructured Financial Documents
Yapı Kredi Technology(亚珀克雷迪科技);Istanbul Technical University(伊斯坦布尔理工大学)
本文提出ViBERTgrid BiLSTM-CRF模型,通过引入BiLSTM-CRF层将多模态Transformer适配于非结构化金融文档,提升了命名实体识别性能并保持了半结构化文档的KIE效果,同时公开了SROIE数据集的token级标注。
2024-09-23 cs.AI cs.CL cs.CV
A Joint Model for Multimodal Document Quality Assessment
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);The University of Melbourne(墨尔本大学)
文档的质量受各种因素的影响,包括语法性、可读性、文体和专业知识深度,使得文档质量评估的任务变得复杂。在本文中,我们将探讨这一任务的背景下,评估维基百科的文章和学术论文的质量。观察到,一个文件的视觉渲染可以捕捉隐含的质量指标,不存在于文档文本-如图像,字体选择,和视觉布局-我们提出了一个联合模型,结合文本内容与视觉渲染的文件,文件质量评估。在两个数据集上的实验结果表明,文本和视觉特征是互补的,达到了最先进的结果。
2019-01-14 cs.AI cs.CL cs.DL
ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
多模态Transformers最近的努力已经通过合并视觉和文本信息来改进视觉丰富文档理解(VrDU)任务。然而,现有的方法主要集中在细粒度的元素,如单词和文档图像补丁,使它们很难从粗粒度的元素,包括自然的词汇单位,如短语和突出的视觉区域,如突出的图像区域学习。在本文中,我们更加重视包含高密度的信息和一致的语义,这是文档理解的价值的粗粒度元素。首先,提出了一个文档图模型的多粒度多模态元素之间的复杂关系,其中显着的视觉区域检测基于聚类的方法。然后,提出了一种称为mmLayout的多粒度多模态Transformer,以将粗粒度信息合并到基于图的现有预训练的细粒度多模态Transformers中。在mmLayout中,粗粒度的信息是从细粒度中聚合出来的,然后经过进一步的处理,再融合回细粒度中进行最终的预测。此外,常识增强被引入到利用自然词汇单位的语义信息。在信息抽取和文档问答等4个任务上的实验结果表明,该方法能够提高基于细粒度元素的多模态Transformers的性能,并且能够以较少的参数获得更好的性能.定性分析表明,我们的方法可以捕获一致的语义在粗粒度的元素。
2022-09-18 cs.AI cs.CL cs.CV
MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering
Key Laboratory of Target Cognition and Application Technology (TCAT), AIRI, CAS(目标认知与应用技术重点实验室(TCAT),空气动力研究所,中国科学院);School of Electronic, Electrical and Communication Engineering, UCAS(电子、电气与通信工程学院,中国科学院大学);Aerospace Information Research Institute, Chinese Academy of Sciences(航天信息研究所,中国科学院);Baidu Inc.(百度公司)
MARA框架通过引入查询自适应机制提升多模态文档检索与生成的精度和质量,实验表明其在多模态问答基准上优于现有最先进方法。
2026-02-01 cs.AI cs.CL cs.IR
Unified Multimodal Interleaved Document Representation for Retrieval
University of North Carolina Chapel Hill(北卡罗来纳大学教堂山分校);KAIST(韩国科学技术院);DeepAuto
本文提出统一多模态交错文档表示方法,通过整合文本、图像和表格信息提升信息检索性能。
2026-01-23 cs.AI cs.CL cs.IR
PP-DocBee2: Improved Baselines with Efficient Data for Multimodal Document Understanding
Baidu Inc.(百度公司)
本报告提出PP-DocBee2,通过数据质量优化、视觉特征融合与推理优化,在中文商业文档基准上提升11.4%性能并降低73.0%延迟。
2025-06-25 cs.AI cs.CL cs.CV
CEMTM: Contextual Embedding-based Multimodal Topic Modeling
本研究提出上下文增强的多模态主题模型CEMTM,利用微调LVLMs的上下文嵌入与分布注意力机制,通过重构目标对齐跨模态语义,无需重复编码处理多图,在六个基准上优于基线,在少样本检索和复杂领域语义捕捉上表现出色。
2025-10-05 cs.CL cs.LG
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
文档布局包括结构和视觉(例如,字体大小)信息,这些信息是重要的,但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容,而忽略了其他形式的内容,如图像的存在。此外,布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距,我们将文档解析为内容块(例如,文本,表格,图像),并提出了一种新的布局感知的多模态层次框架,LAMPreT,模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码,并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标,其中较低级别的模型与多模态接地模型类似地进行训练,而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议,并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
UNIKIE-BENCH: Benchmarking Large Multimodal Models for Key Information Extraction in Visual Documents
School of Computer Science and Engineering, Northeastern University, Shenyang, China(东北大学计算机科学与工程学院);Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系);Alibaba Group, Hangzhou, China(阿里巴巴集团)
本文提出UNIKIE-BENCH基准,用于评估大型多模态模型在视觉文档关键信息提取中的性能,揭示了不同场景下模型的性能差异及挑战。
2026-04-24 cs.CL cs.CV