HW-MLVQA: Elucidating Multilingual Handwritten Document Understanding with a Comprehensive VQA Benchmark
本文提出HW-MLVQA基准,包含1,600页手写文档和2,400个问答对,通过文本、图像及图文融合三种模态评估多语言手写文档理解能力,并支持对专有和开源OCR模型的严格评测。
2025-07-21 cs.CV
M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Bloomberg(彭博公司)
提出M3DocRAG多模态RAG框架,结合多模态检索器与MLM处理多页多文档视觉问答,并构建M3DocVQA基准,在三个基准上取得领先性能,尤其MP-DocVQA达到最先进水平。
2024-11-07 cs.AI cs.CL cs.CV
Vision Grid Transformer for Document Layout Analysis
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
提出VGT双流视觉网格Transformer,结合预训练网格Transformer,在文档版面分析任务上取得新最先进结果,并发布D$^4$LA数据集。
2023-08-29 cs.CV
VSR: A Unified Framework for Document Layout Analysis combining Vision, Semantics and Relations
Hikvision Research Institute(海康威视研究院);Zhejiang University(浙江大学)
文档布局分析对于理解文档结构至关重要。在这个任务中,文档的视觉和语义以及布局组件之间的关系有助于理解过程。虽然已经提出了许多工作来利用上述信息,他们表现出不令人满意的结果。基于NLP的方法将布局分析建模为序列标记任务,并且在布局建模中显示出不足的能力。基于CV的方法将版面分析建模为检测或分割任务,但具有模态融合效率低和缺乏版面组件之间关系建模的局限性。为了解决上述局限性,我们提出了一个统一的框架VSR的文档布局分析,结合视觉,语义和关系。VSR支持基于NLP和基于CV的方法。具体来说,我们首先通过文档图像引入视觉,通过文本嵌入映射引入语义。然后,模态特定的视觉和语义特征提取使用双流网络,这是自适应融合,充分利用互补信息。最后,在给定候选构件的情况下,构造了一个基于图神经网络的关系模型,对构件之间的关系进行建模,并输出最终结果。在三个流行的基准测试中,VSR的性能大大优于以前的模型。代码将很快发布。
2021-05-13 cs.CV
SimpleDoc: Multi-Modal Document Understanding with Dual-Cue Page Retrieval and Iterative Refinement
Oregon State University(俄勒冈州立大学);Pennsylvania State University(宾夕法尼亚州立大学);AG2AI, Inc.(AG2AI公司);Johnson & Johnson(强生公司)
针对多模态文档视觉问答任务,提出轻量检索增强框架SimpleDoc,采用嵌入相似度加页面摘要的双线索检索与迭代拉取页面的机制,在4个数据集上平均超基线3.2%且检索页面更少。
2025-06-16 cs.AI cs.CV
StrucTexTv2: Masked Visual-Textual Prediction for Document Image Pre-training
Baidu Inc.(百度公司)
在本文中,我们提出了StructTextTv 2,一个有效的文档图像预训练框架,通过执行掩蔽的视觉-文本预测。它包括两个自监督的预训练任务:掩码图像建模和掩码语言建模,基于文本区域级图像掩蔽。该方法根据文本词的限界框坐标随机屏蔽部分图像区域。我们的预训练任务的目标是同时重建掩蔽图像区域的像素和相应的掩蔽标记。因此,与通常预测掩蔽图像块的掩码图像建模相比,预先训练的编码器可以捕获更多的文本语义。与依赖于图像和文本模态的用于文档图像理解的掩码多模态建模方法相比,StructTexTv 2仅对图像输入进行建模,并可能处理更多无需OCR预处理的应用场景。在文档图像理解的主流基准测试上的大量实验证明了StructTexTv 2的有效性。它在端到端场景下的图像分类、版面分析、表格结构识别、文档OCR、信息抽取等各种下游任务中实现了具有竞争力甚至是新的最先进的性能。
2023-03-01 cs.CV
Robustness Evaluation of OCR-based Visual Document Understanding under Multi-Modal Adversarial Attacks
VinUniversity Hanoi(河内Vin大学)
本文提出首个统一框架,生成并评估针对OCR视觉文档理解模型的多模态对抗攻击,实验表明行级攻击和复合扰动导致最严重性能下降。
2025-06-19 cs.AI cs.CV
Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University(上海交通大学)
提出多模态预训练网络 WebLM,通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务,提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning
National University of Singapore(新加坡国立大学);Microsoft Gen AI(微软生成式人工智能部门);Central South University(中南大学)
本研究提出VisInContext方法,通过视觉词元处理长上下文文本,在几乎不增加计算成本下将56亿参数MOE模型的上下文长度从256扩展至2048,显著提升少样本评估及文档理解性能。
2024-06-04 cs.CV
Bi-VLDoc: Bidirectional Vision-Language Modeling for Visually-Rich Document Understanding
Alibaba Group(阿里巴巴集团);School of Electronic and Information Engineering(电子与信息工程学院);South China University of Technology(华南理工大学)
针对视觉丰富文档理解中视觉-语言交互建模不足的问题,提出双向视觉-语言监督与混合注意力机制的预训练范式Bi-VLDoc,在表单理解、收据信息抽取和文档分类等基准上显著超越现有最先进方法。
2025-06-18 cs.CL cs.CV cs.MM
Evaluating VisualRAG: Quantifying Cross-Modal Performance in Enterprise Document Understanding
Amazon(亚马逊)
本文提出系统定量基准框架评估企业VisualRAG系统跨模态输入可信度,发现最优模态权重使性能较纯文本基线提升57.3%,并揭示基础模型对说明生成与OCR提取可信度的差异化影响。
2025-06-19 cs.AI cs.CV cs.HC
Unifying Vision, Text, and Layout for Universal Document Processing
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Microsoft Azure Cognitive Services Research(微软Azure认知服务研究院);Microsoft Azure Visual Document Intelligence(微软Azure视觉文档智能部门)
我们提出了通用文档处理(UDOP),这是一个基础文档AI模型,它将文本,图像和布局模式与各种任务格式结合在一起,包括文档理解和生成。UDOP利用文本内容和文档图像之间的空间相关性,用一个统一的表示来建模图像、文本和布局模态。通过一种新颖的视觉文本布局Transformer,UDOP将预训练和多域下游任务统一到基于序列的序列生成方案中。UDOP使用创新的自监督目标和不同的标记数据在大规模未标记文档语料库上进行预训练。UDOP还通过掩码图像重建从文本和布局模态中学习生成文档图像。据我们所知,这是文档人工智能领域首次实现一个模型同时实现高质量的神经文档编辑和内容定制。我们的方法在8个文档AI任务上设置了最先进的技术,例如,文档理解和QA,跨财务报告、学术论文和网站等不同数据领域。UDOP在文档理解基准排行榜上排名第一。
2023-03-13 cs.AI cs.CL cs.CV
SelfDoc: Self-Supervised Document Representation Learning
Brandeis University(布兰迪斯大学);Adobe Research(Adobe研究院)
我们提出了SelfDoc,一个与任务无关的文档图像理解预训练框架。因为文档是多模态的,并且是用于顺序阅读的,所以我们的框架利用了文档中每个语义有意义的组件的位置、文本和视觉信息,并且它对每个内容块之间的上下文化进行建模。与现有的文档预训练模型不同,我们的模型是粗粒度的,而不是将单个单词作为输入,因此避免了过度的细粒度和过度的上下文化。除此之外,我们在模型预训练阶段引入了跨模态学习,以充分利用来自未标记文档的多模态信息。对于下游的使用,我们提出了一种新的模态自适应注意力机制的多模态特征融合,自适应强调语言和视觉信号。我们的框架受益于对文档的自我监督预训练,而不需要通过特征掩蔽训练策略进行注释。它在多个下游任务上实现了卓越的性能,与以前的作品相比,在预训练阶段使用的文档图像明显减少。
2021-06-07 cs.CL cs.CV
DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));EvenUp
本文提出DocPilot智能体文档框架,通过页面级导航等编排证据搜索,结合课程式智能体训练,在多数据集上实现显著性能提升,小型版本也具竞争力,展现出有效性与泛化性。
2026-10-16 cs.AI cs.CL cs.CV
DocFormerv2: Local Features for Document Understanding
AWS AI Labs(AWS人工智能实验室);School of Computing at University of Utah(犹他大学计算学院)
本文提出多模态编码器-解码器 transformer DocFormerv2,通过非对称无监督预训练促进视觉、语言与空间特征的局部对齐,并在九个文档数据集及场景文本 VQA 任务上取得先进结果。
2023-06-02 cs.CL cs.CV cs.LG
MGDoc: Pre-training with Multi-granular Hierarchy for Document Image Understanding
University of California, San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究院)
文档图像是无处不在的数据源,其中文本被组织在复杂的分层结构中,字),中等粒度(例如,诸如段落或图的区域),到粗粒度(例如,整页)。不同粒度级别的内容之间的空间层次关系对于文档图像理解任务至关重要。现有的方法从词级或区域级学习特征,但不能同时考虑两者。词级模型的局限性在于它们源自纯文本语言模型,纯文本模型只对词级上下文进行编码。相比之下,区域级模型试图将对应于段落或文本块的区域编码到单个嵌入中,但它们在附加单词级特征的情况下表现更差。为了解决这些问题,我们提出了MGDoc,一个新的多模式多粒度预训练框架,同时编码页面级,区域级和单词级信息。MGDoc使用统一的文本-视觉编码器来获得不同粒度的多模态特征,这使得将多粒度特征投影到同一超空间成为可能。为了对区域-单词相关性进行建模,我们为我们的模型设计了一个跨粒度的注意力机制和特定的预训练任务,以加强学习区域和单词之间的层次结构的模型。实验表明,我们提出的模型可以学习更好的功能,在粒度上表现良好,并导致下游任务的改进。
2022-11-27 cs.CV
TelcoAI: Advancing 3GPP Technical Specification Search through Agentic Multi-Modal Retrieval-Augmented Generation
Generative AI Innovation Center, Amazon Web Services (AWS)(生成式AI创新中心,亚马逊网络服务)
TelcoAI通过代理多模态检索增强生成技术,提升3GPP技术规范搜索的准确性和效率,实现87%的召回率和16%的性能提升。
2025-11-17 cs.AI cs.CL cs.CV
SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题,引入SynthDocBench基准测试,通过组合设计控制多因素,端到端生成多样长文档,评估模型发现三种现有基准未暴露的失败模式,揭示模型或过度拟合基准工件。
2026-07-14 cs.AI cs.CV
LIGHT: Multi-Modal Text Linking on Historical Maps
University of Minnesota(明尼苏达大学);Grinnell College(格林内尔学院)
提出多模态方法 LIGHT,融合几何、图像和语言特征解决历史地图文本链接问题,在 ICDAR 2024/2025 MapText 数据上优于现有方法。
2025-07-11 cs.CV
Information Extraction from Unstructured data using Augmented-AI and Computer Vision
Department of Electronics and Telecommunication Engineering(电子与电信工程系);Vishwakarma Institute of Technology(维斯瓦克arma技术学院)
本文提出融合Augmented Intelligence(A2I)、计算机视觉与NLP的信息提取框架,利用深度学习目标检测和云服务提升多格式复杂文档的结构化提取效果。
2025-07-25 cs.CV
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding
MBZUAI;Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);University of Melbourne(墨尔本大学)
本文综述了多模态检索增强生成在文档理解中的应用,提出基于领域、检索模态和粒度的分类体系,总结了关键数据集、基准测试和行业应用,指出了效率、细粒度表示和鲁棒性等挑战。
2026-04-20 cs.CL cs.CV
FormNetV2: Multimodal Graph Contrastive Learning for Form Document Information Extraction
Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
针对表单文档理解现有多模态预训练方法调优复杂、需额外数据的问题,提出FormNetV2集中式多模态图对比学习框架,用统一损失实现多模态自监督预训练,结合边界框图像特征提取,以更紧凑的模型在多个基准上取得SOTA性能。
2023-06-13 cs.CL cs.CV cs.LG
Robustness of Structured Data Extraction from Perspectively Distorted Documents
本研究探讨了透视变形对多模态LLMs提取文档数据准确性的影响,发现结构识别准确性显著下降,但可通过旋转校正提升。
2025-11-18 cs.CL cs.CV cs.LG
Read and Think: An Efficient Step-wise Multimodal Language Model for Document Understanding and Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
针对现有文档理解模型缺乏逐步推理能力与可解释性的问题,本研究通过MLLM生成逐步问答对、LLM过滤噪声的流水线构建合成数据,训练出专门处理复杂推理问题的DocAssistant模型,在InfoVQA和ChartQA基准上分别取得5和7个点的性能提升。
2024-08-14 cs.AI cs.CV cs.IR
LAPDoc: Layout-Aware Prompting for Documents
RheinMain University of Applied Sciences(莱茵美茵应用科学大学);Insiders Technologies GmbH(Insiders科技有限公司);National University of Sciences and Technology(国家科技大学)
本文提出LAPDoc,通过直接插入式修改和基于规则的方法将布局信息融入纯文本LLM提示,在标准文档基准上性能提升高达15%,为文档理解任务提供了模型选择依据。
2024-02-15 cs.CL cs.CV cs.LG
Unified Pretraining Framework for Document Understanding
Adobe Research(奥多比研究院);Adobe Document Cloud(奥多比文档云)
文档智能可自动从文档中提取信息,并支持许多业务应用程序。最近的自监督学习方法在大规模的未标记的文档数据集开辟了有前途的方向,减少注释工作的训练模型与自我监督的目标。然而,大多数现有的文档预训练方法仍然是语言主导的。我们提出了UDoc,一个新的统一的文档理解的预训练框架。UDoc旨在支持大多数文档理解任务,扩展了Transformer以将多模态嵌入作为输入。每个输入元素由来自输入文档图像的语义区域的单词和视觉特征组成。UDoc的一个重要特征是它通过使用三个自我监督损失来学习通用表示,鼓励表示建模句子,学习相似性和对齐模态。大量的实证分析表明,预训练过程学习更好的联合表示,并导致下游任务的改进。
2022-04-28 cs.CL cs.CV
On-Device Document Classification using multimodal features
Samsung R&D Institute India-Bangalore(三星印度班加罗尔研发院)
从小屏幕截图到大视频,文档占据了现代智能手机的大部分空间。手机中的文档可以从各种来源积累,而手机的高存储容量可以在短时间内积累数百个文档。然而,搜索或管理文档仍然是一项繁重的任务,因为大多数搜索方法依赖于元信息或文档中的文本。在本文中,我们展示了一个单一的模态是不够的分类,并提出了一种新的管道来分类设备上的文档,从而防止任何私人用户数据传输到服务器。对于这项任务,我们集成了一个开源库的光学字符识别(OCR)和我们的新模型架构的管道。我们优化了模型的大小,这是设备上推理的必要指标。我们用标准的多模态数据集FOOD-101对我们的分类模型进行基准测试,并展示了与先前最先进的30%模型压缩相比具有竞争力的结果。
2021-01-06 cs.CL cs.CV
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
最近,各种多模态网络的视觉丰富的文档理解(VRDU)已被提出,显示促进Transformers集成视觉和布局信息与文本嵌入。然而,大多数现有的方法利用位置嵌入来合并序列信息,忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中,我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息,从我们的增强XY切割产生的正确的阅读顺序。此外,一个扩展的条件位置编码模块被提出来处理输入序列的可变长度,它另外提取本地布局信息的文本和视觉模态,同时生成位置嵌入。实验结果表明,XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
VLCDoC: Vision-Language Contrastive Pre-Training Model for Cross-Modal Document Classification
La Rochelle University(拉罗谢尔大学);AllRead MLT;Universitat Autonoma de Barcelona(巴塞罗那自治大学)
本文提出VLCDoC,一种基于视觉-语言对比学习的跨模态文档分类预训练模型,通过模态内与模态间注意力流学习语义表示,并在公开数据集上验证了其有效性与通用性。
2023-05-11 cs.CV
Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark
Amazon AGI(亚马逊人工智能研究院)
针对长文档理解缺乏基准的问题,提出Document Haystack基准,含5至200页文档及插入的文本/图像“针”,共400变体、8250问题,用于评估VLM检索能力,并展示结果与未来方向。
2025-08-04 cs.AI cs.CL cs.CV
Multi-modal Document Presentation Attack Detection With Forensics Trace Disentanglement
本文提出基于多模态解耦痕迹的文档呈现攻击检测方法MMDT,通过自监督解耦翻拍痕迹并在Transformer中融合RGB与痕迹模态,在三个基准数据集上验证了其优越性。
2024-04-10 cs.CV
DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models
KAIST AI(韩国科学技术院人工智能学院);AWS AI Labs(亚马逊云科技人工智能实验室)
针对直接用LLM蒸馏知识提升小型视觉文档理解模型泛化性效果不佳的问题,提出整合外部文档知识的DocKD框架,生成的标注质量更高,训练出的模型域外表现显著优于人工标注数据训练的模型。
2024-10-04 cs.CL cs.CV
Towards Flexible Multi-modal Document Models
CyberAgent(赛博代理公司);Waseda University(早稻田大学)
本文提出FlexDM模型,将矢量图形文档视为多模态元素集,通过统一架构、多任务学习与领域内预训练联合解决多种设计任务,性能媲美高成本基线。
2023-03-31 cs.CV
Metaknowledge Extraction Based on Multi-Modal Documents
Southeast University(东南大学);Naval University of Engineering(海军工程大学)
大规模知识库中的三元知识往往缺乏结构逻辑,难以进行知识分层。本文将元知识的概念引入知识工程研究,以实现知识结构化。为此,提出了元知识抽取框架和文档结构树模型,用于抽取和组织元知识元素(标题、作者、摘要、章节、段落等),从而从多模态文档中提取结构化知识是可行的。实验结果证明了该框架对元知识元素抽取的有效性。最后,提出并分析了元知识应用的任务流程以及知识与元知识之间的关联。
2021-02-05 cs.CV
GlobalDoc: A Cross-Modal Vision-Language Framework for Real-World Document Image Retrieval and Classification
La Rochelle Université(拉罗谢尔大学);Université Sorbonne Paris Nord(巴黎北索邦大学);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);AllRead Machine Learning Technologies(AllRead机器学习技术公司)
GlobalDoc提出一种自监督跨模态Transformer框架,通过三个新颖预训练任务统一语言与视觉表示,解决真实工业场景中OCR依赖和泛化性问题,并在少样本文档分类与检索任务上验证有效性。
2024-11-05 cs.CV
DocGenome: An Open Large-scale Scientific Document Benchmark for Training and Testing Multi-modal Large Language Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
针对大模型在多页科学文档提取理解及图表公式处理上的不足,研究团队构建了涵盖153个学科50万份文档的多模态结构化基准DocGenome,具备完整、逻辑、多样、准确四大特征,可用于评估和训练大模型。
2024-09-11 cs.CV
Hierarchical Multi-modal Transformer for Cross-modal Long Document Classification
Beijing University of Technology(北京工业大学);The University of Sydney(悉尼大学)
针对长文档多模态数据利用不足、层级结构文本与嵌入图像分类难的问题,提出分层多模态Transformer HMT,通过分层特征交互融合及动态掩码转移模块建模多模态关系,在四类数据集上性能优于现有单/多模态方法。
2024-07-14 cs.AI cs.CV
EAML: Ensemble Self-Attention-based Mutual Learning Network for Document Image Classification
University of La Rochelle(拉罗谢尔大学);AllRead Machine Learning Technologies(AllRead机器学习技术公司)
本文提出EAML网络,结合自注意力融合模块与互学习正则化,同时学习图像和文本特征,在文档图像分类基准上超越现有方法。
2023-05-11 cs.CV
Towards Cross-modal Retrieval in Chinese Cultural Heritage Documents: Dataset and Solution
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);NingboTech University(宁波科技大学);Zhejiang University(浙江大学)
本文针对中国文化遗产跨模态检索缺乏专用数据集及局部对齐困难的问题,提出包含5726个图文对的CulTi数据集和基于Chinese-CLIP的免训练局部对齐策略LACLIP,显著提升了细粒度语义关联的检索性能。
2025-07-19 cs.CV
Spatial Dual-Modality Graph Reasoning for Key Information Extraction
SenseTime Research(商汤科技研究院);School of Cyber Science and Engineering, Xi’an Jiaotong University(西安交通大学网络空间安全学院)
从文档图像中提取关键信息抽取是办公自动化中的一个重要问题。传统的基于模板匹配的方法不能很好地推广到不可见模板的文档图像,并且对文本识别错误不鲁棒。本文提出了一种端到端的空间双模图推理方法(SDMG-R),用于从非结构化文档图像中提取关键信息。我们将文档图像建模为双模态图,其节点编码检测到的文本区域的视觉和文本特征,其边缘表示相邻文本区域之间的空间关系。通过沿图边迭代传播消息并推理图节点的类别来解决关键信息抽取问题。为了全面评估我们提出的方法,以及促进未来的研究,我们发布了一个新的数据集名为WildReceiving,这是收集和注释定制的关键信息抽取从文档图像中看不见的模板在野外的评估。它包含25个关键信息类别,总共约69000个文本框,比现有的公共数据集大约2倍。大量的实验证明,所有的信息,包括视觉特征,文本特征和空间关系,可以帮助关键信息抽取。它已被证明,SDMG-R可以有效地提取关键信息的文档图像看不见的模板,并获得新的国家的最先进的结果,最近流行的基准SROIE和我们的WildReceiving。我们的代码和数据集将公开发布。
2021-03-26 cs.CV
Marten: Visual Question Answering with Mask Generation for Multi-modal Document Understanding
Meituan(美团);Shanghai Jiao Tong University(上海交通大学);Beijing Institute of Technology(北京理工大学)
本文提出 VQAMask 预训练任务与 MTMask6M 数据集,通过文本解析和可丢弃掩码生成器实现语义及空间对齐,并构建训练高效的文档理解 MLLM Marten。
2025-03-18 cs.CV
Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents
Show Lab, National University of Singapore(新加坡国立大学展示实验室);Central South University(中南大学);Microsoft(微软公司)
针对现有对比视觉语言模型处理复杂Web文档能力有限的问题,提出以视觉为中心的统一对比学习框架VC2L,通过像素空间渲染和片段级对比学习实现多模态建模,在多个基准上取得优于或媲美CLIP类模型的性能。
2025-10-21 cs.CV
SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion
IBM Research(IBM研究院);HuggingFace
本文提出 256M 参数的 SmolDocling,通过生成 DocTags 实现端到端文档转换,并贡献多类公开数据集,性能可媲美最高大 27 倍的视觉语言模型。
2025-03-14 cs.CV
TRIE++: Towards End-to-End Information Extraction from Visually Rich Documents
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院)
最近,从视觉丰富的文档(例如,门票和简历)由于其广泛的商业价值而成为热门和重要的研究课题。大多数现有的方法将此任务分为两个子部分:文本读取部分,用于从原始文档图像中获取纯文本;信息抽取部分,用于提取关键内容。这些方法主要侧重于改善第二部分,而忽略了这两个部分是高度相关的。本文提出了一个统一的端到端的信息抽取框架,从视觉丰富的文件,文本阅读和信息抽取可以加强通过一个精心设计的多模态上下文块。具体而言,文本阅读部分提供多模态特征,如视觉、文本和布局特征。开发多模态上下文块以融合所生成的多模态特征,甚至融合来自预训练的语言模型的先验知识,以更好地进行语义表示。信息抽取部分负责生成融合了上下文特征的关键内容。该框架可以以端到端的可训练方式进行训练,实现全局优化。更重要的是,我们定义和组视觉丰富的文档分为四个类别,跨越两个维度,布局和文本类型。对于每一个文献类别,我们都提供或推荐了相应的基准、实验设置和强基线,以弥补该研究领域缺乏统一评价标准的问题。在四种基准测试(从固定布局到可变布局,从全结构化文本到半非结构化文本)上的实验结果表明了该方法的有效性。数据,源代码和模型都是可用的。
2022-07-14 cs.CV
VAREX: A Benchmark for Multi-Modal Structured Extraction from Documents
IBM Research(IBM研究院)
VAREX基准通过四类输入模态评估多模态基础模型在政府表格结构数据提取中的性能,揭示参数规模、输入格式对提取准确率的影响,强调结构合规性是关键瓶颈。
2026-04-09 cs.CV
Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language Models
South China Normal University(华南师范大学);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Shenzhen Academy of Inspection and Quarantine(深圳检验检疫局);Shenzhen University(深圳大学)
针对多模态大语言模型(MLLMs)文档图像质量评估(DIQA)能力未被充分探索的问题,提出三层评估框架Q-Doc,发现MLLMs存在相关局限性,且思维链(CoT)提示可显著提升其性能,为该领域提供基准与改进方向。
2025-11-14 cs.CV
ViBERTgrid: A Jointly Trained Multi-Modal 2D Document Representation for Key Information Extraction from Documents
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
最近的基于网格的文档表示,如BERTgrid,允许在2D特征图中同时编码文档的文本和布局信息,以便可以直接利用最先进的图像分割和/或目标检测模型来从文档中提取关键信息。然而,这样的方法还没有达到与现有技术的基于序列和基于图的方法(诸如LayoutLM和PICK)相当的性能。在本文中,我们提出了一种新的多模态骨干网络连接BERTgrid到一个CNN模型的中间层,其中CNN的输入是一个文档图像和BERTgrid是一个网格的词嵌入,生成一个更强大的基于网格的文档表示,命名为ViBERTgrid。与BERTgrid不同,我们的多模态骨干网络中的BERT和CNN的参数是联合训练的。我们的实验结果表明,这种联合训练策略显着提高了表示能力的ViBERTgrid。因此,我们的基于ViBERTgrid的关键信息抽取方法在现实世界的数据集上实现了最先进的性能。
2021-05-25 cs.CL cs.CV cs.LG
Can Multi-modal (reasoning) LLMs detect document manipulation?
Duke University(杜克大学);Indian Institute of Technology, Roorkee(印度理工学院,罗尔基);New York University(纽约大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Columnbia University(哥伦比亚大学)
本文系统评估了多种多模态大语言模型在文档欺诈检测上的表现,发现顶尖模型具备较强的零样本泛化能力,但模型规模与推理能力并非决定性因素,任务特定微调更为关键。
2026-10-27 cs.CL cs.CV
Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine Translation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科泛语科技有限公司)
本文提出M4Doc框架,利用多模态大语言模型将仅图像编码器与多模态表示对齐,使轻量级模型学习视觉-文本关联,推理时绕过MLLM保持高效,显著提升跨域翻译质量。
2025-07-10 cs.AI cs.CL cs.CV
Unveil: Unified Visual-Textual Integration and Distillation for Multi-modal Document Retrieval
State Key Laboratory of General Artificial Intelligence, Peking University(北京理工大学通用人工智能国家重点实验室);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空航天信息研究所);Key Laboratory of Target Cognition and Application Technology(目标认知与应用技术重点实验室);Beijing Institute of Technology(北京理工大学);Ucap Cloud(Ucap云)
提出Unveil框架,通过视觉-文本嵌入和知识蒸馏实现鲁棒的文档检索,兼顾布局与语义信息。
2026-05-23 cs.CL cs.CV
DocVideoQA: Towards Comprehensive Understanding of Document-Centric Videos through Question Answering
Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
针对文档类教学视频多模态理解研究不足的问题,本文提出DocVideoQA任务与含1454条视频、15.4万问答对的数据集,并提出DV-LLaMA基线模型,通过指令微调和对比学习提升性能,效果优于现有模型。
2025-03-20 cs.CV
LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
自我监督的预训练技术在文档AI中取得了显着进展。大多数多模态预训练模型使用掩蔽语言建模目标来学习文本模态的双向表示,但它们在图像模态的预训练目标上有所不同。这种差异增加了多模态表示学习的难度。在本文中,我们提出了\textbf{LayoutLMv3}来预训练多模态Transformers,用于具有统一文本和图像掩蔽的文档AI。此外,LayoutLMv3使用单词补丁对齐目标进行预训练,以通过预测文本单词的相应图像补丁是否被掩蔽来学习跨模态对齐。简单的统一架构和训练目标使LayoutLMv3成为以文本为中心和以图像为中心的文档AI任务的通用预训练模型。实验结果表明,LayoutLMv3不仅在以文本为中心的任务(包括表单理解、收据理解和文档视觉问答)中实现了最先进的性能,而且在以图像为中心的任务(如文档图像分类和文档布局分析)中也实现了最先进的性能。代码和模型可在\url{https://aka.ms/layoutlmv3}上公开获得。
2022-07-19 cs.CL cs.CV
Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出基于自注意力评分机制的多页文档视觉问答方法,利用Pix2Struct编码器检索相关页面,无需OCR即可在近800页文档上保持最先进性能,并显著降低GPU资源需求。
2024-04-29 cs.CV
VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents
Tsinghua University(清华大学);ModelBest Inc.(模贝斯特公司);Rice University(莱斯大学);Northeastern University(东北大学)
本文提出VisRAG,一种基于视觉语言模型(VLM)的RAG管道,直接将文档作为图像嵌入和检索,避免了传统文本解析的信息丢失,在多模态文档检索和生成上比传统方法提升20-40%。
2025-03-02 cs.AI cs.CL cs.CV