REAL-MM-RAG: A Real-World Multi-Modal Retrieval Benchmark
IBM Research Israel(IBM研究院以色列分部);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出真实世界多模态检索基准 REAL-MM-RAG,并通过查询改写评估语义能力,结合金融表格密集数据集微调实现最先进性能。
2025-02-17 cs.CV cs.IR
Collaborative Quantization for Cross-Modal Similarity Search
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
跨模态相似性搜索是关于设计支持跨内容模态查询的搜索系统的问题,使用图像来搜索文本或使用文本来搜索图像。本文提出了一种紧凑的编码解决方案,有效的搜索,重点是量化的方法,已经显示出优越的性能比散列解决方案在单模态相似性搜索。我们提出了一个跨模态的量化方法,这是早期的尝试,引入量化到跨模态搜索。主要贡献在于通过对齐属于文档的每对图像和文本的量化表示来联合学习两种模式的量化器。此外,我们的方法同时学习两种模态的公共空间,其中进行量化,以使用在公共空间中计算的欧几里得距离进行快速距离查表,从而实现高效和有效的搜索。在三个基准数据集上与几种竞争算法的实验结果表明,该方法达到了最先进的性能。
2019-02-02 cs.CV
HRDoc: Dataset and Baseline Method Toward Hierarchical Reconstruction of Document Structures
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(科大讯飞研究院)
文档结构重构问题是指将数字文档或扫描文档转换成相应的语义结构。现有的工作主要集中在单个文档页面中各个元素的边界分割,而忽略了多页面文档中语义结构的重构。本文介绍了一种新的任务,适合自然语言处理和CV领域的文档结构的层次重建。为了更好地评估系统在新任务上的性能,我们构建了一个名为HRDoc的大规模数据集,该数据集由2,500个多页文档组成,具有近200万个语义单元。HRDoc中的每个文档都有行级注释,包括从基于规则的提取器和人工注释器获得的类别和关系。此外,我们提出了一个基于编码器-解码器的分层文档结构解析系统(DSPS)来解决这个问题。通过采用多模态双向编码器和具有软掩模操作的结构感知GRU解码器,DSPS模型大大超过基线方法。所有脚本和数据集将在https://github.com/jfma-USTC/HRDoc上公开提供。
2023-03-24 cs.CL cs.CV
VLCDoC: Vision-Language Contrastive Pre-Training Model for Cross-Modal Document Classification
La Rochelle University(拉罗谢尔大学);AllRead MLT;Universitat Autonoma de Barcelona(巴塞罗那自治大学)
本文提出VLCDoC,一种基于视觉-语言对比学习的跨模态文档分类预训练模型,通过模态内与模态间注意力流学习语义表示,并在公开数据集上验证了其有效性与通用性。
2023-05-11 cs.CV
Multi-modal Document Presentation Attack Detection With Forensics Trace Disentanglement
本文提出基于多模态解耦痕迹的文档呈现攻击检测方法MMDT,通过自监督解耦翻拍痕迹并在Transformer中融合RGB与痕迹模态,在三个基准数据集上验证了其优越性。
2024-04-10 cs.CV
SciMDR: Advancing Scientific Multimodal Document Reasoning
Yale University(耶鲁大学)
本文提出SciMDR数据集,通过合成与重嵌框架生成大规模多模态文档推理数据,提升科学问答任务的复杂度和真实性。
2026-04-29 cs.AI cs.CL cs.CV
LayoutMask: Enhance Text-Layout Interaction in Multi-modal Pre-training for Document Understanding
Ant Group(蚂蚁集团)
针对视觉富文档理解中多模态融合的挑战,本文提出预训练模型LayoutMask,采用局部1D位置输入与两项掩码预训练任务增强文本-布局交互,在多类VrDU任务上取得最优性能。
2023-06-09 cs.CV
Towards Flexible Multi-modal Document Models
CyberAgent(赛博代理公司);Waseda University(早稻田大学)
本文提出FlexDM模型,将矢量图形文档视为多模态元素集,通过统一架构、多任务学习与领域内预训练联合解决多种设计任务,性能媲美高成本基线。
2023-03-31 cs.CV
Metaknowledge Extraction Based on Multi-Modal Documents
Southeast University(东南大学);Naval University of Engineering(海军工程大学)
大规模知识库中的三元知识往往缺乏结构逻辑,难以进行知识分层。本文将元知识的概念引入知识工程研究,以实现知识结构化。为此,提出了元知识抽取框架和文档结构树模型,用于抽取和组织元知识元素(标题、作者、摘要、章节、段落等),从而从多模态文档中提取结构化知识是可行的。实验结果证明了该框架对元知识元素抽取的有效性。最后,提出并分析了元知识应用的任务流程以及知识与元知识之间的关联。
2021-02-05 cs.CV
GlobalDoc: A Cross-Modal Vision-Language Framework for Real-World Document Image Retrieval and Classification
La Rochelle Université(拉罗谢尔大学);Université Sorbonne Paris Nord(巴黎北索邦大学);Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);AllRead Machine Learning Technologies(AllRead机器学习技术公司)
GlobalDoc提出一种自监督跨模态Transformer框架,通过三个新颖预训练任务统一语言与视觉表示,解决真实工业场景中OCR依赖和泛化性问题,并在少样本文档分类与检索任务上验证有效性。
2024-11-05 cs.CV
DavarOCR: A Toolbox for OCR and Multi-Modal Document Understanding
Hikvision Research Institute(海康威视研究院)
本文介绍了DavarOCR,OCR和文档理解任务的开源工具箱。DavarOCR目前实现了19种高级算法,涵盖9种不同的任务形式。DavarOCR提供了详细的使用说明和每个算法的训练模型。与之前的开源OCR工具箱相比,DavarOCR对文档理解这一前沿技术的子任务有了相对更完整的支持。为了促进OCR技术在学术界和工业界的发展和应用,我们更加关注不同技术子领域可以共享的模块的使用。DavarOCR在https://github.com/hikopensource/Davar-Lab-OCR上公开发布。
2022-07-14 cs.CV
DocLayLLM: An Efficient Multi-modal Extension of Large Language Models for Text-rich Document Understanding
South China University of Technology(华南理工大学);Alibaba Cloud Computing(阿里巴巴云计算);SCUT-Zhuhai Institute of Modern Industrial Innovation(华南理工大学珠海现代产业创新研究院)
针对富文本文档理解中现有多模态大模型算力需求高、多模态融合效果不佳的问题,提出DocLayLLM,通过轻量融合视觉与位置token、创新思维链预训练及退火技术,在轻量训练下性能超越现有依赖OCR和无OCR的同类方法。
2025-03-19 cs.CV
DocFormer: End-to-End Transformer for Document Understanding
AWS AI(亚马逊云服务人工智能团队(AWS AI))
我们提出了DocFormer --一个基于多模态Transformer的架构,用于可视化文档理解(VDU)任务。VDU是一个具有挑战性的问题,其目的是了解各种格式的文件(表格,收据等)。和布局。此外,DocFormer以无监督的方式进行预训练,使用精心设计的任务,鼓励多模式交互。DocFormer使用文本,视觉和空间特征,并使用新颖的多模态自我注意层将它们结合起来。DocFormer还跨模态共享学习到的空间嵌入,这使得模型可以轻松地将文本与视觉标记相关联,反之亦然。DocFormer在4个不同的数据集上进行评估,每个数据集都有很强的基线。DocFormer在所有这些方面都取得了最先进的结果,有时甚至比模型大4倍(参数数量)。
2021-09-20 cs.CV
Towards Cross-modal Retrieval in Chinese Cultural Heritage Documents: Dataset and Solution
Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);NingboTech University(宁波科技大学);Zhejiang University(浙江大学)
本文针对中国文化遗产跨模态检索缺乏专用数据集及局部对齐困难的问题,提出包含5726个图文对的CulTi数据集和基于Chinese-CLIP的免训练局部对齐策略LACLIP,显著提升了细粒度语义关联的检索性能。
2025-07-19 cs.CV
Marten: Visual Question Answering with Mask Generation for Multi-modal Document Understanding
Meituan(美团);Shanghai Jiao Tong University(上海交通大学);Beijing Institute of Technology(北京理工大学)
本文提出 VQAMask 预训练任务与 MTMask6M 数据集,通过文本解析和可丢弃掩码生成器实现语义及空间对齐,并构建训练高效的文档理解 MLLM Marten。
2025-03-18 cs.CV
Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents
Show Lab, National University of Singapore(新加坡国立大学展示实验室);Central South University(中南大学);Microsoft(微软公司)
针对现有对比视觉语言模型处理复杂Web文档能力有限的问题,提出以视觉为中心的统一对比学习框架VC2L,通过像素空间渲染和片段级对比学习实现多模态建模,在多个基准上取得优于或媲美CLIP类模型的性能。
2025-10-21 cs.CV
Fast-StrucTexT: An Efficient Hourglass Transformer with Modality-guided Dynamic Token Merge for Document Understanding
Beijing Institute of Technology(北京理工大学);Baidu Inc(百度公司);Shenzhen MSU-BIT University(深圳北理莫斯科大学)
提出Fast-StrucTexT高效多模态框架,采用沙漏Transformer架构与模态引导动态token合并块,结合对称交叉注意力模块实现多粒度表示与冗余token剪枝,在三个数据集上达到SOTA性能且推理速度提升1.9倍。
2023-05-19 cs.CL cs.CV
SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion
IBM Research(IBM研究院);HuggingFace
本文提出 256M 参数的 SmolDocling,通过生成 DocTags 实现端到端文档转换,并贡献多类公开数据集,性能可媲美最高大 27 倍的视觉语言模型。
2025-03-14 cs.CV
Wukong-Reader: Multi-modal Pre-training for Fine-grained Visual Document Understanding
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
对数百万数字生成或扫描文档的无监督预训练在视觉文档理解~(VDU)方面显示出有希望的进步。虽然在现有的解决方案中研究了各种视觉语言预训练目标,但文档文本行作为VDU中的固有粒度,迄今为止很少被探索。文档文本行通常包含空间和语义相关的单词,这些单词可以很容易地从OCR引擎中获得。在本文中,我们提出了Wukong-Reader,用新的预训练目标训练,以利用嵌套在文档文本行中的结构知识。我们引入文本行-区域对比学习来实现视觉区域和文档文本行的文本之间的细粒度对齐。此外,掩蔽区域建模和文本行网格匹配也被设计来增强文本行的视觉和布局表示。实验表明,我们的悟空阅读器在信息抽取等各种VDU任务上具有优越的性能。对文本行的细粒度对齐也使Wukong-Reader具有很好的本地化能力。
2022-12-19 cs.CL cs.CV
Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language Models
South China Normal University(华南师范大学);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Shenzhen Academy of Inspection and Quarantine(深圳检验检疫局);Shenzhen University(深圳大学)
针对多模态大语言模型(MLLMs)文档图像质量评估(DIQA)能力未被充分探索的问题,提出三层评估框架Q-Doc,发现MLLMs存在相关局限性,且思维链(CoT)提示可显著提升其性能,为该领域提供基准与改进方向。
2025-11-14 cs.CV
HW-MLVQA: Elucidating Multilingual Handwritten Document Understanding with a Comprehensive VQA Benchmark
本文提出HW-MLVQA基准,包含1,600页手写文档和2,400个问答对,通过文本、图像及图文融合三种模态评估多语言手写文档理解能力,并支持对专有和开源OCR模型的严格评测。
2025-07-21 cs.CV
ViBERTgrid: A Jointly Trained Multi-Modal 2D Document Representation for Key Information Extraction from Documents
Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
最近的基于网格的文档表示,如BERTgrid,允许在2D特征图中同时编码文档的文本和布局信息,以便可以直接利用最先进的图像分割和/或目标检测模型来从文档中提取关键信息。然而,这样的方法还没有达到与现有技术的基于序列和基于图的方法(诸如LayoutLM和PICK)相当的性能。在本文中,我们提出了一种新的多模态骨干网络连接BERTgrid到一个CNN模型的中间层,其中CNN的输入是一个文档图像和BERTgrid是一个网格的词嵌入,生成一个更强大的基于网格的文档表示,命名为ViBERTgrid。与BERTgrid不同,我们的多模态骨干网络中的BERT和CNN的参数是联合训练的。我们的实验结果表明,这种联合训练策略显着提高了表示能力的ViBERTgrid。因此,我们的基于ViBERTgrid的关键信息抽取方法在现实世界的数据集上实现了最先进的性能。
2021-05-25 cs.CL cs.CV cs.LG
M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Bloomberg(彭博公司)
提出M3DocRAG多模态RAG框架,结合多模态检索器与MLM处理多页多文档视觉问答,并构建M3DocVQA基准,在三个基准上取得领先性能,尤其MP-DocVQA达到最先进水平。
2024-11-07 cs.AI cs.CL cs.CV
Can Multi-modal (reasoning) LLMs detect document manipulation?
Duke University(杜克大学);Indian Institute of Technology, Roorkee(印度理工学院,罗尔基);New York University(纽约大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Wisconsin Madison(威斯康星大学麦迪逊分校);Columnbia University(哥伦比亚大学)
本文系统评估了多种多模态大语言模型在文档欺诈检测上的表现,发现顶尖模型具备较强的零样本泛化能力,但模型规模与推理能力并非决定性因素,任务特定微调更为关键。
2026-10-27 cs.CL cs.CV
Vision Grid Transformer for Document Layout Analysis
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
提出VGT双流视觉网格Transformer,结合预训练网格Transformer,在文档版面分析任务上取得新最先进结果,并发布D$^4$LA数据集。
2023-08-29 cs.CV
Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine Translation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongke Fanyu Technology Co., Ltd(中科泛语科技有限公司)
本文提出M4Doc框架,利用多模态大语言模型将仅图像编码器与多模态表示对齐,使轻量级模型学习视觉-文本关联,推理时绕过MLLM保持高效,显著提升跨域翻译质量。
2025-07-10 cs.AI cs.CL cs.CV
SimpleDoc: Multi-Modal Document Understanding with Dual-Cue Page Retrieval and Iterative Refinement
Oregon State University(俄勒冈州立大学);Pennsylvania State University(宾夕法尼亚州立大学);AG2AI, Inc.(AG2AI公司);Johnson & Johnson(强生公司)
针对多模态文档视觉问答任务,提出轻量检索增强框架SimpleDoc,采用嵌入相似度加页面摘要的双线索检索与迭代拉取页面的机制,在4个数据集上平均超基线3.2%且检索页面更少。
2025-06-16 cs.AI cs.CV
StrucTexTv2: Masked Visual-Textual Prediction for Document Image Pre-training
Baidu Inc.(百度公司)
在本文中,我们提出了StructTextTv 2,一个有效的文档图像预训练框架,通过执行掩蔽的视觉-文本预测。它包括两个自监督的预训练任务:掩码图像建模和掩码语言建模,基于文本区域级图像掩蔽。该方法根据文本词的限界框坐标随机屏蔽部分图像区域。我们的预训练任务的目标是同时重建掩蔽图像区域的像素和相应的掩蔽标记。因此,与通常预测掩蔽图像块的掩码图像建模相比,预先训练的编码器可以捕获更多的文本语义。与依赖于图像和文本模态的用于文档图像理解的掩码多模态建模方法相比,StructTexTv 2仅对图像输入进行建模,并可能处理更多无需OCR预处理的应用场景。在文档图像理解的主流基准测试上的大量实验证明了StructTexTv 2的有效性。它在端到端场景下的图像分类、版面分析、表格结构识别、文档OCR、信息抽取等各种下游任务中实现了具有竞争力甚至是新的最先进的性能。
2023-03-01 cs.CV
LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
自我监督的预训练技术在文档AI中取得了显着进展。大多数多模态预训练模型使用掩蔽语言建模目标来学习文本模态的双向表示,但它们在图像模态的预训练目标上有所不同。这种差异增加了多模态表示学习的难度。在本文中,我们提出了\textbf{LayoutLMv3}来预训练多模态Transformers,用于具有统一文本和图像掩蔽的文档AI。此外,LayoutLMv3使用单词补丁对齐目标进行预训练,以通过预测文本单词的相应图像补丁是否被掩蔽来学习跨模态对齐。简单的统一架构和训练目标使LayoutLMv3成为以文本为中心和以图像为中心的文档AI任务的通用预训练模型。实验结果表明,LayoutLMv3不仅在以文本为中心的任务(包括表单理解、收据理解和文档视觉问答)中实现了最先进的性能,而且在以图像为中心的任务(如文档图像分类和文档布局分析)中也实现了最先进的性能。代码和模型可在\url{https://aka.ms/layoutlmv3}上公开获得。
2022-07-19 cs.CL cs.CV
Robustness Evaluation of OCR-based Visual Document Understanding under Multi-Modal Adversarial Attacks
VinUniversity Hanoi(河内Vin大学)
本文提出首个统一框架,生成并评估针对OCR视觉文档理解模型的多模态对抗攻击,实验表明行级攻击和复合扰动导致最严重性能下降。
2025-06-19 cs.AI cs.CV
Hierarchical Multimodal Pre-training for Visually Rich Webpage Understanding
Shanghai Jiao Tong University(上海交通大学)
提出多模态预训练网络 WebLM,通过利用文档图像的层次结构并设计跨文本、结构与图像的预训练任务,提升网页理解性能并在多项任务上达到新最优。
2024-02-28 cs.CL cs.CV
Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning
National University of Singapore(新加坡国立大学);Microsoft Gen AI(微软生成式人工智能部门);Central South University(中南大学)
本研究提出VisInContext方法,通过视觉词元处理长上下文文本,在几乎不增加计算成本下将56亿参数MOE模型的上下文长度从256扩展至2048,显著提升少样本评估及文档理解性能。
2024-06-04 cs.CV
Multi-Page Document Visual Question Answering using Self-Attention Scoring Mechanism
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出基于自注意力评分机制的多页文档视觉问答方法,利用Pix2Struct编码器检索相关页面,无需OCR即可在近800页文档上保持最先进性能,并显著降低GPU资源需求。
2024-04-29 cs.CV
Bi-VLDoc: Bidirectional Vision-Language Modeling for Visually-Rich Document Understanding
Alibaba Group(阿里巴巴集团);School of Electronic and Information Engineering(电子与信息工程学院);South China University of Technology(华南理工大学)
针对视觉丰富文档理解中视觉-语言交互建模不足的问题,提出双向视觉-语言监督与混合注意力机制的预训练范式Bi-VLDoc,在表单理解、收据信息抽取和文档分类等基准上显著超越现有最先进方法。
2025-06-18 cs.CL cs.CV cs.MM
Evaluating VisualRAG: Quantifying Cross-Modal Performance in Enterprise Document Understanding
Amazon(亚马逊)
本文提出系统定量基准框架评估企业VisualRAG系统跨模态输入可信度,发现最优模态权重使性能较纯文本基线提升57.3%,并揭示基础模型对说明生成与OCR提取可信度的差异化影响。
2025-06-19 cs.AI cs.CV cs.HC
VisRAG: Vision-based Retrieval-augmented Generation on Multi-modality Documents
Tsinghua University(清华大学);ModelBest Inc.(模贝斯特公司);Rice University(莱斯大学);Northeastern University(东北大学)
本文提出VisRAG,一种基于视觉语言模型(VLM)的RAG管道,直接将文档作为图像嵌入和检索,避免了传统文本解析的信息丢失,在多模态文档检索和生成上比传统方法提升20-40%。
2025-03-02 cs.AI cs.CL cs.CV
Analyzing Images of Legal Documents: Toward Multi-Modal LLMs for Access to Justice
Maastricht University(马斯特里赫特大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究利用多模态LLMs分析手写纸质法律表单图像以自动提取结构化信息,展示了该技术在辅助普通人获取司法服务方面的潜力及初步局限性。
2024-12-16 cs.CL cs.CV cs.MM
SelfDoc: Self-Supervised Document Representation Learning
Brandeis University(布兰迪斯大学);Adobe Research(Adobe研究院)
我们提出了SelfDoc,一个与任务无关的文档图像理解预训练框架。因为文档是多模态的,并且是用于顺序阅读的,所以我们的框架利用了文档中每个语义有意义的组件的位置、文本和视觉信息,并且它对每个内容块之间的上下文化进行建模。与现有的文档预训练模型不同,我们的模型是粗粒度的,而不是将单个单词作为输入,因此避免了过度的细粒度和过度的上下文化。除此之外,我们在模型预训练阶段引入了跨模态学习,以充分利用来自未标记文档的多模态信息。对于下游的使用,我们提出了一种新的模态自适应注意力机制的多模态特征融合,自适应强调语言和视觉信号。我们的框架受益于对文档的自我监督预训练,而不需要通过特征掩蔽训练策略进行注释。它在多个下游任务上实现了卓越的性能,与以前的作品相比,在预训练阶段使用的文档图像明显减少。
2021-06-07 cs.CL cs.CV
Out-of-Distribution Detection with Attention Head Masking for Multimodal Document Classification
University of Bristol(布里斯托尔大学);Amazon GenAI(亚马逊生成式人工智能部门);James Silberrad Brown Center for Artificial Intelligence(詹姆斯·西尔伯拉德·布朗人工智能中心);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
针对多模态文档分类中的分布外检测,提出注意力头掩蔽方法,显著降低假阳性率最高7.5%,并发布新数据集FinanceDocs。
2024-08-20 cs.AI cs.CL cs.CV
One-Shot Doc Snippet Detection: Powering Search in Document Beyond Text
Adobe(奥多比)
数字文档的积极消费为包括搜索在内的各种应用的研究提供了空间。传统上,在文档中搜索已被铸造为文本匹配问题,忽略了丰富的布局和视觉线索通常存在于结构化文档,表单等,为此,我们问一个大多未探索的问题:“我们可以搜索其他类似的片段存在于一个目标文档页面给定的一个单一的查询实例的文档片段?".我们提出MONOMER来解决这个问题,作为一个一次性的片段检测任务。MONOMER融合了片段和文档的视觉、文本和空间模态的上下文,以在目标文档中找到查询片段。我们进行了大量的消融和实验,显示MONOMER优于单次目标检测(BHRL),模板匹配和文档理解(LayoutLMv 3)的几个基线。由于手头任务的相关数据稀缺,我们在编程生成的数据上训练MONOMER,这些数据具有来自两个数据集- Flamingo Forms和PubLayNet的许多视觉上相似的查询片段和目标文档对。我们还进行了一项人体研究,以验证生成的数据。
2022-09-12 cs.CV
LightSTAR: Efficient Visual Document Retrieval via Lightweight Selection with Vision-Adaptive Refinement
MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院人工智能研究院教育部人工智能重点实验室)
提出LightSTAR框架,通过免LLM的视觉选择快速筛选候选页,再经视觉自适应语义精炼进行细粒度匹配,在保持高检索精度的同时大幅降低延迟。
2026-06-23 cs.CV
Multi-Vector Index Compression in Any Modality
Johns Hopkins University(约翰霍普金斯大学)
本文提出注意力引导聚类方法,用于在任意模态中高效压缩多向量索引,提升检索性能。
2026-02-24 cs.CL cs.CV cs.IR
DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));EvenUp
本文提出DocPilot智能体文档框架,通过页面级导航等编排证据搜索,结合课程式智能体训练,在多数据集上实现显著性能提升,小型版本也具竞争力,展现出有效性与泛化性。
2026-10-16 cs.AI cs.CL cs.CV
MGDoc: Pre-training with Multi-granular Hierarchy for Document Image Understanding
University of California, San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究院)
文档图像是无处不在的数据源,其中文本被组织在复杂的分层结构中,字),中等粒度(例如,诸如段落或图的区域),到粗粒度(例如,整页)。不同粒度级别的内容之间的空间层次关系对于文档图像理解任务至关重要。现有的方法从词级或区域级学习特征,但不能同时考虑两者。词级模型的局限性在于它们源自纯文本语言模型,纯文本模型只对词级上下文进行编码。相比之下,区域级模型试图将对应于段落或文本块的区域编码到单个嵌入中,但它们在附加单词级特征的情况下表现更差。为了解决这些问题,我们提出了MGDoc,一个新的多模式多粒度预训练框架,同时编码页面级,区域级和单词级信息。MGDoc使用统一的文本-视觉编码器来获得不同粒度的多模态特征,这使得将多粒度特征投影到同一超空间成为可能。为了对区域-单词相关性进行建模,我们为我们的模型设计了一个跨粒度的注意力机制和特定的预训练任务,以加强学习区域和单词之间的层次结构的模型。实验表明,我们提出的模型可以学习更好的功能,在粒度上表现良好,并导致下游任务的改进。
2022-11-27 cs.CV
Evo-Retriever: LLM-Guided Curriculum Evolution with Viewpoint-Pathway Collaboration for Multimodal Document Retrieval
Alibaba Cloud Computing(阿里巴巴云计算)
本文提出Evo-Retriever框架,通过LLM引导的课程进化和观点-路径协作提升多模态文档检索性能,实现在ViDoRe V2和MMEB数据集上达到SOTA水平。
2026-03-17 cs.CV
TelcoAI: Advancing 3GPP Technical Specification Search through Agentic Multi-Modal Retrieval-Augmented Generation
Generative AI Innovation Center, Amazon Web Services (AWS)(生成式AI创新中心,亚马逊网络服务)
TelcoAI通过代理多模态检索增强生成技术,提升3GPP技术规范搜索的准确性和效率,实现87%的召回率和16%的性能提升。
2025-11-17 cs.AI cs.CL cs.CV
MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents
INSAIT;Lanzhou University(兰州大学);King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹科学与技术大学);Heriot-Watt University(赫瑞-沃德大学);Monash University(莫纳什大学);University College Dublin(都柏林大学学院)
MultiHaystack是首个评估大规模异构多模态检索与推理的基准测试,揭示了MLLMs在异构语料库中检索证据时的性能瓶颈。
2026-03-05 cs.CV
SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题,引入SynthDocBench基准测试,通过组合设计控制多因素,端到端生成多样长文档,评估模型发现三种现有基准未暴露的失败模式,揭示模型或过度拟合基准工件。
2026-07-14 cs.AI cs.CV
LIGHT: Multi-Modal Text Linking on Historical Maps
University of Minnesota(明尼苏达大学);Grinnell College(格林内尔学院)
提出多模态方法 LIGHT,融合几何、图像和语言特征解决历史地图文本链接问题,在 ICDAR 2024/2025 MapText 数据上优于现有方法。
2025-07-11 cs.CV
Information Extraction from Unstructured data using Augmented-AI and Computer Vision
Department of Electronics and Telecommunication Engineering(电子与电信工程系);Vishwakarma Institute of Technology(维斯瓦克arma技术学院)
本文提出融合Augmented Intelligence(A2I)、计算机视觉与NLP的信息提取框架,利用深度学习目标检测和云服务提升多格式复杂文档的结构化提取效果。
2025-07-25 cs.CV
Rule-Based Reinforcement Learning for Document Image Classification with Vision Language Models
University of Applied Sciences and Arts Western Switzerland(西瑞士应用艺术大学);University of Fribourg(弗里堡大学)
本文提出基于规则的强化学习方法,用于提升文档图像分类任务的泛化能力,通过不同场景验证其在处理超出分布数据时的优势。
2025-09-26 cs.CV
StrucTexT: Structured Text Understanding with Multi-Modal Transformers
Baidu Inc.(百度公司);Beijing University of Posts and Telecommunications(北京邮电大学);Taikang Insurance Group(泰康保险集团)
视觉丰富文档(VRD)上的结构化文本理解是文档智能的重要组成部分。由于虚拟现实中内容和布局的复杂性,结构化文本的理解一直是一个具有挑战性的任务。大多数现有的研究将这个问题分解为两个子任务:实体标记和实体链接,这需要在令牌和段级别上对文档的上下文有全面的理解。然而,很少有工作一直关注的解决方案,有效地从不同层次的结构化数据提取。本文提出了一个统一的框架名为StructTexT,这是灵活和有效的处理这两个子任务。具体地说,在Transformer的基础上,我们引入了一个分段标记对齐的编码器来处理不同粒度级别的实体标记和实体链接任务。此外,我们设计了一种新的预训练策略,具有三个自监督任务,以学习更丰富的表示。StructTexT使用现有的掩蔽视觉语言建模任务和新的句子长度预测和成对框方向任务来整合跨文本、图像和布局的多模态信息。我们评估了我们的方法在段级和标记级的结构化文本理解,并显示它优于最先进的同行,在FUNSD,SROIE和EPHOIE数据集上具有显着优越的性能。
2021-11-08 cs.CL cs.CV
Pre-Training Multi-Modal Dense Retrievers for Outside-Knowledge Visual Question Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对OK-VQA任务中多模态检索模型训练数据需求大的问题,提出自动数据生成流水线预训练段落检索模型,使Precision@5提升26.9%且具备零样本检索能力。
2023-06-28 cs.CL cs.CV cs.IR
A Multi-Granularity Retrieval Framework for Visually-Rich Documents
DP Technology(DP技术);School of Intelligent Systems Engineering, Sun Yat-Sen University, Shenzhen, China(中山大学智能系统工程学院,深圳,中国)
本文针对富视觉文档检索提出统一的多粒度多模态框架,融合分层编码、模态感知检索和 VLM 候选过滤,无需微调即在 MMDocIR 和 M2KR 上取得 65.56 的最高分。
2025-05-06 cs.CV cs.IR