Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference
Phi Labs(菲实验室);Quantiphi(宽梯斐科技)
本研究提出轻量级多模态模型DRB,基于新基准BudgetDoc实现文档任务中LLM推理预算的动态分配,在降低成本的同时多数情况下达到或优于固定最大预算的性能,具备跨模型泛化潜力。
2026-08-20 cs.AI cs.CL
MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking
Virginia Tech(弗吉尼亚理工大学)
本文提出MetaSumPerceiver,一种基于动态感知器的多模态多文档摘要模型,利用强化学习蕴含目标生成区分真实性标签的证据摘要,在MOCHEG数据集上比最先进方法提升4.6%,并在新数据集上表现强劲。
2024-09-20 cs.AI cs.CL
ERNIE-mmLayout: Multi-grained MultiModal Transformer for Document Understanding
Zhejiang University(浙江大学);Baidu Inc.(百度公司)
多模态Transformers最近的努力已经通过合并视觉和文本信息来改进视觉丰富文档理解(VrDU)任务。然而,现有的方法主要集中在细粒度的元素,如单词和文档图像补丁,使它们很难从粗粒度的元素,包括自然的词汇单位,如短语和突出的视觉区域,如突出的图像区域学习。在本文中,我们更加重视包含高密度的信息和一致的语义,这是文档理解的价值的粗粒度元素。首先,提出了一个文档图模型的多粒度多模态元素之间的复杂关系,其中显着的视觉区域检测基于聚类的方法。然后,提出了一种称为mmLayout的多粒度多模态Transformer,以将粗粒度信息合并到基于图的现有预训练的细粒度多模态Transformers中。在mmLayout中,粗粒度的信息是从细粒度中聚合出来的,然后经过进一步的处理,再融合回细粒度中进行最终的预测。此外,常识增强被引入到利用自然词汇单位的语义信息。在信息抽取和文档问答等4个任务上的实验结果表明,该方法能够提高基于细粒度元素的多模态Transformers的性能,并且能够以较少的参数获得更好的性能.定性分析表明,我们的方法可以捕获一致的语义在粗粒度的元素。
2022-09-18 cs.AI cs.CL cs.CV
IPO-Mine: A Toolkit and Dataset for Section-Structured Analysis of Long, Multimodal IPO Documents
Georgia Institute of Technology(佐治亚理工学院);Sai University(赛大学);Duke University(杜克大学)
本文提出IPO-Mine工具包和数据集,通过标准化解析IPO文件为章节结构化文本和图像,构建大规模多模态数据集,并建立图表评估任务,揭示多模态模型在长文档分析中的对齐挑战。
2026-05-27 cs.AI cs.CL
MARA: A Multimodal Adaptive Retrieval-Augmented Framework for Document Question Answering
Key Laboratory of Target Cognition and Application Technology (TCAT), AIRI, CAS(目标认知与应用技术重点实验室(TCAT),空气动力研究所,中国科学院);School of Electronic, Electrical and Communication Engineering, UCAS(电子、电气与通信工程学院,中国科学院大学);Aerospace Information Research Institute, Chinese Academy of Sciences(航天信息研究所,中国科学院);Baidu Inc.(百度公司)
MARA框架通过引入查询自适应机制提升多模态文档检索与生成的精度和质量,实验表明其在多模态问答基准上优于现有最先进方法。
2026-02-01 cs.AI cs.CL cs.IR
SciMDR: Advancing Scientific Multimodal Document Reasoning
Yale University(耶鲁大学)
本文提出SciMDR数据集,通过合成与重嵌框架生成大规模多模态文档推理数据,提升科学问答任务的复杂度和真实性。
2026-04-29 cs.AI cs.CL cs.CV
Hierarchical Ranking Neural Network for Long Document Readability Assessment
School of Computer Science and Cyber Engineering(计算机科学与网络安全学院);Guangzhou University(广州大学)
本文提出一种层次化排序神经网络,通过捕捉上下文信息和顺序关系,提升长文档的可读性评估性能。
2025-11-26 cs.AI cs.CL
PostDoc: Generating Poster from a Long Multimodal Document Using Deep Submodular Optimization
International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);Adobe Research(奥多比研究院);IIT Bombay(印度理工学院孟买分校)
本文提出PostDoc框架,利用深度子模函数从长文档提取多模态内容并确保覆盖、多样性与对齐,结合基于LLM的改写器生成设计模板,实现长文档到海报的自动转换。
2024-05-30 cs.AI cs.CL cs.LG
MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA
Tianjin University(天津大学);Qifu Technology(启福科技);Beihang University(北航);Jiangnan University(江南大学)
提出MARDoc框架,通过解耦为探索、精炼和反思三个智能体,并利用结构化记忆替代完整交互历史,减少上下文噪声,提升多模态长文档问答性能。
2026-06-04 cs.AI cs.CL
Unified Multimodal Interleaved Document Representation for Retrieval
University of North Carolina Chapel Hill(北卡罗来纳大学教堂山分校);KAIST(韩国科学技术院);DeepAuto
本文提出统一多模态交错文档表示方法,通过整合文本、图像和表格信息提升信息检索性能。
2026-01-23 cs.AI cs.CL cs.IR
Structured Attention Matters to Multimodal LLMs in Document Understanding
vivo Mobile Communication Co., Ltd(vivo移动通信有限公司);The University of Queensland(昆士兰大学);University of California, Merced(加州大学默塞德分校)
针对多模态大语言模型在文档理解中输入格式影响性能的问题,提出基于LaTeX范式的保结构编码方法,通过诱导结构化注意力模式减少注意力浪费,无需修改架构或额外训练即可显著提升文档问答性能。
2025-06-19 cs.AI cs.CL cs.IR
PP-DocBee2: Improved Baselines with Efficient Data for Multimodal Document Understanding
Baidu Inc.(百度公司)
本报告提出PP-DocBee2,通过数据质量优化、视觉特征融合与推理优化,在中文商业文档基准上提升11.4%性能并降低73.0%延迟。
2025-06-25 cs.AI cs.CL cs.CV
Unsupervised Discovery of Multimodal Links in Multi-image, Multi-sentence Documents
Cornell University(康奈尔大学)
图像和文本经常在网络上同时出现,但图像和句子(或其他文档内文本单元)之间的显式链接通常不存在。我们提出了发现图像-句子关系的算法,而不依赖于训练中的显式多模态注释。我们在七个不同难度的数据集上进行了实验,从由众包工作者事后标题的图像组组成的文档到自然发生的用户生成的多模态文档。我们发现,一个结构化的训练目标的基础上,确定是否收集的图像和句子共同出现在文档中,可以足以预测特定的句子和特定的图像之间的链接在同一个文件在测试时间。
2019-08-31 cs.CL cs.CV
MLDocRAG: Multimodal Long-Context Document Retrieval Augmented Generation
Independent Researcher(独立研究者)
MLDocRAG通过构建多模态片段-查询图,实现多模态长上下文文档的检索增强生成,提升问答的准确性和连贯性。
2026-02-13 cs.CL cs.IR
ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
ServiceNow;York University(约克大学);MILA - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);École de technologie supérieure(卓越工程学院)
针对多模态文档检索直接套用纯文本检索技术的局限,提出ColMate模型,结合基于OCR的预训练、自监督掩码对比学习与后期交互评分机制,在ViDoRe V2基准上提升3.61%并增强域外泛化能力。
2025-11-02 cs.CL
Multimodal Approaches for Visually-Rich Document Type Classification: A Comparative Analysis
OTH Regensburg(雷根斯堡应用技术大学)
针对视觉丰富文档类型分类中多模态建模策略难以系统比较的问题,本文在统一实验框架下对基于Transformer和LLM的四种代表性模型进行受控对比,发现专用多模态Transformer优于LLM方法,且图像信息贡献最大。
2026-06-01 cs.AI cs.CL cs.CV
Scientific Reasoning: Assessment of Multimodal Generative LLMs
University of Stuttgart(斯图加特大学)
本文在ScienceQA上评估多模态LLM,发现Gemini模型准确率最高且解释最接近人类,而小模型Adapter-tuning及基于Gemini输出的训练效果均不佳。
2025-03-03 cs.AI cs.CL cs.CV
Docopilot: Improving Multimodal Models for Document-Level Understanding
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学);Nankai University(南开大学);Fudan University(复旦大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对多页文档理解不足及RAG方法缺陷,本文提出Doc-750K数据集并开发原生多模态模型Docopilot,在不依赖检索的情况下实现更优的文档级理解性能。
2025-07-19 cs.CL cs.CV
PP-DocBee: Improving Multimodal Document Understanding Through a Bag of Tricks
PaddlePaddle Team, Baidu Inc.(百度公司)
本报告提出 PP-DocBee 多模态大模型,通过数据合成策略与动态采样等训练技巧,在文档图像理解任务上取得 SOTA 性能。
2025-06-26 cs.AI cs.CL cs.CV
LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding
Microsoft Research Asia(微软亚洲研究院);Microsoft Azure AI(微软Azure人工智能)
最近,文本、布局和图像的多模态预训练在视觉丰富的文档理解任务中实现了SOTA性能,这表明了跨不同模态联合学习的巨大潜力。在本文中,我们提出了LayoutXLM,这是一个多模态的预训练模型,用于多语言文档理解,旨在弥合视觉丰富的文档理解的语言障碍。为了准确评估LayoutXLM,我们还引入了一个名为XFUND的多语言表单理解基准数据集,其中包括7种语言(中文,日语,西班牙语,法语,意大利语,德语,葡萄牙语)的表单理解样本,并为每种语言手动标记键值对。实验结果表明,LayoutXLM模型在XFUND数据集上的性能明显优于现有的SOTA跨语言预训练模型。预训练的LayoutXLM模型和XFUND数据集可在https://aka.ms/layoutxlm上公开获得。
2021-09-09 cs.CL
MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering
提出无训练归因方法MultAttnAttrib,利用模型预填充、选定注意力头和校准阈值定位证据,并构建多模态归因基准MultAttrEval,实验表明其优于多种方法,匹配GPT 5.4且延迟降低至1/7。
2026-07-09 cs.AI cs.CL cs.CV
M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework
DAMO Academy, Alibaba Group(达摩院(阿里巴巴集团));Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
本文提出多模态超长文档理解基准M-LongDoc及首个直接处理多模态长文档检索设置的训练框架,通过全自动构建语料库微调开源模型,使响应正确性相对提升4.6%。
2024-11-09 cs.CL
From Sparse Representations to Behavioral Insights for Multimodal Depression Assessment
Guangdong University of Technology(广东工业大学);Queen Mary University of London(伦敦玛丽女王大学);The Hong Kong Polytechnic University(香港理工大学)
本研究提出BehavDep框架,通过稀疏因子分解结合语义桥关联行为概念,在弱监督下学习视频级抑郁倾向得分并聚合信息实现用户级多模态抑郁评估,该方法性能最优且可解释性强。
2026-10-09 cs.CL
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne(墨尔本大学);The University of Western Australia(西澳大学)
BRIDGE是一个针对长多模态文档的多跳推理基准测试,通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
M3DR: Towards Universal Multilingual Multimodal Document Retrieval
CognitiveLab(认知实验室)
M3DR提出了一种通用多语言多模态文档检索框架,通过对比训练实现跨语言和跨模态对齐,显著提升了多语言场景下的检索性能。
2025-12-03 cs.AI cs.CL cs.CV
Podcast Summary Assessment: A Resource for Evaluating Summary Assessment Methods
University of Cambridge(剑桥大学)
自动摘要评估对于机器生成和人工生成的摘要都很有用。在给定文档的情况下自动评估摘要文本使得能够例如开发摘要生成系统和检测不适当的摘要。摘要评估可以以多种模式运行:对摘要生成系统进行排名;对特定文档的摘要进行排名;以及在绝对尺度上估计文档-摘要对的质量。用于摘要评估的具有注释的现有数据集通常基于新闻摘要数据集,诸如CNN/DailyMail或XSum。在这项工作中,我们描述了一个新的数据集,播客摘要评估语料库,一个由人类专家在TREC 2020上评估的播客摘要集合。与现有的摘要评估数据相比,该数据集具有两个独特的方面:(i)长输入,基于语音播客的文档;以及(ii)有机会检测播客语料库中不适当的参考摘要。首先,我们研究现有的评估方法,包括无模型和基于模型的方法,并为这个长输入摘要评估数据集提供基准结果。其次,为了过滤参考摘要-文档配对进行训练,我们应用摘要评估进行数据选择。这两个方面的实验结果提供了有趣的见解总结评估和生成任务。播客摘要评估数据可用。
2022-08-28 cs.CL
DocEdit-v2: Document Structure Editing Via Multimodal LLM Grounding
Adobe Research(奥多比研究院);MBZUAI(Mohamed bin Zayed 人工智能大学);University of Maryland College Park(马里兰大学帕克分校)
DocEdit-v2提出基于多模态大语言模型的端到端文档结构编辑框架,通过Doc2Command定位编辑区域并生成命令,结合命令重述与GPT-4V/Gemini执行编辑,在多项任务上显著超越基线。
2024-10-21 cs.CL
MMDocIR: Benchmarking Multimodal Retrieval for Long Documents
Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出 MMDocIR 基准,通过页面级和版面级检索任务及大规模标注数据集,系统评估并提升长文档多模态检索性能,证明视觉检索器和 VLM-text 的显著优势。
2025-11-07 cs.AI cs.CL cs.CV
LongFin: A Multimodal Document Understanding Model for Long Financial Domain Documents
Arteria AI
针对现有文档AI模型和数据集无法适配金融领域多页长文档的问题,提出支持4K token编码的多模态模型LongFin及配套LongForms金融数据集,在新数据集上超越现有公开模型,单页基准性能相当。
2024-01-26 cs.CL
On-Device Document Classification using multimodal features
Samsung R&D Institute India-Bangalore(三星印度班加罗尔研发院)
从小屏幕截图到大视频,文档占据了现代智能手机的大部分空间。手机中的文档可以从各种来源积累,而手机的高存储容量可以在短时间内积累数百个文档。然而,搜索或管理文档仍然是一项繁重的任务,因为大多数搜索方法依赖于元信息或文档中的文本。在本文中,我们展示了一个单一的模态是不够的分类,并提出了一种新的管道来分类设备上的文档,从而防止任何私人用户数据传输到服务器。对于这项任务,我们集成了一个开源库的光学字符识别(OCR)和我们的新模型架构的管道。我们优化了模型的大小,这是设备上推理的必要指标。我们用标准的多模态数据集FOOD-101对我们的分类模型进行基准测试,并展示了与先前最先进的30%模型压缩相比具有竞争力的结果。
2021-01-06 cs.CL cs.CV
Overview of the EReL@MIR 2025 Multimodal Document Retrieval Challenge (Track 1)
University of Cambridge(剑桥大学);Cambridge United Kingdom(剑桥英国)
本文介绍了EReL@MIR 2025多模态文档检索挑战赛(赛道1)的设计、数据集、评估协议、最终排名及前三名获胜系统的分析,所有系统均基于Qwen2-VL系列解码器多模态大语言模型嵌入器。
2026-06-02 cs.AI cs.CL cs.CV
3MVRD: Multimodal Multi-task Multi-teacher Visually-Rich Form Document Understanding
The University of Sydney(悉尼大学);The University of Melbourne(墨尔本大学);Politecnico di Torino(都灵理工大学)
本文提出3MVRD,一种多模态多任务多教师联合粒度知识蒸馏模型,通过token与entity关联及新损失函数优化知识迁移,在表单文档理解任务上显著优于现有基线。
2024-07-26 cs.CL cs.CV
VisDoM: Multi-Document QA with Visually Rich Elements Using Multimodal Retrieval-Augmented Generation
University of Maryland(马里兰大学);Adobe Research(奥多比研究院);IGDTUW(英迪拉·甘地德里技术大学)
针对含视觉丰富元素的多文档问答问题,本文构建VisDoMBench基准,提出融合视觉与文本检索的多模态RAG方法VisDoMRAG,通过多步推理和模态融合机制,在该基准上优于基线12-20%。
2025-02-11 cs.CL
Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding
MBZUAI;Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学);Wuhan University(武汉大学);Nanyang Technological University(南洋理工大学);University of Melbourne(墨尔本大学)
本文综述了多模态检索增强生成在文档理解中的应用,提出基于领域、检索模态和粒度的分类体系,总结了关键数据集、基准测试和行业应用,指出了效率、细粒度表示和鲁棒性等挑战。
2026-04-20 cs.CL cs.CV
XYLayoutLM: Towards Layout-Aware Multimodal Networks For Visually-Rich Document Understanding
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
最近,各种多模态网络的视觉丰富的文档理解(VRDU)已被提出,显示促进Transformers集成视觉和布局信息与文本嵌入。然而,大多数现有的方法利用位置嵌入来合并序列信息,忽略了由OCR工具获得的噪声不正确的读取顺序。在本文中,我们提出了一个强大的布局感知多模态网络名为XYLayoutLM捕获和利用丰富的布局信息,从我们的增强XY切割产生的正确的阅读顺序。此外,一个扩展的条件位置编码模块被提出来处理输入序列的可变长度,它另外提取本地布局信息的文本和视觉模态,同时生成位置嵌入。实验结果表明,XYLayoutLM在文档理解任务上取得了较好的效果.
2022-03-15 cs.CL cs.CV
Unsupervised Document and Template Clustering using Multimodal Embeddings
BNP Paribas Cardif Nanterre(BNP巴黎银行卡迪夫纳特尔尔分校);BNP Paribas Paris(BNP巴黎银行巴黎)
本研究利用冻结多模态编码器和经典聚类算法,系统评估了八种编码器在五个文档语料库上的类别与模板聚类性能,揭示了模态特定失败模式与鲁棒性-准确性权衡,并提出了可复现的调优协议。
2025-10-26 cs.AI cs.CL cs.CV
LongDocURL: a Comprehensive Multimodal Long Document Benchmark Integrating Understanding, Reasoning, and Locating
MAIS, Institute of Automation, Chinese Academy of Sciences(人工智能研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学);Taobao & Tmall Group of Alibaba(阿里巴巴淘宝与天猫集团);Zhongguancun Academy, Beijing(中关村学院,北京)
针对现有基准在长文档布局元素定位上的不足,提出融合理解、推理与定位的综合基准LongDocURL,包含20个子任务及2,325个问答对,并通过多模型评估揭示了该领域的关键性能差距。
2025-07-15 cs.AI cs.CL
Multimodal Document Analytics for Banking Process Automation
Humboldt University of Berlin(柏林洪堡大学)
本研究针对银行文档密集型流程效率问题,通过案例研究证实,引入布局信息的多模态模型 LayoutXLM 相比 BERT 和 GPT 等文本模型能大幅提升文档处理性能,且仅需 30% 训练数据即可达到 75% 以上的 F1 分数,为银行业多模态文档分析提供了实证依据与实践指导。
2023-11-26 cs.AI cs.CL cs.CV
ICDAR2026 Competition on Multimodal Reasoning over Documents in Multiple Domains
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本竞赛通过多领域文档视觉问答任务,评估了多种方法,发现最强系统采用结构化证据提取、检索、验证和多组件编排,而非单次提示。
2026-09-23 cs.CL
Unlocking Multimodal Document Intelligence: From Current Triumphs to Future Frontiers of Visual Document Retrieval
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算);Hong Kong University of Science and Technology(香港科技大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文综述了视觉文档检索领域,探讨了多模态大语言模型时代下的方法演进与挑战,提出未来发展方向。
2026-09-09 cs.CL cs.IR
Recurrence-Enhanced Vision-and-Language Transformers for Robust Multimodal Document Retrieval
University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学);IIT-CNR(意大利国家研究委员会信息科学与技术研究所)
本文提出ReT模型,通过基于Transformer的递归单元和LSTM启发的sigmoid门控整合多级视觉与文本特征,支持多模态查询在交错图文文档中检索,在M2KR和M-BEIR基准上达到最先进性能。
2025-03-03 cs.AI cs.CL cs.CV
Multimodal Learning with Augmentation Techniques for Natural Disaster Assessment
Romanian Hub for Artificial Intelligence - HRIA(罗马尼亚人工智能枢纽 - HRIA)
本文针对自然灾害评估数据集类别不平衡和样本有限的问题,在CrisisMMD数据集上探索了基于扩散的图像增强和多种文本增强技术,实验证明这些方法有效提升了多模态分类性能,为构建稳健的灾害评估系统提供了策略。
2025-10-04 cs.AI cs.CL cs.CV
MIS-Bench: Benchmarking Multimodal LLMs for Psychotherapeutic Interpersonal Skills Assessment
NYU Shanghai, New York University(上海纽约大学,纽约大学)
本文提出MIS-Bench基准,评估多模态大语言模型在心理治疗人际技能评估中的表现,发现其与专家一致性有限,并引入MIS-RAFT微调方法以提升评分准确性。
2026-09-22 cs.CL
MIDR: Enrichment-Augmented Indexing for Multimodal Document Retrieval
Bloomberg(彭博公司)
本研究提出无需训练的MIDR框架,将多模态推理移至索引时,在多领域文档检索任务中,其性能优于或匹敌现有模型,且索引内存和查询延迟更优。
2026-09-02 cs.AI cs.CL cs.CV
PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents
M-A-P
针对大型多模态模型在复杂知识任务中的感知与推理错误,提出PIN数据格式,结合Markdown与整体图像构建大规模中英文数据集PIN-200M和PIN-14M,并提供质量信号,为知识密集型LMMs研究奠定基础。
2025-09-09 cs.AI cs.CL cs.CV
MM-R5: MultiModal Reasoning-Enhanced ReRanker via Reinforcement Learning for Document Retrieval
本文提出MM-R5,一种通过强化学习训练的多模态推理增强重排序器,采用SFT和RL两阶段训练,在MMDocIR基准上达到最先进性能,recall@1提升超4%。
2025-06-22 cs.AI cs.CL cs.CV
On User Interfaces for Large-Scale Document-Level Human Evaluation of Machine Translation Outputs
Microsoft(微软)
最近的研究强调,需要在人类的机器翻译评估的文档上下文,但很少有研究已经做了用户界面对注释者的生产力和评估的可靠性的影响。在这项工作中,我们比较了人类的评估数据,从最后两个WMT评估活动收集通过两种不同的方法进行文件级评估。我们的分析表明,一个以文档为中心的方法来评估,其中注释器与整个文档上下文在屏幕上,导致更高质量的段和文档级的评估。它提高了段和文档分数之间的相关性,并增加了文档分数的注释者间的一致性,但对于注释者来说要花费更多的时间。
2021-04-21 cs.CL
Doc-Researcher: A Unified System for Multimodal Document Parsing and Deep Research
Huawei Technologies Co., Ltd.(华为技术有限公司)
针对现有深度研究系统仅限文本的局限,提出Doc-Researcher统一系统,通过深度多模态解析、系统化检索和迭代多智能体工作流,在首个多模态多跳基准M4DocBench上取得50.6%准确率,较最优基线提升3.4倍。
2025-10-24 cs.CL cs.IR
LAMPRET: Layout-Aware Multimodal PreTraining for Document Understanding
University of California, Los Angeles(加州大学洛杉矶分校);Google Research(谷歌研究院)
文档布局包括结构和视觉(例如,字体大小)信息,这些信息是重要的,但经常被机器学习模型忽略。现有的几个模型使用布局信息只考虑文本内容,而忽略了其他形式的内容,如图像的存在。此外,布局中呈现内容的空间交互从未真正得到充分利用。为了弥合这一差距,我们将文档解析为内容块(例如,文本,表格,图像),并提出了一种新的布局感知的多模态层次框架,LAMPreT,模型的块和整个文档。我们的LAMPreT在较低级别使用多模式Transformer对每个块进行编码,并在较高级别使用专门设计的Transformer聚合块级表示和连接。我们设计了分层预训练目标,其中较低级别的模型与多模态接地模型类似地进行训练,而较高级别的模型则使用我们提出的新颖的布局感知目标进行训练。我们评估所提出的模型上的两个布局感知任务-文本块填充和图像建议,并显示我们提出的分层架构以及预训练技术的有效性。
2021-04-16 cs.CL cs.CV cs.IR
Evaluating and Improving Factuality in Multimodal Abstractive Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
目前用于评估抽象文档摘要的真实性的度量已经与人类判断实现了高度相关性,但是它们不考虑视觉模态,因此不足以用于视觉和语言摘要。我们提出了CLIPBERTScore,CLIPScore和BERTScore的简单加权组合,分别利用图像摘要和文档摘要之间的鲁棒性和强真实性检测性能。接下来,由于缺乏元评估基准来评估多模态真实性指标的质量,我们收集了人类对文档和图像真实性的判断。我们表明,这种简单的组合中的两个指标的zero-shot设置实现了更高的相关性比现有的真实性指标的文档摘要,优于现有的多模态摘要指标,并执行竞争力强的多模态真实性指标专门微调的任务。我们的全面分析表明,CLIPBERTScore及其组件在四个真实性度量评估基准上具有鲁棒性和高度相关性。最后,我们展示了我们的CLIPBERTScore度量的两个实际下游应用:用于选择在训练过程中关注的重要图像,以及作为强化学习的奖励,以提高多模态摘要生成的真实性。我们的数据和代码可在https://github.com/meetdavidwan/faithful-multimodal-summ上公开获取
2022-11-04 cs.AI cs.CL cs.CV
Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability
Osaka Kyoiku University(大阪教养大学);University of Tokyo(东京大学);NII LLMC(日本国家信息与通信技术研究所大语言模型中心)
本文提出一个基于日本全国学业能力评估的多模态数据集,包含真实考试布局、图表和教育文本,用于评估多模态大语言模型的性能,通过精确匹配准确率和字符级F1分数分析不同学科间的差异。
2026-05-12 cs.CL
CRACQ: A Multi-Dimensional Approach To Automated Document Assessment
本研究提出多维文档评估框架CRACQ,整合多维度信号从五个特质评估各类机器生成文本,实验显示其比直接大模型评估的特质级判断更稳定可解释。
2025-09-26 cs.AI cs.CL cs.LG
PDF-MVQA: A Dataset for Multimodal Information Retrieval in PDF-based Visual Question Answering
The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
提出PDF-MVQA数据集和VRD-QA框架,解决以文本为主的多页研究论文中的多模态信息检索与问答问题,增强视觉语言模型对层次化布局的理解。
2024-04-19 cs.CL cs.CV
Hybrid Retriever Evolution for Multimodal Document Reasoning Agents
ServiceNow;University of Washington(华盛顿大学)
提出失败驱动的演化框架,让元代理自动学习任务代理如何协调多种检索器进行多步文档问答,实现自适应检索路由,在MMLongBench-Doc和DocBench上提升高达19.6分。
2026-06-28 cs.AI cs.CL cs.LG