BudgetMem: Training-Free Selective Memory for Cost-Efficient Long-Context Processing in Language Models
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
BudgetMem通过学习选择性记忆策略，在语言模型中实现低成本长上下文处理，相比基线RAG节省72.4%内存且F1分数仅下降1.0%。
2026-09-22 cs.AI cs.CL
TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration
KAIST（韩国科学技术院）；DeepAuto.ai
提出TIDE框架，通过模板引导的迭代机制主动发现用户上下文中隐藏的多个问题，并给出具体行动方案，在个人工作区和软件仓库两个场景中显著提升任务覆盖率和问题识别与解决能力。
2026-08-17 cs.AI cs.CL cs.LG
Enhancing Post-Hoc Attributions in Long Document Comprehension via Coarse Grained Answer Decomposition
Adobe Research（奥多比研究院）
本文针对长文档问答中的事后归因问题，提出基于模板上下文学习和负采样的粗粒度答案事实分解方法，并系统评估其对检索式和LLM归因方法的提升效果。
2024-11-23 cs.CL
Doc2SAR: A Synergistic Framework for High-Fidelity Extraction of Structure-Activity Relationships from Scientific Documents
针对科学文献中SAR提取难题，提出协同框架Doc2SAR结合领域工具与微调MLLMs，并构建DocSAR-200基准，在多项指标上超越基线实现SOTA。
2025-10-11 cs.AI cs.CL cs.IR
AI Agents-as-Judge: Automated Assessment of Accuracy, Consistency, Completeness and Clarity for Enterprise Documents
Accenture（埃森哲）
本研究提出一种模块化多智能体系统，利用LangChain等工具对企业结构化文档进行准确性、一致性等维度的自动化审查，实验表明其效率与质量均接近或超越人类水平。
2025-06-23 cs.AI cs.CL
SAIL: Sample-Centric In-Context Learning for Document Information Extraction
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）
针对文档信息抽取中免训练方法在理解视觉富文档布局与文本关系及模型指导上的挑战，提出SAIL方法，通过引入实体级文本与布局相似度及统一ICL提示模板提供精确指导，在多个基准上优于免训练基线并接近全量训练方法。
2024-12-22 cs.AI cs.CL
One-Shot Template Matching for Automatic Document Data Capture
Docsumo（Docsumo公司）
在本文中，我们提出了一种新的一次性模板匹配算法，以自动捕获数据的业务文档，旨在最大限度地减少手动数据录入。给定一个带注释的文档，我们的算法可以自动地从具有相同格式的其他文档中提取相似的数据。基于一组工程视觉和文本特征，我们的方法对位置和值的变化是不变的。在595张真实发票数据集上的实验表明，准确率为86.4%。
2019-10-22 cs.CL cs.IR
FinBalance: A Multi-Document Accounting Reconciliation Benchmark
BITS Pilani（比拉理工学院皮拉尼校区）；KIIT Bhubaneswar（KIIT布巴内斯瓦尔）；University of Oxford（牛津大学）
提出FinBalance基准，通过多行业源文档构建会计对账任务，评估LLM在生成资产负债表和检测不一致性上的表现，发现模型在文档绑定和一致性聚合上存在显著差距。
2026-06-16 cs.CL
Iterative Document-level Information Extraction via Imitation Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）；Microsoft Semantic Machines（微软语义机器公司）
本研究提出基于模仿学习的迭代式文档级信息抽取模型IterX，将模板抽取任务建模为MDP，无需预定义模板顺序训练，在多个基准任务上取得SOTA或强劲基线结果。
2023-05-01 cs.CL
Asking and Answering Questions to Extract Event-Argument Structures
Arizona State University（亚利桑那州立大学）；University of Arizona（亚利桑那大学）
本文提出一种问答方法提取文档级事件-论元结构，结合模板与大语言模型生成问题，并开发句间关系数据增强策略，在RAMS数据集上取得优异结果。
2024-04-25 cs.CL
Unsupervised Document and Template Clustering using Multimodal Embeddings
BNP Paribas Cardif Nanterre（BNP巴黎银行卡迪夫纳特尔尔分校）；BNP Paribas Paris（BNP巴黎银行巴黎）
本研究利用冻结多模态编码器和经典聚类算法，系统评估了八种编码器在五个文档语料库上的类别与模板聚类性能，揭示了模态特定失败模式与鲁棒性-准确性权衡，并提出了可复现的调优协议。
2025-10-26 cs.AI cs.CL cs.CV
Long-Document QA with Chain-of-Structured-Thought and Fine-Tuned SLMs
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；EvenUp, USA（美国EvenUp公司）
本文提出LiteCoST框架，通过结构化思维链和微调小语言模型，实现高精度低延迟的长文档问答，采用双支柱方法提升准确性和效率。
2026-03-31 cs.AI cs.CL cs.LG
Reusable Templates and Guides For Documenting Datasets and Models for Natural Language Processing and Generation: A Case Study of the HuggingFace and GEM Data and Model Cards
University of Washington（华盛顿大学）；Hugging Face；KNUST（夸梅·恩克鲁玛科技大学）；Masakhane；UT Austin（德克萨斯大学奥斯汀分校）；IIIT Hyderabad（海得拉巴国际信息技术学院）；Google Research（谷歌研究院）
为数据集和模型开发文档指南和易于使用的模板是一项具有挑战性的任务，特别是考虑到参与构建自然语言处理（NLP）工具的人员的背景，技能和动机的多样性。尽管如此，在整个NLP领域采用标准文档实践，促进了对NLP数据集和模型的更易访问和更详细的描述，同时支持研究人员和开发人员反思他们的工作。为了帮助文档的标准化，我们提出了两个案例研究，旨在开发可重用的文档模板-HuggingFace数据卡，NLP数据集的通用卡，GEM基准数据和模型卡，重点是自然语言生成。我们描述了我们开发这些模板的过程，包括识别相关的利益相关者群体，定义一套指导原则，使用现有模板作为我们的基础，以及基于反馈的迭代修订。
2021-08-16 cs.CL cs.DB
Document-level Entity-based Extraction as Template Generation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
文档级基于实体的抽取（EE）旨在抽取以实体为中心的信息，如实体角色和实体关系，是从不同领域的文本语料库中自动获取知识获取的关键。大多数文档级EE系统构建提取模型，这些模型难以在文档级对实体之间的长期依赖关系进行建模。为了解决这个问题，我们提出了两个文档级EE任务：角色填充实体提取（REE）和关系抽取（RE）的生成框架。我们首先将它们制定为模板生成问题，允许模型有效地捕获跨实体依赖关系，利用标签语义，并避免识别N元关系的指数计算复杂性。一种新的交叉注意引导复制机制，TopK复制，被纳入一个预先训练的序列到序列模型，以提高识别输入文档中的关键信息的能力。在MUC-4和SciREX数据集上进行的实验显示了F1评分中REE（+3.26%），二元RE（+4.8%）和4元RE（+2.7%）的最新结果。
2021-09-10 cs.CL
Document Automation Architectures: Updated Survey in Light of Large Language Models
Wells Fargo（富国银行）
该综述系统梳理文档自动化的学术架构与技术，明确其定义与特征，并结合生成式 AI 和 LLM 进展指出未来研究方向。
2023-08-18 cs.CL cs.LG
ExpertGenQA: Open-ended QA generation in Specialized Domains
University of California Riverside（加州大学河滨分校）
本文提出ExpertGenQA协议，结合少样本学习与结构化主题及风格分类生成专业领域QA对，在保持高主题覆盖率的同时提升效率，并显著改善下游检索模型的top-1准确率。
2025-03-04 cs.CL cs.IR
"What is the value of {templates}?" Rethinking Document Information Extraction Datasets for LLMs
JPMorgan AI Research（摩根大通人工智能研究院）
针对富视觉文档理解中关键信息抽取依赖简单模板导致模型鲁棒性不足的问题，本文提出包含5个数据集的K2Q，通过定制模板生成多样化问题，实验表明该数据集可提升模型性能与鲁棒性。
2024-10-20 cs.CL
FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
University of Pennsylvania（宾夕法尼亚大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
研究针对大语言模型监督训练数据有限的问题，提出将互联网规模预训练文档知识转化为合成指令和答案训练对的程序，生成FineInstructions数据集，经实验验证该方法在预训练中表现优于其他技术。
2026-08-03 cs.CL cs.LG
On Event Individuation for Document-Level Information Extraction
University of Rochester（罗切斯特大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文质疑模板填充作为文档级信息抽取基准的适用性，指出事件个体化难题导致专家分歧，并通过标注研究和错误分析揭示其对指标、数据集及模型学习能力的负面影响，最后探讨了可能的解决方案。
2023-10-20 cs.AI cs.CL cs.LG
VRDU: A Benchmark for Visually-rich Document Understanding
University of California, San Diego（加州大学圣迭戈分校）；Google Research（谷歌研究院）；Google（谷歌）
本文提出视觉丰富文档理解基准 VRDU，包含两个数据集以覆盖丰富模式、复杂模板和布局多样性，并通过少样本与常规实验及匹配算法评估，揭示了模型在新模板泛化、少样本性能和层次化字段处理上的不足。
2023-09-16 cs.AI cs.CL
InteractiveIE: Towards Assessing the Strength of Human-AI Collaboration in Improving the Performance of Information Extraction
University of Maryland（马里兰大学）；Amazon（亚马逊公司）；Adobe Research（奥多比研究院）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；John Hopkins University（约翰霍普金斯大学）；University of Maryland School of Law（马里兰大学法学院）
本文提出InteractiveIE，通过自动问题生成归纳模板槽位并引入少量实时人类监督，在生物医学和法律文档上显著提升信息抽取性能。
2023-11-17 cs.CL
Lightweight Spatial Modeling for Combinatorial Information Extraction From Documents
Singapore University of Technology and Design（新加坡科技设计大学）；PayPal（贝宝）；National University of Singapore（新加坡国立大学）
提出轻量级 KNN-former，通过 KNN 图空间注意力偏置与组合匹配建模文档结构，在参数高效的同时提升实体分类性能，并发布多语言身份证件数据集及增强标注。
2024-05-08 cs.AI cs.CL
When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs
KAIST（韩国科学技术院）；Amazon（亚马逊）；University of Minnesota（明尼苏达大学）
本文提出Thought Templates用于长上下文语言模型的可重用推理，通过迭代更新策略提升多跳推理能力，并展示其在多种基准测试中的优越表现。
2026-04-28 cs.AI cs.CL cs.LG
Removing Manually-Generated Boilerplate from Electronic Texts: Experiments with Project Gutenberg e-Books
University of New Brunswick（新不伦瑞克大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
在非结构化或半结构化文档（如文献语料库或源代码）上的协作工作通常涉及包含元数据的商定模板。这些模板在不同用户和不同时间内并不一致。对这些模板进行基于规则的解析维护起来代价很高，并且在添加新文档时往往会失败。基于频繁出现的统计技术有可能自动识别大部分模板，从而减轻程序员的负担。我们调查的情况下，古腾堡项目语料库，其中大多数文件都是ASCII格式，经常复制和粘贴或手动键入的字符串和后记。我们表明，尽管某些文档需要英语知识，但统计方法可以解决大多数情况。我们还调查了各种技术解决方案，使我们的方法适用于大型数据集。
2016-08-22 cs.CL cs.DL
Improving LLMs' Learning for Coreference Resolution
Queen Mary University of London（伦敦皇后玛丽大学）；Guangxi Normal University（广西师范大学）；University of Utrecht（乌得勒支大学）
针对LLMs在共指消解中存在幻觉和性能不足的问题，提出带联合推断的逆向训练和迭代文档生成两种新技术，有效提升了QA模板方法并消除了生成文本中的幻觉。
2025-09-14 cs.CL
Do not be greedy, Think Twice: Sampling and Selection for Document-level Information Extraction
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（希茨中心 - Ixa，巴斯克国家大学UPV/EHU）
提出ThinkTwice框架，通过采样生成多个候选模板并选择最优，利用无监督一致性和有监督奖励模型，在文档级信息抽取中超越贪婪解码方法。
2026-09-25 cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University（康奈尔大学）
我们重新审视经典的问题，文档级的角色填充实体提取（REE）模板填充。我们认为，文本级的方法是不适合的任务，并引入了一个生成的基于转换器的编码器-解码器框架（GRIT），其目的是在文档级的上下文建模：它可以跨句子边界提取决策，是隐含地知道名词短语的共指结构，并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法，并表明我们的模型比以前的工作表现得更好。我们还表明，我们的建模选择有助于模型性能，例如，通过隐式地捕获语言知识，例如识别共指实体提及。
2021-01-28 cs.CL
Comparison of Feature Learning Methods for Metadata Extraction from PDF Scholarly Documents
Fraunhofer Institute for Applied Information Technology FIT（弗劳恩霍夫应用信息技术研究所FIT）；University Hospital of Cologne（科隆大学医院）；University of Koblenz（科布伦茨大学）；Soochow University（苏州大学）
本文比较NLP、CV与多模态特征学习方法在高模板差异PDF学术文档元数据提取中的准确性和效率，为后续研究提供依据。
2025-01-09 cs.CL cs.DL cs.IR
Challenges in Data-to-Document Generation
最近的神经模型已经显示出显着的进展问题上产生简短的描述性文本的条件下，少量的数据库记录。在这项工作中，我们提出了一个稍微困难的数据到文本生成任务，并调查如何有效地目前的方法是在这项任务上。特别是，我们引入了一个新的，大规模的数据记录与描述性文档配对的语料库，提出了一系列用于分析性能的提取评估方法，并使用当前的神经生成方法获得基线结果。实验表明，这些模型产生流畅的文本，但无法令人信服地近似人类生成的文档。此外，即使是模板化的基线在某些指标上也超过了这些神经模型的性能，尽管基于复制和重建的扩展带来了显着的改进。
2017-07-25 cs.CL
Table-Of-Contents generation on contemporary documents
Fortia Financial Solutions（福蒂亚金融解决方案公司）
从文档中生成精确而详细的目录（TOC）是文档理解和信息抽取的一个重要问题。尽管它很重要，但它仍然是一项具有挑战性的任务，特别是对于具有丰富布局信息的非标准化文档，如商业文档。在本文中，我们提出了一个新的基于神经的管道TOC生成适用于任何可搜索的文件。与以前的方法不同，我们不使用语义标签，也不假设文档中存在可解析的TOC页面。此外，我们分析了使用外部知识编码作为模板的影响。我们的经验表明，这种方法只在资源非常少的环境中是有用的。最后，我们提出了一个新的特定于域的数据集，揭示了在现实世界中的文档TOC生成的困难。所提出的方法表现出更好的性能比国家的最先进的公共数据集和新发布的数据集。
2019-11-20 cs.CL
Structured Information Matters: Explainable ICD Coding with Patient-Level Knowledge Graphs
The University of Manchester（曼彻斯特大学）；Imperial College London（伦敦帝国学院）
该研究提出利用文档级知识图谱构建输入文档的结构化表示，将其集成至PLM-ICD架构中进行自动化ICD编码，在提升Macro-F1分数与训练效率的同时增强了可解释性。
2025-09-04 cs.AI cs.CL
Text Classification Models for Form Entity Linking
University of La Rioja（拉里奥哈大学）
表单是一种广泛使用的基于模板的文档类型，广泛应用于各种领域，包括管理、医学、金融或保险等。由于每天生成的表格数量不断增加，因此非常需要自动提取这些文档中包含的信息。但是，在处理扫描表单时，这并不是一项简单的任务，因为表单实体的位置和扫描文档的质量不同，模板的多样性也很大。在这种情况下，所有表单都有一个共同的特征：它们包含一个以键-值（或标签-值）对构建的相互链接的实体集合，以及其他实体，如标题或图像。在这项工作中，我们已经tacked的问题，实体链接的形式，结合图像处理技术和文本分类模型的基础上BERT架构。这种方法在FUNSD数据集上获得了最先进的结果，F1得分为0.80，比以前的最佳方法提高了5%。这个项目的代码可以在https://github.com/mavillot/FUNSD-Entity-Linking上找到。
2021-12-14 cs.CL cs.CV
Data Augmentation Method Utilizing Template Sentences for Variable Definition Extraction
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
针对跨领域变量定义抽取中高质量训练数据成本高的问题，提出利用模板句与变量-定义对生成定义句的数据增强方法，并在化学过程论文上取得89.6%的准确率。
2024-05-23 cs.CL
Information Redundancy and Biases in Public Document Information Extraction Benchmarks
BNP Paribas（法国巴黎银行）
本研究针对公共KIE基准存在训练测试文档相似、信息冗余导致泛化评估失真的问题，量化了SROIE、FUNSD的模板重复率，提出重采样策略构建更合理的基准，并验证了多模态模型在调整后基准上泛化表现更优。
2023-04-28 cs.AI cs.CL
ZeroShotCeres: Zero-Shot Relation Extraction from Semi-Structured Webpages
University of Washington（华盛顿大学）；Amazon（亚马逊）；Allen Institute for AI（艾伦人工智能研究所）
在诸如半结构化网页的许多文档中，文本语义通过使用包括布局、字体大小和颜色的视觉元素传达的附加信息来增强。关于从半结构化网站中提取信息抽取的先前工作需要经由来自该模板的手动标记或远程监督的数据来学习特定于给定模板的提取模型。在这项工作中，我们提出了一个解决方案，“zero-shot”开放域关系抽取从网页与以前看不见的模板，包括从网站与现有的知识来源很少重叠的远程监督和网站在全新的主题垂直。我们的模型使用基于图神经网络的方法来构建网页上文本字段的丰富表示以及它们之间的关系，从而能够泛化到新的模板。实验表明，该方法提供了一个31%的F1增益超过基线的zero-shot提取在一个新的主题垂直。
2020-05-14 cs.CL cs.IR
Document-Level Event Argument Extraction by Conditional Generation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在IE社区中，事件提取一直被视为一项高级任务。我们认为，这种设置不符合人类的信息寻求行为，并导致不完整和无信息提取结果。我们提出了一个文件级神经事件参数提取模型，制定的任务作为条件生成事件模板。我们还编译了一个新的文档级事件提取基准数据集WikiEvents，其中包括完整的事件和共指注释。在参数提取的任务中，我们分别在RAMS和WikiEvents数据集上实现了7.6%F1和5.7%F1的绝对增益。在更具挑战性的任务，信息参数提取，这需要隐式共指推理，我们实现了9.3%的F1增益超过最佳基线。为了证明我们的模型的可移植性，我们还创建了第一个端到端的zero-shot事件提取框架，并实现了97%的完全监督模型的触发器提取性能和82%的参数提取性能，仅访问ACE上的33种类型中的10种。
2021-04-13 cs.CL
