MemSum-DQA: Adapting An Efficient Long Document Extractive Summarizer for Document Question Answering
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
MemSum-DQA利用MemSum抽取式摘要器，通过前缀问题与类型实现文档问答，精确匹配提升9%，擅长子关系理解。
2023-10-10 cs.CL
Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering
University of New South Wales（新南威尔士大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of Wollongong（伍伦贡大学）
提出DocTrace，一种多智能体RAG框架，通过查询触发的知识组织、文档结构感知和经验引导推理，解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题，在三个数据集上取得最佳性能。
2026-08-07 cs.CL
ERNIE-Doc: A Retrospective Long-Document Modeling Transformer
Baidu Inc.（百度公司）
Transformers不适合处理长文档，因为它们的内存和时间消耗呈二次方增长。简单地截断长文档或应用稀疏注意力机制将导致上下文碎片问题或导致与可比模型大小相比较差的建模能力。在本文中，我们提出了ERNIE-Doc，一个基于递归Transformers的文档级语言预训练模型。两个设计良好的技术，即追溯饲料机制和增强的循环机制，使ERNIE-Doc，它有一个更长的有效上下文长度，以捕捉一个完整的文档的上下文信息。我们对ERNIE-Doc进行预训练，以显式地学习片段之间的关系，并增加一个文档感知的片段重新排序目标。本研究在英语和汉语两种文档水平的任务上进行了多项实验。ERNIE-Doc在WikiText-103上将最先进的语言建模结果的困惑度提高到16.8。此外，它在大多数语言理解任务（如文本分类和问答）上的表现远远优于竞争性预训练模型。
2021-05-24 cs.CL
AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）
针对长文档问答标注成本高、现有无监督问答难处理长距离信息的问题，提出无监督长文档问答任务与AttenWalker方法，通过三模块构建长距离依赖答案，在基准数据集及少样本场景下表现优异。
2023-05-03 cs.CL
RoR: Read-over-Read for Long Document Machine Reading Comprehension
JD AI Research（京东人工智能研究院）；Harbin Institute of Technology（哈尔滨工业大学）
基于transformer的预训练模型，如BERT，在机器阅读理解上取得了显著的效果。然而，由于编码长度的约束（例如，512 WordPiece令牌），长文档通常被分成多个独立读取的块。这导致阅读域仅限于单个块，而没有长文档机器阅读理解的信息协作。为了解决这个问题，我们提出了RoR，一个读过读的方法，它扩展了阅读领域从块到文档。具体地，RoR包括块读取器和文档读取器。前者首先为每个块预测一组区域答案，然后将其压缩成原始文档的高度压缩版本，保证编码一次。后者进一步预测了这份浓缩文件的全球答案。最终，利用投票策略对区域和全球答案进行汇总和重新排名，以进行最终预测。在两个基准测试QuAC和TriviaQA上的大量实验证明了RoR在长文档阅读中的有效性。值得注意的是，RoR在提交时（2021年5月17日）在QuAC排行榜（https：//quac.ai/）上排名第一。
2021-09-14 cs.CL
LongBEL: Long-Context and Document-Consistent Biomedical Entity Linking
Sorbonne Université, Inserm, Université Sorbonne Paris Nord, Limics（索邦大学、国家医学研究院、巴黎索邦大学北校区、Limics）；Service de médecine interne, Hôpital Tenon, Assistance Publique - Hôpitaux de Paris（内科服务，Tenon医院，巴黎公共医院）
LongBEL通过结合全文上下文和预测记忆，提升生物医学实体链接的文档一致性，尤其在概念频繁重复的文档中表现突出。
2026-05-13 cs.CL
Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation
Chongqing University（重庆大学）；State Key Laboratory of AI Safety（人工智能安全国家重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of California, Merced（加州大学默塞德分校）；University of Queensland（昆士兰大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对长文档检索中单向量编码削弱关键片段证据的问题，提出无训练的分块证据聚合策略DICE，通过独立编码分块并聚合为单一向量，在保持标准接口的同时显著提升检索性能。
2026-06-18 cs.CL
Beyond Chunking: Discourse-Aware Hierarchical Retrieval for Long Document Question Answering
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen)（计算与智能研究院，哈尔滨工业大学（深圳））；Shenzhen Loop Area Institute (SLAI)（深圳环形区研究院（SLAI））
本文提出一种篇章意识层次检索框架，利用修辞结构理论处理长文档问答，通过 discourse parsing 和 LLM 增强实现结构与语义信息的融合，实验表明在多种语言和文档类型上均取得显著提升。
2026-05-07 cs.AI cs.CL cs.IR
The Law of Large Documents: Understanding the Structure of Legal Contracts Using Visual Cues
Lexion（莱克西翁）
像BERT这样的大型预训练Transformer模型在文档理解任务上取得了最先进的结果，但大多数实现一次只能考虑512个令牌。对于许多现实世界的应用程序，文档可能会更长，通常用于较长文档的分割策略会遗漏文档结构和上下文信息，从而损害下游任务的结果。在我们对法律协议的研究中，我们发现，文本在文档中的布局、风格和位置等视觉线索是很强的特征，对于在长文档中实现可接受的准确度至关重要。我们衡量的影响，将这样的视觉线索，通过计算机视觉方法获得的，对文档理解任务，包括文档分割，实体提取和属性分类的准确性。我们的方法分割文件的基础上，结构元数据的表现优于现有的方法，在四个长期的文档理解任务的合同理解Atticus数据集。
2021-07-16 cs.CL
Long-Range Transformer Architectures for Document Understanding
INSA Lyon（里昂国立应用科学学院）；Esker（Esker公司）
本文提出两种用于文档理解的多模态长距离Transformer模型，并引入2D相对注意力偏置，使模型能高效处理长篇多页文档，在信息检索任务上取得提升。
2023-09-11 cs.CL
Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术研究院）
长文档问答是一个具有挑战性的任务，因为它需要对长文本进行复杂的推理。以往的研究通常将长文档看作非结构化的平面文本，或者只考虑长文档的局部结构。然而，这些方法通常忽略了长期的理解是必不可少的长文档的全局结构。为了解决这个问题，我们提出了压缩图网络（CGSN），以压缩和迭代的方式捕获全局结构。该模型主要研究长文档问答的证据选择阶段。具体来说，它包括三个模块：局部图网络，全局图网络和证据记忆网络。首先，局部图网络在词元、句子、段落和段的层次上构建组块段的图结构，以捕捉文本的短期依赖关系。其次，全局图网络有选择地接收来自局部图的每一层信息，将它们压缩到全局图节点中，并将图注意力应用于全局图节点，以迭代的方式建立对整个文本的远程推理。第三，设计了证据记忆网络，通过保存前几步的选择结果来缓解证据选择中的冗余问题。大量的实验表明，该模型优于以前的方法在两个数据集上。
2022-10-19 cs.CL
Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院）；Huawei Poisson Lab（华为Poisson实验室）
针对长上下文RAG中的冗余与噪声问题，提出即插即用的LongRefiner，通过双层查询分析、分层文档结构化和多任务自适应精炼，在七个QA数据集上以十分之一成本取得竞争力性能。
2025-05-15 cs.CL
Iterative Hierarchical Attention for Answering Complex Questions over Long Documents
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们提出了一个新的模型，DocHopper，迭代地出席不同部分的长，层次结构的文档来回答复杂的问题。类似于多跳问答（QA）系统，在每一步，DocHopper使用查询$q$来处理来自文档的信息，将此"检索“信息与$q$组合以产生下一个查询。然而，与大多数以前的多跳QA系统相比，DocHopper能够“检索”文档的短段落或长部分，从而模拟通过长文档“导航”的多步骤过程来回答问题。为了实现这种新颖的行为，DocHopper并没有通过将文本连接到$q$的文本来将文档信息与$q$结合起来，而是通过将$q$的紧凑神经表示与文档的分层部分的紧凑神经表示结合起来，这可能非常大。我们在四个不同的QA任务上使用DocHopper进行了实验，这些任务需要阅读长而复杂的文档来回答多跳问题，并表明DocHopper在三个数据集上实现了最先进的结果。此外，DocHopper在推理时间上是有效的，比基线快3- 10倍。
2021-10-22 cs.AI cs.CL
Drilling Down into the Discourse Structure with LLMs for Long Document Question Answering
University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
针对LLM零样本长文档证据检索中上下文限制与计算成本问题，提出利用文档篇章结构创建浓缩表示的方法，在仅处理26%token下保留99.6%性能，并结合self-ask智能体在多跳问答中逼近使用黄金证据的零样本性能。
2023-11-22 cs.AI cs.CL cs.IR
Hierarchical Question Answering for Long Documents
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们提出了一个用于问答的框架，可以有效地扩展到更长的文档，同时保持甚至提高最先进模型的性能。虽然大多数成功的阅读理解方法都依赖于递归神经网络（RNN），但在长文档上运行它们的速度非常慢，因为很难在序列上并行化。受人们如何首先浏览文档，识别相关部分，并仔细阅读这些部分以产生答案的启发，我们结合了一个粗糙，快速的模型来选择相关句子，并使用一个更昂贵的RNN来从这些句子中产生答案。我们把句子选择作为一个潜在的变量，只使用强化学习从答案中联合训练。实验证明了在维基阅读的一个具有挑战性的子集和一个新的数据集上的最先进的性能，同时将模型加速了3.5x-6.7x。
2017-02-08 cs.CL
DOREMI: Optimizing Long Tail Predictions in Document-Level Relation Extraction
Department of Information Engineering（信息工程系）；University of Padova（帕多瓦大学）
DOREMI通过针对性手动标注优化文档级关系抽取中的长尾预测问题，提升对稀有关系的泛化能力。
2026-01-16 cs.CL
Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout
Adam Mickiewicz University（亚当·密茨凯维奇大学）；Nicolaus Copernicus University（尼古拉·哥白尼大学）；Warsaw University of Technology（华沙理工大学）；Samsung R&D Institute Poland（三星波兰研发研究所）
最先进的自然语言处理（NLP）解决方案能够捕获广泛的上下文，例如短文档的文档级上下文或文档级上下文。但是，当涉及到更长的、真实世界的文档时，这些解决方案仍然在努力，这些文档的信息编码在文档的空间结构中，例如表格、表单、页眉、开头或页脚等页面元素;复杂的页面布局或多个页面的存在。为了鼓励更深入和更复杂的信息抽取（IE）的进展，我们引入了一个新的任务（名为Kleister）与两个新的数据集。利用文本和结构布局功能，NLP系统必须在长的正式文档中找到关于各种类型实体的最重要的信息。我们提出管道方法作为一个纯文本的基线与不同的命名实体识别架构（Flair，BERT，RoBERTa）。此外，我们检查了最流行的PDF文本提取处理工具（pdf 2djvu，Tesseract和Texextract），以分析IE系统在这些工具引入错误时的行为。
2020-03-06 cs.CL
VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
Mazelone（马泽隆）
研究针对视觉丰富的长文档问答的多模态检索增强生成，提出VLD-RAG框架，构建多模态索引并采用混合检索策略，经智能体工作流程协调，在相关基准上提升了证据页面检索及问答表现，凸显协调验证与混合检索的重要性。
2026-07-29 cs.AI cs.CL cs.IR
BRIDGE: Benchmark for multi-hop Reasoning In long multimodal Documents with Grounded Evidence
The University of Melbourne（墨尔本大学）；The University of Western Australia（西澳大学）
BRIDGE是一个针对长多模态文档的多跳推理基准测试，通过显式的多跳推理注释揭示证据聚合和 grounding 的系统性缺陷。
2026-03-09 cs.CL
MultiDocFusion: Hierarchical and Multimodal Chunking Pipeline for Enhanced RAG on Long Industrial Documents
Human-inspired AI Research（人机协同人工智能研究所）；Department of Computer Science and Engineering（计算机科学与工程系）；School of Software（软件学院）
针对长工业文档结构复杂的问题，提出MultiDocFusion分块流程，结合视觉解析、OCR提取、层次结构重建和DFS分组，提升RAG检索精度和问答质量。
2026-04-14 cs.AI cs.CL
Multi-view Content-aware Indexing for Long Document Retrieval
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对长文档问答中固定长度分块忽略内容结构的问题，提出无需训练的即插即式多视图内容感知索引方法，通过内容结构分割和多视图表示提升检索性能，在多种检索器上显著提高召回率。
2024-04-23 cs.CL
Understanding Retrieval Augmentation for Long-Form Question Answering
Department of Computer Science University of Texas at Austin（计算机科学系 德克萨斯大学奥斯汀分校）
针对长文本问答中检索文档利用机制研究不足的问题，通过两项对照实验和SALAD数据集分析发现，语言模型虽能利用上下文文档但答案归因度有限，揭示了检索增强对长文本生成的影响并指明未来方向。
2025-10-03 cs.CL
Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning
Zhejiang University（浙江大学）；IBM Research（IBM研究院）
面向现实世界的信息抽取场景，关系抽取的研究正在向文档级关系抽取（DocRE）发展。现有的DocRE方法旨在通过新的模型架构对长上下文中的各种信息源进行编码来提取关系。然而，DocRE固有的长尾分布问题被以前的工作所忽视。我们认为，减轻长尾分布问题是至关重要的DocRE在现实世界中的场景。受长尾分布问题的启发，我们提出了一种简单的关系增强（ERA）方法，通过增强尾部关系的性能来改进DocRE。此外，我们进一步提出了一个新的对比学习框架，即基于我们的ERA，ERACL，它可以进一步提高模型在尾关系上的性能，并实现与最先进的DocRE相比具有竞争力的整体性能。
2022-05-21 cs.AI cs.CL
Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA
MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所 MAIS）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Alibaba Group（阿里巴巴集团）
针对现有长上下文基准依赖无关噪声文本、脱离真实场景的问题，本文提出扩展多文档问答基准 Loong，通过要求所有文档均与答案相关并设置四类任务，更真实全面地评测长上下文大语言模型的能力。
2024-10-03 cs.AI cs.CL
MARDoc: A Memory-Aware Refinement Agent Framework for Multimodal Long Document QA
Tianjin University（天津大学）；Qifu Technology（启福科技）；Beihang University（北航）；Jiangnan University（江南大学）
提出MARDoc框架，通过解耦为探索、精炼和反思三个智能体，并利用结构化记忆替代完整交互历史，减少上下文噪声，提升多模态长文档问答性能。
2026-06-04 cs.AI cs.CL
Long-Context Long-Form Question Answering for Legal Domain
J. P. Morgan Chase（摩根大通）
本文提出了一种针对法律文档长上下文长格式问答的系统，通过解构领域词汇、解析复杂布局和生成全面回答，提升问答精度与实用性。
2026-02-06 cs.AI cs.CL
LiteraryQA: Towards Effective Evaluation of Long-document Narrative QA
Sapienza NLP Group, Sapienza University of Rome（Sapienza 大学自然语言处理组，Sapienza 罗马大学）；Babelscape, Italy（Babelscape 公司，意大利）
针对叙事问答基准NarrativeQA的噪声问题，提出高质量子集LiteraryQA，通过人工与LLM验证流程修正数据，并评估指标，发现LLM评审优于n-gram指标，最后对长上下文LLM进行基准测试。
2025-10-15 cs.AI cs.CL
PDFTriage: Question Answering over Long, Structured Documents
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
针对现有检索增强大语言模型处理长结构化文档时，纯文本表示与用户结构认知不匹配导致问答失效的问题，提出PDFTriage方法支持按结构或内容检索上下文，验证有效性并发布含900+问题的基准数据集。
2023-11-08 cs.AI cs.CL cs.LG
A Split-then-Join Approach to Abstractive Summarization for Very Long Documents in a Low Resource Setting
Department of Computer Science（计算机科学系）；Universitas Indonesia（印度尼西亚大学）
针对BIGBIRD-PEGASUS仅能处理4,096个token的限制，本文提出先分割后合并的数据增强与微调方法，使超长文档摘要在低资源场景下避免截断并缓解领域偏移与过拟合。
2025-05-11 cs.CL cs.IR
Subtopic-aware View Sampling and Temporal Aggregation for Long-form Document Matching
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
本文提出一种用于长文档匹配的新框架，通过子主题感知视图采样捕获异构匹配信号，并采用时间聚合方法逐步整合多视图，有效提升了新闻查重与法律案例检索等任务的性能。
2024-12-24 cs.CL cs.IR
Long Document Re-ranking with Modular Re-ranker
Carnegie Mellon University（卡内基梅隆大学）
对于基于深度语言模型（如BERT）的神经重排序器来说，长文档重排序一直是一个具有挑战性的问题。早期的工作将文档分解成短的类似于文本的块。这些块被独立地映射到标量分数或潜在向量，然后将其汇集到最终的相关性分数中。然而，这些编码和池方法不可避免地引入了一个信息瓶颈：低维表示。在本文中，我们建议，而不是充分的查询到文档的交互建模，利用注意力操作和模块化的Transformer重新排名框架。首先，使用编码器模块独立地对文档块进行编码。然后，交互模块对查询进行编码，并执行从查询到所有文档块表示的联合关注。我们证明，该模型可以使用这个新的自由度，从整个文档中聚合重要信息。实验结果表明，该方法对两个经典的IR集合Robust04和CNOWWeb09以及一个大规模的监督集合MS-MARCO文档排序进行了有效的重排序。
2022-06-06 cs.CL cs.IR
Positional Bias in Long-Document Ranking: Impact, Assessment, and Mitigation
Independent Researcher（独立研究者）；Louisiana State University（路易斯安那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
针对长文档排序模型性能提升有限的问题，研究发现是基准测试的位置偏差所致，通过分析多数据集偏差分布、构建诊断数据集验证假设，并指出基准设计、鲁棒模型识别及去偏差训练的重要性。
2025-11-12 cs.CL cs.IR
LongFin: A Multimodal Document Understanding Model for Long Financial Domain Documents
Arteria AI
针对现有文档AI模型和数据集无法适配金融领域多页长文档的问题，提出支持4K token编码的多模态模型LongFin及配套LongForms金融数据集，在新数据集上超越现有公开模型，单页基准性能相当。
2024-01-26 cs.CL
Extracting Summary Knowledge Graphs from Long Documents
University of Washington（华盛顿大学）
知识图谱从长文档中捕获实体和关系，并且可以促进许多下游应用中的推理。提取仅包含显著实体和关系的紧凑知识图谱对于理解和总结长文档来说是重要的，但具有挑战性。我们介绍了一个新的文本到图形的任务，预测总结知识图谱从长文档。我们使用自动和人工注释开发了一个包含20万文档/图形对的数据集。我们还基于图形学习和文本摘要为这项任务开发了强大的基线，并对其效果进行了定量和定性研究。
2021-06-14 cs.CL
Document Structure in Long Document Transformers
DFKI（德国人工智能研究中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
该研究针对长文档Transformer的结构感知问题，设计探测任务验证其预训练获隐式结构理解，提出通用结构注入方法并在QASPER等任务上提升性能，同时公开数据代码。
2024-01-31 cs.CL
Recall Them All: Retrieval-Augmented Language Models for Long Object List Extraction from Long Documents
MPI for Informatics（MPI信息学研究所）；TUD（德累斯顿工业大学）
针对长文本长对象列表抽取召回率不足的问题，提出两阶段L3X方法，结合检索增强LLM的召回式生成与精度导向审核，性能显著优于纯LLM生成。
2025-03-19 cs.CL cs.IR
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer对于文本建模非常重要。然而，由于输入文本长度的二次复杂性，它在处理长文档时有困难。为了处理这个问题，我们提出了一个层次化的交互式Transformer（Hi-Transformer），以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模，即，首先学习句子表示，然后学习文档表示。它可以有效地降低复杂度，同时捕获全局文档上下文的建模中的每一个句子。更具体地说，我们首先使用句子Transformer来学习每个句子的表示。然后，我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来，我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后，我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
Leveraging BERT Language Model for Arabic Long Document Classification
Elm Company（埃尔姆公司）
针对阿拉伯语长文档传统分类方法计算需求过高的问题，提出两种简单有效的分类模型，经两个数据集验证，效果优于微调后的Longformer和RoBERT模型。
2023-05-04 cs.CL
Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents
KingSoft Office Zhuiguang AI Lab（金山办公曙光人工智能实验室）
本文提出基于Qwen3-0.6B的判别分割模型，通过跨窗口上下文融合和重叠滑动窗口策略，实现超长文档的高效段落边界检测，并提升下游检索效率。
2025-12-23 cs.AI cs.CL cs.IR
On Generating Extended Summaries of Long Documents
Georgetown University（乔治城大学）
以前的工作，在文件摘要主要集中在生成简短的摘要文件。虽然这种类型的摘要有助于获得给定文档的高级视图，但在某些情况下，需要了解有关其突出点的更详细信息，这些信息无法放入简短的摘要中。对于较长的文档，如研究论文、法律文档或书籍，通常是这种情况。在本文中，我们提出了一种新的方法来生成扩展摘要的长文件。我们的方法利用文档的层次结构，并通过多任务学习方法将其纳入提取摘要模型。然后，我们在三个长摘要数据集arXiv-Long，PubMed-Long和Longsumm上展示了我们的结果。我们的方法优于或匹配强基线的性能。此外，我们对生成的结果进行了全面的分析，为长格式摘要生成任务的未来研究提供了见解。我们的分析表明，我们的多任务处理方法可以调整提取概率分布，以支持跨不同部分的摘要值得的句子。我们的数据集和代码可在https://github.com/Georgetown-IR-Lab/ExtendedSumm上公开获取
2020-12-28 cs.CL
Revisiting Transformer-based Models for Long Document Classification
CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；University of Copenhagen（哥本哈根大学）；Pioneer Centre for AI（人工智能先锋中心）
最近的文本分类文献偏向于短文本序列（例如，句子或段落）。在现实世界的应用程序中，多页多段落的文档是常见的，它们不能被基于transformer的模型有效地编码。我们比较了不同的基于变换器的长文档分类（TrLDC）方法，旨在减轻香草Transformers编码更长文本的计算开销，即稀疏注意和分层编码方法。我们研究了稀疏注意力的几个方面（例如，局部注意力窗口的大小，全局注意力的使用）和分层（例如，文档分割策略）转换器在覆盖不同域的四个文档分类数据集上进行。我们观察到一个明显的好处，能够处理较长的文本，并根据我们的研究结果，我们得到了实用的建议，应用基于transformer的模型长文档分类任务。
2022-10-25 cs.CL
Query-Based Keyphrase Extraction from Long Documents
Brno University of Technology（布尔诺理工大学）
自然语言处理中基于转换器的架构强制输入大小限制，当需要处理长文档时，这可能会产生问题。本文克服了这个问题的关键词提取分块的长文档，同时保持一个全局上下文作为一个查询定义的主题，相关的关键词应该被提取。所开发的系统采用了一个预先训练的BERT模型，并适应它来估计一个给定的文本跨度形成一个关键短语的概率。我们在两个流行的数据集Inspec和SemEval以及一个大型的新数据集上使用各种上下文大小进行了实验。所提出的结果表明，一个较短的上下文与查询克服了一个较长的没有查询长文档。
2022-05-11 cs.CL
HERA: Improving Long Document Summarization using Large Language Models with Context Packaging and Reordering
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Ant Group（蚂蚁集团）
针对大语言模型在长文档摘要中因信息分散和叙述顺序混乱导致表现不佳的问题，提出HERA框架，通过语义分段、检索与重排序构建输入上下文，无需额外微调即显著优于基础模型。
2025-02-01 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
Longformer: The Long-Document Transformer
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
基于transformer的模型无法处理长序列，因为它们的自注意操作与序列长度成二次方关系。为了解决这个限制，我们引入了Longformer，它具有一个注意力机制，可以随序列长度线性扩展，从而可以轻松处理数千个令牌或更长时间的文档。Longformer的注意力机制是标准自我注意力的一种替代，它结合了局部窗口注意力和任务驱动的全局注意力。在长序列Transformers的先前工作之后，我们评估了Longformer的字符级语言建模，并在text 8和enwik 8上获得了最先进的结果。与大多数先前的工作相比，我们还对Longformer进行预训练，并在各种下游任务上对其进行微调。我们经过预训练的Longformer在长文档任务上的表现一直优于RoBERTa，并在WikiHop和TriviaQA上设置了最先进的结果。最后，我们介绍了Longformer-Encoder-Decoder（LED），这是一种用于支持长文档生成序列到序列任务的Longformer变体，并在arXiv摘要数据集上展示了其有效性。
2020-12-02 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
LongKey: Keyphrase Extraction for Long Documents
University of Luxembourg（卢森堡大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
针对长文档关键短语提取的空白，提出LongKey框架，利用编码器语言模型和最大池化嵌入器，在LDKP及六个未见数据集上超越现有方法。
2024-11-26 cs.AI cs.CL cs.IR
Content Reduction, Surprisal and Information Density Estimation for Long Documents
University of Helsinki（赫尔辛基大学）；KU Leuven（鲁汶大学）；Aalto University（阿尔托大学）
本文研究长文档的信息分布及内容缩减对信息密度的影响，提出四种信息密度估计标准，并设计基于注意力的词元选择方法，在自动医疗编码等任务中验证了其有效性。
2023-09-12 cs.CL
LongHisDoc: A Comprehensive Benchmark for Chinese Long Historical Document Understanding
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院）；College of Literature and Journalism, Sichuan University（四川大学文学与新闻学院）
LongHisDoc是首个中文长历史文档理解综合基准，含1012个专家标注问答对，评估显示顶尖LVLM、LLM准确率仅62.9%、69.9%，还评估了模态检索器与RAG性能，可推动相关研究。
2026-10-21 cs.CL
Long Document Summarization in a Low Resource Setting using Pretrained Language Models
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Goldman Sachs（高盛）
摘要是将长文档压缩成连贯的短文档，同时保留显著信息的任务。现代抽象摘要方法基于深度神经网络，其通常需要大的训练数据集。由于收集摘要数据集是一项昂贵且耗时的任务，因此实际的工业环境通常资源较少。在本文中，我们研究了一个具有挑战性的低资源设置，总结长的法律摘要，平均源文件长度为4268字，只有120个可用（文件，摘要）对。为了解释数据稀缺性，我们使用了一个现代的预先训练的抽象摘要器BART（Lewis等人，2020年），它只达到17.9 ROUGE-L，因为它与长文档作斗争。因此，我们尝试通过使用基于GPT-2的新颖算法（Radford等人，2019）语言模型困惑分数，其在低资源范围内操作。在将压缩文档馈送到BART时，我们观察到6.0 ROUGE-L的改进。我们的方法还击败了几个竞争性的显着性检测基线。此外，所识别的突出句子往往同意由领域专家的独立的人类标记。
2021-03-01 cs.CL
Graph-tree Fusion Model with Bidirectional Information Propagation for Long Document Classification
University of Western Ontario（西安大略大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Dalhousie University（达尔豪斯大学）；University of Toronto（多伦多大学）
本文提出一种图-树融合模型，结合句法树与文档图并通过双向信息传播，解决长文档分类中的层次建模与token限制问题，在各类长文档分类任务中取得有效表现。
2024-10-03 cs.CL
Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study
University of Wolverhampton（伍尔弗汉普顿大学）；Aston University（阿斯顿大学）；Lancaster University（兰卡斯特大学）
针对主流Transformer模型受512 token长度限制、难以处理长文档分类的问题，本研究实证探索模型融合方法在该任务中的效果，并与BERT、Longformer架构的表现进行对比。
2023-07-18 cs.CL
GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state
Charles Sturt University（查尔斯特大学）；Atypon Systems, LLC（Atypon系统有限责任公司）；Fudan University（复旦大学）
从长文档中提取摘要可以看作是利用文档的结构信息进行句子分类。如何使用这样的结构化信息来概括文档是具有挑战性的。在本文中，我们提出了GoSum，一种新的图和强化学习为基础的提取模型的长论文摘要。特别是，GoSum通过为不同话语级别的每个输入文档构建异构图，在强化学习中对句子状态进行编码。图中的边反映了文档的语篇层次结构，用于抑制跨节边界的语义漂移。我们在两个科学文章摘要数据集上评估了GoSum：PubMed和arXiv。实验结果表明，与提取和抽象模型的强基线相比，GoSum实现了最先进的结果。消融研究进一步验证了我们的GoSum的性能受益于话语信息的使用。
2023-01-20 cs.CL
