Contrastive Representation Learning for Cross-Document Coreference Resolution of Events and Entities
AWS AI Labs（亚马逊云科技人工智能实验室）
识别文档内和跨文档的相关实体和事件是自然语言理解的基础。本文提出了一种基于对比表示学习的实体和事件共指消解方法。早期的最先进的方法已经将这个问题公式化为二进制分类问题，并在交叉编码器架构中利用大型Transformers来实现其结果。对于文档的大集合和$n$提及的对应集合，在这些早期方法中执行$n^{2}$ Transformer计算的必要性可能是计算密集型的。我们表明，通过应用仅需要在推理时进行$n$ Transformer计算的对比学习技术，可以减轻这种负担。我们的方法在ECB+语料库的一些关键指标上取得了最先进的结果，并且在其他方面具有竞争力。
2022-05-23 cs.CL
ContractNLI: A Dataset for Document-level Natural Language Inference for Contracts
Stanford University（斯坦福大学）；Hitachi America Ltd（日立美国有限公司）
审查合同是一个耗时的过程，招致大量的费用，公司和社会不平等的那些谁买不起it.In这项工作中，我们提出了“文件级自然语言推理（NLI）的合同”，一个新的，现实世界中的应用NLI，解决这些问题。在这项任务中，系统被赋予一组假设（如“协议的某些义务可能在终止后继续存在。“）和合同，并要求对每一项假设进行分类，确定每一项假设是否为合同“所必然”、“与合同相矛盾”或“未被合同提及”（对合同中性），并将决定的“证据”确定为合同中的跨度。我们注释并发布了迄今为止最大的语料库，包括607个注释合同。然后，我们发现现有的模型在我们的任务中失败得很严重，并引入了一个强大的基线，（1）将证据识别建模为跨度上的多标签分类，而不是试图预测开始和结束标记，（2）采用更复杂的上下文分割来处理长文档。我们还表明，合同的语言特点，如否定的例外情况，有助于这项任务的难度，有很大的改进空间。
2021-10-05 cs.AI cs.CL cs.LG
Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对BERT等模型在长文档分类中受输入长度和计算效率限制的问题，提出基于TF-IDF句子排序减少上下文的零样本方法，在MahaNews数据集上保留50%句子可维持准确率且推理时间最多降35%，实现高效分类。
2025-08-24 cs.CL cs.LG
Neural Models for Documents with Metadata
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
大多数真实世界的文档集合都涉及各种类型的元数据，例如作者、来源和日期，但最常用的建模文本语料库的方法忽略了这些信息。虽然已经为特定应用开发了专门的模型，但很少在实践中广泛使用，因为定制通常需要导出自定义推理算法。在本文中，我们建立在变分推断方法的最新进展，并提出了一个通用的神经框架，主题模型的基础上，使元数据的灵活结合，并允许快速探索替代模型。我们的方法实现了强大的性能，与混乱，连贯性和稀疏性之间的可管理的权衡。最后，我们展示了我们的框架的潜力，通过探索有关美国移民的文章语料库。
2018-10-23 cs.CL stat.ML
Learning Document-Level Semantic Properties from Free-Text Annotations
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种利用自由文本关键词注释来推断文档语义属性的新方法。由于最近半结构化的用户生成的在线内容的急剧增长，这样的注释变得越来越丰富。一个特别相关的领域是产品评论，这些评论通常由其作者用优点/缺点关键词进行注释，例如真正的讨价还价或良好的价值。这些注释代表了底层的语义属性;然而，与专家注释不同，它们是嘈杂的：外行作者可能使用不同的标签来表示相同的属性，并且某些标签可能会丢失。为了使用这种嘈杂的注释进行学习，我们发现了一个隐藏的释义结构，它将关键短语聚集在一起。释义结构与评论文本的潜在主题模型相联系，使系统能够预测未注释文档的属性，并有效地聚合多个评论的语义属性。我们的方法被实现为一个分层贝叶斯模型与联合推理。我们发现，联合推理增加了关键词聚类的鲁棒性，并鼓励潜在的主题与语义有意义的属性。多个评估表明，我们的模型大大优于其他方法总结成一组语义突出的关键词的单个和多个文件。
2014-01-15 cs.CL cs.IR
Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization
University of Pittsburgh（匹兹堡大学）
本研究针对长文档摘要事实不一致检测的挑战，通过话语分析揭示错误与话语特征的关联，提出基于话语块分解和信息聚合的框架，在多基准上提升不同模型性能，强调话语特征的重要性。
2025-02-10 cs.AI cs.CL
Improving the Inference of Topic Models via Infinite Latent State Replications
Nanyang Technological University（南洋理工大学）；Universidad de los Andes（洛斯安第斯大学）；National University of Singapore（新加坡国立大学）
在文本挖掘中，主题模型是一种概率生成模型，用于从文本语料中推断潜在语义主题。主题模型最流行的推理方法之一可能是折叠吉布斯采样（CGS），它通常为每个观察到的文档-单词对采样一个主题标签。在本文中，我们的目的是改善CGS的主题模型的推理。我们建议利用状态增强技术，通过最大化的主题样本的数量为无穷大，然后开发一种新的推理方法，称为无限潜在状态复制（ILR），生成强大的软主题分配每个给定的文档词对。在公开数据集上的实验结果表明，ILR比CGS更适合于现有主题模型的推理。
2023-01-25 cs.AI cs.CL cs.LG
Learning document embeddings along with their uncertainties
Brno University of Technology（布尔诺理工大学）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）
大多数文本建模技术只产生文档嵌入的点估计，缺乏捕获估计的不确定性。这些不确定性给出了嵌入表示文档的程度的概念。我们提出了贝叶斯子空间多项式模型（Bayesian SMM），这是一种生成式对数线性模型，它学习以高斯分布的形式表示文档，从而将其协方差中的不确定性编码。此外，在建议的贝叶斯SMM，我们解决了一个常见的问题，出现在变分推理混合logit模型的棘手。我们还提出了一个生成高斯线性分类器的主题识别，利用文档嵌入的不确定性。我们的内在评价，使用困惑的措施表明，所提出的贝叶斯SMM更好地拟合数据相比，最先进的神经变分文档模型Fisher语音和20新闻组文本语料库。我们的主题识别实验表明，所提出的系统是强大的过拟合看不见的测试数据。主题识别结果表明，该模型优于最先进的无监督主题模型，并取得了与最先进的全监督判别模型相当的结果。
2019-10-18 cs.CL cs.LG
A Comparison of Approaches for Imbalanced Classification Problems in the Context of Retrieving Relevant Documents for an Analysis
Ludwig-Maximilians-University Munich（慕尼黑路德维希-马克西米利安大学）
许多基于文本的社会科学研究的第一步是从大量的不相关文档中检索与分析相关的文档。在社会科学中，解决这一检索任务的传统方法是应用一组关键字，并认为这些文档是相关的，至少包含一个关键字。但是，应用不完整的关键字列表有可能得出有偏见的推论。更复杂和昂贵的方法，如查询扩展技术，基于主题模型的分类规则，以及主动和被动的监督学习可能有潜力更准确地分离相关的不相关的文件，从而减少潜在的偏见的大小。然而，应用这些更昂贵的方法是否会增加检索性能相比，关键字列表在所有，如果是这样的话，有多少，是不清楚的，因为这些方法的比较是缺乏的。这项研究通过比较这些方法在与德国推文数据集（Linder，2017），社会偏见推理语料库（SBIC）（Sap等人，2020）和Reuters-21578语料库（Lewis，1997）。结果表明，查询扩展技术和主题模型为基础的分类规则，在大多数研究设置往往会降低，而不是提高检索性能。然而，主动监督学习如果应用于不太小的标记训练实例集（例如，1,000个文档），则达到比关键字列表高得多的检索性能。
2022-05-03 cs.CL cs.IR stat.AP
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Nonparametric Topic Modeling with Neural Inference
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；Momenta
这项工作的重点是结合非参数主题模型与自动编码变分贝叶斯（AEVB）。具体来说，我们首先提出了iTM-VAE，其中的主题被视为可训练的参数和特定于文档的主题比例是通过一个棒打破建设。iTM-VAE的推理由神经网络建模，使得它可以以简单的前馈方式计算。我们还描述了如何将超先验引入到iTM-VAE中，以便对先验参数的不确定性进行建模。实际上，超先验技术是相当普遍的，我们表明，它可以应用于其他AEVB为基础的模型，以减轻{\it的先验问题优雅。此外，我们还提出了HiTM-VAE，其中特定于文档的主题分布是以分层的方式生成的。HiTM-VAE更加灵活，可以生成具有更好可变性的主题分布。在20News和Reuters RCV1-V2数据集上的实验结果表明，所提模型的性能明显优于现有基线。超先验技术和分层模型构造的优点也被实验证实。
2018-06-18 cs.CL cs.IR cs.LG
Graph-based Retrieval for Claim Verification over Cross-Document Evidence
ISTC-CNR（意大利国家研究委员会认知科学与技术研究所）
验证声明的真实性需要在大型知识库上进行推理，通常以可信赖来源的语料库的形式。一种常见的方法包括从参考文献中检索相关文本的短部分，并将它们作为输入提供给自然语言推理模块，该模块确定是否可以从它们推断出或反驳权利要求。然而，当需要从不同文件中收集和合并多份证据时，这种办法就很困难，因为单一文件往往与目标索赔几乎没有关系，因此被检索模块排除在外。我们推测，基于图的方法可以是有益的，以确定碎片化的证据。我们通过在整个语料库中构建一个大型图来测试这一假设，该图通过提到的实体将文本部分互连，并利用这样的图来识别来自多个来源的候选证据集。我们的实验表明，利用图结构是有益的，在确定一个合理的小部分段落相关的索赔。
2021-09-13 cs.CL cs.IR cs.LG
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面，主题建模通过利用同一文档中的全局词语搭配模式，将文档映射到低维主题空间。这两种模式是互补的。在本文中，我们提出了一个生成式的主题嵌入模型，结合这两种类型的模式。在我们的模型中，主题由嵌入向量表示，并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中，我们的方法比现有的八种方法性能更好，功能更少。此外，我们用一个例子说明，我们的方法可以生成连贯的主题，即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
HIN: Hierarchical Inference Network for Document-Level Relation Extraction
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
文档级RE需要阅读，推断和聚合多个句子。从我们的观点来看，文档级RE需要利用多粒度的推理信息：实体级，句子级和文档级。因此，如何获取和聚合不同粒度的推理信息是具有挑战性的文档级RE，这是以前的工作没有考虑。本文提出了一种层次推理网络（HIN），充分利用了实体级、句子级和文档级的丰富信息。在多个子空间中对目标实体对进行平移约束和双线性变换，得到实体级推理信息。其次，我们对实体级信息和句子表示之间的推理进行建模，得到句子级的推理信息。最后，采用层次聚合方法获得文档级推理信息。通过这种方式，我们的模型可以有效地聚合这三个不同粒度的推理信息。实验结果表明，我们的方法在大规模DocRED数据集上实现了最先进的性能。我们还证明，使用BERT表示可以进一步大幅提高性能。
2020-03-28 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
Tel-Aviv University（特拉维夫大学）；Ariel University（阿里埃勒大学）；Bar-Ilan University（巴伊兰大学）；Microsoft（微软）
我们提出了一种新的模型，根据其语义相似性的源（查询）文档的文档集合的排名问题。虽然已经研究了文档到文档相似性排名的问题，但大多数现代方法仅限于相对较短的文档或依赖于“地面实况”相似性标签的存在。然而，在大多数常见的现实情况下，相似性排名是一个无监督的问题，因为相似性标签不可用。此外，一个理想的模型不应该受到文档长度的限制。因此，我们引入SDR，这是一种用于文档相似性的自监督方法，可以应用于任意长度的文档。重要的是，SDR可以有效地应用于非常长的文档，超过了Longformer的4，096个最大令牌限制。对大型文档数据集的广泛评估表明，SDR在所有指标上都显着优于其替代品。为了加速未来对无标签长文档相似性排名的研究，并作为对社区的额外贡献，我们在此发布了两个人工注释的长文档相似性评估测试集。SDR代码和数据集是公开的。
2021-06-02 cs.CL
Eider: Empowering Document-level Relation Extraction with Efficient Evidence Extraction and Inference-stage Fusion
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
文档级关系抽取（DocRE）的目的是抽取文档中实体对之间的语义关系。典型的DocRE方法盲目地将整个文档作为输入，而文档中的句子子集（作为证据）通常足以让人类预测实体对的关系。在本文中，我们提出了一个证据增强的框架，Eider，授权DocRE有效地提取证据，并有效地融合提取的证据在推理。我们首先联合训练一个RE模型与轻量级的证据提取模型，这是高效的内存和运行时。从经验上讲，即使在由我们的启发式规则构建的银标签上训练证据模型也可以获得更好的RE性能。我们进一步设计了一个简单而有效的推理过程，使提取的证据和完整的文档RE预测，然后通过混合层融合的预测。这使得Eider可以专注于重要的句子，同时仍然可以访问文档中的完整信息。大量的实验表明，Eider在三个基准数据集上的性能优于最先进的方法（例如，通过DocRED上的1.37/1.26 Ign F1/F1）。
2022-03-07 cs.CL
Towards Better Document-level Relation Extraction via Iterative Inference
Xiamen University（厦门大学）
文档级关系抽取（RE）的目的是从输入文档中抽取实体之间的关系，输入文档通常包含许多难以预测的实体对，这些实体对之间的关系只能通过关系推理来预测。现有的方法通常直接预测输入文档中所有实体对之间的关系，忽略了某些实体对的预测严重依赖于其他实体对的预测结果这一事实。为了解决这个问题，在本文中，我们提出了一种新的文档级RE模型与迭代推理。我们的模型主要由两个模块组成：1）一个基本模块，预计提供初步的实体对的关系预测; 2）一个推理模块，通过迭代处理难以预测的实体对，依赖于其他对，以简单到困难的方式，改进这些初步的预测。与以前的方法只考虑实体对的特征信息不同，我们的推理模块配备了两个扩展交叉注意单元，使其能够在关系推理过程中利用实体对的特征信息和先前的预测。此外，我们采用两阶段策略来训练我们的模型。在第一阶段，我们只训练我们的基本模块。第二阶段对整个模型进行训练，其中引入对比学习来加强推理模块的训练。在三个常用数据集上的实验结果表明，我们的模型始终优于其他竞争基线。
2022-11-26 cs.CL
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute, University of California San Diego（加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院）
本文提出DOCMASTER统一平台，在设备端集成PDF文档标注、模型训练与推理，支持布局感知和文本模型，解决文档问答中的格式复杂性与隐私保护问题，并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
Long Document Summarization with Top-down and Bottom-up Inference
Salesforce Research（赛富时研究院）
文本摘要旨在压缩长文档并保留关键信息。摘要模型成功的关键是对源文档中单词或标记的潜在表示的忠实推断。最新的模型推断潜在的表示与Transformer编码器，这是纯粹的自自底向上的【形】。此外，基于自我注意的推理模型面临着序列长度的二次复杂性的挑战。我们提出了一个原则性的推理框架，以改善这两个方面的摘要模型。我们的框架假设了一个分层的潜在结构的文档，其中顶层捕获的长距离依赖在一个粗略的时间尺度和底部令牌级别保留的细节。重要的是，这种层次结构使令牌表示能够以自自底向上的【形】和自顶向下的方式更新。在自自底向上的【形】的过程中，使用局部自我注意力来推断令牌表示以利用其效率。然后应用自上而下的校正以允许令牌捕获长范围依赖性。我们证明了所提出的框架在不同的摘要数据集上的有效性，包括叙事，会话，科学文档和新闻。我们的模型实现了（1）与全注意力Transformers相比，在具有更高内存和计算效率的短文档上具有竞争力或更好的性能，以及（2）与最近的高效Transformers相比，在广泛的长文档摘要基准上具有最先进的性能。我们还表明，我们的模型可以总结一整本书，并实现竞争力的性能使用$0.27\%$参数（464 M与175 B）和更少的训练数据，相比，最近的GPT-3为基础的模型。这些结果表明，所提出的框架的普遍适用性和好处。
2022-03-15 cs.CL
A Masked Image Reconstruction Network for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取旨在抽取文档中实体之间的关系。与文档级关系抽取相比，文档级关系抽取需要对多个句子进行推理，以抽取复杂的关系三元组。以往的研究一般都是通过提及级或实体级文档图上的信息传播来完成推理，而不考虑关系之间的相关性。在本文中，我们提出了一种新的文档级关系抽取模型的基础上掩蔽图像重建网络（DRE-MIR），模型推理作为一个掩蔽的图像重建问题，捕捉关系之间的相关性。具体地说，我们首先利用编码器模块来获取实体的特征，并根据这些特征构造实体对矩阵。之后，我们将实体对矩阵视为图像，然后随机屏蔽它并通过推理模块恢复它，以捕获关系之间的相关性。我们评估我们的模型上的三个公共文档级关系抽取数据集，即DocRED，CDR和GDA。实验结果表明，我们的模型在这三个数据集上都达到了最先进的性能，并且在推理过程中对噪声具有很好的鲁棒性。
2022-08-04 cs.CL
Variational Inference for Learning Representations of Natural Language Edits
文件编辑已成为信息生产的一个普遍组成部分，版本控制系统使编辑内容能够有效地存储和应用。鉴于此，最近已经提出了学习编辑的分布式表示的任务。考虑到这一点，我们提出了一种新的方法，采用变分推理来学习向量表示的连续潜在空间，以捕获文档编辑过程中的潜在语义信息。我们通过引入一个潜在变量来明确地对上述特征进行建模来实现这一点。然后，该潜在变量与文档表示相结合，以指导生成该文档的编辑版本。此外，为了促进标准化的自动评价的编辑表示，这在很大程度上依赖于直接的人类输入到目前为止，我们还提出了一套下游的任务，PEER，专门设计来衡量质量的编辑表示的背景下，自然语言处理。
2021-01-04 cs.CL
Brundlefly at SemEval-2016 Task 12: Recurrent Neural Networks vs. Joint Inference for Clinical Temporal Information Extraction
Stanford University（斯坦福大学）；Mobilize Center（动员中心）
我们提交了两个系统参加SemEval-2016任务12：临床TempEval挑战，参与第1阶段，在第1阶段，我们确定了临床笔记中的时间和事件表达的文本跨度，第2阶段，我们预测了事件与其父文档创建时间之间的关系。对于时间实体提取，我们发现使用结构化预测的基于联合推理的方法优于香草递归神经网络，该网络采用了在各种大型临床文档集上训练的词嵌入。对于文档创建时间关系，我们发现，数据规范化和远程监督规则的组合，用于预测事件和时间表达式的关系，提高了分类，虽然收益是有限的，可能是由于小规模的训练数据。
2016-06-04 cs.CL
Document Classification using File Names
Vanderbilt University（范德堡大学）
针对传统深度学习文档分类推理慢、资源消耗大的问题，提出基于轻量级监督学习和 TF-IDF 的文件名分类方法，在保持高准确率的同时大幅提升处理速度。
2025-03-05 cs.CL
Sequence Model with Self-Adaptive Sliding Window for Efficient Spoken Document Segmentation
Speech Lab, Alibaba Group（阿里巴巴集团语音实验室）；Renmin University of China（中国人民大学）
自动语音识别（ASR）系统为口语文档生成的转录本缺少诸如段落之类的结构化注释，从而显著降低了它们的可读性。自动预测口语文档的段落分割可以提高可读性和下游NLP性能，例如摘要和机器阅读理解。本文提出了一种自适应滑动窗口的序列模型，用于精确高效的段落分割。我们还提出了一种方法来利用语音信息，这显着提高了鲁棒性的语音文件分割ASR错误。评估进行英文维基-727K文档分割基准，中文维基百科为基础的文档分割数据集，我们创建的，和一个内部的中文口语文档数据集。我们提出的模型优于基于相同BERT-Base的最先进的（SOTA）模型，在英语基准上将分割F1提高了4.2个点，在中文数据集上提高了4.3-10.1个点，同时将推理时间减少到当前SOTA推理时间的1/6以下。
2021-10-09 cs.CL
Using Sentence-Level LSTM Language Models for Script Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
有一个小的，但不断增长的研究机构的统计脚本，模型的事件序列，允许概率推断隐含的事件从文件。这些系统对由NLP管道产生的结构化动词论元事件进行操作。我们将这些系统与最近的递归神经网络模型进行了比较，这些模型直接对原始标记进行操作以预测句子，发现后者在预测文档中的缺失事件方面与前者大致相当。
2016-06-08 cs.CL
Mixed-Level Knowledge Representation and Variable-Depth Inference in Natural Language Processing
描述了一种系统，其使用基于标准Horn子句逻辑的混合级知识表示来表示自然语言文档的含义（的一部分）。一个可变深度的搜索策略，区分不同层次的抽象之间的知识表示，以定位特定的段落中的文件。对该系统的语言方面进行了详细描述。混合层次表示以及可变深度搜索策略适用于NLP之外的领域。
1999-12-23 cs.CL
Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection
Google DeepMind（谷歌DeepMind）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google（谷歌）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）
本文提出Sparse RAG，通过并行编码检索文档并仅关注相关缓存，减少解码加载量，加速推理并提升生成质量，在两类任务上实现效率与质量的最佳平衡。
2024-05-25 cs.CL
Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)（人工智能研究中心（AIRC），产业技术综合研究所（AIST））
文档级关系抽取是一个复杂的人工过程，需要逻辑推理来抽取文本中命名实体之间的关系。现有的方法使用基于图的神经模型，将单词作为节点，将边作为它们之间的关系，来编码句子之间的关系。这些模型是基于节点的，即，它们仅基于两个目标节点表示来形成成对表示。然而，实体关系可以通过形成为节点之间的路径的唯一边表示来更好地表达。因此，我们提出了一个面向边的图神经模型的文档级关系抽取。该模型利用不同类型的节点和边来创建文档级图。图边缘上的推理机制使得能够在内部使用多实例学习来学习句内和句间关系。两个文档级的生物医学数据集的化学疾病和基因疾病协会的实验表明，所提出的面向边缘的方法的实用性。
2019-08-31 cs.CL
ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
Google Research（谷歌研究院）
最先进的神经模型通常使用交叉注意对文档查询对进行编码以进行重新排序。为此，模型通常利用仅编码器（如BERT）范例或编码器-解码器（如T5）方法。然而，这些范例并非没有缺陷，即，在推理时对所有查询-文档对运行该模型会导致显著的计算成本。本文提出了一种新的训练和推理范式重新排名。我们建议微调一个预训练的编码器-解码器模型，以文档的形式用于查询生成。随后，我们表明，这种编码器-解码器架构可以分解成一个解码器只语言模型在推理。这导致了显著的推理时间加速，因为仅解码器架构仅需要学习在推理期间解释静态编码器嵌入。我们的实验表明，这种新的范式实现的结果是比较昂贵的交叉注意力排名方法，同时高达6.8倍的速度。我们相信这项工作为利用大型预训练模型的更有效的神经排名铺平了道路。
2022-04-25 cs.CL cs.IR
Doc2FRC: Length-Consistent Document-Level Machine Translation via Fixed-Range Chunking
The University of Tokyo（东京大学）；Kyoto University（京都大学）；Riken（理化学研究所）；Tohoku University（东北大学）
本文提出固定范围分块（FRC）方法，通过动态规划将文档划分为长度一致的块，减少训练与推理长度不匹配，并配合双边界匹配算法和多种训练策略，显著提升7B大语言模型的文档级翻译质量，在IWSLT2017及新构建的10语言测试集上均优于现有方法。
2026-09-14 cs.CL
Efficient Document-level Event Extraction via Pseudo-Trigger-aware Pruned Complete Graph
Soochow University（苏州大学）；Huawei Cloud（华为云）
以往文档级事件抽取的研究主要集中在以自回归的方式构建参数链，取得了一定的成功，但在训练和推理方面效率较低。与以前的研究相比，我们提出了一个快速和轻量级的模型命名为PTPCG。在该模型中，我们设计了一种新的事件参数组合策略和一种非自回归解码算法，该算法在自动选择伪触发器的指导下，通过修剪完全图来构造事件参数组合策略.与以前的系统相比，我们的系统实现了具有竞争力的结果与19.8%的参数和更低的资源消耗，只有3.8%的GPU小时的训练和高达8.5倍的推理速度。此外，我们的模型对有（或没有）触发器的数据集表现出了良好的兼容性，伪触发器可以作为注释触发器的补充，以进一步改进。代码可在https://github.com/Spico197/DocEE上获得。
2022-10-04 cs.CL
Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference
Phi Labs（菲实验室）；Quantiphi（宽梯斐科技）
本研究提出轻量级多模态模型DRB，基于新基准BudgetDoc实现文档任务中LLM推理预算的动态分配，在降低成本的同时多数情况下达到或优于固定最大预算的性能，具备跨模型泛化潜力。
2026-08-20 cs.AI cs.CL
What Does LLM Refinement Actually Improve? A Systematic Study on Document-Level Literary Translation
University of Amsterdam（阿姆斯特丹大学）；University of Cambridge（剑桥大学）；Amazon AGI（亚马逊人工智能研究院）
本文系统研究了文档级文学翻译中LLM精细化的效果，发现文档级MT后接段级精细化能带来稳定提升，而文档级精细化效果有限。通用精细化提示优于特定错误提示和评估后精细化策略。
2026-05-13 cs.CL
Enhancing Retrieval Systems with Inference-Time Logical Reasoning
MIT（麻省理工学院）；Center for Advanced AI, Accenture（埃森哲高级人工智能中心）
针对传统检索方法难以处理含逻辑结构复杂查询的问题，本文提出推理时逻辑推理框架，通过提取查询逻辑结构组合余弦相似度得分，在保证效率的同时显著提升复杂查询检索性能。
2025-03-22 cs.CL
SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding
Fudan University（复旦大学）；University of Liverpool（利物浦大学）
针对现有大型视觉语言模型（LVLMs）在古代文献理解中证据支撑不足的问题，本文提出SAGE多智能体框架，通过多阶段证据导向推理实现任务规划、证据获取与验证，在AncientDoc基准上优于基线，搭载Qwen3.5-9B的SAGE性能超更大单体模型。
2026-08-26 cs.AI cs.CL
BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression
Fudan University（复旦大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出 BRIEF，用开源模型构造原子命题合成摘要，将检索文档压缩为稠密证据以支持多跳 RAG，在 HotpotQA 上显著提升压缩率与问答性能。
2025-02-15 cs.CL
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
针对检索增强语言模型推理成本高、长文档信息筛选难的问题，提出RECOMP框架，通过抽取式/生成式压缩器压缩检索文档并实现选择性增强，在低压缩率下保持性能且可跨模型迁移。
2023-10-06 cs.CL
DocBERT: BERT for Document Classification
David R. Cheriton School of Computer Science（大卫·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
我们目前，据我们所知，第一次应用BERT的文件分类。该任务的一些特征可能会让人认为BERT不是最合适的模型：语法结构对内容类别的影响较小，文档通常比典型的BERT输入更长，并且文档通常有多个标签。尽管如此，我们表明，一个简单的分类模型，使用BERT是能够实现跨四个流行的数据集的最先进的。为了解决与BERT推理相关的计算开销，我们从BERT-大到小的双向LSTM中提取知识，使用少30倍的参数在多个数据集上达到BERT-基奇偶校验。我们的论文的主要贡献是改进的基线，可以为未来的工作提供基础。
2019-08-22 cs.CL
EA$^2$E: Improving Consistency with Event Awareness for Document-Level Argument Extraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
事件在文档中是相互关联的。受单义话语理论的启发，我们假设参与者倾向于在同一文档中的多个事件中扮演一致的角色。然而，最近的工作文档级事件参数提取模型的每个单独的事件隔离，因此导致提取的参数之间的不一致性，跨事件，这将进一步导致下游应用程序，如事件知识库人口，问答，和假设生成的差异。在这项工作中，我们制定了事件参数一致性的文件级设置下的事件-事件关系的约束。为了提高一致性，我们引入了事件感知的参数提取（EA $^2$ E）模型与增强的上下文进行训练和推理。在WIKIEVENTS和ACE 2005数据集上的实验结果表明，与基线方法相比，EA $^2$ E方法是有效的.
2022-05-30 cs.CL
Truthful Text Sanitization Guided by Inference Attacks
Norwegian Computing Center（挪威计算中心）；Department of Computer Engineering and Mathematics. CYBERCAT（计算机工程与数学系.CYBERCAT）
针对文本脱敏中隐私保护与效用保留的平衡难题，提出基于泛化、结合LLM候选生成排序与推理攻击评估的两阶段方法，搭配新型无标注评估指标，在基准上实现效用提升且重识别风险增幅极小，保真性优于现有方法。
2025-08-31 cs.CL
Document Structure in Long Document Transformers
DFKI（德国人工智能研究中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森州人工智能中心）
该研究针对长文档Transformer的结构感知问题，设计探测任务验证其预训练获隐式结构理解，提出通用结构注入方法并在QASPER等任务上提升性能，同时公开数据代码。
2024-01-31 cs.CL
NC-DRE: Leveraging Non-entity Clue Information for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取（RE）需要对不同句子中的多个实体进行推理以识别复杂的句子间关系，这比文档级RE更具挑战性。为了提取复杂的句间关系，以往的研究通常采用图神经网络（GNN）对异构文档图进行推理。尽管这些基于图的方法取得了巨大的成功，但它们在构建图和推理的过程中通常只考虑提及中的词，往往忽略了提及中没有的但为关系推理提供重要线索信息的非实体线索词。为了缓解这个问题，我们将基于图的文档级RE模型视为编码器-解码器框架，该框架通常使用预训练的语言模型作为编码器，GNN模型作为解码器，并提出了一种新的基于图的模型NC-DRE，该模型引入解码器到编码器的注意力机制，以利用非实体线索信息进行文档级关系抽取。
2022-04-01 cs.CL
Dynamic Global Memory for Document-level Argument Extraction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
从新闻文章中提取事件的信息论元是信息抽取中一个具有挑战性的问题，它要求对每个文档有全局的上下文理解。虽然最近关于文档级提取的工作已经超越了单句，并增加了端到端模型的跨句推理能力，但它们仍然受到某些输入序列长度约束的限制，并且通常忽略事件之间的全局上下文。为了解决这个问题，我们引入了一个新的基于全局神经生成的框架，用于文档级事件参数提取，方法是构建一个文档内存存储来记录上下文事件信息，并利用它来隐式和显式地帮助解码后续事件的参数。实验结果表明，我们的框架大大优于以前的方法，它是更强大的对抗注释的例子与我们的约束解码设计。(Our代码和资源可在https://github.com/xinyadu/memory_docie上获得，以供研究之用。）
2022-09-18 cs.CL
Safeguarding Privacy of Retrieval Data against Membership Inference Attacks: Is This Query Too Close to Home?
Seoul National University（首尔大学）；Chung-Ang University（中央大学）；Korea Institute for Advanced Study（韩国高等研究院）
本文提出了一种基于相似性的成员推断攻击检测框架，用于保护RAG系统中检索数据的隐私，通过检测和隐藏策略有效防御攻击。
2025-11-24 cs.CL
KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse
Department of Computer Science UC Santa Barbara（计算机科学系 UC 圣塔芭芭拉大学）；Center for Advanced AI Accenture（先进人工智能中心 江苏 Accenture）
KVLink通过独立预计算文档KV缓存并在推理时拼接复用，结合位置嵌入调整和可训练特殊token恢复跨文档注意力，在7个数据集上平均提升问答准确率4%，并将首token时间最多减少96%。
2025-11-10 cs.CL
Multilingual Contextualization of Large Language Models for Document-Level Machine Translation
Instituto Superior Técnico, Universidade de Lisboa (ELLIS Unit Lisbon)（里斯本大学理工学院（ELLIS单位里斯本））；Instituto de Telecomunicações（电信研究所）；Carnegie Mellon University（卡内基梅隆大学）；Unbabel
针对 LLM 长文档翻译中的跨句依赖与语篇建模难题，本文构建 DocBlocks 高质量文档级数据，并通过融合有无上下文的多种翻译范式进行微调，提升了翻译质量与推理速度。
2025-08-28 cs.CL
Beyond Single-Event Extraction: Towards Efficient Document-Level Multi-Event Argument Extraction
University of Electronic Science and Technology of China（电子科技大学）；National University of Singapore（新加坡国立大学）；Singapore University of Social Sciences（新加坡社科大学）
针对单事件论元抽取效率低且忽视事件关联的问题，提出 DEEIA 模型，通过多事件提示及 DE、EIA 模块同时抽取文档级多事件论元，在四个数据集上达到最优并显著减少推理时间。
2024-06-16 cs.CL
Reasoning with Latent Structure Refinement for Document-Level Relation Extraction
Singapore University of Technology and Design（新加坡科技设计大学）；Università della Svizzera italiana（提契诺大学）
文档级关系抽取需要在文档的多个句子中整合信息，并捕获句子间实体之间的复杂交互。然而，有效地汇总文件中的相关信息仍然是一个具有挑战性的研究问题。现有的方法构造静态文档级图的基础上的语法树，共引用或从非结构化文本的依赖建模。与以前的方法，可能无法捕获丰富的非本地的相互作用进行推理，我们提出了一种新的模型，通过自动诱导潜在的文档级图，使跨句子的关系推理。我们进一步开发了一个细化策略，使模型能够增量聚合多跳推理的相关信息。具体来说，我们的模型在大规模文档级数据集（DocRED）上获得了59.05的F1分数，比以前的结果有了显著改善，并且在CDR和GDA数据集上也产生了新的最先进的结果。此外，大量的分析表明，该模型能够发现更准确的句间关系。
2020-07-28 cs.CL
DoSA : A System to Accelerate Annotations on Business Documents with Human-in-the-Loop
State Street Corporation（道富集团）
商业文档具有多种结构、格式和信息需求，这使得信息抽取成为一项具有挑战性的任务。由于这些变化，拥有一个可以在所有类型的文档和所有用例中良好工作的文档通用模型似乎有些牵强。对于特定于文档的模型，我们需要定制特定于文档的标签。我们引入DoSA（文档特定的自动注释），它可以帮助注释者通过利用文档通用数据集和模型，使用我们新颖的自举方法自动生成初始注释。这些初始注释可以进一步由人检查正确性。可以训练初始的特定于文档的模型，并且可以将其推断用作反馈以生成更自动化的注释。这些自动化的注释可以由人在回路中审查其正确性，并且可以在进行下一次迭代之前使用当前模型作为预训练模型来训练新的改进模型。在本文中，由于通用注释数据集的可用性有限，我们的范围仅限于表单类文档，但随着更多数据集的构建，这种想法可以扩展到各种其他文档。GitHub https://github.com/neeleshkshukla/DoSA上提供了一个开源的即用型实现。
2022-11-09 cs.CL
Developing a general-purpose clinical language inference model from a large corpus of clinical notes
Bakar Computational Health Sciences Institute, University of California, San Francisco（加州大学旧金山分校巴卡尔计算健康科学研究所）；Center for Data-driven Insights and Innovation, University of California, Office of the President（加州大学校长办公室数据驱动洞察与创新中心）；University of California, San Francisco（加州大学旧金山分校）
已经开发了几种用于临床语言推理的生物医学语言模型。然而，这些模型通常使用通用词汇表，并在相对较小的临床语料库上进行训练。我们试图评估使用特定领域的词汇和大型临床训练语料库对这些语言模型在临床语言推理中的性能的影响。我们使用在加州大学旧金山分校（UCSF）撰写的7500万份去识别临床笔记的多样化、去识别语料库，从Transformers（BERT）模型中训练了一个双向编码器解码器。我们评估了几个临床语言推理基准任务：临床和时间概念识别，关系抽取和医学语言推理的模型。我们还评估了我们的模型上的两个任务，从加州大学旧金山分校的出院摘要：诊断代码分配和治疗类推理。我们的模型在公共基准任务上的表现与最好的公开可用的生物医学语言模型相当，并且在使用UCSF数据的两个任务的系统内评估中明显优于这些模型。域内词汇表的使用似乎改善了较长文档的编码。使用大型临床语料库似乎可以提高文档编码和推理的准确性。然而，需要进一步的研究，以提高缩写分辨率，数值，时间和隐含的因果推理。
2022-10-12 cs.CL
Conversational Document Prediction to Assist Customer Care Agents
IBM Research（IBM研究院）
客户服务对话中的一个常见模式是代理商使用适当的网页URL响应，以满足用户的需求。我们研究的任务，预测的文件，客户服务代理可以使用，以方便用户的需求。我们还介绍了一个新的公共数据集，支持上述问题。使用这个数据集和另外两个数据集，我们研究了最先进的深度学习（DL）和信息检索（IR）模型。此外，我们分析了这种系统的实用性方面的推理时间复杂度。我们表明，混合IR + DL方法提供了两全其美。
2020-10-05 cs.CL
Embedding-Based Context-Aware Reranker
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；RBC Borealis
本文提出EBCAR，一种基于嵌入的上下文感知重排序器，通过增强跨段落理解提升信息检索的准确性和效率。
2026-02-25 cs.CL
DocMIA: Document-Level Membership Inference Attacks against DocVQA Models
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文针对DocVQA模型提出两种无需辅助数据集的无监督文档级成员推理攻击，覆盖白盒与黑盒场景，并在多个模型和数据集上超越现有方法，揭示了该领域的隐私风险。
2025-02-06 cs.CL cs.CR cs.LG
