Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所人工智能研究中心）
句间关系抽取处理的是文档中大量复杂的语义关系，这些关系需要局部、非局部、句法和语义依赖。现有的方法没有充分利用这种依赖性。本文提出了一种新的句间关系抽取模型，该模型在文档级图上建立了一个标记边图卷积神经网络模型。该图使用各种句间和句内依赖关系来构建，以捕获本地和非本地依赖关系信息。为了预测实体对的关系，我们利用双仿射成对评分的多实例学习。实验结果表明，我们的模型在两个生物化学数据集上实现了与最先进的神经模型相当的性能。我们的分析表明，图中的所有类型是有效的句间关系抽取。
2019-06-11 cs.CL cs.IR
A Study on Efficiency, Accuracy and Document Structure for Answer Sentence Selection
University of Trento（特伦托大学）；Amazon Alexa（亚马逊 Alexa）
大多数问答（QA）系统的基本任务是对答案候选集重新排序，即，答案句子选择（A2S）。这些候选通常是从一个或多个文档中提取的保持其自然顺序的句子或由搜索引擎检索的句子。大多数最先进的方法都使用巨大的神经模型，如BERT或复杂的专注架构。在本文中，我们认为，通过利用的内在结构的原始排名与一个有效的字相关性编码器，我们可以实现有竞争力的结果，相对于最先进的，同时保持高效率。我们的模型需要9.5秒在WikiQA数据集上进行训练，即，与标准的基于BERT的微调所需的$\sim 18$分钟相比非常快。
2020-03-04 cs.CL
Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction
Institute of Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Microsoft Research（微软研究院）
现有的事件抽取方法大多只抽取句子范围内的事件论元。然而，这样的企业级EE方法难以处理来自新兴应用（诸如金融、立法、健康等）的激增的文档量，其中事件论点总是分散在不同的句子中，甚至多个这样的事件提及经常共存于同一文档中。为了解决这些挑战，我们提出了一种新的端到端模型，Doc2EDAG，它可以生成一个基于实体的有向无环图，以有效地实现文档级EE（DEE）。此外，我们重新形式化的DEE任务与无触发词的设计，以减轻文档级的事件标记。为了证明Doc2EDAG的有效性，我们建立了一个大规模的真实世界的数据集，包括中国的财务公告与上述挑战。广泛的实验与全面的分析说明了Doc2EDAG的优越性比国家的最先进的方法。数据和代码可以在https://github.com/dolphin-zs/Doc2EDAG上找到。
2019-09-23 cs.CL cs.LG
Context-based Transformer Models for Answer Sentence Selection
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Amazon Alexa（亚马逊Alexa）
问答系统设计的一个重要任务是从与所问问题相关的文档中选择包含（或构成）答案的句子。大多数以前的工作只使用目标句子来计算它的分数，因为模型不够强大，无法有效地编码额外的上下文信息。在本文中，我们分析了上下文信息在句子选择任务中的作用，提出了一个基于Transformer的架构，利用两种类型的上下文，本地和全球。前者描述包含句子的段落，旨在解决隐式引用，而后者描述包含候选句子的整个文档，提供基于内容的信息。在三个不同的基准测试上的结果表明，在Transformer模型中，局部和全局上下文的组合显着提高了答案句子选择的准确性。
2020-06-01 cs.CL cs.LG
Mention-centered Graph Neural Network for Document-level Relation Extraction
Computer School, Wuhan University（武汉大学计算机学院）；National University of Singapore（新加坡国立大学）
文档级关系抽取旨在发现整个文档中实体之间的关系。如何从文档中的不同句子中建立实体之间的依赖关系仍然是一个巨大的挑战。目前的方法要么利用语法树来构建文档级图，要么从不同的句子中聚合推理信息。在本文中，我们建立跨句子的依赖关系，推断句子间提到的成分关系。采用主动链接策略，在文档级图上通过提及卷积推理中间关系。我们进一步注意到NA实例的泛化问题，这是由不完整的注释和全连接的提及对恶化。提出了一种改进的排序损失算法来解决这个问题。实验表明，不同提及之间的联系对文档级关系抽取至关重要，它使模型能够抽取出更有意义的高层组合关系。
2021-03-15 cs.AI cs.CL
DSLR: Document Refinement with Sentence-Level Re-ranking and Reconstruction to Enhance Retrieval-Augmented Generation
School of Computing（计算机学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出无监督框架DSLR，通过句子分解、无关句过滤及连贯重构精炼检索文档，在多个开放域问答数据集上显著提升RAG性能，且无需额外训练。
2024-09-08 cs.CL
Do the Benefits of Joint Models for Relation Extraction Extend to Document-level Tasks?
TCS Research（塔塔咨询服务公司研究院）
本文通过在句子级与文档级数据集上基准评测最先进的流水线和联合关系三元组抽取模型，发现联合模型的显著优势不能延伸到文档级任务。
2023-10-01 cs.CL
When More Documents Hurt RAG: Measuring and Reducing Vector Search Dilution with Domain-Scoped Retrieval
Dept. of Electrical Engineering & Computer Science, University of Wyoming（怀俄明大学电气工程与计算机科学系）；Dept. of Civil, Architectural Engineering & Construction Management, University of Wyoming（怀俄明大学土木、建筑工程与施工管理系）
针对检索增强生成在异构文档集合中因向量搜索稀释导致性能下降的问题，提出基于组织元数据的领域限定方法MASDR-RAG，显著提升P@10至0.86，并揭示多智能体编排的精度-忠实度悖论。
2026-10-15 cs.CL cs.IR
NC-DRE: Leveraging Non-entity Clue Information for Document-level Relation Extraction
Xiamen University（厦门大学）
文档级关系抽取（RE）需要对不同句子中的多个实体进行推理以识别复杂的句子间关系，这比文档级RE更具挑战性。为了提取复杂的句间关系，以往的研究通常采用图神经网络（GNN）对异构文档图进行推理。尽管这些基于图的方法取得了巨大的成功，但它们在构建图和推理的过程中通常只考虑提及中的词，往往忽略了提及中没有的但为关系推理提供重要线索信息的非实体线索词。为了缓解这个问题，我们将基于图的文档级RE模型视为编码器-解码器框架，该框架通常使用预训练的语言模型作为编码器，GNN模型作为解码器，并提出了一种新的基于图的模型NC-DRE，该模型引入解码器到编码器的注意力机制，以利用非实体线索信息进行文档级关系抽取。
2022-04-01 cs.CL
HIN: Hierarchical Inference Network for Document-Level Relation Extraction
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
文档级RE需要阅读，推断和聚合多个句子。从我们的观点来看，文档级RE需要利用多粒度的推理信息：实体级，句子级和文档级。因此，如何获取和聚合不同粒度的推理信息是具有挑战性的文档级RE，这是以前的工作没有考虑。本文提出了一种层次推理网络（HIN），充分利用了实体级、句子级和文档级的丰富信息。在多个子空间中对目标实体对进行平移约束和双线性变换，得到实体级推理信息。其次，我们对实体级信息和句子表示之间的推理进行建模，得到句子级的推理信息。最后，采用层次聚合方法获得文档级推理信息。通过这种方式，我们的模型可以有效地聚合这三个不同粒度的推理信息。实验结果表明，我们的方法在大规模DocRED数据集上实现了最先进的性能。我们还证明，使用BERT表示可以进一步大幅提高性能。
2020-03-28 cs.CL
Reasoning with Latent Structure Refinement for Document-Level Relation Extraction
Singapore University of Technology and Design（新加坡科技设计大学）；Università della Svizzera italiana（提契诺大学）
文档级关系抽取需要在文档的多个句子中整合信息，并捕获句子间实体之间的复杂交互。然而，有效地汇总文件中的相关信息仍然是一个具有挑战性的研究问题。现有的方法构造静态文档级图的基础上的语法树，共引用或从非结构化文本的依赖建模。与以前的方法，可能无法捕获丰富的非本地的相互作用进行推理，我们提出了一种新的模型，通过自动诱导潜在的文档级图，使跨句子的关系推理。我们进一步开发了一个细化策略，使模型能够增量聚合多跳推理的相关信息。具体来说，我们的模型在大规模文档级数据集（DocRED）上获得了59.05的F1分数，比以前的结果有了显著改善，并且在CDR和GDA数据集上也产生了新的最先进的结果。此外，大量的分析表明，该模型能够发现更准确的句间关系。
2020-07-28 cs.CL
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University（西北大学）
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高，以提高可读性的目标。最后，我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体，其中每个文档组包含大量不同的文档集合，以评估我们的模型与其他基线系统相比的性能。我们的实验表明，我们的框架优于当前国家的最先进的方法，在这个更通用的设置。
2022-05-01 cs.CL cs.IR
CorefDRE: Document-level Relation Extraction with coreference resolution
Chongqing University（重庆大学）
文档级关系抽取是从由多个句子组成的文档中抽取关系事实，其中代词跨句是一种普遍存在的现象。然而，以往的研究大多集中在代词之外的提述共指消解，而很少关注提述-代词共指及其关系的把握。为了用代词表示多句子特征，我们模仿人类的阅读过程，利用共指信息动态构建异构图来增强语义信息。由于代词在图中的歧义性，引入了一种代词-代词共指消解方法来计算代词与对应提及之间的相似度，并提出了噪声抑制机制来降低代词引起的噪声.在公共数据集DocRED、DialogRE和MPDD上的实验表明，基于图推理网络的文档级关系抽取的核心感知性能优于现有技术。
2022-02-22 cs.CL
Anaphor Assisted Document-Level Relation Extraction
SKLSDE, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Zhongguancun Laboratory（中关村实验室）；School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）
针对文档级关系抽取中回指信息被忽略和跨句实体交互粒度不足的问题，本文提出回指辅助框架，并在常用数据集上取得新的最优性能。
2023-10-28 cs.CL
A Comprehensive Survey of Document-level Relation Extraction (2016-2023)
Univ. La Rochelle（拉罗谢尔大学）；L3i（L3i实验室）
本文综述了2016至2023年间文档级关系抽取（DocRE）的最新进展，强调其跨句识别实体关系的挑战，并对比句子级方法，展示其在自动构建知识库中的应用价值。
2023-10-12 cs.CL
Document-Level $N$-ary Relation Extraction with Multiscale Representation Learning
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
大多数信息抽取方法都集中在单个句子中表达的二元关系上。然而，在高值域中，$n$元关系具有很大的需求（例如，精确肿瘤学中的药物-基因-突变相互作用）。这样的关系通常涉及在文档中相距很远的实体提及，然而现有的关于跨句子关系抽取的工作通常限于小的文本跨度（例如，连续三个句子），这严重限制了回忆。在本文中，我们提出了一种新的多尺度神经结构的文档级$n$ -ary关系抽取。我们的系统结合了在整个文档和整个子关系层次结构中的各种文本跨度上学习的表示。将系统的范围扩大到整个文档可以最大限度地提高潜在的召回率。此外，通过整合文档中的弱信号，多尺度建模提高了精度，即使在存在来自远程监督的噪声标签的情况下也是如此。生物医学机器阅读实验表明，我们的方法大大优于以前的$n$ -ary关系抽取方法。
2019-06-26 cs.CL
Exploiting Global Contextual Information for Document-level Named Entity Recognition
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Naval University of Engineering（海军工程大学）
现有的大多数命名实体识别方法都是基于序列标记模型的，其重点是捕获局部上下文依赖关系。然而，以一个句子作为输入的方式防止了非顺序的全局上下文的建模，这是有用的，特别是当局部上下文信息是有限的或模糊的。为此，我们提出了一个称为全局上下文增强文档级NER（GCDoc）的模型，以利用两个级别的全局上下文信息，即，单词和句子。在词级，构建文档图来建模词之间更广泛的依赖关系，然后通过图神经网络（GNN）获得每个词的丰富的上下文表示。为了避免噪声信息的干扰，我们进一步提出了两种策略。首先，我们应用认识不确定性理论来找出表示不太可靠的标记，从而帮助修剪文档图。然后提出一种选择性辅助分类器，有效地学习文档图中边的权重，降低噪声邻居节点的重要性。在句子层面，为了适当地建模单个句子之外的更广泛的上下文，我们采用了一个跨句子模块，该模块对相邻的句子进行编码，并通过注意力和门控机制将其与当前的句子表示融合。在两个基准NER数据集（CoNLL 2003和Ontonotes 5.0英文数据集）上的实验证明了该模型的有效性。我们的模型在CoNLL 2003数据集上的F1得分达到92.22（BERT为93.40），在Ontonotes 5.0数据集上达到88.32（BERT为90.49），达到了新的最先进的性能。
2021-06-02 cs.AI cs.CL
Document-level Event Extraction with Efficient End-to-end Learning of Cross-event Dependencies
University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）
充分理解叙述通常需要在整个文档的上下文中识别事件并对事件关系进行建模。然而，文档级事件提取是一项具有挑战性的任务，因为它需要提取事件和实体共指，并捕获跨越不同句子的参数。现有的事件抽取工作通常局限于从单个句子中抽取事件，这无法捕获文档规模上的事件提及之间的关系，以及出现在与事件触发器不同的句子中的事件参数。在本文中，我们提出了一个端到端的模型，利用深度价值网络（DVN），一个结构化的预测算法，有效地捕获跨事件的依赖关系，文档级事件提取。实验结果表明，我们的方法取得了相当的性能，基于CRF的模型ACE05，同时享有显着更高的计算效率。
2021-05-07 cs.CL
Artemis: A Novel Annotation Methodology for Indicative Single Document Summarization
Umass Amherst（马萨诸塞大学阿默斯特分校）；Facebook Inc（脸书公司）；Microsoft Corporation（微软公司）
我们描述了Artemis（注释方法丰富，易处理，提取，多域，指示性摘要），一种新的层次注释过程，从多个域的文件产生指示性摘要。目前的摘要评估数据集是单域的，集中在一些自然发生的摘要可以很容易地找到的领域，如新闻和科学文章。这些不足以训练和评估用于文档管理和信息检索系统的摘要模型，这些系统需要处理来自多个域的文档。与相对效用和金字塔等其他注释方法相比，Artemis更易于处理，因为法官在对其中一个句子进行重要性判断时不需要查看文档中的所有句子，同时提供同样丰富的句子重要性注释。我们详细描述了注释过程，并将其与其他类似的评估系统进行了比较。我们还提出了一个样本集的532注释的文档的分析和实验结果。
2020-05-14 cs.CL
Hierarchical Question Answering for Long Documents
University of Washington（华盛顿大学）；Google Research（谷歌研究院）；Tel Aviv University（特拉维夫大学）
我们提出了一个用于问答的框架，可以有效地扩展到更长的文档，同时保持甚至提高最先进模型的性能。虽然大多数成功的阅读理解方法都依赖于递归神经网络（RNN），但在长文档上运行它们的速度非常慢，因为很难在序列上并行化。受人们如何首先浏览文档，识别相关部分，并仔细阅读这些部分以产生答案的启发，我们结合了一个粗糙，快速的模型来选择相关句子，并使用一个更昂贵的RNN来从这些句子中产生答案。我们把句子选择作为一个潜在的变量，只使用强化学习从答案中联合训练。实验证明了在维基阅读的一个具有挑战性的子集和一个新的数据集上的最先进的性能，同时将模型加速了3.5x-6.7x。
2017-02-08 cs.CL
GERE: Generative Evidence Retrieval for Fact Verification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
事实验证（FV）是一项具有挑战性的任务，其目的是使用来自可信语料库的多个证据句子来验证声明，例如，Wikipedia.大多数现有的方法遵循三步管道框架，包括文档检索，句子检索和声明验证。前两步提供的高质量证据是最后一步有效推理的基础。尽管高质量的证据很重要，但现有的FV工作很少研究高质量的证据，这些工作通常采用现成的模型以"索引-检索-然后-排名"的方式检索相关文档和句子。这种经典的方法有明显的缺点如下：i）一个大的文档索引以及一个复杂的搜索过程是必需的，导致相当大的内存和计算开销; ii）独立的评分范例无法捕捉文档和句子之间的相互作用的排名; iii）一个固定数量的句子被选择，以形成最终的证据集。在这项工作中，我们提出了GERE，第一个以生成方式检索证据的系统，即，生成文档标题以及证据句子标识符。这使得我们能够缓解上述技术问题，因为：i）由于消除了文档索引并且用轻生成过程代替了重排序过程，因此大大降低了存储器和计算成本; ii）可以通过顺序生成过程捕获文档之间的依赖性和句子之间的依赖性; iii）生成公式允许我们为每个索赔动态地选择一组精确的相关证据。在FEVER数据集上的实验结果表明，GERE在时间效率和内存效率方面都取得了显着的改进。
2022-04-22 cs.CL cs.IR
Joint Embedding in Named Entity Linking on Sentence Level
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）
命名实体链接是指将文档中的模糊提及映射到知识库中的实体。命名实体链接具有挑战性，因为在文档中有多个候选实体可供提及。当提及在文档中出现多次时，很难链接提及，因为提及出现的上下文存在冲突。此外，这是困难的，因为给定的训练数据集很小，这是由于手动完成将提及链接到其映射实体的原因。在文献中，有许多报道的研究，其中最近的嵌入方法从文档级的训练数据集学习实体的向量。为了解决这些问题，我们专注于如何在句子级别上链接实体的提及，这减少了在文档中相同提及的不同外观所引入的噪声，代价是要使用的信息不足。我们提出了一种新的统一嵌入方法，通过最大化从知识图谱学习的关系。我们证实了我们的方法在我们的实验研究的有效性。
2020-02-12 cs.AI cs.CL
Simple Applications of BERT for Ad Hoc Document Retrieval
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
最近成功地应用BERT的问答，我们探讨简单的应用程序，特设文件检索。这就需要面对文档所带来的挑战，这些文档通常比BERT设计处理的输入长度要长。我们解决这个问题，通过单独应用句子的推理，然后汇总句子分数产生的文件分数。在TREC微博和新闻专线测试集上的实验表明，我们的方法简单而有效，因为我们报告了我们所知道的神经方法在这些数据集上的最高平均精度。
2019-03-26 cs.CL cs.IR
Clinical Document Metadata Extraction: A Scoping Review
University of Minnesota（明尼苏达大学）；Mayo Clinic（妙佑医疗国际）；University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；Oregon Health & Science University（俄勒冈健康与科学大学）
本文综述了临床文档元数据提取的研究，分析了方法学趋势和应用，并指出了未来研究方向。
2025-12-28 cs.AI cs.CL cs.IR
Automatic Speech Summarisation: A Scoping Review
Swinburne University of Technology（斯威本科技大学）；Australian Institute of Health Innovation, Macquarie University（麦考瑞大学澳大利亚健康创新研究所）；University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；University of Sydney（悉尼大学）
语音摘要技术将人类语音作为输入，然后输出作为文本或语音的删节版本。语音摘要在从信息技术到医疗保健的许多领域都有应用，例如改善语音档案或减少临床文档负担。这一范围审查映射的演讲摘要文献，没有时间框架的限制，语言总结，研究方法，或论文类型。我们共审查了110篇论文的一组153通过文献检索和提取语音特征，方法，范围和训练语料库。大多数研究采用四种语音摘要架构之一：（1）句子提取和压缩;（2）特征提取和分类或基于排名的句子选择;（3）句子压缩和压缩摘要;以及（4）语言建模。我们还讨论了这些不同的方法和语音特征的优点和缺点。总体而言，监督方法（例如隐马尔可夫支持向量机，排名支持向量机，条件随机场）比无监督方法表现得更好。由于监督方法需要手动注释的训练数据，这可能是昂贵的，因此对无监督方法更感兴趣。最近对无监督方法的研究集中在扩展语言建模上，例如通过将Unigram建模与深度神经网络相结合。方案注册：在https://osf.io上注册了本范围审查的方案。
2020-08-27 cs.CL cs.IR
Learning to Create Sentence Semantic Relation Graphs for Multi-Document Summarization
Artificial Intelligence Laboratory（人工智能实验室）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
跨文档链接事实是一项具有挑战性的任务，因为用于在句子中表达相同信息的语言可能会有很大的不同，这使得多文档摘要的任务变得复杂。因此，现有的方法严重依赖于手工制作的功能，这是领域相关的，难以手工制作，或额外的注释数据，这是昂贵的收集。为了克服这些限制，我们提出了一种新的方法，它利用两种类型的句子嵌入：通用嵌入，这是在一个大型的不相关的语料库，和特定领域的嵌入，这是在训练过程中学习。为此，我们开发SemSentSum，一个完全数据驱动的模型，能够利用这两种类型的句子嵌入通过建立一个句子语义关系图。SemSentSum在两种类型的摘要上取得了有竞争力的结果，包括665字节和100字。与其他最先进的模型不同，既不需要手工制作的功能，也不需要额外的注释数据，而且该方法很容易适应其他任务。据我们所知，我们是第一个使用多个句子嵌入的任务，多文档摘要。
2019-09-20 cs.CL cs.LG stat.ML
An Unsupervised Semantic Sentence Ranking Scheme for Text Documents
University of Massachusetts, Lowell（马萨诸塞大学洛厄尔分校）
本文提出了语义句子排名（SSR），一个无监督的计划自动排名句子在一个单一的文件，根据其相对重要性。特别地，SSR从文本文档中提取关键词和短语，并使用语义度量来分别构建短语和词的语义短语图和句子的语义句子图。它应用了两种偏向文章结构的PageRank变体，对第一个图上的短语和单词以及第二个图上的句子进行评分。然后，它将这些分数结合起来，生成每个句子的最终分数。最后，SSR解决了一个多目标优化问题，排名句子的基础上，他们的最终得分和主题的多样性，通过语义子主题聚类。在二次时间内运行的SSR的实现，它优于，在SummBank基准，每个单独的法官的排名，并与所有法官的综合排名相比。
2020-04-28 cs.CL cs.IR cs.LG
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
文档级神经机器翻译（DocNMT）通过结合跨句子上下文来实现连贯的翻译。然而，对于大多数语言对来说，尽管并行句子很容易获得，但并行文档还是很短缺。在本文中，我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下，从教师语言的文档级数据的学生语言没有文件，但句子级数据，并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT，我们探讨了3个因素对迁移的影响：具有文档级数据的教师语言的数量，训练时文档和句子级数据之间的平衡，以及并行文档的数据条件（真实与回译）。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性，特别是在文档特定的指标上。我们观察到，更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是，传输对数据条件不太敏感，多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
Sentence-level Privacy for Document Embeddings
UC San Diego（加州大学圣地亚哥分校）
用户语言数据可能包含高度敏感的个人内容。因此，在从数据中学习时，必须为用户提供强大且可解释的隐私保证。在这项工作中，我们提出了SentDP：纯本地差分隐私在句子级别为一个单一的用户文档。我们提出了一种新的技术，DeepCandidate，它结合了强大的统计和语言建模的概念，以产生高维的，通用的$ε$ -SentDP文档嵌入。这保证了文档中的任何单个句子都可以用任何其他句子替换，同时保持嵌入$ε$不可区分。我们的实验表明，这些私有文档嵌入对于情感分析和主题分类等下游任务非常有用，甚至优于具有较弱保证的基线方法，如单词级Metric DP。
2022-05-10 cs.CL cs.LG
SenGen: Sentence Generating Neural Variational Topic Model
AWS Deep Learning, Amazon（亚马逊 AWS 深度学习）；IBM Research（IBM 研究院）
我们提出了一种新的主题模型，它通过一次对一个整句的主题进行采样来生成文档，并使用以句子主题为条件的RNN解码器来生成句子中的单词。我们认为，这种新颖的形式主义将帮助我们不仅可视化和模型的主题话语结构在一个文件中更好，但也可能导致更多的可解释的主题，因为我们现在可以说明主题抽样代表性的句子，而不是一袋的话或短语。我们提出了一种用于学习的变分自动编码器方法，其中我们使用因子分解的变分编码器，该编码器使用前馈网络独立地对文档的主题混合向量进行后验建模，并使用RNN对句子的主题分配进行后验建模。我们在两个不同数据集上的初步实验表明了早期的希望，但也暴露了许多有待解决的挑战。
2017-08-01 cs.CL cs.LG stat.ML
Massively Multilingual Document Alignment with Cross-lingual Sentence-Mover's Distance
Facebook AI（Facebook人工智能）
文档对齐旨在识别两种不同语言的文档对，这些文档具有可比的内容或彼此的翻译。这种对齐的数据可以用于各种NLP任务，从训练跨语言表示到挖掘用于机器翻译的并行数据。在本文中，我们开发了一个无监督的评分函数，利用跨语言的句子嵌入来计算不同语言的文档之间的语义距离。然后，这些语义距离用于指导文档对齐算法，以正确地将跨语言的Web文档跨各种低、中、高资源语言对进行配对。认识到我们提出的评分函数和其他最先进的方法是计算上棘手的长Web文档，我们利用一个更易处理的贪心算法，执行搜索。我们通过实验证明，我们的距离度量比当前的基线执行更好的对齐，在高资源语言对上比它们表现出7%，在中等资源语言对上比它们表现出15%，在低资源语言对上比它们表现出22%。
2020-10-11 cs.CL cs.IR cs.LG
Extraction of Salient Sentences from Labelled Documents
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；Google DeepMind（谷歌DeepMind）
我们提出了一个分层卷积文档模型的架构，旨在支持自省的文档结构。使用这个模型，我们展示了如何使用可视化技术从计算机视觉文献中识别和提取主题相关的句子。我们还介绍了一个新的可扩展的自动句子提取系统，避免了耗时的人工注释的验证数据的评估技术。
2015-02-28 cs.CL cs.IR cs.LG
Improving Document-Level Sentiment Classification Using Importance of Sentences
Kangwon National University（江原大学）；Konkuk University（建国大学）
以前的研究人员认为情感分析作为一个文档分类任务，其中输入文档被分类到预定义的情感类。尽管文档中有支持情感分析的重要证据的句子，也有不支持的句子，但他们将文档视为一袋句子。换句话说，他们没有考虑到文件中每一句话的重要性。为了有效地确定文档的极性，文档中的每个句子都应该处理不同的重要程度。针对这一问题，提出了一种基于深度神经网络的文档级句子分类模型，通过门机制自动确定文档中句子的重要程度。为了验证我们的新情感分析模型，我们使用电影评论、酒店评论、餐厅评论和音乐评论等四个不同领域的情感数据集进行了实验。在实验中，所提出的模型优于以前的国家的最先进的模型，不考虑文件中的句子的重要性差异。实验结果表明，在文档级情感分类任务中，应该考虑句子的重要性。
2021-03-09 cs.CL
Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对BERT等模型在长文档分类中受输入长度和计算效率限制的问题，提出基于TF-IDF句子排序减少上下文的零样本方法，在MahaNews数据集上保留50%句子可维持准确率且推理时间最多降35%，实现高效分类。
2025-08-24 cs.CL cs.LG
Graph-based Neural Multi-Document Summarization
Yale University（耶鲁大学）；The LNM Institute of Information Technology（LNM信息技术学院）
我们提出了一个神经多文档摘要（MDS）系统，结合句子关系图。我们采用一个图卷积网络（GCN）的关系图，句子嵌入从递归神经网络作为输入节点的功能。通过多层传播，GCN生成用于显著性估计的高级隐藏句子特征。然后，我们使用一个贪婪的启发式提取突出的句子，同时避免冗余。在我们对DUC 2004的实验中，我们考虑了三种类型的句子关系图，并证明了将图中的句子关系与深度神经网络的表示能力相结合的优势。我们的模型改进了传统的基于图的提取方法和香草GRU序列模型没有图，它取得了竞争力的结果对其他国家的最先进的多文档摘要系统。
2017-08-23 cs.CL cs.LG
Improving the Efficiency of Long Document Classification using Sentence Ranking Approach
Pune Institute of Computer Technology（普那计算机技术研究所）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Labs（L3Cube实验室）
针对长文档分类中Transformer模型的计算限制和冗余问题，提出基于TF-IDF的句子排序方法，选择关键句子，在MahaNews LDC数据集上以0.33%的准确率下降换取超过50%的输入缩减和43%的延迟降低。
2025-06-22 cs.CL cs.LG
Exploiting Sentence Order in Document Alignment
Johns Hopkins University（约翰霍普金斯大学）
我们提出了一个简单的文档对齐方法，将句子顺序信息的候选人生成和候选人重新评分。与WMT 16文档对齐共享任务上先前发布的最佳结果相比，我们的方法导致错误相对减少61%。我们的方法提高了下游MT性能的网页刮僧伽罗语-英语文档从ParaCrawl，优于文档对齐方法中使用的最新ParaCrawl版本。它也优于使用相同的多语言嵌入的可比语料库方法，表明即使最终目标是双文本，利用句子顺序也是有益的。
2020-10-28 cs.CL
Terminology-based Text Embedding for Computing Document Similarities on Technical Content
Skopai（Skopai公司）；Univ. Grenoble Alps/CNRS（格勒诺布尔阿尔卑斯大学/法国国家科学研究中心）
在本文中，我们提出了一种新的，混合文档嵌入方法，以解决文件的相似性方面的技术内容的问题。为此，我们采用了最先进的图形技术，首先提取文档的关键词（复合关键词），然后使用它们对句子进行评分。使用排名的句子，我们提出了两种方法来嵌入文档，并显示其性能相对于两个基线。领域专家注释，我们说明了所提出的方法可以找到更多的相关文件，并优于基线高达27%的NDCG。
2019-07-01 cs.CL cs.LG stat.ML
Sentence Embeddings and High-speed Similarity Search for Fast Computer Assisted Annotation of Legal Documents
Université de Montréal（蒙特利尔大学）；Carnegie Mellon University（卡内基梅隆大学）；Hofstra University（霍夫斯特拉大学）；University of Pittsburgh（匹兹堡大学）
对法律文档中的句子进行人工注释是许多基于机器学习的系统支持法律任务的重要前提。通常，注释是逐句顺序完成的，这通常是耗时的，因此是昂贵的。在本文中，我们介绍了一个概念证明系统，用于注释句子的横向。“这种方法是基于这样一种观察，即意义相似的句子在特定的类型系统中通常具有相同的标签。我们使用这种观察，允许注释者快速查看和注释句子，语义上类似于一个给定的句子，在整个语料库的文件。在这里，我们提出了系统的接口和经验评估的方法。实验表明，横向标注有可能使标注过程更快，更一致。
2021-12-21 cs.AI cs.CL cs.LG
Capturing document context inside sentence-level neural machine translation models with self-training
New York University（纽约大学）；DeepMind（深度思维）
神经机器翻译（NMT）在训练和评估时可以说达到了人类水平。文档级神经机器翻译受到的关注较少，并且落后于文档级神经机器翻译。大多数建议的文档级的方法调查的方式，条件的模型上的几个源或目标句子，以捕捉文档上下文。这些方法需要在并行文档级语料库上从头开始训练专门的NMT模型。我们提出了一种方法，不需要在并行文档级语料库上训练一个专门的模型，并在解码时应用于训练的文档级NMT模型。我们从左到右多次处理文档，并在成对的源句子和生成的翻译上自我训练句子级模型。我们的方法加强了模型所做的选择，从而使文档中的其他句子更有可能做出相同的选择。我们在三个文档级数据集上评估了我们的方法：NIST中文-英文，WMT'19中文-英文和OpenSubtitles英文-俄文。我们证明了我们的方法比基线具有更高的BLEU分数和更高的人类偏好。我们的方法的定性分析表明，模型的选择是一致的整个文件。
2020-03-11 cs.CL
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents
University of Michigan（密歇根大学）
句子和文档建模的目标是为各种自然语言处理任务准确地表示句子和文档的含义。在这项工作中，我们提出了依赖敏感的卷积神经网络（DSCNN）作为一个通用的分类系统的句子和文件。DSCNN通过长短期记忆网络处理预训练的词嵌入，然后用卷积算子提取特征，分层构建文本表示。与现有的树结构递归神经网络模型相比，DSCNN不依赖于解析器和昂贵的短语标记，因此不限于任务级任务。此外，与其他基于CNN的模型通过滑动窗口在本地分析句子不同，我们的系统捕获了每个句子内的依赖信息和同一文档中句子之间的关系。实验结果表明，我们的方法是实现国家的最先进的性能在几个任务，包括情感分析，问题类型分类，和主观分类。
2016-11-08 cs.CL
Hi-Transformer: Hierarchical Interactive Transformer for Efficient and Effective Long Document Modeling
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
Transformer对于文本建模非常重要。然而，由于输入文本长度的二次复杂性，它在处理长文档时有困难。为了处理这个问题，我们提出了一个层次化的交互式Transformer（Hi-Transformer），以实现高效和有效的长文档建模。Hi-Transformer以分层的方式对文档进行建模，即，首先学习句子表示，然后学习文档表示。它可以有效地降低复杂度，同时捕获全局文档上下文的建模中的每一个句子。更具体地说，我们首先使用句子Transformer来学习每个句子的表示。然后，我们使用一个文档Transformer来从这些句子表示中建模全局文档上下文。接下来，我们使用另一个句子Transformer来使用全局文档上下文增强句子建模。最后，我们使用层次池方法来获得文档嵌入。在三个基准数据集上的大量实验验证了Hi-Transformer在长文档建模中的效率和有效性。
2021-12-09 cs.CL
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Stretching Sentence-pair NLI Models to Reason over Long Documents and Clusters
Google Research（谷歌研究院）；University of Pennsylvania（宾夕法尼亚大学）
自然语言推理（NLI）作为估计句子对之间的语义关系的框架已经被NLP社区广泛研究。虽然早期的工作发现了NLI模型中的某些偏差，但最近在建模和数据集方面的进展显示出了良好的性能。在这项工作中，我们进一步探索了NLI模型对实际应用的直接zero-shot适用性，超越了它们所训练的双对设置。首先，我们分析了这些模型对较长和域外输入的鲁棒性。然后，我们开发了新的聚合方法，以允许对完整文档进行操作，从而在ContractNLI数据集上达到最先进的性能。有趣的是，我们发现NLI分数提供了强大的检索信号，与常见的基于相似性的方法相比，可以提取更多相关的证据。最后，我们进一步调查整个文件集群，以确定来源之间的差异和共识。在一个测试案例中，我们发现不同语言的维基百科页面之间关于同一主题的真实不一致。
2022-11-01 cs.CL cs.LG
Multi-layered graph-based multi-document summarization model
University of Prizren（普里兹伦大学）
多文档摘要是自动生成给定文档集合的压缩版本的过程。最近，基于图的模型和排序算法已经被抽取文档摘要社区积极研究。虽然大多数工作集中在同质连接的句子和异质连接的文件和句子（如句子相似度加权的文件重要性），在本文中，我们提出了一种新的3层图模型，不仅强调句子和文档级别的关系，但也下句子级别的关系（如句子相似度的一部分）的影响。
2014-05-17 cs.CL cs.IR
STAR : Sentence Translation Alignment Rate for Document-to-Document Machine Translation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）
该研究针对文档到文档机器翻译的结构对齐问题，提出STAR指标与StarPO框架，实验显示StarPO可提升翻译质量与结构完整性，还能让小型模型超越GPT-4o等大型系统并保持更优令牌效率。
2026-08-28 cs.CL
Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation
Soochow University（苏州大学）；Sogou（搜狗）
文档级机器翻译将文档间的依赖性结合到源句子的翻译中。在本文中，我们提出了一个新的框架，通过训练神经机器翻译（NMT）来预测目标翻译和源句子的周围句子来建模跨句子依赖关系。通过强制NMT模型来预测源上下文，我们希望模型能够学习“上下文化”的源语句表示，这些表示可以捕获源端的文档级依赖关系。我们进一步提出了两种不同的方法来学习和集成这样的上下文句子嵌入到NMT：联合训练方法，联合训练NMT模型与源上下文预测模型和预训练和微调方法，预训练的源上下文预测模型上的大规模单语文档语料库，然后微调它与NMT模型。通过对汉英和英德翻译的实验表明，这两种方法都能在较强的文档级Transformer基础上显著提高翻译质量。
2020-03-30 cs.CL
Unsupervised Discovery of Multimodal Links in Multi-image, Multi-sentence Documents
Cornell University（康奈尔大学）
图像和文本经常在网络上同时出现，但图像和句子（或其他文档内文本单元）之间的显式链接通常不存在。我们提出了发现图像-句子关系的算法，而不依赖于训练中的显式多模态注释。我们在七个不同难度的数据集上进行了实验，从由众包工作者事后标题的图像组组成的文档到自然发生的用户生成的多模态文档。我们发现，一个结构化的训练目标的基础上，确定是否收集的图像和句子共同出现在文档中，可以足以预测特定的句子和特定的图像之间的链接在同一个文件在测试时间。
2019-08-31 cs.CL cs.CV
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Multi-Topic Multi-Document Summarizer
Electronics Research Institute（电子研究所）；Faculty of Computers and Information, Benha University（班哈大学计算机与信息学院）
现有的多文档文摘系统虽然能够成功地提取摘要语句，但存在覆盖率低、重要语句提取不准确、句子冗余和连贯性差等问题。本研究引入了一个新的概念，质心的方法和报告的新技术提取摘要句子的多文档。在这两种技术中，关键词都被用来衡量句子和文档。第一种摘要技术（Sen-Rich）更喜欢最大丰富度的句子。而第二个（Doc-Rich），更喜欢来自质心文档的句子。为了演示新的摘要系统应用程序提取阿拉伯文文档的摘要，我们进行了两个实验。首先，我们应用Rouge测量来比较在TAC 2011上提出的系统之间的新技术。结果表明，Sen-Rich优于ROUGE-S中的所有系统。第二，将该系统应用于多主题文档的摘要。使用人工评估，结果表明，Doc-Rich是优越的，其中总结句的特点是额外的覆盖范围和更多的衔接。
2014-01-03 cs.CL
Towards Proactively Forecasting Sentence-Specific Information Popularity within Online News Documents
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多项研究都集中在预测一个在线文档作为一个整体的预期受欢迎程度，而没有关注其各个部分的贡献。我们介绍的任务，主动预测流行的句子在网上新闻文件中完全利用其自然语言的内容。我们将特定于广告的流行度预测建模为序列回归任务。为了训练我们的模型，我们策划了InfoPop，这是第一个包含来自50，000多个在线新闻文档的超过170万个句子的流行度标签的数据集。据我们所知，这是第一个使用传入的搜索引擎查询流自动创建的数据集，以生成搜索级别的流行度注释。我们提出了一种新的迁移学习方法，包括句子显著性预测作为辅助任务。我们提出的技术与基于BERT的神经模型相结合，超过了0.8的nDCG值，用于主动的特定于广告的流行度预测。值得注意的是，我们的研究提出了一个重要的结论：虽然流行度和显著性是不同的概念，但来自显著性预测的迁移学习增强了流行度预测。我们发布InfoPop并公开我们的代码：https://github.com/sayarghoshroy/InfoPopularity
2022-12-31 cs.AI cs.CL cs.LG
Exploiting Parallel Corpora to Improve Multilingual Embedding based Document and Sentence Alignment
University of Moratuwa（莫拉图瓦大学）
多语言句子表示对于没有足够数据来自行构建单语模型的低资源语言来说具有很大的优势。这些多语言的句子表示已分别利用少数研究文件和句子对齐。然而，大多数低资源语言在这些预训练模型中的代表性不足。因此，在低资源语言的上下文中，必须使用额外的数据源对这些模型进行微调。本文提出了一种加权机制，利用现有的小规模平行语料库，以提高性能的多语言句子表示的文档和句子对齐。实验进行两个低资源的语言，僧伽罗语和泰米尔语。在新创建的僧伽罗语-英语、泰米尔语-英语和僧伽罗语-泰米尔语数据集上的结果表明，这种新的加权机制显着改善了文档和句子的对齐。该数据集以及源代码都是公开发布的。
2021-06-12 cs.CL
