Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）
目前大多数抽取式摘要模型都是通过选择显著句子来生成摘要的。然而，文本级抽取摘要的一个问题是，在人类书写的黄金摘要和甲骨文句子标签之间存在差距。在本文中，我们提出了提取事实级的语义单位，更好地提取摘要。我们还引入了一个层次结构，它结合了多层次的粒度的文本信息的模型。此外，我们将我们的模型与BERT使用层次图掩码。这使我们能够结合BERT在自然语言理解和结构信息方面的能力，而不增加模型的规模。在CNN/DaliyMail数据集上的实验表明，我们的模型达到了最先进的结果。
2020-11-19 cs.CL
SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
IBM（国际商业机器公司）
我们提出了SummaRuNNer，一个循环神经网络（RNN）为基础的序列模型的提取摘要的文件，并表明它实现了性能优于或相当于国家的最先进的。我们的模型具有额外的优势是非常可解释的，因为它允许可视化的预测打破了抽象的功能，如信息内容，显着性和新颖性。我们工作的另一个新贡献是我们的提取模型的抽象训练，它可以单独在人类生成的参考摘要上进行训练，从而消除了对重复级别提取标签的需要。
2016-11-14 cs.CL
Fine-tune BERT for Extractive Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
BERT是一个预训练的Transformer模型，在多个NLP任务上取得了突破性的性能。在本文中，我们描述了BERTSUM，一个简单的变种BERT，提取摘要。我们的系统在CNN/Dailymail数据集上是最先进的，在ROUGE-L上比以前性能最好的系统高出1.65。可在https://github.com/nlpyang/BertSum上获得重现我们结果的代码
2019-09-05 cs.CL
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University（复旦大学）
近年来，深度神经网络在文本摘要中的应用取得了显著的成功。但是，人们对\textit{why}没有明确的认识，他们表现得那么好，或者\textit{how}他们可能会得到改进。在本文中，我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构，可转移知识和学习模式中受益。此外，我们发现了一种有效的方法来改善现有的框架，并实现了国家的最先进的结果CNN/DailyMail的基础上，我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
Unsupervised Dual-Cascade Learning with Pseudo-Feedback Distillation for Query-based Extractive Summarization
IBM Research（IBM研究院）
我们提出了Dual-CES -一种新的无监督，以查询为中心，多文档提取摘要。Dual-CES旨在更好地处理摘要中显着性和焦点之间的权衡。为此，Dual-CES采用两步双级联优化方法和基于显着性的伪反馈蒸馏。总的来说，Dual-CES的性能明显优于所有其他最先进的无监督替代品。Dual-CES甚至被证明能够胜过强监督摘要器。
2018-11-01 cs.CL
BanditSum: Extractive Summarization as a Contextual Bandit
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；University of Montréal（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出了一种新的方法来训练神经网络执行单文档提取摘要，而无需抽象生成的提取标签。我们称我们的方法为BanditSum，因为它将提取摘要视为上下文强盗（CB）问题，其中模型接收要摘要的文档（上下文），并选择要包含在摘要中的句子序列（动作）。策略梯度强化学习算法用于训练模型，以选择最大化ROUGE得分的句子序列。我们进行了一系列实验，证明BanditSum能够实现ROUGE分数，优于或相当于最先进的提取摘要，并使用比竞争方法少得多的更新步骤收敛。此外，我们的经验表明，BanditSum表现明显优于竞争对手的方法时，良好的摘要句子出现在源文件中的后期。
2019-05-07 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi（德里大学）
针对法律判决自动摘要问题，提出AugAbEx流程，通过用含专家意见的银标准抽取摘要扩充数据集，经多维度审查确保质量，实验表明该流程生成的摘要质量优于其他方法，能推动法律领域摘要算法发展。
2026-07-23 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Reinforced Extractive Summarization with Question-Focused Rewards
University of Central Florida（中佛罗里达大学）
我们研究了一种新的提取摘要的训练模式。传统上，人类摘要被用来获得提取单元的黄金标准标签。然而，标签通常是不准确的，因为人类摘要和源文档不能在单词级别轻松对齐。在本文中，我们将人类摘要转换为一组完形填空式的理解问题。鼓励系统摘要保留对回答问题有用的突出源内容，并与摘要共享常用词。我们使用强化学习来探索可能的提取摘要的空间，并引入以问题为中心的奖励函数来促进简洁，流畅和信息丰富的摘要。实验结果表明，该方法是有效的.它在标准摘要数据集上超越了最先进的系统。
2018-06-21 cs.CL
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
Stepwise Extractive Summarization and Planning with Structured Transformers
Google Research（谷歌研究院）
我们提出了以编码器为中心的逐步模型提取摘要使用结构化的变压器- HiBERT和扩展Transformers。我们通过将先前生成的摘要作为辅助子结构注入到结构化的Transformer中来实现逐步摘要。我们的模型不仅可以有效地对长输入的结构进行建模，而且它们也不依赖于特定于任务的冗余感知建模，使它们成为不同任务的通用提取内容规划器。当在CNN/DailyMail提取摘要上进行评估时，逐步模型在Rouge方面实现了最先进的性能，而无需任何冗余感知建模或句子过滤。这也适用于Rotowire表格到文本生成，我们的模型超过了之前报道的内容选择，规划和订购指标，突出了逐步建模的优势。在我们测试的两个结构化转换器中，逐步扩展的Transformers在两个数据集上提供了最佳性能，并为这些挑战设定了新的标准。
2020-10-06 cs.CL
Unsupervised Pseudo-Labeling for Extractive Summarization on Electronic Health Records
Petuum Inc.（Petuum公司）
摘要对于医生更好地管理和消化电子健康记录（EHR）非常有用。然而，监督模型的训练需要特定疾病的医学背景，因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签，并训练一个没有外部注释的监督模型。在真实患者数据上的实验验证了我们的模型在总结患者的关键疾病特定信息方面是有效的。
2018-11-26 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；Tencent Cloud Xiaowei（腾讯云小微）
摘要抽取方法在自动文摘中已被证明是有效的。以前的作品通过在句子水平上识别信息内容来完成这一任务。然而，目前还不清楚在句子级别执行提取是否是最好的解决方案。在这项工作中，我们表明，不必要的和冗余的问题存在时，提取完整的句子，和提取submartial单位是一个很有前途的选择。具体来说，我们提出了基于选区解析树提取子单元。提出了一种利用潜在信息进行提取的神经抽取模型。大量的实验和分析表明，在自动评价和人工评价的评价下，提取子句单元与提取整句相比具有竞争力。希望本研究能对文摘中基本提取单元的研究提供一定的启示。
2020-10-26 cs.CL
EASE: Extractive-Abstractive Summarization with Explanations
Facebook（脸书）
目前的抽象摘要系统优于其提取同行，但其广泛采用的内在缺乏可解释性的抑制。为了实现两全其美，我们提出了EASE，一个基于证据的文本生成的提取抽象框架，并将其应用于文档摘要。我们提出了一个可解释的摘要系统的基础上的信息瓶颈的原则，联合训练的提取和抽象的端到端的方式。受先前研究的启发，人类使用两阶段框架来总结长文档（Jing和McKeown，2000），我们的框架首先提取预定义数量的证据跨度作为解释，然后仅使用证据生成摘要。使用自动和人工评估，我们表明，我们的框架的解释比简单的基线更相关，而不会实质上牺牲生成的摘要的质量。
2021-05-14 cs.CL
Extractive Text Summarization using Neural Networks
Indian Institute of Technology Delhi（德里印度理工学院）
文本摘要是一个被广泛研究的问题。传统的文本摘要方法严重依赖于特征工程。与此相反，我们提出了一个完全数据驱动的方法，使用前馈神经网络的单文档摘要。我们训练和评估的标准DUC 2002数据集的模型，显示的结果与最先进的模型。该模型是可扩展的，并能够产生任意大小的文件的摘要，打破了原始文件成固定大小的部分，然后将其递归地馈送到网络。
2018-02-27 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Extractive Summarization of Call Transcripts
Verizon Communications（威瑞森通信公司）
文本摘要是从文本中提取最重要的信息，并以较少的句子简洁地呈现的过程。通话记录是涉及客户（呼叫者）和代理（客户代表）之间电话对话的文本描述的文本。本文提出了一种本土开发的方法，结合主题建模和句子选择与标点符号恢复在浓缩不佳标点或unpunctuated通话记录，以产生更可读的摘要。广泛的测试，评估和比较已经证明了这个汇总器的呼叫成绩单摘要的有效性。
2021-04-15 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
Multiplex Graph Neural Network for Extractive Text Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent America（腾讯美国）
摘要抽取式文本摘要的目的是从给定的文档中抽取最具代表性的句子作为摘要。为了从一个长文本文档中提取出一个好的摘要，句子嵌入起着重要的作用。最近的研究已经利用图神经网络来捕获内部关系（例如，话语图）来学习上下文句子嵌入。然而，这些方法既不考虑多种类型的内部关系（例如，语义相似性和自然连接），也不建模内部关系（例如，词之间的语义和句法关系）。为了解决这些问题，我们提出了一种新的多重图卷积网络（多GCN），共同建模不同类型的句子和单词之间的关系。基于Multi-GCN，我们提出了一种用于抽取式文本摘要的Multi-GRAS模型。最后，我们在CNN/DailyMail基准数据集上评估了所提出的模型，以证明我们的方法的有效性。
2021-09-09 cs.CL
Toward Extractive Summarization of Online Forum Discussions via Hierarchical Attention Networks
University of Central Florida（中佛罗里达大学）
论坛的帖子很长，内容丰富。简洁的主题摘要将有利于寻求信息的新人和参与讨论的人。然而，很少有研究探讨了论坛主题摘要的任务。在这项工作中，我们第一次尝试适应线程摘要的层次注意力网络。该模型利用神经注意力机制的最新发展来构建句子和线索表示并将其用于摘要。我们的研究结果表明，所提出的方法可以优于一系列的竞争基线。此外，冗余去除步骤对于实现出色的结果至关重要。
2018-12-26 cs.CL
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Legal Extractive Summarization of U.S. Court Opinions
ETH Zurich（苏黎世联邦理工学院）
本研究使用43万份美国法院意见书数据集，提出基于强化学习的MemSum模型，在自动和人工评估中均优于Transformer模型，并开源以促进法律民主化。
2023-05-15 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Discourse-Aware Neural Extractive Text Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
最近，BERT已被用于最先进的文本摘要模型中的文档编码。然而，基于摘要的提取模型往往会导致提取的摘要中出现冗余或无信息的短语。此外，BERT无法很好地捕捉整个文档中的长距离依赖关系，因为它是在句子对而不是文档上进行预训练的。为了解决这些问题，我们提出了一个话语感知的神经摘要模型- DiscoBert。DiscoBert在更细的粒度上提取子空间话语单元（而不是句子）作为提取选择的候选者。为了捕捉语篇单位之间的长程依赖关系，本文基于语义树和共指提及构建了结构化语篇图，并用图卷积网络进行编码。实验表明，该模型优于国家的最先进的方法，由一个显着的利润率流行的摘要基准相比，其他BERT的基础模型。
2020-04-25 cs.CL
DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
University of California, Davis（加州大学戴维斯分校）
DiffuSum提出用扩散模型直接生成摘要句表示并匹配抽取句子，联合优化对比编码器，在CNN/DailyMail上取得ROUGE 44.83/22.56/40.56的最优结果，验证了生成模型用于抽取式摘要的潜力。
2023-05-11 cs.CL
A Closer Look at Data Bias in Neural Extractive Summarization Models
Fudan University（复旦大学）
在本文中，我们评估了摘要数据集的现状，并探讨了数据集的不同因素如何影响神经提取摘要模型的泛化行为。具体来说，我们首先提出了数据集的几个属性，这对摘要模型的泛化很重要。然后，我们建立了驻留在数据集和模型设计的先验之间的联系，分析数据集的不同属性如何影响模型的结构设计和训练方法的选择。最后，以一个典型的数据集为例，在上述分析的基础上，我们重新思考了模型设计的过程。我们证明，当我们对数据集的特征有了深刻的理解时，一个简单的方法可以为现有的最先进的模型带来显着的改进。
2019-09-30 cs.CL
Extractive Summarization as Text Matching
Fudan University（复旦大学）
本文在构建神经提取摘要系统的方式方面创造了一个范式转变。而不是以下常用的框架单独提取句子和句子之间的关系建模，我们制定的提取摘要任务作为一个语义文本匹配问题，其中源文件和候选摘要将（从原始文本中提取）匹配的语义空间。值得注意的是，这种向语义匹配框架的范式转变是基于我们对基于数据集属性的摘要级和摘要级提取器之间固有差距的全面分析。此外，即使用简单形式的匹配模型实例化框架，我们也将CNN/DailyMail上最先进的提取结果提升到了一个新的水平（ROUGE-1中为44.41）。在其他五个数据集上的实验也表明了该匹配框架的有效性。我们相信这种基于匹配的摘要框架的功能还没有得到充分利用。为了鼓励未来更多的实例化，我们已经在https://github.com/maszhongming/MatchSum上发布了我们的代码，处理的数据集以及生成的摘要。
2020-04-19 cs.CL
Self-Supervised Learning for Contextualized Extractive Summarization
IBM Research（IBM研究院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
现有的提取摘要模型通常是从零开始训练的，具有交叉熵损失，这并不能显式地捕获文档级别的全局上下文。在本文中，我们的目标是通过引入三个辅助预训练任务来改进这个任务，这些任务学习以自我监督的方式捕获文档级上下文。在广泛使用的CNN/DM数据集上的实验验证了所提出的辅助任务的有效性。此外，我们表明，在预训练之后，具有简单构建块的干净模型能够超越先前精心设计的最先进模型。
2019-06-11 cs.CL
A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss
National Tsing Hua University（台湾清华大学）；Cheetah Mobile（猎豹移动）
我们提出了一个统一的模型相结合的强度提取和抽象的摘要。一方面，一个简单的提取模型可以获得高ROUGE分数，但可读性较差的双水平的注意。另一方面，一个更复杂的抽象模型可以获得单词级的动态注意力，以生成更可读的段落。在我们的模型中，句子级注意力被用来调节单词级注意力，使得较少注意的句子中的单词不太可能被生成。此外，一个新的不一致性损失函数被引入到惩罚两个层次的注意力之间的不一致性。通过使用提取和抽象模型的不一致性损失和原始损失对我们的模型进行端到端训练，我们实现了最先进的ROUGE分数，同时在可靠的人工评估中成为CNN/Daily Mail数据集上最具信息性和可读性的摘要。
2018-07-05 cs.CL
Key Point Analysis via Contrastive Learning and Extractive Argument Summarization
Paderborn University（帕德博恩大学）；Leipzig University（莱比锡大学）；Bielefeld University（比勒费尔德大学）
关键点分析的任务是从一组给定的论点中提取一组简洁和高层次的陈述，代表这些论点的主旨。本文介绍了我们提出的关键点分析共享任务的方法，并与第八届研讨会上的论点挖掘。这一办法包括两个相辅相成的组成部分。一个组件通过siamese神经网络采用对比学习，用于将参数与关键点匹配;另一个组件是基于图形的提取摘要模型，用于生成关键点。在自动和手动评估中，我们的方法在所有提交的共享任务中排名最好。
2021-10-22 cs.CL
GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state
Charles Sturt University（查尔斯特大学）；Atypon Systems, LLC（Atypon系统有限责任公司）；Fudan University（复旦大学）
从长文档中提取摘要可以看作是利用文档的结构信息进行句子分类。如何使用这样的结构化信息来概括文档是具有挑战性的。在本文中，我们提出了GoSum，一种新的图和强化学习为基础的提取模型的长论文摘要。特别是，GoSum通过为不同话语级别的每个输入文档构建异构图，在强化学习中对句子状态进行编码。图中的边反映了文档的语篇层次结构，用于抑制跨节边界的语义漂移。我们在两个科学文章摘要数据集上评估了GoSum：PubMed和arXiv。实验结果表明，与提取和抽象模型的强基线相比，GoSum实现了最先进的结果。消融研究进一步验证了我们的GoSum的性能受益于话语信息的使用。
2023-01-20 cs.CL
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中，我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子，根据选区分析识别可能的压缩，并使用神经模型对这些压缩进行评分，以生成最终摘要。对于学习，我们构建了Oracle提取压缩摘要，然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明，根据ROUGE的评估，我们的模型实现了强大的性能（与最先进的系统相当）。此外，我们的方法优于现成的压缩模块，人工和手动评估表明，我们的模型的输出通常保持语法。
2019-09-09 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Exploring Domain Shift in Extractive Text Summarization
Fudan University（复旦大学）；Mila（米拉人工智能研究所）；Polytechnique Montreal（蒙特利尔综合理工学院）
虽然领域移位在许多自然语言处理应用中已经得到了很好的研究，但在文本摘要领域仍然没有得到足够的关注。结果，由于忽略了训练集分布的差异，该模型没有充分利用训练数据的性质，并且在未知域上表现出较差的泛化能力。考虑到上述局限性，在本文中，我们首先扩展了传统的定义领域的类别到数据源的文本摘要任务。然后，我们重新设计了一个多域摘要数据集，并验证了不同域之间的差距如何影响神经摘要模型的性能。此外，我们调查了四种学习策略，并考察了它们处理领域转移问题的能力。在三种不同设置下的实验结果显示了它们在我们的新测试平台上的不同特性。我们的源代码，包括\textit{BERT-based}，用于多域摘要学习的\textit{meta-learning}方法和重新使用的数据集\textsc{Multi-SUM}，将在我们的项目：\url{http://pfliu.com/TransferSum/}中提供。
2019-08-30 cs.CL
AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft（微软）；Microsoft Research AI（微软研究院人工智能）
冗余感知提取摘要系统对要包括在摘要中的句子的冗余连同它们的显著性信息一起进行评分，或者作为附加的句子评分步骤单独进行评分。以前的工作显示了联合评分和选择句子与神经序列生成模型的有效性。然而，如果增益是由于更好的编码技术或更好的冗余减少方法，则不太清楚。同样，显著性与多样性成分对所创建的摘要的贡献也没有得到很好的研究。基于最先进的摘要编码方法，我们提出了两个自适应学习模型：在句子选择过程中联合考虑显著性和新颖性的AREDSUM-SEQ;和一个两步AREDSUM-CTX，首先对显著性进行评分，然后学习平衡显著性和冗余，从而能够测量每个方面的影响。在CNN/DailyMail和NYT 50数据集上的实证结果表明，通过在单独的步骤中显式地对多样性进行建模，AREDSUM-CTX实现了比AREDSUM-SEQ以及最先进的提取摘要基线更好的性能。
2021-04-03 cs.CL
Hybrid Extractive Abstractive Summarization for Multilingual Sentiment Analysis
Instituto Politécnico Nacional (IPN)（国家理工学院（IPN））
本文提出融合TF-IDF抽取与微调XLM-R生成模块的多语言情感分析方法，借助动态阈值和文化适配，在10种语言上提升准确率与计算效率。
2025-06-07 cs.CL
Efficient Extractive Summarization with MAMBA-Transformer Hybrids for Low-Resource Scenarios
University of Memphis（密苏里大学）
本文提出了一种结合Transformer和Mamba的状态空间模型，用于高效提取式摘要，尤其在低资源环境下表现出色，提升了摘要质量并加快了推理速度。
2026-03-01 cs.CL
Do We Really Need That Many Parameters In Transformer For Extractive Summarization? Discourse Can Help !
University of British Columbia（不列颠哥伦比亚大学）
流行的Transformer模型的多头自注意广泛用于自然语言处理（NLP）中，包括用于提取摘要的任务。为了分析和修剪参数重的自注意力机制，有多种方法提出更多的参数轻的自注意力替代方案。本文提出了一种新的基于话语先验的参数化自注意力机制。我们的新树自注意力是基于文档级的话语信息，扩展了最近提出的“合成器”框架与另一个轻量级的替代方案。我们的实证结果表明，我们的树自我注意力的方法实现了有竞争力的ROUGE分数的任务提取摘要。当与原始单头Transformer模型相比时，树注意方法在EDU和句子级别上达到相似的性能，尽管注意分量中的参数显著减少。我们进一步显着优于8头Transformer模型在句子水平时，应用更平衡的超参数设置，需要一个数量级的参数少。
2020-12-03 cs.CL
Faithful or Extractive? On Mitigating the Faithfulness-Abstractiveness Trade-off in Abstractive Summarization
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；New York University（纽约大学）；Cornell University（康奈尔大学）
尽管最近在摘要摘要方面取得了进展，但系统仍然遭受忠实性错误。虽然先前的工作已经提出了提高忠实度的模型，但尚不清楚这种改进是否来自模型输出的提取水平的提高，因为提高忠实度的一种简单方法是使摘要模型更提取。在这项工作中，我们提出了一个框架，用于评估有效的忠实性摘要系统，通过生成一个faithfulnessabstractiveness权衡曲线，作为控制在不同的操作点上的抽象频谱。然后，我们表明，最大似然估计（MLE）的基线，以及最近提出的方法，以提高忠诚度，都比控制在同一水平的抽象。最后，我们学习了一个选择器来识别给定文档的最忠实和最抽象的摘要，并表明该系统可以在人类评估中获得更高的忠实度分数，同时在两个数据集上比基线系统更抽象。此外，我们表明，我们的系统是能够实现一个更好的忠实性，抽象性的权衡比控制在同一水平的抽象性。
2022-04-21 cs.CL
SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy
Australian National University（澳大利亚国立大学）；Google Research（谷歌研究院）
多文档摘要的大部分工作都集中在每个单独的文档集中存在的信息的通用摘要。然而，更新摘要的未充分开发的设置（其中目标是识别每个集合中存在的新信息）具有相同的实际兴趣（例如，向读者呈现关于演进的新闻主题的更新）。在这项工作中，我们提出了SupMMD，一种新的技术，通用和更新摘要的基础上最大的平均差异，从内核两个样本测试。SupMMD结合了针对显著性的监督学习和针对覆盖率和多样性的无监督学习。此外，我们调整多核学习以利用多个信息源之间的相似性（例如，文本特征和基于知识的概念）。我们通过在DUC-2004和TAC-2009数据集上达到或超过当前最先进水平，展示了SupMMD在通用和更新摘要任务中的功效。
2020-10-06 cs.CL
EDU-level Extractive Summarization with Varying Summary Lengths
University of Manchester（曼彻斯特大学）
抽取模型通常将文本摘要表述为从文档中抽取固定的顶部$k$显著句子作为摘要。很少有研究对抽取细粒度的基本语篇单元（EDU）进行研究，很少对抽取单元的选择进行分析和论证。此外，固定顶部$k$显著句的选择策略不太适合摘要需要，因为不同文档中的显著句的数量不同，因此在现实中不存在共同的或最好的$k$。为了填补这一空白，本文首先对基于教育单元和句子的甲骨文摘要进行了对比分析，从理论和实验两个角度对教育单元摘要的自动评价得分高于句子的现象进行了论证和量化。针对教育单元的这一特点，本文进一步提出了一种基于变摘要律的教育单元级抽取模型，并给出了相应的学习算法。EDU-VL学习编码和预测文档中EDU的概率，基于各种$k$值生成具有不同长度的多个候选摘要，并以端到端的训练方式对候选摘要进行编码和评分。最后，EDU-VL在单文档和多文档基准数据集上进行了实验，并与最先进的提取模型相比，在ROUGE分数上显示出改进的性能，进一步的人工评估表明，EDU成分摘要保持了良好的语法性和可读性。
2023-03-13 cs.CL
Sparse Optimization for Unsupervised Extractive Summarization of Long Documents with the Frank-Wolfe Algorithm
University of California, Berkeley（加州大学伯克利分校）
我们解决了无监督的提取文档摘要的问题，特别是对于长文档。我们将无监督问题建模为稀疏自回归问题，并通过一个凸的范数约束问题近似得到的组合问题。我们使用专门的Frank-Wolfe算法来解决它。为了生成具有$k$语句的摘要，该算法仅需要执行$\approx k$迭代，使得其非常高效。我们解释了如何避免显式计算的完整梯度，以及如何包括句子嵌入信息。我们评估我们的方法对其他两个无监督的方法使用词汇（标准）ROUGE分数，以及语义（基于嵌入）的。我们的方法在两个数据集上都取得了更好的结果，并且在与高度释义的摘要的嵌入相结合时效果尤其好。
2022-08-19 cs.CL
Sentiment-Aware Extractive and Abstractive Summarization for Unstructured Text Mining
Department of Information Systems and Analytics（信息系统与分析系）；National University of Singapore（新加坡国立大学）
本文提出一种结合情感意识的摘要方法，通过整合情感信号提升非结构化文本摘要的质量，以增强动态在线环境中的决策能力。
2025-12-23 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具，并有几个实际应用。随着在线文本数据的增长，近年来提出了许多摘要模型。基于序列到序列（Seq2Seq）的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而，现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成，导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题，而一个摘要无法公正地处理所有主题。因此，生成高质量摘要的关键是确定中心主题，并在此基础上构建摘要，特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息，构建了一个全面的句子表示。具体而言，在基于神经元的文本级表示学习中添加神经元主题模型，以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明，我们的模型优于最先进的模型。
2022-03-31 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126（亚马逊Lab126）；eBay Inc.（eBay公司）；Google（谷歌）
序列到序列（Seq2Seq）学习最近已被用于抽象和提取摘要。在目前的研究中，Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型，使用RNN进行抽象和提取摘要。直觉上，这类似于人类在阅读文档之前阅读标题，摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法，并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息，以获得更好的摘要。通过这种方式，输出摘要更加以文档为中心，而不是通用的，克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外，生成人类提取的摘要是非常昂贵的规模，因此，我们提出了一种半监督技术，用于提取近似摘要，并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估，并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器（上下文和非上下文）的并排比较。总的来说，我们提供了方法来使用和评估所提出的技术，大型文档摘要。此外，我们发现这些技术非常有效，而现有技术并非如此。
2018-07-29 cs.CL
Abstractive Summarization Improved by WordNet-based Extractive Sentences
Peking University（北京大学）；Chinese Academy of Medical Sciences（中国医学科学院）
最近，seq 2seq抽象摘要模型在CNN/Daily Mail数据集上取得了良好的效果。然而，如何用抽取方法改进抽取方法是一个很好的研究方向，因为抽取方法具有利用各种有效特征提取文本中重要句子的潜力。为了提高摘要的语义相关性，本文采用基于WordNet的句子排序算法，抽取与文本语义相关性最高的句子。然后，我们设计了一个双注意seq 2seq框架，以生成摘要考虑提取的信息。同时，结合指针生成器和覆盖机制，解决了抽象模型中存在的词汇表外词和重复词问题。在CNN/Daily Mail数据集上的实验表明，我们的模型具有最先进的ROUGE分数，具有竞争力的性能。人类的评价也表明，我们的模型生成的摘要具有较高的语义相关性的原始文本。
2018-08-04 cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University（麦吉尔大学）
自动摘要是通过计算缩短一组文本数据的过程，以创建表示原始文本中最重要信息的子集（摘要）。现有的文摘方法大致可以分为两类：抽取式和抽象式。提取摘要器显式地选择文本片段（单词、短语、句子等）。从源文档，而抽象的摘要生成器生成新颖的文本片段，以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Extractive Summarization of Legal Decisions using Multi-task Learning and Maximal Marginal Relevance
Technical University of Munich（慕尼黑工业大学）
总结法律判决需要法律从业人员的专门知识，这既需要时间，也需要成本。本文提出了在低资源环境中使用有限的专家注释数据提取法律决策摘要的技术。我们测试了一组模型，这些模型使用顺序模型定位相关内容，并通过利用最大边际相关性来撰写摘要来解决冗余问题。我们还展示了一个隐式的方法来帮助训练我们提出的模型生成更多的信息摘要。我们的多任务学习模型变体利用修辞角色识别作为辅助任务来进一步改进摘要器。我们对包含美国退伍军人上诉委员会法律决定的数据集进行了广泛的实验，并对我们的模型进行了定量和专家排名评估。我们的研究结果表明，所提出的方法可以实现ROUGE分数相对于专家提取的摘要，匹配那些通过注释器间比较。
2022-10-22 cs.CL
Classify or Select: Neural Architectures for Extractive Document Summarization
IBM Watson（IBM 沃森）；Oregon State University（俄勒冈州立大学）
我们提出了两种新的和对比的递归神经网络（RNN）的基础架构提取摘要的文件。基于分类器的体系结构按原始文档顺序顺序接受或拒绝每个句子，以确定其在最终摘要中的成员资格。另一方面，可扩展架构可以自由地以任意顺序一次选择一个句子来拼凑摘要。我们的模型在这两种架构下共同捕捉句子的显着性和冗余的概念。此外，这些模型的优点是非常可解释的，因为它们允许通过抽象特征（如信息内容，显着性和冗余）分解预测的可视化。我们证明了我们的模型在两个不同的语料库上达到或优于最先进的监督模型。我们还建议的条件下，一个架构优于其他基于实验证据。
2016-11-14 cs.CL
Computing and Exploiting Document Structure to Improve Unsupervised Extractive Summarization of Legal Case Decisions
University of Pittsburgh（匹兹堡大学）
虽然许多算法可以用来自动总结法律案件的决定，大多数未能纳入领域知识的法律判决中的重要句子如何与其文档结构的表示。例如，对一个法律案例摘要数据集的分析表明，在判决中扮演不同类型论证角色的句子出现在文档的不同部分。在这项工作中，我们提出了一个无监督的基于图的排名模型，使用重新加权算法，利用法律案件的决定的文档结构的属性。我们还探讨了使用不同的方法来计算文档结构的影响。加拿大法律判例法数据集上的结果表明，我们提出的方法优于几个强大的基线。
2022-11-06 cs.CL
