Topic Modeling Based Extractive Text Summarization
SRM Institute of Science and Technology（SRM科学技术研究所）
文本摘要是一种识别文本文档中重要信息的方法。这种计算技术的目的是通过只包括源文本中存在的相关和突出信息来生成源文本的较短版本。在本文中，我们提出了一种新的方法来总结一个文本文件，其内容聚类的基础上产生的潜在主题，使用主题建模技术，并通过生成提取摘要，每个确定的文本聚类。所有提取的子摘要稍后被组合以生成任何给定源文档的摘要。我们在文本摘要方法中利用较少使用且具有挑战性的WikiHow数据集。此数据集与可用于文本摘要的常用新闻数据集不同。众所周知的新闻数据集在其源文本的前几行中呈现了其最重要的信息，这使得与总结WikiHow数据集相比，它们的总结任务具有较小的挑战性。与这些新闻数据集相反，WikiHow数据集中的文档是使用通用方法编写的，具有较低的抽象性和较高的压缩比，因此对生成摘要提出了更大的挑战。许多当前最先进的文本摘要技术倾向于消除源文档中存在的重要信息，以利于简洁。我们提出的技术旨在捕获源文档中存在的所有不同信息。虽然数据集被证明具有挑战性，但在我们的实验设置中进行了广泛的测试后，我们发现，与其他已发布的提取和抽象文本摘要模型相比，我们的模型产生了令人鼓舞的ROUGE结果和摘要。
2021-06-29 cs.CL cs.IR
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Imbalanced multi-label classification using multi-task learning with extractive summarization
Yale University（耶鲁大学）
摘要提取和不平衡多标签分类通常需要大量的训练数据来避免过拟合。在生成训练数据的成本很高的情况下，利用任务之间的信息是增加可用信息量的一种有吸引力的方法。本文采用提取摘要器和基于RNN的分类器的多任务训练，相对于RNN基线，分别将摘要和分类准确率提高了50%和75%。我们假设，连接句子编码的基础上，文件和类上下文增加了高度可变的语料库的概括性。
2019-03-16 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
STRASS: A Light and Effective Method for Extractive Summarization Based on Sentence Embeddings
EURA NOVA
本文介绍了STRASS：通过变换选择和评分进行的摘要。它是一种利用现有句子嵌入空间中的语义信息的提取文本摘要方法。我们的方法通过选择具有与文档嵌入最接近的嵌入的句子来创建提取摘要。该模型学习文档嵌入的变换，以最小化提取摘要和地面实况摘要之间的相似性。由于转换仅由密集层组成，因此可以在CPU上进行训练，因此成本低廉。此外，推理时间短，根据句子的数量线性。作为第二个贡献，我们介绍了法国CASS数据集，由法国最高上诉法院的判决及其相应的摘要。在这个数据集上，我们的结果表明，我们的方法与最先进的提取方法具有相似的性能，并且具有有效的训练和推断时间。
2019-07-16 cs.CL cs.IR cs.LG
Neural Extractive Summarization with Side Information
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
大多数抽取式摘要方法关注于需要从中抽取句子的文档的主体。然而，文档的主旨可能在于辅助信息，例如新闻专线文章中经常提供的标题和图像说明。我们建议在单文档提取摘要的背景下探索边信息。我们开发了一个单文档摘要的框架，由一个分层的文档编码器和一个基于注意力的提取器组成，注意力超过边信息。我们在一个大规模的新闻数据集上评估了我们的模型。我们发现，提取摘要与边信息始终优于其对应的，不使用任何边信息，在信息量和流畅性。
2017-09-10 cs.CL
SumHiS: Extractive Summarization Exploiting Hidden Structure
ITMO University（伊提莫大学）；MIPT（莫斯科物理技术学院）；Kazan Federal University（喀山联邦大学）
本文提出 SumHiS，利用文本的隐藏聚类结构进行抽取式摘要，在 CNN/DailyMail 上以 ROUGE-2 超越既有方法 10%，并将隐藏结构解释为方面。
2024-06-12 cs.CL
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
自从网络出现以来，关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询，并克服信息过载的问题，一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间，而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集，其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中，我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此，它可以发挥重要作用，在文本文档摘要。
2018-11-15 cs.CL cs.IR
Unsupervised Extractive Opinion Summarization Using Sparse Coding
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
意见摘要是自动生成摘要的任务，这些摘要封装了来自多个用户评论的信息。我们提出了语义自动编码器（SemAE），以无监督的方式执行提取意见摘要。SemAE使用字典学习来隐式地从评论中捕获语义信息，并在语义单元上学习每个句子的潜在表示。语义单位应该捕捉抽象的语义概念。我们的提取摘要算法利用这些表示来识别数百条评论中的代表性意见。SemAE还能够执行可控摘要，以生成特定于方面的摘要。我们在SPACE和AMAZON数据集上报告了强大的性能，并进行了实验来研究我们模型的功能。我们的代码可在https://github.com/brcsomnath/SemAE上公开获取。
2022-05-19 cs.CL
Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）
目前大多数抽取式摘要模型都是通过选择显著句子来生成摘要的。然而，文本级抽取摘要的一个问题是，在人类书写的黄金摘要和甲骨文句子标签之间存在差距。在本文中，我们提出了提取事实级的语义单位，更好地提取摘要。我们还引入了一个层次结构，它结合了多层次的粒度的文本信息的模型。此外，我们将我们的模型与BERT使用层次图掩码。这使我们能够结合BERT在自然语言理解和结构信息方面的能力，而不增加模型的规模。在CNN/DaliyMail数据集上的实验表明，我们的模型达到了最先进的结果。
2020-11-19 cs.CL
Hybrid MemNet for Extractive Summarization
IIIT Hyderabad（海得拉巴印度信息技术学院）；Microsoft（微软）
摘要抽取式文本摘要是自然语言理解领域的一个重要研究课题。虽然传统的方法主要依赖于手动编译的功能来生成摘要，但很少尝试开发用于提取摘要的数据驱动系统。为此，我们提出了一个完全数据驱动的端到端深度网络，我们称之为混合MemNet，用于单个文档摘要任务。网络在生成摘要之前学习文档的连续统一表示。它共同捕捉本地和全球的重要信息，以及有价值的概括句子的概念。在两个不同语料库上的实验结果证实，与最先进的基线相比，我们的模型显示出显着的性能增益。
2019-12-25 cs.CL cs.IR cs.LG
SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
IBM（国际商业机器公司）
我们提出了SummaRuNNer，一个循环神经网络（RNN）为基础的序列模型的提取摘要的文件，并表明它实现了性能优于或相当于国家的最先进的。我们的模型具有额外的优势是非常可解释的，因为它允许可视化的预测打破了抽象的功能，如信息内容，显着性和新颖性。我们工作的另一个新贡献是我们的提取模型的抽象训练，它可以单独在人类生成的参考摘要上进行训练，从而消除了对重复级别提取标签的需要。
2016-11-14 cs.CL
Fine-tune BERT for Extractive Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
BERT是一个预训练的Transformer模型，在多个NLP任务上取得了突破性的性能。在本文中，我们描述了BERTSUM，一个简单的变种BERT，提取摘要。我们的系统在CNN/Dailymail数据集上是最先进的，在ROUGE-L上比以前性能最好的系统高出1.65。可在https://github.com/nlpyang/BertSum上获得重现我们结果的代码
2019-09-05 cs.CL
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University（复旦大学）
近年来，深度神经网络在文本摘要中的应用取得了显著的成功。但是，人们对\textit{why}没有明确的认识，他们表现得那么好，或者\textit{how}他们可能会得到改进。在本文中，我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构，可转移知识和学习模式中受益。此外，我们发现了一种有效的方法来改善现有的框架，并实现了国家的最先进的结果CNN/DailyMail的基础上，我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
Unsupervised Dual-Cascade Learning with Pseudo-Feedback Distillation for Query-based Extractive Summarization
IBM Research（IBM研究院）
我们提出了Dual-CES -一种新的无监督，以查询为中心，多文档提取摘要。Dual-CES旨在更好地处理摘要中显着性和焦点之间的权衡。为此，Dual-CES采用两步双级联优化方法和基于显着性的伪反馈蒸馏。总的来说，Dual-CES的性能明显优于所有其他最先进的无监督替代品。Dual-CES甚至被证明能够胜过强监督摘要器。
2018-11-01 cs.CL
BanditSum: Extractive Summarization as a Contextual Bandit
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；University of Montréal（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出了一种新的方法来训练神经网络执行单文档提取摘要，而无需抽象生成的提取标签。我们称我们的方法为BanditSum，因为它将提取摘要视为上下文强盗（CB）问题，其中模型接收要摘要的文档（上下文），并选择要包含在摘要中的句子序列（动作）。策略梯度强化学习算法用于训练模型，以选择最大化ROUGE得分的句子序列。我们进行了一系列实验，证明BanditSum能够实现ROUGE分数，优于或相当于最先进的提取摘要，并使用比竞争方法少得多的更新步骤收敛。此外，我们的经验表明，BanditSum表现明显优于竞争对手的方法时，良好的摘要句子出现在源文件中的后期。
2019-05-07 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi（德里大学）
针对法律判决自动摘要问题，提出AugAbEx流程，通过用含专家意见的银标准抽取摘要扩充数据集，经多维度审查确保质量，实验表明该流程生成的摘要质量优于其他方法，能推动法律领域摘要算法发展。
2026-07-23 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Effective extractive summarization using frequency-filtered entity relationship graphs
Pune Institute of Computer Technology（浦那计算机技术学院）；University of Pune（浦那大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
基于词频的提取摘要方法易于实现，并在不同语言中产生合理的结果。然而，它们有很大的局限性-它们忽略了上下文的作用，它们在文档中提供了不均匀的主题覆盖，有时是脱节的，难以阅读。我们使用语言类型学的一个简单前提-英语句子是实体之间潜在相互作用的完整描述符，通常以主语-动词-宾语的顺序-来解决这些困难的一个子集。我们已经开发出一种混合模型的提取摘要，结合词频的关键字识别与信息自动生成的实体关系图，以选择句子摘要。与词频和主题词为基础的方法的比较评价表明，所提出的方法是传统的ROUGE标准的竞争力，并产生适度的信息摘要平均，由一个大的面板（N=94）的人类评分。
2018-10-24 cs.AI cs.CL cs.IR
Reinforced Extractive Summarization with Question-Focused Rewards
University of Central Florida（中佛罗里达大学）
我们研究了一种新的提取摘要的训练模式。传统上，人类摘要被用来获得提取单元的黄金标准标签。然而，标签通常是不准确的，因为人类摘要和源文档不能在单词级别轻松对齐。在本文中，我们将人类摘要转换为一组完形填空式的理解问题。鼓励系统摘要保留对回答问题有用的突出源内容，并与摘要共享常用词。我们使用强化学习来探索可能的提取摘要的空间，并引入以问题为中心的奖励函数来促进简洁，流畅和信息丰富的摘要。实验结果表明，该方法是有效的.它在标准摘要数据集上超越了最先进的系统。
2018-06-21 cs.CL
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
Extractive Summarization using Deep Learning
Delhi Technological University（德里理工大学）
提出了一种基于深度学习模型的事实报告文本摘要方法。该方法由三个阶段组成：特征提取、特征增强和摘要生成，这三个阶段一起工作以吸收核心信息并生成连贯的、可理解的摘要。我们正在探索各种功能来改进为摘要选择的句子集，并使用受限玻尔兹曼机来增强和抽象这些功能，以提高结果的准确性，而不会丢失任何重要信息。基于这些增强的特征对句子进行评分，并构造提取摘要。在几篇文章上进行的实验证明了所提出的方法的有效性。源代码可在：https://github.com/vagisha-nidhi/TextSummarizer
2019-01-09 cs.CL cs.IR cs.LG
Stepwise Extractive Summarization and Planning with Structured Transformers
Google Research（谷歌研究院）
我们提出了以编码器为中心的逐步模型提取摘要使用结构化的变压器- HiBERT和扩展Transformers。我们通过将先前生成的摘要作为辅助子结构注入到结构化的Transformer中来实现逐步摘要。我们的模型不仅可以有效地对长输入的结构进行建模，而且它们也不依赖于特定于任务的冗余感知建模，使它们成为不同任务的通用提取内容规划器。当在CNN/DailyMail提取摘要上进行评估时，逐步模型在Rouge方面实现了最先进的性能，而无需任何冗余感知建模或句子过滤。这也适用于Rotowire表格到文本生成，我们的模型超过了之前报道的内容选择，规划和订购指标，突出了逐步建模的优势。在我们测试的两个结构化转换器中，逐步扩展的Transformers在两个数据集上提供了最佳性能，并为这些挑战设定了新的标准。
2020-10-06 cs.CL
Unsupervised Pseudo-Labeling for Extractive Summarization on Electronic Health Records
Petuum Inc.（Petuum公司）
摘要对于医生更好地管理和消化电子健康记录（EHR）非常有用。然而，监督模型的训练需要特定疾病的医学背景，因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签，并训练一个没有外部注释的监督模型。在真实患者数据上的实验验证了我们的模型在总结患者的关键疾病特定信息方面是有效的。
2018-11-26 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；Tencent Cloud Xiaowei（腾讯云小微）
摘要抽取方法在自动文摘中已被证明是有效的。以前的作品通过在句子水平上识别信息内容来完成这一任务。然而，目前还不清楚在句子级别执行提取是否是最好的解决方案。在这项工作中，我们表明，不必要的和冗余的问题存在时，提取完整的句子，和提取submartial单位是一个很有前途的选择。具体来说，我们提出了基于选区解析树提取子单元。提出了一种利用潜在信息进行提取的神经抽取模型。大量的实验和分析表明，在自动评价和人工评价的评价下，提取子句单元与提取整句相比具有竞争力。希望本研究能对文摘中基本提取单元的研究提供一定的启示。
2020-10-26 cs.CL
EASE: Extractive-Abstractive Summarization with Explanations
Facebook（脸书）
目前的抽象摘要系统优于其提取同行，但其广泛采用的内在缺乏可解释性的抑制。为了实现两全其美，我们提出了EASE，一个基于证据的文本生成的提取抽象框架，并将其应用于文档摘要。我们提出了一个可解释的摘要系统的基础上的信息瓶颈的原则，联合训练的提取和抽象的端到端的方式。受先前研究的启发，人类使用两阶段框架来总结长文档（Jing和McKeown，2000），我们的框架首先提取预定义数量的证据跨度作为解释，然后仅使用证据生成摘要。使用自动和人工评估，我们表明，我们的框架的解释比简单的基线更相关，而不会实质上牺牲生成的摘要的质量。
2021-05-14 cs.CL
Extractive Text Summarization using Neural Networks
Indian Institute of Technology Delhi（德里印度理工学院）
文本摘要是一个被广泛研究的问题。传统的文本摘要方法严重依赖于特征工程。与此相反，我们提出了一个完全数据驱动的方法，使用前馈神经网络的单文档摘要。我们训练和评估的标准DUC 2002数据集的模型，显示的结果与最先进的模型。该模型是可扩展的，并能够产生任意大小的文件的摘要，打破了原始文件成固定大小的部分，然后将其递归地馈送到网络。
2018-02-27 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Leveraging Discourse Structure for Extractive Meeting Summarization
LINAGORA（林戈拉公司）；École Polytechnique（巴黎综合理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出一种利用篇章图和GNN节点分类模型选择重要话语的会议抽取式摘要系统，在AMI和ICSI数据集上超越现有方法，并通过消融研究为未来NLP应用提供见解。
2024-09-23 cs.AI cs.CL
Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文通过定义五类不忠实问题并人工标注1600篇抽取式摘要，发现30%的摘要存在问题，进而提出新指标ExtEval以更准确地自动检测抽取式摘要中的不忠实现象。
2023-05-30 cs.AI cs.CL
Extractive Summarization of Call Transcripts
Verizon Communications（威瑞森通信公司）
文本摘要是从文本中提取最重要的信息，并以较少的句子简洁地呈现的过程。通话记录是涉及客户（呼叫者）和代理（客户代表）之间电话对话的文本描述的文本。本文提出了一种本土开发的方法，结合主题建模和句子选择与标点符号恢复在浓缩不佳标点或unpunctuated通话记录，以产生更可读的摘要。广泛的测试，评估和比较已经证明了这个汇总器的呼叫成绩单摘要的有效性。
2021-04-15 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
Unsupervised Extractive Dialogue Summarization in Hyperdimensional Space
ActionPower
本研究提出基于超维空间的无监督抽取式摘要框架HyperSum，利用高维向量伪正交性构建高效句子嵌入，经聚类提取中心点生成摘要，性能优于现有最优模型且速度快10-100倍，已开源作为强基线。
2024-05-16 cs.AI cs.CL
Multiplex Graph Neural Network for Extractive Text Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent America（腾讯美国）
摘要抽取式文本摘要的目的是从给定的文档中抽取最具代表性的句子作为摘要。为了从一个长文本文档中提取出一个好的摘要，句子嵌入起着重要的作用。最近的研究已经利用图神经网络来捕获内部关系（例如，话语图）来学习上下文句子嵌入。然而，这些方法既不考虑多种类型的内部关系（例如，语义相似性和自然连接），也不建模内部关系（例如，词之间的语义和句法关系）。为了解决这些问题，我们提出了一种新的多重图卷积网络（多GCN），共同建模不同类型的句子和单词之间的关系。基于Multi-GCN，我们提出了一种用于抽取式文本摘要的Multi-GRAS模型。最后，我们在CNN/DailyMail基准数据集上评估了所提出的模型，以证明我们的方法的有效性。
2021-09-09 cs.CL
Toward Extractive Summarization of Online Forum Discussions via Hierarchical Attention Networks
University of Central Florida（中佛罗里达大学）
论坛的帖子很长，内容丰富。简洁的主题摘要将有利于寻求信息的新人和参与讨论的人。然而，很少有研究探讨了论坛主题摘要的任务。在这项工作中，我们第一次尝试适应线程摘要的层次注意力网络。该模型利用神经注意力机制的最新发展来构建句子和线索表示并将其用于摘要。我们的研究结果表明，所提出的方法可以优于一系列的竞争基线。此外，冗余去除步骤对于实现出色的结果至关重要。
2018-12-26 cs.CL
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Legal Extractive Summarization of U.S. Court Opinions
ETH Zurich（苏黎世联邦理工学院）
本研究使用43万份美国法院意见书数据集，提出基于强化学习的MemSum模型，在自动和人工评估中均优于Transformer模型，并开源以促进法律民主化。
2023-05-15 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
Neural Latent Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
提取式摘要模型需要摘要级标签，其通常是按顺序创建的（例如，使用基于规则的方法），假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的，我们提出了一个潜变量提取模型，其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间，损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明，我们的模型比在近似标签上训练的强提取基线有所改进，并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Discourse-Aware Neural Extractive Text Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
最近，BERT已被用于最先进的文本摘要模型中的文档编码。然而，基于摘要的提取模型往往会导致提取的摘要中出现冗余或无信息的短语。此外，BERT无法很好地捕捉整个文档中的长距离依赖关系，因为它是在句子对而不是文档上进行预训练的。为了解决这些问题，我们提出了一个话语感知的神经摘要模型- DiscoBert。DiscoBert在更细的粒度上提取子空间话语单元（而不是句子）作为提取选择的候选者。为了捕捉语篇单位之间的长程依赖关系，本文基于语义树和共指提及构建了结构化语篇图，并用图卷积网络进行编码。实验表明，该模型优于国家的最先进的方法，由一个显着的利润率流行的摘要基准相比，其他BERT的基础模型。
2020-04-25 cs.CL
Unsupervised Extractive Summarization by Human Memory Simulation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Naver Labs Europe
摘要系统面临着识别和选择重要信息的核心挑战。在本文中，我们解决的问题，在无监督的提取摘要的长，结构化的文件的内容选择。我们介绍了一个广泛的知识，利用内容单元的认知表征，以及这些是如何保留或遗忘在人类记忆中。我们发现，人类记忆的这些表征的属性可以被利用来捕获科学文章中的内容单元的相关性。实验表明，我们提出的语义学在利用认知结构和文档的组织（即，文章的部分），并且自动和人工评估提供了强有力的证据，表明这些启发式方法提取了更有摘要价值的内容单元。
2021-04-16 cs.CL
DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
University of California, Davis（加州大学戴维斯分校）
DiffuSum提出用扩散模型直接生成摘要句表示并匹配抽取句子，联合优化对比编码器，在CNN/DailyMail上取得ROUGE 44.83/22.56/40.56的最优结果，验证了生成模型用于抽取式摘要的潜力。
2023-05-11 cs.CL
A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods
Tsinghua University（清华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对监督摘要依赖大规模数据集的问题，本文从信息论角度统一建模无监督抽取式摘要，并提出可增强现有方法的句子抽取策略，实验验证其有效性。
2024-01-24 cs.AI cs.CL
A Closer Look at Data Bias in Neural Extractive Summarization Models
Fudan University（复旦大学）
在本文中，我们评估了摘要数据集的现状，并探讨了数据集的不同因素如何影响神经提取摘要模型的泛化行为。具体来说，我们首先提出了数据集的几个属性，这对摘要模型的泛化很重要。然后，我们建立了驻留在数据集和模型设计的先验之间的联系，分析数据集的不同属性如何影响模型的结构设计和训练方法的选择。最后，以一个典型的数据集为例，在上述分析的基础上，我们重新思考了模型设计的过程。我们证明，当我们对数据集的特征有了深刻的理解时，一个简单的方法可以为现有的最先进的模型带来显着的改进。
2019-09-30 cs.CL
Extractive Summarization as Text Matching
Fudan University（复旦大学）
本文在构建神经提取摘要系统的方式方面创造了一个范式转变。而不是以下常用的框架单独提取句子和句子之间的关系建模，我们制定的提取摘要任务作为一个语义文本匹配问题，其中源文件和候选摘要将（从原始文本中提取）匹配的语义空间。值得注意的是，这种向语义匹配框架的范式转变是基于我们对基于数据集属性的摘要级和摘要级提取器之间固有差距的全面分析。此外，即使用简单形式的匹配模型实例化框架，我们也将CNN/DailyMail上最先进的提取结果提升到了一个新的水平（ROUGE-1中为44.41）。在其他五个数据集上的实验也表明了该匹配框架的有效性。我们相信这种基于匹配的摘要框架的功能还没有得到充分利用。为了鼓励未来更多的实例化，我们已经在https://github.com/maszhongming/MatchSum上发布了我们的代码，处理的数据集以及生成的摘要。
2020-04-19 cs.CL
Self-Supervised Learning for Contextualized Extractive Summarization
IBM Research（IBM研究院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
现有的提取摘要模型通常是从零开始训练的，具有交叉熵损失，这并不能显式地捕获文档级别的全局上下文。在本文中，我们的目标是通过引入三个辅助预训练任务来改进这个任务，这些任务学习以自我监督的方式捕获文档级上下文。在广泛使用的CNN/DM数据集上的实验验证了所提出的辅助任务的有效性。此外，我们表明，在预训练之后，具有简单构建块的干净模型能够超越先前精心设计的最先进模型。
2019-06-11 cs.CL
A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss
National Tsing Hua University（台湾清华大学）；Cheetah Mobile（猎豹移动）
我们提出了一个统一的模型相结合的强度提取和抽象的摘要。一方面，一个简单的提取模型可以获得高ROUGE分数，但可读性较差的双水平的注意。另一方面，一个更复杂的抽象模型可以获得单词级的动态注意力，以生成更可读的段落。在我们的模型中，句子级注意力被用来调节单词级注意力，使得较少注意的句子中的单词不太可能被生成。此外，一个新的不一致性损失函数被引入到惩罚两个层次的注意力之间的不一致性。通过使用提取和抽象模型的不一致性损失和原始损失对我们的模型进行端到端训练，我们实现了最先进的ROUGE分数，同时在可靠的人工评估中成为CNN/Daily Mail数据集上最具信息性和可读性的摘要。
2018-07-05 cs.CL
SEAL: Segment-wise Extractive-Abstractive Long-form Text Summarization
Google Research（谷歌研究院）
由于常见RNN和Transformer架构的计算约束，序列到序列范式中的大多数先前工作都集中在具有数百个令牌的输入序列长度的数据集上。在本文中，我们研究了长格式的抽象文本摘要，序列到序列设置输入序列长度高达100，000令牌和输出序列长度高达768令牌。我们提出了SEAL，一个基于transformer的模型，具有一个新的编码器-解码器的注意力，动态提取/选择输入片段稀疏出席每个输出段。仅使用原始文档和摘要，我们推导出代理标签，该代理标签为提取层提供弱监督，同时从抽象摘要提供常规监督。SEAL模型在现有的长格式摘要任务上实现了最先进的结果，并且在我们引入的新数据集/任务Search 2 Wiki上的性能优于强基线模型，输入文本更长。由于内容选择在SEAL模型中是显式的，因此一个理想的副作用是可以检查选择以增强可解释性。
2020-06-18 cs.CL cs.IR cs.LG
Key Point Analysis via Contrastive Learning and Extractive Argument Summarization
Paderborn University（帕德博恩大学）；Leipzig University（莱比锡大学）；Bielefeld University（比勒费尔德大学）
关键点分析的任务是从一组给定的论点中提取一组简洁和高层次的陈述，代表这些论点的主旨。本文介绍了我们提出的关键点分析共享任务的方法，并与第八届研讨会上的论点挖掘。这一办法包括两个相辅相成的组成部分。一个组件通过siamese神经网络采用对比学习，用于将参数与关键点匹配;另一个组件是基于图形的提取摘要模型，用于生成关键点。在自动和手动评估中，我们的方法在所有提交的共享任务中排名最好。
2021-10-22 cs.CL
GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state
Charles Sturt University（查尔斯特大学）；Atypon Systems, LLC（Atypon系统有限责任公司）；Fudan University（复旦大学）
从长文档中提取摘要可以看作是利用文档的结构信息进行句子分类。如何使用这样的结构化信息来概括文档是具有挑战性的。在本文中，我们提出了GoSum，一种新的图和强化学习为基础的提取模型的长论文摘要。特别是，GoSum通过为不同话语级别的每个输入文档构建异构图，在强化学习中对句子状态进行编码。图中的边反映了文档的语篇层次结构，用于抑制跨节边界的语义漂移。我们在两个科学文章摘要数据集上评估了GoSum：PubMed和arXiv。实验结果表明，与提取和抽象模型的强基线相比，GoSum实现了最先进的结果。消融研究进一步验证了我们的GoSum的性能受益于话语信息的使用。
2023-01-20 cs.CL
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
