Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
最近的研究表明，BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器，实现了优异的性能。然而，到目前为止，为越南人做的工作并不多。在本文中，我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明，与其他多语种模型和以往的越南语文本摘要模型相比，单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
Extractive Summarization via Weighted Dissimilarity and Importance Aligned Key Iterative Algorithm
我们提出了重要性对齐的关键迭代算法提取摘要，是比传统的算法保持其准确性更快。我们的算法的计算复杂性为O（$SNlogN$），以总结原来的$N$句子到最终的$S$句子。我们的算法最大化的加权相异度定义的产品的重要性和余弦相异度，使摘要代表的文件，并在同一时间的摘要的句子是不相似的。对按重要性排序的句子进行迭代贪婪搜索和二分搜索，使加权相异度最大化。最后，我们展示了一个基准分数的基础上总结的客户评论的产品，这突出了我们的算法的质量相媲美的人类和现有的算法。我们在github https://github.com/qhapaq-49/imakita上提供了我们算法的源代码。
2019-05-15 cs.AI cs.CL
Genetic Algorithms For Extractive Summarization
University of Central Florida（中佛罗里达大学）
目前NLP中的大多数工作都利用了深度学习，这需要大量的训练数据和计算能力。本文研究了遗传算法（GAs）用于提取摘要的优势，因为我们假设，由于相对于深度学习模型的相对可定制性，GAs可以为摘要任务构建更有效的解决方案。这是通过建立一个词汇集，其中的单词表示为一个权重数组，并使用GA优化这些权重集来完成的。这些权重可以用于构建句子的整体权重，然后可以将其传递到某个阈值以进行提取。我们的研究结果表明，GA能够学习一种权重表示，可以过滤掉过多的词汇，从而根据常见的英语单词来决定句子的重要性。
2022-01-10 cs.AI cs.CL
Neural Latent Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
提取式摘要模型需要摘要级标签，其通常是按顺序创建的（例如，使用基于规则的方法），假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的，我们提出了一个潜变量提取模型，其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间，损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明，我们的模型比在近似标签上训练的强提取基线有所改进，并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
Towards Supervised Extractive Text Summarization via RNN-based Sequence Classification
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；University of Bonn（波恩大学）
本文简要介绍了我们提交的DocEng'19比赛的方法。我们实现了一个基于递归神经网络的模型，该模型学习分类文章的句子是否属于相应的提取摘要。我们绕过了缺乏大型注释新闻语料库提取摘要从抽象的，这是可从CNN语料库生成摘要。
2019-11-13 cs.CL
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One（Connex One公司）
本文提供了一些文本摘要技术的评估结果的目的，生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法，因为它们不需要任何标记的数据，并且在生产中非常快速和容易实现。我们实验比较几个这样的方法，使用它们来产生呼叫的摘要，并客观地（使用ROUGE-L）和主观地（通过聚合几个注释者的判断）评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法，而BERTSum在主观和客观评价中的得分相对较低。结果表明，即使是像Lead-N这样简单的基于统计学的方法，也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
Enhancing Coherence of Extractive Summarization with Multitask Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出多任务学习架构，通过连贯性判别器与两种可微分训练策略提升抽取式摘要的连贯性，在保留传统指标表现的同时，经自动和人工评估验证了连贯性与一致性的提升。
2023-07-21 cs.AI cs.CL
State Space Models for Extractive Summarization in Low Resource Scenarios
University of Memphis（孟菲斯大学）
提出MPoincareSum方法，结合Mamba状态空间模型与庞加莱压缩，在低资源场景下实现抽取式摘要，并在Amazon评论数据集上超越现有方法。
2025-01-24 cs.AI cs.CL
Fair Summarization: Bridging Quality and Diversity in Extractive Summaries
Portland State University（波特兰州立大学）
针对多文档摘要中社会群体代表性不公的问题，提出 FairExtract 与 FairGPT，并结合质量和公平性复合指标验证其能在保持摘要质量的同时提升公平性。
2025-03-18 cs.AI cs.CL
Imbalanced multi-label classification using multi-task learning with extractive summarization
Yale University（耶鲁大学）
摘要提取和不平衡多标签分类通常需要大量的训练数据来避免过拟合。在生成训练数据的成本很高的情况下，利用任务之间的信息是增加可用信息量的一种有吸引力的方法。本文采用提取摘要器和基于RNN的分类器的多任务训练，相对于RNN基线，分别将摘要和分类准确率提高了50%和75%。我们假设，连接句子编码的基础上，文件和类上下文增加了高度可变的语料库的概括性。
2019-03-16 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
Neural Extractive Summarization with Side Information
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
大多数抽取式摘要方法关注于需要从中抽取句子的文档的主体。然而，文档的主旨可能在于辅助信息，例如新闻专线文章中经常提供的标题和图像说明。我们建议在单文档提取摘要的背景下探索边信息。我们开发了一个单文档摘要的框架，由一个分层的文档编码器和一个基于注意力的提取器组成，注意力超过边信息。我们在一个大规模的新闻数据集上评估了我们的模型。我们发现，提取摘要与边信息始终优于其对应的，不使用任何边信息，在信息量和流畅性。
2017-09-10 cs.CL
GraphLSS: Integrating Lexical, Structural, and Semantic Features for Long Document Extractive Summarization
Hasso Plattner Institute (HPI)（哈索·普拉特纳研究所（HPI））；University of Potsdam（波茨坦大学）
针对现有异构图神经网络长文档摘要模型依赖外部工具、结构复杂的问题，提出融合词汇、结构、语义特征的GraphLSS异构图构建方法，无需辅助模型，在两个基准数据集上性能比肩顶尖图方法、优于近期非图模型，且已开源代码。
2024-10-25 cs.AI cs.CL
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出一种基于句子-词二部图的图预训练自编码器，显式建模句内区分性与句间连贯性特征，以获得更优句子表示，从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
SumHiS: Extractive Summarization Exploiting Hidden Structure
ITMO University（伊提莫大学）；MIPT（莫斯科物理技术学院）；Kazan Federal University（喀山联邦大学）
本文提出 SumHiS，利用文本的隐藏聚类结构进行抽取式摘要，在 CNN/DailyMail 上以 ROUGE-2 超越既有方法 10%，并将隐藏结构解释为方面。
2024-06-12 cs.CL
Unsupervised Extractive Opinion Summarization Using Sparse Coding
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
意见摘要是自动生成摘要的任务，这些摘要封装了来自多个用户评论的信息。我们提出了语义自动编码器（SemAE），以无监督的方式执行提取意见摘要。SemAE使用字典学习来隐式地从评论中捕获语义信息，并在语义单元上学习每个句子的潜在表示。语义单位应该捕捉抽象的语义概念。我们的提取摘要算法利用这些表示来识别数百条评论中的代表性意见。SemAE还能够执行可控摘要，以生成特定于方面的摘要。我们在SPACE和AMAZON数据集上报告了强大的性能，并进行了实验来研究我们模型的功能。我们的代码可在https://github.com/brcsomnath/SemAE上公开获取。
2022-05-19 cs.CL
Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）
目前大多数抽取式摘要模型都是通过选择显著句子来生成摘要的。然而，文本级抽取摘要的一个问题是，在人类书写的黄金摘要和甲骨文句子标签之间存在差距。在本文中，我们提出了提取事实级的语义单位，更好地提取摘要。我们还引入了一个层次结构，它结合了多层次的粒度的文本信息的模型。此外，我们将我们的模型与BERT使用层次图掩码。这使我们能够结合BERT在自然语言理解和结构信息方面的能力，而不增加模型的规模。在CNN/DaliyMail数据集上的实验表明，我们的模型达到了最先进的结果。
2020-11-19 cs.CL
SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
IBM（国际商业机器公司）
我们提出了SummaRuNNer，一个循环神经网络（RNN）为基础的序列模型的提取摘要的文件，并表明它实现了性能优于或相当于国家的最先进的。我们的模型具有额外的优势是非常可解释的，因为它允许可视化的预测打破了抽象的功能，如信息内容，显着性和新颖性。我们工作的另一个新贡献是我们的提取模型的抽象训练，它可以单独在人类生成的参考摘要上进行训练，从而消除了对重复级别提取标签的需要。
2016-11-14 cs.CL
Fine-tune BERT for Extractive Summarization
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
BERT是一个预训练的Transformer模型，在多个NLP任务上取得了突破性的性能。在本文中，我们描述了BERTSUM，一个简单的变种BERT，提取摘要。我们的系统在CNN/Dailymail数据集上是最先进的，在ROUGE-L上比以前性能最好的系统高出1.65。可在https://github.com/nlpyang/BertSum上获得重现我们结果的代码
2019-09-05 cs.CL
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University（复旦大学）
近年来，深度神经网络在文本摘要中的应用取得了显著的成功。但是，人们对\textit{why}没有明确的认识，他们表现得那么好，或者\textit{how}他们可能会得到改进。在本文中，我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构，可转移知识和学习模式中受益。此外，我们发现了一种有效的方法来改善现有的框架，并实现了国家的最先进的结果CNN/DailyMail的基础上，我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Huazhong University of Science and Technology（华中科技大学）；Lehigh University（理海大学）
为了从原始文本中捕获语义图结构，大多数现有的摘要方法都是基于具有预训练模型的GNN构建的。然而，这些方法遭受繁琐的程序和低效率的计算长文本文档。为了缓解这些问题，本文提出了HETFORMER，这是一种基于Transformer的预训练模型，具有多粒度稀疏注意力，用于长文本提取摘要。具体来说，我们将原始文本中不同类型的语义节点建模为潜在的异构图，并通过Transformer直接学习节点之间的异构关系（边）。在单文档和多文档摘要任务上的大量实验表明，HETFORMER在Rouge F1中实现了最先进的性能，同时使用更少的内存和更少的参数。
2021-10-19 cs.AI cs.CL cs.LG
Unsupervised Dual-Cascade Learning with Pseudo-Feedback Distillation for Query-based Extractive Summarization
IBM Research（IBM研究院）
我们提出了Dual-CES -一种新的无监督，以查询为中心，多文档提取摘要。Dual-CES旨在更好地处理摘要中显着性和焦点之间的权衡。为此，Dual-CES采用两步双级联优化方法和基于显着性的伪反馈蒸馏。总的来说，Dual-CES的性能明显优于所有其他最先进的无监督替代品。Dual-CES甚至被证明能够胜过强监督摘要器。
2018-11-01 cs.CL
BanditSum: Extractive Summarization as a Contextual Bandit
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；University of Montréal（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）
在这项工作中，我们提出了一种新的方法来训练神经网络执行单文档提取摘要，而无需抽象生成的提取标签。我们称我们的方法为BanditSum，因为它将提取摘要视为上下文强盗（CB）问题，其中模型接收要摘要的文档（上下文），并选择要包含在摘要中的句子序列（动作）。策略梯度强化学习算法用于训练模型，以选择最大化ROUGE得分的句子序列。我们进行了一系列实验，证明BanditSum能够实现ROUGE分数，优于或相当于最先进的提取摘要，并使用比竞争方法少得多的更新步骤收敛。此外，我们的经验表明，BanditSum表现明显优于竞争对手的方法时，良好的摘要句子出现在源文件中的后期。
2019-05-07 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi（德里大学）
针对法律判决自动摘要问题，提出AugAbEx流程，通过用含专家意见的银标准抽取摘要扩充数据集，经多维度审查确保质量，实验表明该流程生成的摘要质量优于其他方法，能推动法律领域摘要算法发展。
2026-07-23 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Effective extractive summarization using frequency-filtered entity relationship graphs
Pune Institute of Computer Technology（浦那计算机技术学院）；University of Pune（浦那大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
基于词频的提取摘要方法易于实现，并在不同语言中产生合理的结果。然而，它们有很大的局限性-它们忽略了上下文的作用，它们在文档中提供了不均匀的主题覆盖，有时是脱节的，难以阅读。我们使用语言类型学的一个简单前提-英语句子是实体之间潜在相互作用的完整描述符，通常以主语-动词-宾语的顺序-来解决这些困难的一个子集。我们已经开发出一种混合模型的提取摘要，结合词频的关键字识别与信息自动生成的实体关系图，以选择句子摘要。与词频和主题词为基础的方法的比较评价表明，所提出的方法是传统的ROUGE标准的竞争力，并产生适度的信息摘要平均，由一个大的面板（N=94）的人类评分。
2018-10-24 cs.AI cs.CL cs.IR
Reinforced Extractive Summarization with Question-Focused Rewards
University of Central Florida（中佛罗里达大学）
我们研究了一种新的提取摘要的训练模式。传统上，人类摘要被用来获得提取单元的黄金标准标签。然而，标签通常是不准确的，因为人类摘要和源文档不能在单词级别轻松对齐。在本文中，我们将人类摘要转换为一组完形填空式的理解问题。鼓励系统摘要保留对回答问题有用的突出源内容，并与摘要共享常用词。我们使用强化学习来探索可能的提取摘要的空间，并引入以问题为中心的奖励函数来促进简洁，流畅和信息丰富的摘要。实验结果表明，该方法是有效的.它在标准摘要数据集上超越了最先进的系统。
2018-06-21 cs.CL
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
Stepwise Extractive Summarization and Planning with Structured Transformers
Google Research（谷歌研究院）
我们提出了以编码器为中心的逐步模型提取摘要使用结构化的变压器- HiBERT和扩展Transformers。我们通过将先前生成的摘要作为辅助子结构注入到结构化的Transformer中来实现逐步摘要。我们的模型不仅可以有效地对长输入的结构进行建模，而且它们也不依赖于特定于任务的冗余感知建模，使它们成为不同任务的通用提取内容规划器。当在CNN/DailyMail提取摘要上进行评估时，逐步模型在Rouge方面实现了最先进的性能，而无需任何冗余感知建模或句子过滤。这也适用于Rotowire表格到文本生成，我们的模型超过了之前报道的内容选择，规划和订购指标，突出了逐步建模的优势。在我们测试的两个结构化转换器中，逐步扩展的Transformers在两个数据集上提供了最佳性能，并为这些挑战设定了新的标准。
2020-10-06 cs.CL
Extractive Summarization of EHR Discharge Notes
患者总结对于临床医生提供协调的护理和实践有效的沟通至关重要。自动总结有可能节省时间，标准化笔记，帮助临床决策，并减少医疗错误。在这里，我们提供了一个关于出院记录提取摘要的上限，并开发了一个LSTM模型来顺序标记当前疾病记录历史的主题。我们获得了0.876的F1分数，这表明该模型可以用于创建用于评估提取摘要方法的数据集。
2018-10-26 cs.CL cs.IR cs.LG
Unsupervised Pseudo-Labeling for Extractive Summarization on Electronic Health Records
Petuum Inc.（Petuum公司）
摘要对于医生更好地管理和消化电子健康记录（EHR）非常有用。然而，监督模型的训练需要特定疾病的医学背景，因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签，并训练一个没有外部注释的监督模型。在真实患者数据上的实验验证了我们的模型在总结患者的关键疾病特定信息方面是有效的。
2018-11-26 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；Tencent Cloud Xiaowei（腾讯云小微）
摘要抽取方法在自动文摘中已被证明是有效的。以前的作品通过在句子水平上识别信息内容来完成这一任务。然而，目前还不清楚在句子级别执行提取是否是最好的解决方案。在这项工作中，我们表明，不必要的和冗余的问题存在时，提取完整的句子，和提取submartial单位是一个很有前途的选择。具体来说，我们提出了基于选区解析树提取子单元。提出了一种利用潜在信息进行提取的神经抽取模型。大量的实验和分析表明，在自动评价和人工评价的评价下，提取子句单元与提取整句相比具有竞争力。希望本研究能对文摘中基本提取单元的研究提供一定的启示。
2020-10-26 cs.CL
EASE: Extractive-Abstractive Summarization with Explanations
Facebook（脸书）
目前的抽象摘要系统优于其提取同行，但其广泛采用的内在缺乏可解释性的抑制。为了实现两全其美，我们提出了EASE，一个基于证据的文本生成的提取抽象框架，并将其应用于文档摘要。我们提出了一个可解释的摘要系统的基础上的信息瓶颈的原则，联合训练的提取和抽象的端到端的方式。受先前研究的启发，人类使用两阶段框架来总结长文档（Jing和McKeown，2000），我们的框架首先提取预定义数量的证据跨度作为解释，然后仅使用证据生成摘要。使用自动和人工评估，我们表明，我们的框架的解释比简单的基线更相关，而不会实质上牺牲生成的摘要的质量。
2021-05-14 cs.CL
Extractive Text Summarization using Neural Networks
Indian Institute of Technology Delhi（德里印度理工学院）
文本摘要是一个被广泛研究的问题。传统的文本摘要方法严重依赖于特征工程。与此相反，我们提出了一个完全数据驱动的方法，使用前馈神经网络的单文档摘要。我们训练和评估的标准DUC 2002数据集的模型，显示的结果与最先进的模型。该模型是可扩展的，并能够产生任意大小的文件的摘要，打破了原始文件成固定大小的部分，然后将其递归地馈送到网络。
2018-02-27 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston（休斯顿大学）
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而，这仍然是一个严峻的挑战。在这里，我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率（和F1分数）的经验限制。接下来，我们定义了文档的可压缩性的概念，并提出了一种新的摘要模型，该模型概括了文献中现有的模型，并集成了摘要的几个维度，即，抽象与提取、单文档与多文档以及句法与语义。最后，我们研究了一些新的和现有的单文档摘要算法在一个单一的框架，并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
Extractive Summarization of Call Transcripts
Verizon Communications（威瑞森通信公司）
文本摘要是从文本中提取最重要的信息，并以较少的句子简洁地呈现的过程。通话记录是涉及客户（呼叫者）和代理（客户代表）之间电话对话的文本描述的文本。本文提出了一种本土开发的方法，结合主题建模和句子选择与标点符号恢复在浓缩不佳标点或unpunctuated通话记录，以产生更可读的摘要。广泛的测试，评估和比较已经证明了这个汇总器的呼叫成绩单摘要的有效性。
2021-04-15 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
BERT-VBD: Vietnamese Multi-Document Summarization Framework
Phenikaa University（斐佳大学）
针对越南语多文档摘要研究中抽取与生成结合方法匮乏的问题，提出BERT-VBD双组件流水线框架，经改进的BERT抽取关键句后结合VBD-LLaMA2生成摘要，在VN-MDS数据集上ROUGE-2得分达39.6%，超越现有最优基线。
2024-09-18 cs.AI cs.CL
Multiplex Graph Neural Network for Extractive Text Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent America（腾讯美国）
摘要抽取式文本摘要的目的是从给定的文档中抽取最具代表性的句子作为摘要。为了从一个长文本文档中提取出一个好的摘要，句子嵌入起着重要的作用。最近的研究已经利用图神经网络来捕获内部关系（例如，话语图）来学习上下文句子嵌入。然而，这些方法既不考虑多种类型的内部关系（例如，语义相似性和自然连接），也不建模内部关系（例如，词之间的语义和句法关系）。为了解决这些问题，我们提出了一种新的多重图卷积网络（多GCN），共同建模不同类型的句子和单词之间的关系。基于Multi-GCN，我们提出了一种用于抽取式文本摘要的Multi-GRAS模型。最后，我们在CNN/DailyMail基准数据集上评估了所提出的模型，以证明我们的方法的有效性。
2021-09-09 cs.CL
Toward Extractive Summarization of Online Forum Discussions via Hierarchical Attention Networks
University of Central Florida（中佛罗里达大学）
论坛的帖子很长，内容丰富。简洁的主题摘要将有利于寻求信息的新人和参与讨论的人。然而，很少有研究探讨了论坛主题摘要的任务。在这项工作中，我们第一次尝试适应线程摘要的层次注意力网络。该模型利用神经注意力机制的最新发展来构建句子和线索表示并将其用于摘要。我们的研究结果表明，所提出的方法可以优于一系列的竞争基线。此外，冗余去除步骤对于实现出色的结果至关重要。
2018-12-26 cs.CL
LLM aided semi-supervision for Extractive Dialog Summarization
Amsterdam UMC（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）；Amsterdam Public Health（阿姆斯特丹公共卫生研究所）；University of Waterloo（滑铁卢大学）；ServiceNow Research（ServiceNow研究院）；University of British Columbia（不列颠哥伦比亚大学）
本文提出一种利用 LLM 生成伪标签的半监督方法，将摘要构建为问答问题并微调小型专用模型，在仅用 10% 标注数据时仍有效保留了 94.7% 的最先进性能。
2023-11-23 cs.AI cs.CL
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Legal Extractive Summarization of U.S. Court Opinions
ETH Zurich（苏黎世联邦理工学院）
本研究使用43万份美国法院意见书数据集，提出基于强化学习的MemSum模型，在自动和人工评估中均优于Transformer模型，并开源以促进法律民主化。
2023-05-15 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Discourse-Aware Neural Extractive Text Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
最近，BERT已被用于最先进的文本摘要模型中的文档编码。然而，基于摘要的提取模型往往会导致提取的摘要中出现冗余或无信息的短语。此外，BERT无法很好地捕捉整个文档中的长距离依赖关系，因为它是在句子对而不是文档上进行预训练的。为了解决这些问题，我们提出了一个话语感知的神经摘要模型- DiscoBert。DiscoBert在更细的粒度上提取子空间话语单元（而不是句子）作为提取选择的候选者。为了捕捉语篇单位之间的长程依赖关系，本文基于语义树和共指提及构建了结构化语篇图，并用图卷积网络进行编码。实验表明，该模型优于国家的最先进的方法，由一个显着的利润率流行的摘要基准相比，其他BERT的基础模型。
2020-04-25 cs.CL
Unsupervised Extractive Summarization by Human Memory Simulation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Naver Labs Europe
摘要系统面临着识别和选择重要信息的核心挑战。在本文中，我们解决的问题，在无监督的提取摘要的长，结构化的文件的内容选择。我们介绍了一个广泛的知识，利用内容单元的认知表征，以及这些是如何保留或遗忘在人类记忆中。我们发现，人类记忆的这些表征的属性可以被利用来捕获科学文章中的内容单元的相关性。实验表明，我们提出的语义学在利用认知结构和文档的组织（即，文章的部分），并且自动和人工评估提供了强有力的证据，表明这些启发式方法提取了更有摘要价值的内容单元。
2021-04-16 cs.CL
DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
University of California, Davis（加州大学戴维斯分校）
DiffuSum提出用扩散模型直接生成摘要句表示并匹配抽取句子，联合优化对比编码器，在CNN/DailyMail上取得ROUGE 44.83/22.56/40.56的最优结果，验证了生成模型用于抽取式摘要的潜力。
2023-05-11 cs.CL
A Closer Look at Data Bias in Neural Extractive Summarization Models
Fudan University（复旦大学）
在本文中，我们评估了摘要数据集的现状，并探讨了数据集的不同因素如何影响神经提取摘要模型的泛化行为。具体来说，我们首先提出了数据集的几个属性，这对摘要模型的泛化很重要。然后，我们建立了驻留在数据集和模型设计的先验之间的联系，分析数据集的不同属性如何影响模型的结构设计和训练方法的选择。最后，以一个典型的数据集为例，在上述分析的基础上，我们重新思考了模型设计的过程。我们证明，当我们对数据集的特征有了深刻的理解时，一个简单的方法可以为现有的最先进的模型带来显着的改进。
2019-09-30 cs.CL
Extractive Summarization as Text Matching
Fudan University（复旦大学）
本文在构建神经提取摘要系统的方式方面创造了一个范式转变。而不是以下常用的框架单独提取句子和句子之间的关系建模，我们制定的提取摘要任务作为一个语义文本匹配问题，其中源文件和候选摘要将（从原始文本中提取）匹配的语义空间。值得注意的是，这种向语义匹配框架的范式转变是基于我们对基于数据集属性的摘要级和摘要级提取器之间固有差距的全面分析。此外，即使用简单形式的匹配模型实例化框架，我们也将CNN/DailyMail上最先进的提取结果提升到了一个新的水平（ROUGE-1中为44.41）。在其他五个数据集上的实验也表明了该匹配框架的有效性。我们相信这种基于匹配的摘要框架的功能还没有得到充分利用。为了鼓励未来更多的实例化，我们已经在https://github.com/maszhongming/MatchSum上发布了我们的代码，处理的数据集以及生成的摘要。
2020-04-19 cs.CL
