Small-world networks for summarization of biomedical articles
Medical University of Vienna（维也纳医科大学）
近年来，已经开发了许多方法来识别文本文档的重要部分。摘要工具可以利用这些方法从大量的文本信息中提取摘要。然而，识别文本文档中代表中心思想的概念，并提取最能传达这些概念的信息量最大的句子仍然是摘要方法中的两个关键任务。在本文中，我们介绍了一种基于图的方法来解决这两个挑战的背景下，生物医学文本摘要。我们表明，如何总结可以发现有意义的概念，在生物医学文本文档中使用亥姆霍兹原理。摘要器将有意义的概念视为主要主题，并基于句子共享的主题构建图。摘要器可以通过提取具有较高程度值的句子来生成信息丰富的摘要。我们评估的性能，我们的方法总结的生物医学文章使用召回为导向的替代Gisting评价（ROUGE）工具包。结果表明，程度可以是一个有用的中心性措施，以确定重要的句子，在这种类型的基于图的建模。我们的方法可以提高生物医学文本摘要的性能相比，一些国家的最先进的和公开可用的摘要。结合基于概念的建模策略和基于图形的句子提取方法，我们的摘要器可以产生比较方法中信息量最高的摘要。这项研究工作可以被看作是一个起点，小世界网络的研究在生物医学文本摘要。
2019-03-07 cs.CL cs.IR
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Analyzing Sentence Fusion in Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
虽然最近在抽象摘要方面的工作已经在自动度量中获得了更高的分数，但对这些系统如何结合从多个文档句子中获取的信息却知之甚少。在本文中，我们分析了五个国家的最先进的抽象摘要器的输出，侧重于总结句子，形成句子融合。我们要求评判员对摘要句的语法性、忠实性和融合方法进行评判。我们的分析表明，系统句大多是语法，但往往不能保持忠实于原文。
2019-10-01 cs.CL
STRASS: A Light and Effective Method for Extractive Summarization Based on Sentence Embeddings
EURA NOVA
本文介绍了STRASS：通过变换选择和评分进行的摘要。它是一种利用现有句子嵌入空间中的语义信息的提取文本摘要方法。我们的方法通过选择具有与文档嵌入最接近的嵌入的句子来创建提取摘要。该模型学习文档嵌入的变换，以最小化提取摘要和地面实况摘要之间的相似性。由于转换仅由密集层组成，因此可以在CPU上进行训练，因此成本低廉。此外，推理时间短，根据句子的数量线性。作为第二个贡献，我们介绍了法国CASS数据集，由法国最高上诉法院的判决及其相应的摘要。在这个数据集上，我们的结果表明，我们的方法与最先进的提取方法具有相似的性能，并且具有有效的训练和推断时间。
2019-07-16 cs.CL cs.IR cs.LG
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
An Editorial Network for Enhanced Document Summarization
Technion – Israel Institute of Technology（以色列理工学院）；IBM Research（IBM研究院）
我们提出了一个新的想法，编辑网络-一个混合的提取抽象的摘要方法，这是作为一个后处理步骤，在一个给定的序列提取的句子。我们的网络试图模仿人类编辑在摘要过程中的决策过程。在这样一个过程中，每一个提取的句子可以保持不变，重新措辞或完全拒绝。我们进一步提出了一种有效的方法来培训“编辑”的基础上，一种新的软标签的方法。使用CNN/DailyMail数据集，我们证明了我们的方法与最先进的只提取或只抽象的基线方法相比的有效性。
2019-02-27 cs.CL cs.IR
Scoring Sentence Singletons and Pairs for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
在撰写摘要时，人类倾向于从一两个句子中选择内容，并将它们合并成一个单一的摘要句子。然而，选择一个或多个源句子背后的机制仍然知之甚少。句子融合假设多句输入;然而句子选择方法仅适用于单个句子，而不是它们的组合。因此，在句子选择和融合之间存在一个关键的差距，以支持通过压缩单句和融合对来进行摘要。本文试图通过在一个统一的空间中将句子的单例和成对排列在一起来弥合这一差距。我们提出的框架试图通过选择单个句子或一对句子来模拟人类方法，然后压缩或融合句子以产生摘要句子。我们在单文档和多文档摘要数据集上进行了广泛的实验，并报告了句子选择和抽象的结果。
2019-05-31 cs.CL
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
Text Summarization using Deep Learning and Ridge Regression
Illinois Institute of Technology（伊利诺伊理工学院）
我们开发的模型和提取相关功能的自动文本摘要和DUC 2001数据集上的不同模型的性能进行了研究。开发了两种不同的模型，一种是岭回归器，另一种是多层感知器。超参数是不同的，并记录了它们的性能。我们将摘要任务分为两个主要步骤，第一步是句子排序，第二步是句子选择。在第一步中，给定一个文档，我们根据它们的重要性对句子进行排序，在第二步中，为了获得非冗余的句子，我们剔除与先前选择的句子具有高度相似性的句子。
2017-06-15 cs.CL
Summary Level Training of Sentence Rewriting for Abstractive Summarization
Department of Computer Science and Engineering（计算机科学与工程系）；Seoul National University（首尔国立大学）
句子重写模型试图将抽取式摘要和抽象式摘要结合起来，采用先从文档中抽取显著句子，然后对所选句子进行释义的策略生成摘要。然而，该框架中的现有模型大多依赖于奖励级别或次优标签，导致训练目标和评估指标之间的不匹配。在本文中，我们提出了一种新的训练信号，通过强化学习直接最大化摘要级ROUGE分数。此外，我们将BERT融入到我们的模型中，充分利用了它的自然语言理解能力。在广泛的实验中，我们证明了我们提出的模型和训练过程的组合在CNN/Daily Mail和New York Times数据集上获得了新的最先进的性能。在DUC-2002测试集上，我们也证明了它具有更好的推广性。
2019-09-26 cs.CL cs.IR cs.LG
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
Improving Social Media Text Summarization by Learning Sentence Weight Distribution
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
最近，编码器-解码器模型被广泛用于社交媒体文本摘要。然而，这些模型有时会错误地选择不相关句子中的噪声词作为摘要的一部分，从而降低了性能。为了抑制不相关的句子，集中在关键信息，我们提出了一种有效的方法，通过学习句子的权重分布。在我们的模型中，我们构建了一个多层感知器来预测句子权重。在训练过程中，我们使用ROUGE得分作为估计的句子权重的替代方案，并尝试最小化估计权重和预测权重之间的差距。通过这种方式，我们鼓励我们的模型专注于与摘要具有高度相关性的关键句子。实验结果表明，我们的方法优于基线上的大规模社交媒体语料库。
2017-10-31 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
摘要文本摘要是受预训练语言模型出现影响的领域之一。摘要文摘的预训练主要集中在与正文相似词较多的摘要上，而对生成句子与原文的语义相似度关注较少。我们提出了ARMAN，这是一个基于transformer的编码器-解码器模型，它预先训练了三个新的目标来解决这个问题。在ARMAN中，根据修改后的语义得分从文档中选择要掩蔽的显著句子并形成伪摘要。为了更准确地总结和类似于人类的写作模式，我们应用了修改后的句子重排。我们评估了我们提出的模型在六个下游波斯语摘要任务。实验结果表明，我们提出的模型达到了最先进的性能上的所有六个摘要任务测量的ROUGE和BERTScore。我们的模型在文本蕴涵、问题释义和多项选择问答方面也优于先前的工作。最后，我们建立了一个人的评价，并表明使用语义得分显着提高摘要结果。
2021-09-09 cs.CL
Features in Extractive Supervised Single-document Summarization: Case of Persian News
Isfahan University of Technology（伊斯法罕理工大学）；Liverpool John Moores University（利物浦约翰摩尔斯大学）；University of Salford（索尔福德大学）
文本摘要一直是自然语言处理中最具挑战性的研究领域之一。已经做出了很多努力来克服这一挑战，通过使用抽象或提取的方法。与更精细的抽象方法相比，提取方法更受欢迎，因为它们简单。在提取方法中，系统不会生成句子。相反，它学习如何通过使用一些文本特征来对文本中的句子进行评分，然后选择排名最高的句子。因此，核心目标是排名，并且高度依赖于文档。许多最先进的解决方案都没有注意到这种依赖性。在这项工作中，文档的特征被集成到每个句子的向量中。通过这种方式，系统可以了解上下文，提高学习模型的精度，从而产生全面而简短的摘要。
2019-09-09 cs.CL cs.IR
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft（微软）；Microsoft Research AI（微软研究院人工智能）
冗余感知提取摘要系统对要包括在摘要中的句子的冗余连同它们的显著性信息一起进行评分，或者作为附加的句子评分步骤单独进行评分。以前的工作显示了联合评分和选择句子与神经序列生成模型的有效性。然而，如果增益是由于更好的编码技术或更好的冗余减少方法，则不太清楚。同样，显著性与多样性成分对所创建的摘要的贡献也没有得到很好的研究。基于最先进的摘要编码方法，我们提出了两个自适应学习模型：在句子选择过程中联合考虑显著性和新颖性的AREDSUM-SEQ;和一个两步AREDSUM-CTX，首先对显著性进行评分，然后学习平衡显著性和冗余，从而能够测量每个方面的影响。在CNN/DailyMail和NYT 50数据集上的实证结果表明，通过在单独的步骤中显式地对多样性进行建模，AREDSUM-CTX实现了比AREDSUM-SEQ以及最先进的提取摘要基线更好的性能。
2021-04-03 cs.CL
Semantic Sentence Embeddings for Paraphrasing and Text Summarization
Rochester Institute of Technology（罗切斯特理工学院）
本文介绍了一种适用于高级自然语言处理的句子到向量编码框架。我们的潜在表示编码句子与共同的语义信息与类似的矢量表示。向量表示是从一个编码器-解码器模型中提取的，该模型是在句子释义对上训练的。我们展示了两个不同的任务-句子释义和段落摘要的句子表示的应用程序，使其具有吸引力的常用的经常性框架，处理文本。实验结果有助于深入了解矢量表示如何适用于高级语言嵌入。
2018-09-26 cs.AI cs.CL
Understanding Points of Correspondence between Sentences for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
融合包含不同内容的句子是一种非凡的人类能力，有助于创建信息丰富和简洁的摘要。对于人类来说，这样一个简单的任务对现代抽象摘要器来说仍然是一个挑战，大大限制了它们在现实世界中的适用性。在本文中，我们提出了一个调查融合的句子从一个文件中引入的概念，对应点，这是衔接手段，将任何两个句子连接在一起，成为一个连贯的文本。语篇衔接理论对对应点的类型进行了划分，包括代词和名词性指称、重复及其他。我们创建了一个数据集，其中包含文档、源语句和融合语句，以及语句之间对应点的人工注释。我们的数据集弥合了共指消解和摘要之间的差距。它是公开共享的，作为未来工作的基础，以衡量句子融合系统的成功。（https：//github.com/ucfnlp/points-of-correspondence）
2020-06-10 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架，利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
What comes next? Extractive summarization by next-sentence prediction
McGill University（麦吉尔大学）；University of Edinburgh（爱丁堡大学）
现有的自动摘要方法假设摘要的长度限制是给定的，并将内容选择视为优化问题，以在此预算内最大化信息量并最小化冗余。这个框架忽略了这样一个事实，即人类编写的摘要具有丰富的内部结构，可以利用这些结构来训练摘要系统。我们提出了NEXTSUM，一种新的方法来总结的基础上的模型，预测下一个句子，包括在摘要不仅使用源文章，但也产生了迄今为止的摘要。我们表明，这样的模型成功地捕捉到摘要特定的话语动作，并导致更好的内容选择性能，除了自动预测多长时间的目标摘要应该。我们进行实验的纽约时报注释语料库的摘要，其中NEXTSUM优于铅和内容模型摘要基线的显着利润率。我们还表明，我们的系统产生的摘要的长度与人类书面黄金标准的长度相关。
2019-01-12 cs.CL
A Condense-then-Select Strategy for Text Summarization
University of Macau（澳门大学）；The Chinese University of Hong Kong（香港中文大学）
选择然后压缩是一个流行的混合，框架，文本摘要，由于其高效率。该框架首先选择突出的句子，然后独立地将每个选择的句子浓缩成一个简洁的版本。然而，单独压缩句子忽略了文档的上下文信息，因此容易删除显著信息。为了解决这个问题，我们提出了一个新的压缩然后选择框架的文本摘要。我们的框架首先同时压缩每个文档句子。然后，原始文档句子及其压缩版本成为提取的候选者。最后，提取器利用文档的上下文信息来选择候选项并将它们组装成摘要。如果在压缩期间删除了显著信息，则提取器可以选择原始句子来保留信息。因此，我们的框架有助于避免丢失的显着信息，同时保持高效率的并行级压缩。在CNN/DailyMail，DUC-2002和Pubmed数据集上的实验结果表明，我们的框架优于选择然后压缩框架和其他强基线。
2021-06-19 cs.CL
DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
University of California, Davis（加州大学戴维斯分校）
DiffuSum提出用扩散模型直接生成摘要句表示并匹配抽取句子，联合优化对比编码器，在CNN/DailyMail上取得ROUGE 44.83/22.56/40.56的最优结果，验证了生成模型用于抽取式摘要的潜力。
2023-05-11 cs.CL
SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy
Australian National University（澳大利亚国立大学）；Google Research（谷歌研究院）
多文档摘要的大部分工作都集中在每个单独的文档集中存在的信息的通用摘要。然而，更新摘要的未充分开发的设置（其中目标是识别每个集合中存在的新信息）具有相同的实际兴趣（例如，向读者呈现关于演进的新闻主题的更新）。在这项工作中，我们提出了SupMMD，一种新的技术，通用和更新摘要的基础上最大的平均差异，从内核两个样本测试。SupMMD结合了针对显著性的监督学习和针对覆盖率和多样性的无监督学习。此外，我们调整多核学习以利用多个信息源之间的相似性（例如，文本特征和基于知识的概念）。我们通过在DUC-2004和TAC-2009数据集上达到或超过当前最先进水平，展示了SupMMD在通用和更新摘要任务中的功效。
2020-10-06 cs.CL
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出一种基于句子-词二部图的图预训练自编码器，显式建模句内区分性与句间连贯性特征，以获得更优句子表示，从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods
Tsinghua University（清华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对监督摘要依赖大规模数据集的问题，本文从信息论角度统一建模无监督抽取式摘要，并提出可增强现有方法的句子抽取策略，实验验证其有效性。
2024-01-24 cs.AI cs.CL
Contrastive Attention Mechanism for Abstractive Sentence Summarization
Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba DAMO Academy（阿里巴巴达摩院）；School of Engineering, Westlake University（西湖大学工学院）
我们提出了一个对比注意力机制，以扩展序列到序列的抽象句子摘要任务，其目的是生成一个简短的摘要给定的源句子的框架。对比注意力机制包含两类注意：一类是注意源句相关部分的常规注意，另一类是注意源句不相关或不太相关部分的对手注意。两种注意力都以相反的方式进行训练，从而通过新的softmax和softmin功能鼓励传统注意力的贡献，并阻止对手注意力的贡献。在基准数据集上的实验表明，与传统的注意力机制相比，本文提出的对比注意力机制更能集中于摘要的相关部分，大大提高了摘要的性能。我们在https://github.com/travel-go/Abstractive-Text-Summarization上发布代码
2019-10-30 cs.AI cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
SentBS: Sentence-level Beam Search for Controllable Summarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）
在可控文本生成中，已经探索了广泛的控制视角。结构控制摘要是近年来提出的一个有用且有趣的研究方向。然而，目前的结构控制方法在执行所需的结构方面的有效性有限。为了解决这一问题，我们提出了一个句子级的束搜索生成方法（SentBS），在整个生成过程中进行评估，以选择合适的句子为后续世代。我们实验了SentBS用作子组件的解码方法的不同组合，并在结构控制数据集MReD上评估结果。实验表明，SentBS的所有探索组合都可以提高生成的文本与所需结构之间的一致性，最佳方法显着减少了现有模型所遭受的结构差异，约68%。
2023-02-24 cs.CL
Structure-Infused Copy Mechanisms for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
Seq2seq学习在摘要方面产生了有希望的结果。然而，在许多情况下，系统摘要仍然很难保持原文的完整含义。他们可能会漏掉在源句句法结构中起关键作用的重要词或关系。在本文中，我们提出了结构注入复制机制，以方便复制重要的词和关系，从源句的总结句。该方法自然地结合了源依赖结构和抽象句子摘要器的复制机制。实验结果表明，将源端的句法信息在系统中的有效性，我们所提出的方法相比，毫不逊色国家的最先进的方法。
2018-06-24 cs.CL
Unsupervised Extractive Summarization using Pointwise Mutual Information
New York University（纽约大学）
提取摘要的无监督方法通常依赖于由句子和文档之间的语义相似性定义的句子重要性的概念。我们提出了新的度量相关性和冗余使用逐点互信息（PMI）之间的句子，这可以很容易地计算出一个预先训练的语言模型。直觉上，一个相关的句子允许读者推断文档内容（高PMI的文档），而一个冗余的句子可以从摘要中推断出来（高PMI的摘要）。然后，我们开发了一个贪婪的句子选择算法，以最大限度地提高相关性和最小化冗余提取的句子。我们表明，我们的方法优于基于相似性的方法在一系列领域的数据集，包括新闻，医学期刊文章和个人轶事。
2021-03-22 cs.CL cs.LG
PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization
Imperial College London（伦敦帝国学院）；Google Research（谷歌研究院）
最近的工作预训练Transformers与大型文本语料库上的自我监督的目标已经显示出巨大的成功时，微调下游NLP任务，包括文本摘要。然而，为抽象文本摘要量身定制的预训练目标尚未被探索。此外，缺乏对不同领域的系统评价。在这项工作中，我们提出了一个新的自监督目标，在大量文本语料库上预训练基于transformer的大型编码器-解码器模型。在PEGASUS中，重要的句子从输入文档中删除/屏蔽，并从剩余的句子中一起生成一个输出序列，类似于提取摘要。我们在12个下游摘要任务上评估了我们最好的PEGASUS模型，这些任务包括新闻、科学、故事、说明、电子邮件、专利和立法法案。实验表明，它实现了最先进的性能上的所有12个下游数据集测量的ROUGE分数。我们的模型在低资源摘要上也表现出惊人的性能，超过了之前在6个数据集上的最新结果，只有1000个例子。最后，我们使用人工评估验证了我们的结果，并表明我们的模型摘要在多个数据集上实现了人类性能。
2020-07-10 cs.CL
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
Abstractive Summarization Improved by WordNet-based Extractive Sentences
Peking University（北京大学）；Chinese Academy of Medical Sciences（中国医学科学院）
最近，seq 2seq抽象摘要模型在CNN/Daily Mail数据集上取得了良好的效果。然而，如何用抽取方法改进抽取方法是一个很好的研究方向，因为抽取方法具有利用各种有效特征提取文本中重要句子的潜力。为了提高摘要的语义相关性，本文采用基于WordNet的句子排序算法，抽取与文本语义相关性最高的句子。然后，我们设计了一个双注意seq 2seq框架，以生成摘要考虑提取的信息。同时，结合指针生成器和覆盖机制，解决了抽象模型中存在的词汇表外词和重复词问题。在CNN/Daily Mail数据集上的实验表明，我们的模型具有最先进的ROUGE分数，具有竞争力的性能。人类的评价也表明，我们的模型生成的摘要具有较高的语义相关性的原始文本。
2018-08-04 cs.CL
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
文本摘要旨在为输入文本生成简短的摘要。在这项工作中，我们提出了一种非自回归无监督汇总（NAUS）方法，该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数，并生成一个摘要作为伪地面实况。然后，我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码，这是重要的摘要任务。在两个数据集上的实验表明，NAUS实现了最先进的无监督摘要性能，但大大提高了推理效率。此外，我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Multiplex Graph Neural Network for Extractive Text Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent America（腾讯美国）
摘要抽取式文本摘要的目的是从给定的文档中抽取最具代表性的句子作为摘要。为了从一个长文本文档中提取出一个好的摘要，句子嵌入起着重要的作用。最近的研究已经利用图神经网络来捕获内部关系（例如，话语图）来学习上下文句子嵌入。然而，这些方法既不考虑多种类型的内部关系（例如，语义相似性和自然连接），也不建模内部关系（例如，词之间的语义和句法关系）。为了解决这些问题，我们提出了一种新的多重图卷积网络（多GCN），共同建模不同类型的句子和单词之间的关系。基于Multi-GCN，我们提出了一种用于抽取式文本摘要的Multi-GRAS模型。最后，我们在CNN/DailyMail基准数据集上评估了所提出的模型，以证明我们的方法的有效性。
2021-09-09 cs.CL
Extractive Text Summarization Using Generalized Additive Models with Interactions for Sentence Selection
São Paulo State University - UNESP（圣保罗州立大学（UNESP））
自动文本摘要（ATS）正变得与文本数据的增长相关;然而，随着公共大规模数据集的普及，最近的一些机器学习方法已经专注于密集的模型和架构，尽管产生了显着的结果，但通常在模型中难以解释。考虑到基于可解释学习的文本摘要背后的挑战及其对ATS领域发展现状的重要性，这项工作研究了两个现代广义加性模型的应用，即可解释的提升机和GAMI-Net，基于语言特征和二进制分类的提取摘要问题。
2022-12-21 cs.CL cs.LG
At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；Tencent Cloud Xiaowei（腾讯云小微）
摘要抽取方法在自动文摘中已被证明是有效的。以前的作品通过在句子水平上识别信息内容来完成这一任务。然而，目前还不清楚在句子级别执行提取是否是最好的解决方案。在这项工作中，我们表明，不必要的和冗余的问题存在时，提取完整的句子，和提取submartial单位是一个很有前途的选择。具体来说，我们提出了基于选区解析树提取子单元。提出了一种利用潜在信息进行提取的神经抽取模型。大量的实验和分析表明，在自动评价和人工评价的评价下，提取子句单元与提取整句相比具有竞争力。希望本研究能对文摘中基本提取单元的研究提供一定的启示。
2020-10-26 cs.CL
Abstractive Document Summarization without Parallel Data
Institute of Neuroinformatics, University of Z \"u rich
摘要通常依赖于大量成对文章和摘要的集合。然而，在许多情况下，并行数据是稀缺的和昂贵的获得。我们开发了一个抽象的摘要系统，只依赖于大量的例子摘要和非匹配的文章。我们的方法包括一个无监督的句子提取器，它选择突出的句子，包括在最终的摘要，以及一个句子抽象器，它是训练的伪平行和合成数据，解释每个提取的句子。我们对我们的方法进行了广泛的评估：在CNN/DailyMail基准上，我们将我们的方法与完全监督的基线进行了比较，以及从科学期刊文章自动生成新闻稿的新任务，这非常适合我们的系统。我们在这两项任务上都表现出了良好的性能，而不依赖于任何文章摘要对。
2020-03-03 cs.CL
Fact-level Extractive Summarization with Hierarchical Graph Mask on BERT
The Hong Kong Polytechnic University（香港理工大学）；Xidian University（西安电子科技大学）
目前大多数抽取式摘要模型都是通过选择显著句子来生成摘要的。然而，文本级抽取摘要的一个问题是，在人类书写的黄金摘要和甲骨文句子标签之间存在差距。在本文中，我们提出了提取事实级的语义单位，更好地提取摘要。我们还引入了一个层次结构，它结合了多层次的粒度的文本信息的模型。此外，我们将我们的模型与BERT使用层次图掩码。这使我们能够结合BERT在自然语言理解和结构信息方面的能力，而不增加模型的规模。在CNN/DaliyMail数据集上的实验表明，我们的模型达到了最先进的结果。
2020-11-19 cs.CL
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Data-driven Summarization of Scientific Articles
Institute of Neuroinformatics, University of Z \"u rich
数据驱动的方法序列到序列建模已成功地应用于新闻文章的短文本摘要。这样的模型通常在仅由单个或几个句子组成的输入-摘要对上训练，部分地由于多句子训练数据的有限可用性。在这里，我们建议使用科学文章作为文本摘要的一个新里程碑：大规模的训练数据几乎是免费的，有两种不同级别的高质量摘要-标题和摘要。我们从科学文章中生成两个新的多句摘要数据集，并测试了现有的各种基于提取和抽象神经网络的摘要方法的适用性。我们的分析表明，科学论文适合数据驱动的文本摘要。我们的研究结果可以作为有价值的基准扩展序列到序列模型非常长的序列。
2018-04-24 cs.CL
Source Identification in Abstractive Summarization
NVIDIA（英伟达）；Grammarly
本文通过定义源句并分析PEGASUS生成的摘要，研究抽象摘要的生成机制，提出自动源句检测方法，实验表明困惑度法适合高抽象场景，相似度法适合抽取场景。
2024-02-07 cs.CL
Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization
Pohang University of Science and Technology（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
句子摘要缩短了给定的文本，同时保持了文本的核心内容。已经研究了无监督的方法来总结没有人类书面摘要的文本。然而，最近的无监督模型是提取的，它从文本中删除单词，因此它们不如抽象摘要灵活。在这项工作中，我们设计了一个抽象模型的基础上强化学习没有地面实况摘要。我们制定的无监督摘要的马尔可夫决策过程的基础上，代表摘要质量的奖励。为了进一步提高摘要质量，我们开发了一种多摘要学习机制，该机制可以为给定的文本生成多个不同长度的摘要，同时使摘要相互增强。实验结果表明，该模型大大优于抽象和提取模型，但经常产生新的单词不包含在输入文本。
2022-12-21 cs.AI cs.CL
A Hybrid Hierarchical 1D-CNN-BiLSTM Framework for Extractive Summarization of Biomedical and Clinical Text
NUCES-FAST Lahore（拉合尔国立计算机与新兴科学大学（FAST））
提出混合分层1D-CNN-BiLSTM框架，通过抽取式句子选择避免生成式幻觉，在生物医学文本摘要中优于基线，实现事实有据的可靠摘要。
2026-11-10 cs.CL
Joint Parsing and Generation for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Fudan University（复旦大学）；Tencent AI Lab（腾讯AI实验室）
由抽象摘要系统生成的句子可能是不合语法的，并且无法保留原始含义，尽管它们在局部是流畅的。在本文中，我们提出了解决这个问题，联合生成一个句子和它的句法依赖分析，同时执行抽象。如果生成一个单词会给摘要引入一个错误的关系，那么必须阻止这种行为。因此，所提出的方法有望产生合乎语法的句子，并鼓励总结保持真实的原始。我们对这项工作的贡献是双重的。首先，我们提出了一种新的神经架构的抽象摘要，结合了顺序解码器与基于树的解码器在同步的方式来生成一个摘要句子和它的语法分析。其次，我们描述了一种新的人类评估协议，以评估是否以及在何种程度上，摘要仍然是真实的，其原始含义。我们评估了我们的方法在一些摘要数据集，并展示了竞争力的结果对强大的基线。
2019-11-23 cs.CL
GEMINI: Controlling the Sentence-level Writing Style for Abstractive Text Summarization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出自适应摘要模型 GEMINI，通过改写器与生成器动态选择句子改写或抽象生成，在三个基准上优于基线，并表明人类摘要风格可由上下文预测。
2023-12-09 cs.CL
