Graph-based Neural Multi-Document Summarization
Yale University(耶鲁大学);The LNM Institute of Information Technology(LNM信息技术学院)
我们提出了一个神经多文档摘要(MDS)系统,结合句子关系图。我们采用一个图卷积网络(GCN)的关系图,句子嵌入从递归神经网络作为输入节点的功能。通过多层传播,GCN生成用于显著性估计的高级隐藏句子特征。然后,我们使用一个贪婪的启发式提取突出的句子,同时避免冗余。在我们对DUC 2004的实验中,我们考虑了三种类型的句子关系图,并证明了将图中的句子关系与深度神经网络的表示能力相结合的优势。我们的模型改进了传统的基于图的提取方法和香草GRU序列模型没有图,它取得了竞争力的结果对其他国家的最先进的多文档摘要系统。
2017-08-23 cs.CL cs.LG
Extractive Text Summarization Using Generalized Additive Models with Interactions for Sentence Selection
São Paulo State University - UNESP(圣保罗州立大学(UNESP))
自动文本摘要(ATS)正变得与文本数据的增长相关;然而,随着公共大规模数据集的普及,最近的一些机器学习方法已经专注于密集的模型和架构,尽管产生了显着的结果,但通常在模型中难以解释。考虑到基于可解释学习的文本摘要背后的挑战及其对ATS领域发展现状的重要性,这项工作研究了两个现代广义加性模型的应用,即可解释的提升机和GAMI-Net,基于语言特征和二进制分类的提取摘要问题。
2022-12-21 cs.CL cs.LG
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research(微软研究院)
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而,以前的作品将它们视为两个独立的子任务。在本文中,我们提出了一种新的端到端的神经网络框架提取文档摘要,通过联合学习评分和选择句子。它首先用分层编码器读取文档句子,获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同,我们的方法将选择策略集成到评分模型中,直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明,该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo(东京大学);RIKEN(理化学研究所);University of Liverpool(利物浦大学)
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子,我们交替它与递归高斯混合,其中每个混合成分对应于一个主题句子的潜在代码,并混合由树结构的主题分布。通过解码每个高斯分量,我们生成具有树形结构的主题指导的句子,其中根句子传达通用内容,叶句子描述特定主题。实验结果表明,所生成的主题句适合作为固执己见的文本的摘要,其比最近的无监督摘要模型(Bražinskas等人,2020年)。此外,我们证明了潜在高斯的方差代表了句子的粒度,类似于高斯词嵌入(Vilnis和McCallum,2015)。
2021-06-15 cs.AI cs.CL cs.LG
Neural Summarization by Extracting Sentences and Words
University of Edinburgh(爱丁堡大学)
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中,我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架,单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型,可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明,我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University(宾夕法尼亚州立大学)
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档,平均每个文档约30个句子。我们介绍了SciBERTSUM,这是我们的摘要框架,专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档:1)添加一个节嵌入层,以将节信息包含在句子向量中; 2)应用稀疏注意力机制,其中每个句子将本地关注附近的句子,并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要,因为它们包含论文的技术细节。结果表明,我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学)
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要,而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而,使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少,并且与句子显著性排名的相关性较弱。在本文中,我们提出了两个新的策略,以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标,即来自同一文档的句子比来自不同文档的句子更相似。此外,我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系,其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要,因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中,我们发现了两个缺陷,广泛使用的贪婪标签的方法:它提供次优和确定性的预言。为了缓解这两个问题,我们提出了一个简单而有效的标签算法,创建软,基于期望的句子标签。我们定义了一个新的学习目标提取摘要,它结合了学习信号从多个甲骨文摘要,并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下,所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Analyzing Sentence Fusion in Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院);Amazon Alexa AI(亚马逊 Alexa 人工智能)
虽然最近在抽象摘要方面的工作已经在自动度量中获得了更高的分数,但对这些系统如何结合从多个文档句子中获取的信息却知之甚少。在本文中,我们分析了五个国家的最先进的抽象摘要器的输出,侧重于总结句子,形成句子融合。我们要求评判员对摘要句的语法性、忠实性和融合方法进行评判。我们的分析表明,系统句大多是语法,但往往不能保持忠实于原文。
2019-10-01 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University(海德堡大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Waterloo(滑铁卢大学)
自动句子摘要生成句子的较短版本,同时保留其最重要的信息。一个好的摘要的特点是语言流畅,与源句的信息重叠度高。我们在一个无监督的目标函数,包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外,我们证明,通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中,我们强调,未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis(加州大学戴维斯分校)
由于扩展的结构化输入上下文,长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模,这是抽取式摘要的关键步骤。本文提出了HEGEL,一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示,并融合不同类型的句子依赖关系,包括潜在主题,关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL,实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
信息瓶颈(Tishby et al. 1999)的原理是产生一个信息X的摘要,以预测其他一些相关信息Y。在本文中,我们提出了一种新的无监督句子摘要方法,通过将信息瓶颈原则映射到条件语言建模目标:给定一个句子,我们的方法寻求一个压缩的句子,可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子,同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型,没有直接的监督,我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要(BottleSumEx)的基础上,我们提出了一种新的自监督抽象摘要方法(BottleSumSelf),其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明,我们的提取方法优于其他无监督模型的多个自动度量。此外,我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线(包括我们自己的)。
2019-09-20 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation(语言、认知与计算研究所);University of Edinburgh(爱丁堡大学)
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中,我们概念化提取摘要作为一个句子排序任务,并提出了一种新的训练算法,通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型,并通过实验证明,当自动和人工评估时,它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University(莫纳什大学);Deakin University(迪肯大学);Shandesitong
获取多文档摘要(MDS)的训练数据是耗时和资源密集型的,所以最近的神经模型只能在有限的领域进行训练。在本文中,我们提出了SummPip:一种用于多文档摘要的无监督方法,在该方法中,我们将原始文档转换为句子图,同时考虑语言和深度表示,然后应用谱聚类来获得多个句子聚类,最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明,我们的方法与以前的无监督方法相比具有竞争力,甚至可以与神经监督方法相媲美。此外,人类的评价表明,我们的系统产生一致和完整的摘要相比,人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Learning to Fuse Sentences with Transformers for Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
摘要系统具有很强的句子融合能力,因为这是生成简洁摘要的必要步骤。然而,到目前为止,总结器可能无法融合句子。他们倾向于通过融合产生很少的摘要句或产生不正确的融合,导致摘要无法保留原始意义。在本文中,我们探讨了Transformers融合句子的能力,并提出了新的算法,以提高他们的能力,通过利用句子之间的对应点的知识来执行句子融合。通过大量的实验,我们研究了不同的设计选择对Transformer性能的影响。我们的研究结果突出了建模点之间的对应有效的句子融合的重要性。
2020-10-08 cs.CL
Scoring Sentence Singletons and Pairs for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
在撰写摘要时,人类倾向于从一两个句子中选择内容,并将它们合并成一个单一的摘要句子。然而,选择一个或多个源句子背后的机制仍然知之甚少。句子融合假设多句输入;然而句子选择方法仅适用于单个句子,而不是它们的组合。因此,在句子选择和融合之间存在一个关键的差距,以支持通过压缩单句和融合对来进行摘要。本文试图通过在一个统一的空间中将句子的单例和成对排列在一起来弥合这一差距。我们提出的框架试图通过选择单个句子或一对句子来模拟人类方法,然后压缩或融合句子以产生摘要句子。我们在单文档和多文档摘要数据集上进行了广泛的实验,并报告了句子选择和抽象的结果。
2019-05-31 cs.CL
STRASS: A Light and Effective Method for Extractive Summarization Based on Sentence Embeddings
EURA NOVA
本文介绍了STRASS:通过变换选择和评分进行的摘要。它是一种利用现有句子嵌入空间中的语义信息的提取文本摘要方法。我们的方法通过选择具有与文档嵌入最接近的嵌入的句子来创建提取摘要。该模型学习文档嵌入的变换,以最小化提取摘要和地面实况摘要之间的相似性。由于转换仅由密集层组成,因此可以在CPU上进行训练,因此成本低廉。此外,推理时间短,根据句子的数量线性。作为第二个贡献,我们介绍了法国CASS数据集,由法国最高上诉法院的判决及其相应的摘要。在这个数据集上,我们的结果表明,我们的方法与最先进的提取方法具有相似的性能,并且具有有效的训练和推断时间。
2019-07-16 cs.CL cs.IR cs.LG
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
当前的抽象摘要模型要么缺乏清晰的可解释性,要么只突出显示源文档的一部分,从而提供不完整的基本原理。为此,我们提出了总结程序(SP),一个可解释的模块化框架,包括一个(有序)的二叉树列表,每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点,并且不同的树将每个摘要句子(根结点)连接到从其导出的文档句子(叶节点),其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作,例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法,在神经模块,SP-Search,识别SP的人类摘要直接优化ROUGE分数。接下来,使用这些程序作为自动监督,我们提出了seq 2seq模型,生成摘要程序,然后执行这些程序以获得最终摘要。我们证明,SP-Search有效地代表了人类总结背后的生成过程,使用通常忠实于其预期行为的模块。我们还进行了模拟研究,以表明摘要程序提高了摘要模型的可解释性,允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步,这是一项复杂的任务,以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Multi-layered graph-based multi-document summarization model
University of Prizren(普里兹伦大学)
多文档摘要是自动生成给定文档集合的压缩版本的过程。最近,基于图的模型和排序算法已经被抽取文档摘要社区积极研究。虽然大多数工作集中在同质连接的句子和异质连接的文件和句子(如句子相似度加权的文件重要性),在本文中,我们提出了一种新的3层图模型,不仅强调句子和文档级别的关系,但也下句子级别的关系(如句子相似度的一部分)的影响。
2014-05-17 cs.CL cs.IR
Bengali text summarization by sentence extraction
Jadavpur University(贾达普大学)
文本摘要是从一个或多个文本中选取重要部分的信息生成摘要或摘要的过程。在自动文本摘要过程中,将文本提供给计算机,计算机返回原始文本的较短的较少冗余的摘录或摘要。已经开发了许多技术来总结英语文本。但是,很少有人尝试孟加拉语文本摘要。本文提出了一种孟加拉语文本摘要的方法,它从孟加拉语文档中提取重要的句子来生成摘要。
2012-01-11 cs.CL cs.IR
Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder
Institute for Computational Linguistics(计算语言学研究所);Heidelberg University(海德堡大学)
在这项工作中,我们提出了一个无监督的方法来摘要的句子抽象的方式使用变分自编码器(VAE)。已知VAE学习表示高维输入的语义丰富的潜在变量。VAE通过学习从概率潜在变量重建输入来训练。在训练过程中显式地提供关于输出长度的信息会影响VAE不对该信息进行编码,从而可以在推理过程中进行操纵。指示解码器产生更短的输出序列导致用更少的单词表达输入句子。我们在不同的摘要数据集上显示,这些较短的句子不能击败一个简单的基线,但产生更高的ROUGE分数比试图重建整个句子。
2018-09-21 cs.CL
Semantic Sentence Embeddings for Paraphrasing and Text Summarization
Rochester Institute of Technology(罗切斯特理工学院)
本文介绍了一种适用于高级自然语言处理的句子到向量编码框架。我们的潜在表示编码句子与共同的语义信息与类似的矢量表示。向量表示是从一个编码器-解码器模型中提取的,该模型是在句子释义对上训练的。我们展示了两个不同的任务-句子释义和段落摘要的句子表示的应用程序,使其具有吸引力的常用的经常性框架,处理文本。实验结果有助于深入了解矢量表示如何适用于高级语言嵌入。
2018-09-26 cs.AI cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia(微软亚洲研究院);Shanghai Qi Zhi institute(上海期智研究院)
无监督提取文档摘要旨在从文档中选择重要句子,而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中,我们发现,Transformer注意力可以用来排名句子的无监督提取摘要。具体来说,我们首先只使用未标记的文档来预训练分层Transformer模型。然后,我们提出了一种方法来排名的句子,使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明,该模型在无监督摘要方面具有最先进的性能。我们还发现,在实验中,我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时,我们获得了更好的结果。
2020-10-16 cs.CL
Text Summarization using Deep Learning and Ridge Regression
Illinois Institute of Technology(伊利诺伊理工学院)
我们开发的模型和提取相关功能的自动文本摘要和DUC 2001数据集上的不同模型的性能进行了研究。开发了两种不同的模型,一种是岭回归器,另一种是多层感知器。超参数是不同的,并记录了它们的性能。我们将摘要任务分为两个主要步骤,第一步是句子排序,第二步是句子选择。在第一步中,给定一个文档,我们根据它们的重要性对句子进行排序,在第二步中,为了获得非冗余的句子,我们剔除与先前选择的句子具有高度相似性的句子。
2017-06-15 cs.CL
Experiments in Extractive Summarization: Integer Linear Programming, Term/Sentence Scoring, and Title-driven Models
University of Houston(休斯顿大学)
在本文中,我们重新审视了具有挑战性的问题,无监督的单文档摘要和研究以下几个方面:基于线性规划(ILP)的算法,参数化规范化的术语和句子的分数,和标题驱动的方法摘要。我们描述了一个新的框架,NewsSumm,其中包括许多现有的和新的方法,包括ILP和标题驱动的方法总结。NewsSumm的灵活性允许无缝结合不同的算法和句子评分方案。我们的结果结合句子评分与ILP和规范化是在对比以前的工作在这个主题上,显示了更广泛的搜索最佳参数的重要性。我们还表明,新的标题驱动的减少的想法导致性能的改善,无论是无监督和监督的方法考虑。
2020-08-01 cs.CL cs.IR
A Neural Attention Model for Abstractive Sentence Summarization
Facebook AI Research(脸书人工智能研究院);Harvard SEAS(哈佛大学工程与应用科学学院)
基于文本提取的摘要有其固有的局限性,但是生成式的抽象方法已经证明是具有挑战性的。在这项工作中,我们提出了一个完全数据驱动的方法来抽象句子摘要。我们的方法利用了一个基于局部注意力的模型,该模型根据输入句子生成摘要的每个单词。虽然该模型结构简单,但它可以很容易地进行端到端训练,并扩展到大量的训练数据。与几个强基线相比,该模型显示DUC-2004共享任务的显着性能增益。
2015-09-03 cs.AI cs.CL
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad(印度海得拉巴国际信息技术学院);Microsoft(微软)
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要,我们开发了一个数据驱动的新的摘要系统称为HNet,它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示,即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来,以进行句子排名。在DUC基准数据集(DUC-2001,DUC-2002和DUC-2004)上的实验表明,与最先进的基线相比,我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型,通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序,同时提升了句子包含与排序性能,在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
Improving Social Media Text Summarization by Learning Sentence Weight Distribution
MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
最近,编码器-解码器模型被广泛用于社交媒体文本摘要。然而,这些模型有时会错误地选择不相关句子中的噪声词作为摘要的一部分,从而降低了性能。为了抑制不相关的句子,集中在关键信息,我们提出了一种有效的方法,通过学习句子的权重分布。在我们的模型中,我们构建了一个多层感知器来预测句子权重。在训练过程中,我们使用ROUGE得分作为估计的句子权重的替代方案,并尝试最小化估计权重和预测权重之间的差距。通过这种方式,我们鼓励我们的模型专注于与摘要具有高度相关性的关键句子。实验结果表明,我们的方法优于基线上的大规模社交媒体语料库。
2017-10-31 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University(国立台湾大学)
神经摘要的研究越来越多,以前的工作主要集中在总结单说话人的文件(新闻,科学出版物等)。在对话中,说话者之间存在着各种各样的互动,这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为,其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明,我们提出的模型显着提高抽象摘要性能相比,国家的最先进的基线AMI会议语料库,展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge(剑桥大学)
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈,二次自我注意力机制的编码器。改进的编码器架构(如LED或LoBART)使用局部注意模式来解决此问题。与此相反,这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中,这种注意力的成本变得更加重要。首先,我们研究编码器-解码器注意力的复杂性。我们的经验表明,有一个稀疏的句子结构,在文档摘要,可以利用约束的注意力机制的输入句子的子集,同时保持系统的性能。其次,我们提出了一种修改后的架构,该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验,包括CNN/DailyMail,XSum,Spotify Podcast和arXiv。
2021-09-08 cs.CL
ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
University of Tehran(德黑兰大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究研究所(IPM))
摘要文本摘要是受预训练语言模型出现影响的领域之一。摘要文摘的预训练主要集中在与正文相似词较多的摘要上,而对生成句子与原文的语义相似度关注较少。我们提出了ARMAN,这是一个基于transformer的编码器-解码器模型,它预先训练了三个新的目标来解决这个问题。在ARMAN中,根据修改后的语义得分从文档中选择要掩蔽的显著句子并形成伪摘要。为了更准确地总结和类似于人类的写作模式,我们应用了修改后的句子重排。我们评估了我们提出的模型在六个下游波斯语摘要任务。实验结果表明,我们提出的模型达到了最先进的性能上的所有六个摘要任务测量的ROUGE和BERTScore。我们的模型在文本蕴涵、问题释义和多项选择问答方面也优于先前的工作。最后,我们建立了一个人的评价,并表明使用语义得分显着提高摘要结果。
2021-09-09 cs.CL
Summary Level Training of Sentence Rewriting for Abstractive Summarization
Department of Computer Science and Engineering(计算机科学与工程系);Seoul National University(首尔国立大学)
句子重写模型试图将抽取式摘要和抽象式摘要结合起来,采用先从文档中抽取显著句子,然后对所选句子进行释义的策略生成摘要。然而,该框架中的现有模型大多依赖于奖励级别或次优标签,导致训练目标和评估指标之间的不匹配。在本文中,我们提出了一种新的训练信号,通过强化学习直接最大化摘要级ROUGE分数。此外,我们将BERT融入到我们的模型中,充分利用了它的自然语言理解能力。在广泛的实验中,我们证明了我们提出的模型和训练过程的组合在CNN/Daily Mail和New York Times数据集上获得了新的最先进的性能。在DUC-2002测试集上,我们也证明了它具有更好的推广性。
2019-09-26 cs.CL cs.IR cs.LG
HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization
Microsoft Research Asia(微软亚洲研究院)
神经提取摘要模型通常采用分层编码器进行文档编码,并使用基于规则的方法创建的分级标签进行训练。用这些\emph{inaccurate}标签训练分层编码器是具有挑战性的。受最近关于预训练Transformer语句编码器\cite{devlin:2018:arxiv}的工作的启发,我们提出了用于文档编码的{ \sc Hibert}(作为{ \bf HI}erachical { \bf B}idirectional { \bf E}ncoder { \bf R} epresentation from { \bf T} transformers的简写)以及使用未标记数据对其进行预训练的方法。我们将预训练的{ \sc Hibert}应用于我们的摘要模型,它在CNN/Dailymail数据集上的性能优于随机初始化的对应模型1.25 ROUGE,在纽约时报数据集上的性能优于随机初始化的对应模型2.0 ROUGE。我们还在这两个数据集上实现了最先进的性能。
2019-05-16 cs.CL cs.LG
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
受人类如何总结长文档的启发,我们提出了一个准确快速的摘要模型,首先选择突出的句子,然后抽象地重写它们(即,压缩和释义)以生成简明的总体概要。我们使用了一种新的策略级策略梯度方法,以分层的方式在这两个神经网络之间架起不可微计算的桥梁,同时保持语言的流畅性。从经验上讲,我们在CNN/Daily Mail数据集上的所有指标(包括人工评估)上都达到了最新水平,而且抽象度得分也显著提高。此外,通过首先在段落级操作,然后在单词级操作,我们实现了神经生成模型的并行解码,这使得推理速度比以前的长段落编码器-解码器模型快得多(10- 20倍),训练收敛速度也快4倍。我们还展示了我们的模型在仅测试DUC-2002数据集上的泛化,在那里我们获得了比最先进的模型更高的分数。
2018-05-28 cs.AI cs.CL cs.LG
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University(宾夕法尼亚州立大学);QCRI(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
摘要文摘是一种理想的文摘形式,它可以综合多个文档中的信息,生成简洁的信息摘要。在这项工作中,我们的目标是开发一个抽象的摘要。首先,我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐,以生成相似句子的聚类。其次,我们使用词图结构从每个聚类中的句子生成K-最短路径。最后,我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划(ILP)模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量,并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明,我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中,我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University(康奈尔大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们考虑使用句子压缩技术,以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架,并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器,以有效地找到高度可能的压缩。在这个框架下,我们展示了如何整合各种指示性指标,如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善,在几个指标(如8.0%和5.4%的改进ROUGE-2分别)的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft(微软);Microsoft Research AI(微软研究院人工智能)
冗余感知提取摘要系统对要包括在摘要中的句子的冗余连同它们的显著性信息一起进行评分,或者作为附加的句子评分步骤单独进行评分。以前的工作显示了联合评分和选择句子与神经序列生成模型的有效性。然而,如果增益是由于更好的编码技术或更好的冗余减少方法,则不太清楚。同样,显著性与多样性成分对所创建的摘要的贡献也没有得到很好的研究。基于最先进的摘要编码方法,我们提出了两个自适应学习模型:在句子选择过程中联合考虑显著性和新颖性的AREDSUM-SEQ;和一个两步AREDSUM-CTX,首先对显著性进行评分,然后学习平衡显著性和冗余,从而能够测量每个方面的影响。在CNN/DailyMail和NYT 50数据集上的实证结果表明,通过在单独的步骤中显式地对多样性进行建模,AREDSUM-CTX实现了比AREDSUM-SEQ以及最先进的提取摘要基线更好的性能。
2021-04-03 cs.CL
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory(中关村实验室);Beihang University(北京航空航天大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出一种基于句子-词二部图的图预训练自编码器,显式建模句内区分性与句间连贯性特征,以获得更优句子表示,从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
Read Top News First: A Document Reordering Approach for Multi-Document News Summarization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Columbia University(哥伦比亚大学)
提取多文档新闻摘要的常用方法是将所有文档连接为单个元文档,将其重新表示为单文档摘要问题。然而,这种方法忽略了文档的相对重要性。我们提出了一个简单的方法来重新排序的文件,根据它们的相对重要性,然后再连接和总结它们。重新排序使得显著内容更容易通过摘要模型学习。实验表明,我们的方法优于以前的国家的最先进的方法与更复杂的架构。
2022-03-19 cs.CL
A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods
Tsinghua University(清华大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对监督摘要依赖大规模数据集的问题,本文从信息论角度统一建模无监督抽取式摘要,并提出可增强现有方法的句子抽取策略,实验验证其有效性。
2024-01-24 cs.AI cs.CL
Single Document Extractive Summarization using Domination in Hypergraph
SCTR’s Pune Institute of Computer Technology(SCTR浦那计算机技术学院);Bodoland University(博多兰大学)
本研究提出利用超图支配集进行单文档抽取式摘要,通过构建句子-关键词超图并应用贪心算法寻找支配集,以生成覆盖重要信息的摘要,并与最先进的基于图的方法进行比较。
2026-09-16 cs.CL cs.LG
Proposition-Level Clustering for Multi-Document Summarization
Bar-Ilan University(巴伊兰大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
文本聚类方法传统上被纳入多文档摘要(MDS)作为一种手段,以应付相当大的信息重复。特别是,利用聚类来指示信息的显著性以及避免冗余。这样的现有方法集中于聚类句子,即使紧密相关的句子通常也包含不对齐的部分。在这项工作中,我们重新审视聚类方法,将子系统命题分组在一起,旨在实现更精确的信息对齐。具体来说,我们的方法检测显着的命题,聚类成释义集群,并生成一个代表性的句子,通过文本融合每个集群。我们的摘要方法在DUC 2004和TAC 2011数据集中改进了以前最先进的MDS方法,无论是在自动ROUGE评分还是人类偏好方面。
2022-05-19 cs.CL cs.LG
Contrastive Attention Mechanism for Abstractive Sentence Summarization
Institute of Artificial Intelligence, Soochow University(苏州大学人工智能研究院);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Alibaba DAMO Academy(阿里巴巴达摩院);School of Engineering, Westlake University(西湖大学工学院)
我们提出了一个对比注意力机制,以扩展序列到序列的抽象句子摘要任务,其目的是生成一个简短的摘要给定的源句子的框架。对比注意力机制包含两类注意:一类是注意源句相关部分的常规注意,另一类是注意源句不相关或不太相关部分的对手注意。两种注意力都以相反的方式进行训练,从而通过新的softmax和softmin功能鼓励传统注意力的贡献,并阻止对手注意力的贡献。在基准数据集上的实验表明,与传统的注意力机制相比,本文提出的对比注意力机制更能集中于摘要的相关部分,大大提高了摘要的性能。我们在https://github.com/travel-go/Abstractive-Text-Summarization上发布代码
2019-10-30 cs.AI cs.CL
Neural Latent Extractive Document Summarization
Microsoft Research Asia(微软亚洲研究院);University of Edinburgh(爱丁堡大学)
提取式摘要模型需要摘要级标签,其通常是按顺序创建的(例如,使用基于规则的方法),假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的,我们提出了一个潜变量提取模型,其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间,损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明,我们的模型比在近似标签上训练的强提取基线有所改进,并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
Simple Unsupervised Summarization by Contextual Matching
Harvard University(哈佛大学)
我们提出了一个无监督的方法,句子摘要只使用语言建模。该方法采用两个语言模型,一个是通用的(即预训练的),另一个是特定于目标域。我们表明,通过使用产品的专家标准,这些都足以保持连续的上下文匹配,同时保持输出流畅性。在抽象和提取句子摘要数据集上的实验表明,我们的方法在不暴露于任何配对数据的情况下取得了令人满意的结果。
2019-07-31 cs.CL cs.LG
Multi-document Summarization via Deep Learning Techniques: A Survey
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学)
多文档摘要(MDS)是一种有效的信息聚合工具,它从一组主题相关的文档中生成信息丰富、简洁的摘要。我们的调查是第一次,系统地概述了最近基于深度学习的MDS模型。我们提出了一种新的分类法来总结神经网络的设计策略,并进行了全面的总结,国家的最先进的。我们突出了各种目标函数之间的差异,在现有的文献中很少讨论。最后,我们提出了几个未来的方向,有关这个新的和令人兴奋的领域。
2021-12-09 cs.CL cs.LG
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了Reflection,一个新的句子摘要框架,可以训练无参考(即,不需要用于监督的黄金摘要),同时允许对压缩比的直接控制。我们的工作是第一次证明,通过符号知识蒸馏的概念框架,无参考,受控的句子摘要是可行的(韦斯特等人,2022),其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取,并使用三种类型的过滤器进行进一步纯化:长度,保真度和信息瓶颈。此外,我们独特地提出了知识的迭代蒸馏,其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始,我们演示了迭代知识蒸馏如何导致相当小的,但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明,最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型,而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
Understanding Points of Correspondence between Sentences for Abstractive Summarization
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究院)
融合包含不同内容的句子是一种非凡的人类能力,有助于创建信息丰富和简洁的摘要。对于人类来说,这样一个简单的任务对现代抽象摘要器来说仍然是一个挑战,大大限制了它们在现实世界中的适用性。在本文中,我们提出了一个调查融合的句子从一个文件中引入的概念,对应点,这是衔接手段,将任何两个句子连接在一起,成为一个连贯的文本。语篇衔接理论对对应点的类型进行了划分,包括代词和名词性指称、重复及其他。我们创建了一个数据集,其中包含文档、源语句和融合语句,以及语句之间对应点的人工注释。我们的数据集弥合了共指消解和摘要之间的差距。它是公开共享的,作为未来工作的基础,以衡量句子融合系统的成功。(https://github.com/ucfnlp/points-of-correspondence)
2020-06-10 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University(复旦大学)
摘要跨句关系学习是抽取式文档摘要的关键步骤,已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中,该网络具有更复杂的结构来捕获句子间的关系。在本文中,我们提出了一个异构的基于图的神经网络提取摘要(HeterSumGraph),其中包含不同粒度的语义节点,除了句子。这些附加节点充当了句子之间的中介,丰富了句子之间的关系。此外,我们的图结构是灵活的自然扩展,从一个单一的文档设置到多个文档,通过引入文档节点。据我们所知,我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人,并进行了全面的定性分析,以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Aspect-based Meeting Transcript Summarization: A Two-Stage Approach with Weak Supervision on Sentence Classification
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Adobe Research(Adobe研究院);The Hong Kong Polytechnic University(香港理工大学)
针对基于方面的会议转录摘要任务中相关句子混杂分散的问题,提出两阶段方法,先通过伪标记弱监督训练句子分类器筛选特定方面内容再生成摘要,在AMI语料库上效果优于强基线。
2023-11-07 cs.CL
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架,利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
What comes next? Extractive summarization by next-sentence prediction
McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
现有的自动摘要方法假设摘要的长度限制是给定的,并将内容选择视为优化问题,以在此预算内最大化信息量并最小化冗余。这个框架忽略了这样一个事实,即人类编写的摘要具有丰富的内部结构,可以利用这些结构来训练摘要系统。我们提出了NEXTSUM,一种新的方法来总结的基础上的模型,预测下一个句子,包括在摘要不仅使用源文章,但也产生了迄今为止的摘要。我们表明,这样的模型成功地捕捉到摘要特定的话语动作,并导致更好的内容选择性能,除了自动预测多长时间的目标摘要应该。我们进行实验的纽约时报注释语料库的摘要,其中NEXTSUM优于铅和内容模型摘要基线的显着利润率。我们还表明,我们的系统产生的摘要的长度与人类书面黄金标准的长度相关。
2019-01-12 cs.CL
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
在过去的几十年里,知识感知方法已经推动了一系列自然语言处理应用。近年来,作为自然语言处理应用之一的文档摘要领域,知识的应用越来越受到人们的关注。以前的工作报告说,知识嵌入式文档摘要擅长生成卓越的摘要,特别是在信息量,连贯性和事实的一致性。本文旨在提出第一个系统的调查,为国家的最先进的方法,将知识嵌入到文档摘要。特别是,我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入,特别是深度学习模型。最后,我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG