Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
Searching for Effective Neural Extractive Summarization: What Works and What's Next
Fudan University（复旦大学）
近年来，深度神经网络在文本摘要中的应用取得了显著的成功。但是，人们对\textit{why}没有明确的认识，他们表现得那么好，或者\textit{how}他们可能会得到改进。在本文中，我们试图更好地理解神经提取摘要系统如何从不同类型的模型架构，可转移知识和学习模式中受益。此外，我们发现了一种有效的方法来改善现有的框架，并实现了国家的最先进的结果CNN/DailyMail的基础上，我们的观察和分析的大幅度。希望本文的工作能为抽取式摘要的进一步研究提供参考。
2019-07-08 cs.CL
A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
我们提出了一个实证研究，有利于级联架构的神经文本摘要。摘要实践变化很大，但除了新闻摘要之外，很少有其他的摘要可以提供足够量的训练数据，足以满足端到端神经摘要系统的要求，该系统联合执行内容选择和表面实现以生成摘要。这样的系统也对摘要评估提出了挑战，因为它们迫使内容选择与文本生成一起评估，但后者的评估仍然是一个未解决的问题。在本文中，我们提出的实证结果表明，级联管道的性能，分别识别重要的内容片段，并将它们缝合在一起成为一个连贯的文本是可比的或超越的端到端系统，而管道架构允许灵活的内容选择。最后，我们讨论了如何在神经文本摘要中利用级联管道，并为未来的研究指明了重要方向。
2020-10-08 cs.CL
A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization
研究了神经网络文摘的领域自适应问题。我们在调查哪些信息可以转移到一个新的域的初步努力。对新闻故事和评论文章的实验结果表明，神经摘要模型受益于基于提取摘要的预训练。我们还发现，在域内和域外设置的组合产生更好的摘要时，域内数据不足。进一步的分析表明，该模型即使在域外数据上训练也能够选择突出内容，但需要域内数据来捕获目标域的风格。
2017-07-21 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Neural Extractive Summarization with Side Information
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
大多数抽取式摘要方法关注于需要从中抽取句子的文档的主体。然而，文档的主旨可能在于辅助信息，例如新闻专线文章中经常提供的标题和图像说明。我们建议在单文档提取摘要的背景下探索边信息。我们开发了一个单文档摘要的框架，由一个分层的文档编码器和一个基于注意力的提取器组成，注意力超过边信息。我们在一个大规模的新闻数据集上评估了我们的模型。我们发现，提取摘要与边信息始终优于其对应的，不使用任何边信息，在信息量和流畅性。
2017-09-10 cs.CL
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中，我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子，根据选区分析识别可能的压缩，并使用神经模型对这些压缩进行评分，以生成最终摘要。对于学习，我们构建了Oracle提取压缩摘要，然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明，根据ROUGE的评估，我们的模型实现了强大的性能（与最先进的系统相当）。此外，我们的方法优于现成的压缩模块，人工和手动评估表明，我们的模型的输出通常保持语法。
2019-09-09 cs.CL
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
A Closer Look at Data Bias in Neural Extractive Summarization Models
Fudan University（复旦大学）
在本文中，我们评估了摘要数据集的现状，并探讨了数据集的不同因素如何影响神经提取摘要模型的泛化行为。具体来说，我们首先提出了数据集的几个属性，这对摘要模型的泛化很重要。然后，我们建立了驻留在数据集和模型设计的先验之间的联系，分析数据集的不同属性如何影响模型的结构设计和训练方法的选择。最后，以一个典型的数据集为例，在上述分析的基础上，我们重新思考了模型设计的过程。我们证明，当我们对数据集的特征有了深刻的理解时，一个简单的方法可以为现有的最先进的模型带来显着的改进。
2019-09-30 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
GSum: A General Framework for Guided Neural Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）
神经抽象摘要模型是灵活的，可以产生连贯的摘要，但它们有时是不忠实的，很难控制。虽然以前的研究试图提供不同类型的指导，以控制输出和增加忠诚，这是不清楚这些策略如何比较和对比。在本文中，我们提出了一个通用的和可扩展的指导摘要框架（GSum），可以有效地采取不同种类的外部指导作为输入，我们在几个不同的品种进行实验。实验表明，该模型是有效的，达到了最先进的性能根据ROUGE 4流行的摘要数据集时，使用突出显示的句子作为指导。此外，我们还证明了我们的指导模型可以生成更忠实的摘要，并演示了不同类型的指导如何生成质量不同的摘要，从而为学习模型提供一定程度的可控性。
2021-04-19 cs.CL
SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
IBM（国际商业机器公司）
我们提出了SummaRuNNer，一个循环神经网络（RNN）为基础的序列模型的提取摘要的文件，并表明它实现了性能优于或相当于国家的最先进的。我们的模型具有额外的优势是非常可解释的，因为它允许可视化的预测打破了抽象的功能，如信息内容，显着性和新颖性。我们工作的另一个新贡献是我们的提取模型的抽象训练，它可以单独在人类生成的参考摘要上进行训练，从而消除了对重复级别提取标签的需要。
2016-11-14 cs.CL
Multiplex Graph Neural Network for Extractive Text Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tencent America（腾讯美国）
摘要抽取式文本摘要的目的是从给定的文档中抽取最具代表性的句子作为摘要。为了从一个长文本文档中提取出一个好的摘要，句子嵌入起着重要的作用。最近的研究已经利用图神经网络来捕获内部关系（例如，话语图）来学习上下文句子嵌入。然而，这些方法既不考虑多种类型的内部关系（例如，语义相似性和自然连接），也不建模内部关系（例如，词之间的语义和句法关系）。为了解决这些问题，我们提出了一种新的多重图卷积网络（多GCN），共同建模不同类型的句子和单词之间的关系。基于Multi-GCN，我们提出了一种用于抽取式文本摘要的Multi-GRAS模型。最后，我们在CNN/DailyMail基准数据集上评估了所提出的模型，以证明我们的方法的有效性。
2021-09-09 cs.CL
Discourse-Aware Neural Extractive Text Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
最近，BERT已被用于最先进的文本摘要模型中的文档编码。然而，基于摘要的提取模型往往会导致提取的摘要中出现冗余或无信息的短语。此外，BERT无法很好地捕捉整个文档中的长距离依赖关系，因为它是在句子对而不是文档上进行预训练的。为了解决这些问题，我们提出了一个话语感知的神经摘要模型- DiscoBert。DiscoBert在更细的粒度上提取子空间话语单元（而不是句子）作为提取选择的候选者。为了捕捉语篇单位之间的长程依赖关系，本文基于语义树和共指提及构建了结构化语篇图，并用图卷积网络进行编码。实验表明，该模型优于国家的最先进的方法，由一个显着的利润率流行的摘要基准相比，其他BERT的基础模型。
2020-04-25 cs.CL
LeafNATS: An Open-Source Toolkit and Live Demo System for Neural Abstractive Text Summarization
Virginia Tech（弗吉尼亚理工大学）
神经摘要文本摘要（NATS）在过去的几年里受到了工业界和学术界的广泛关注。在本文中，我们介绍了一个开源的工具包，即LeafNATS，用于训练和评估不同的序列到序列的NATS任务为基础的模型，并部署到现实世界的应用程序的预训练模型。该工具包是模块化的，可扩展的，除了保持竞争力的NATS任务的性能。还实现了一个实时新闻博客系统，以展示这些模型如何通过为博客/新闻编辑提供标题和文章摘要的建议来帮助他们。
2019-05-28 cs.CL
A Semantic Relevance Based Neural Network for Text Summarization and Text Simplification
Peking University（北京大学）
文本摘要和文本简化是为包括儿童、非母语者和功能性文盲在内的贫困读者简化文本的两种主要方法。文本摘要是对文本的主要内容进行简要概括，而文本简化则是降低文本的语言复杂度，保留原文的意思。目前，大多数的文本摘要和文本简化方法都是基于序列到序列模型，它在许多文本生成任务中取得了很大的成功。然而，尽管生成的简化文本在字面上与源文本相似，但它们的语义相关性较低。在这项工作中，我们的目标是提高源文本和简化文本的文本摘要和文本简化之间的语义相关性。我们引入了一个基于语义相关性的神经模型，以鼓励文本和摘要之间的高语义相似性。在我们的模型中，源文本由门控注意编码器表示，而摘要表示由解码器产生。此外，表示之间的相似性得分在训练期间被最大化。我们的实验表明，该模型优于国家的最先进的系统在两个基准语料库。
2017-10-06 cs.CL
Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization
Northeastern University（东北大学）；King’s College London（伦敦国王学院）
我们考虑的问题，自动生成一个叙述性的生物医学证据摘要，从多个试验报告。我们评估了现代神经模型对Cochrane协作成员先前进行的系统综述中的相关文章摘要进行抽象总结，使用综述摘要的作者结论部分作为我们的目标。我们招募医学专业人士来评估生成的摘要，我们发现，现代摘要系统产生一贯流畅和相关的概要，但它们并不总是事实。我们提出了新的方法，利用特定领域的模型来通知摘要，例如，通过明确划分传达关键发现的输入片段，并强调大型和高质量试验的报告。我们发现，这些策略适度地提高了所生成的摘要的事实准确性。最后，我们提出了一种新的方法，自动评估的真实性生成的叙事证据合成模型，推断报告的结果的方向性。
2020-12-22 cs.CL
Conditional Neural Generation using Sub-Aspect Functions for Extractive News Summarization
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
在使用大规模训练语料库的神经架构的推动下，文本摘要已经取得了很大的进展。然而，在新闻领域，由于倒金字塔写作风格的流行，神经模型很容易通过利用与位置相关的特征而过拟合。此外，为不同用户生成各种摘要的需求尚未得到满足。在本文中，我们提出了一个神经框架，可以通过引入一组子方面功能（即重要性，多样性，位置）灵活地控制摘要生成。这些子方面功能由一组控制代码调节，以决定在摘要生成期间关注哪个子方面。我们证明，提取的摘要与最小的位置偏差是可比的标准模型，利用位置偏好。我们还表明，以多样性为重点生成的新闻摘要可以更受人类评分员的青睐。这些结果表明，提供更多控制选项的更灵活的神经摘要框架在定制不同的用户偏好时可能是可取的，这是有用的，因为先验地阐明不同应用的这些偏好通常是不切实际的。
2020-10-06 cs.CL
Understanding Neural Abstractive Summarization Models via Uncertainty
Department of Computer Science（计算机科学系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
seq2seq抽象摘要模型的一个优点是它们以自由形式生成文本，但是这种灵活性使得解释模型行为变得困难。在这项工作中，我们通过研究模型的令牌级预测的熵或不确定性，以黑盒和白盒的方式分析摘要解码器。对于两个强大的预训练模型，PEGASUS和BART在两个摘要数据集上，我们发现低预测熵与模型复制标记而不是生成新文本之间存在很强的相关性。解码器的不确定性还与句子位置和相邻标记对之间的句法距离等因素有关，从而了解哪些因素使上下文对模型的下一个输出标记具有特别的选择性。最后，我们研究了解码器的不确定性和注意行为的关系，以了解注意如何引起这些观察到的影响模型。我们表明，不确定性是一个有用的角度更广泛地分析摘要和文本生成模型。
2020-10-15 cs.CL
Global-aware Beam Search for Neural Abstractive Summarization
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
针对传统束搜索存在的局部最优性问题，提出了一种基于束搜索的神经摘要算法，该算法具有全局注意力分布的意识。具体地说，提出了一种新的全球协议的基础上的注意力分配规定的全球最优假设应该如何参加的来源。然后，开发了全局评分机制来调节束搜索，从而以接近全局最优的方式生成摘要。这种新颖的设计具有独特的性质，即，可以在推断之前预测全局注意力分布，使得能够通过全局评分机制逐步改进束搜索。在九个数据集上的大量实验表明，即使使用经验超参数，全局（注意力）感知推理也显着改善了最先进的摘要模型。该算法也被证明是强大的，因为它仍然产生有意义的文本与腐败的注意力分布。代码和一套全面的例子是可用的。
2021-10-26 cs.CL
Neural Text Summarization: A Critical Evaluation
Salesforce Research（Salesforce研究院）
文本摘要旨在将长文档压缩成较短的形式，以传达原始文档的最重要部分。尽管对社区的兴趣增加，研究工作也取得了显著进展，但基准数据集的进展停滞不前。我们批判性地评估了当前研究设置的关键要素：数据集，评估指标和模型，并强调了三个主要缺点：1）自动收集的数据集使任务约束不足，并且可能包含对训练和评估有害的噪声，2）当前的评估协议与人类判断弱相关，并且没有考虑诸如事实正确性的重要特征，3）模型过度拟合当前数据集的布局偏差，并且在其输出中提供有限的多样性。
2019-08-23 cs.CL
MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization
MIT Media Lab（麻省理工学院媒体实验室）；Google Brain（谷歌大脑）
摘要已经研究了使用神经序列转导方法与数据集的大型，成对的文档摘要的例子。然而，这样的数据集是罕见的，从它们训练的模型不能推广到其他领域。最近，在学习序列到序列映射方面取得了一些进展，只有不成对的例子。在我们的工作中，我们考虑了只有文档（产品或业务评论）而没有提供摘要的情况，并提出了一个端到端的神经模型架构来执行无监督的抽象摘要。我们提出的模型由一个自动编码器组成，其中输入评论的表示的平均值解码为合理的摘要评论，同时不依赖于任何特定于评论的特征。我们考虑所提出的架构的变体，并进行消融研究，以显示特定组件的重要性。我们通过自动化指标和人工评估表明，生成的摘要高度抽象，流畅，相关，并代表了输入评论的平均情绪。最后，我们收集了一个参考评估数据集，并表明我们的模型优于强提取基线。
2019-05-22 cs.CL
Loss-Based Active Learning for Neural Abstractive Summarization
School of Informatics（信息学院）；Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；Microsoft（微软公司）
针对神经抽象摘要生成标注数据获取成本高的问题，提出LOBSTER主动学习框架，在三个数据集和两个模型上验证其性能优于或相当SOTA，且查询选择速度最高提升665倍
2026-08-27 cs.CL
Abstractive Summarization Using Attentive Neural Techniques
Gonzaga University（贡萨加大学）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在一个数据激增的世界里，快速总结文本的能力越来越重要。文本的自动摘要可以被认为是一个序列到序列的问题。解决序列到序列问题的自然语言处理的另一个领域是机器翻译，由于基于注意力的编码器-解码器网络的发展，机器翻译正在迅速发展。这项工作将这些现代技术应用于抽象概括。我们对各种用于摘要的注意力机制进行了分析，目的是开发一种旨在改进现有技术的方法和架构。特别是，我们修改和优化了一个用于生成抽象句子摘要的自注意翻译模型。这个基础模型的有效性以及注意力变量进行了比较和分析的背景下，标准化的评估集和测试指标。然而，我们发现，这些指标是有限的，在他们的能力，有效地评分抽象摘要，并提出了一种新的方法，基于直觉的抽象模型需要一个抽象的评价。
2018-10-20 cs.CL
Classify or Select: Neural Architectures for Extractive Document Summarization
IBM Watson（IBM 沃森）；Oregon State University（俄勒冈州立大学）
我们提出了两种新的和对比的递归神经网络（RNN）的基础架构提取摘要的文件。基于分类器的体系结构按原始文档顺序顺序接受或拒绝每个句子，以确定其在最终摘要中的成员资格。另一方面，可扩展架构可以自由地以任意顺序一次选择一个句子来拼凑摘要。我们的模型在这两种架构下共同捕捉句子的显着性和冗余的概念。此外，这些模型的优点是非常可解释的，因为它们允许通过抽象特征（如信息内容，显着性和冗余）分解预测的可视化。我们证明了我们的模型在两个不同的语料库上达到或优于最先进的监督模型。我们还建议的条件下，一个架构优于其他基于实验证据。
2016-11-14 cs.CL
Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection
University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
尽管在神经抽象摘要方面取得了重大进展，但最近的研究表明，当前的模型容易生成不忠实于原始上下文的摘要。为了解决这个问题，我们研究对比候选生成和选择作为一个模型不可知的后处理技术，以纠正外在的幻觉（即信息不存在于源文本）在不忠实的摘要。我们通过生成替代候选摘要来学习判别校正模型，其中所生成的摘要中的命名实体和数量被替换为来自源文档的具有兼容语义类型的实体和数量。然后使用该模型选择最佳候选项作为最终输出摘要。我们在一些神经摘要系统上的实验和分析表明，我们提出的方法在识别和纠正外部幻觉方面是有效的。我们通过不同类型的神经摘要系统分析了典型的幻觉现象，希望为未来的工作方向提供见解。
2021-04-19 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具，并有几个实际应用。随着在线文本数据的增长，近年来提出了许多摘要模型。基于序列到序列（Seq2Seq）的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而，现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成，导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题，而一个摘要无法公正地处理所有主题。因此，生成高质量摘要的关键是确定中心主题，并在此基础上构建摘要，特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息，构建了一个全面的句子表示。具体而言，在基于神经元的文本级表示学习中添加神经元主题模型，以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明，我们的模型优于最先进的模型。
2022-03-31 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design（系统设计研究生院）；Tokyo Metropolitan University（东京都立大学）
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题，相同的内容在摘要中，他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是，标准数据集包括可变长度的摘要，导致分析信息流时出现问题，具体地说，第一个句子与下面的句子相关的方式。因此，我们使用一个数据集包含的摘要只有三个要点，并提出了一个基于神经网络的抽象摘要模型，认为所生成的摘要的信息结构。我们的实验结果表明，摘要的信息结构可以控制，从而提高整体摘要的性能。
2018-09-28 cs.CL
Diverse Beam Search for Increased Novelty in Abstractive Summarization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
文本摘要将文本压缩为较短的版本，同时保留重要信息。摘要摘要是一种新的发展，它生成新的短语，而不是简单地复制或改写原始文本中的句子。最近，神经序列到序列模型在抽象摘要领域取得了很好的效果，这为工业目的开辟了新的可能性和应用。然而，大多数从业者观察到，这些模型在输出摘要中仍然使用大部分原始文本，使其通常类似于提取框架。为了解决这个缺点，我们首先引入了一个新的度量标准来衡量从输入文本中提取了多少摘要。其次，我们提出了一种新的方法，它依赖于一个多样性的因素，在计算神经网络的损失，以提高多样性的摘要产生的任何神经抽象模型实现束搜索。最后，我们证明了这种方法不仅使系统不那么提取，而且还将最先进的方法的整体胭脂分数提高了至少2个点。
2018-02-05 cs.CL
SummVis: Interactive Visual Analysis of Models, Data, and Evaluation for Text Summarization
Salesforce Research（Salesforce研究院）；Stanford University（斯坦福大学）
新颖的神经结构、训练策略和大规模语料库的可用性是最近抽象文本摘要进展背后的驱动力。然而，由于神经模型的黑箱性质、无信息的评估指标以及用于模型和数据分析的稀缺工具，摘要模型的真实性能和故障模式在很大程度上仍然未知。为了解决这一限制，我们引入了SummVis，这是一种用于可视化抽象摘要的开源工具，可以对与文本摘要相关的模型，数据和评估指标进行细粒度分析。通过其词汇和语义可视化，这些工具为跨重要维度（如事实一致性或抽象性）进行深入的模型预测探索提供了一个简单的切入点。该工具以及几个预先计算的模型输出可在https://github.com/robustness-gym/summvis上获得。
2021-07-26 cs.CL
Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
在zero-shot多语言抽取式文本摘要中，通常在英语摘要数据集上训练模型，然后将其应用于其他语言的摘要数据集。给定英文黄金摘要和文档，用于提取摘要的摘要级标签通常使用语法生成。然而，在英语数据集上创建的这些单语标签在其他语言的数据集上可能不是最佳的，因为不同语言之间存在句法或语义差异。通过这种方式，可以将英语数据集翻译为其他语言，并使用语法学再次获得不同的标签集。为了充分利用这些不同标签集的信息，我们提出了NLSSum（用于摘要的神经标签搜索），它与我们的摘要模型一起学习这些不同标签集的分层权重。我们在MLSUM和WikiLingua数据集上进行了多语言zero-shot摘要实验，并在这两个数据集上使用人工和自动评估实现了最先进的结果。
2022-04-29 cs.AI cs.CL
Controlling the Amount of Verbatim Copying in Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
摘要不得改变原文的意思。实现这一点的一个最有效的方法是增加复制量，同时仍然允许文本抽象。人类编辑通常可以对复制进行控制，从而使摘要更抽象，反之亦然。然而，现代神经抽象概括器是否能提供同样的灵活性，即，从单个参考摘要中学习以生成具有不同程度的复制的多个摘要假设。在本文中，我们提出了一个神经摘要模型，通过从单个人类摘要中学习，可以产生从纯粹提取到高度生成的广泛摘要。我们框架的任务摘要语言建模和利用替代机制生成摘要假设。我们的方法允许在神经摘要模型的训练和解码阶段控制复制。通过大量的实验，我们说明了我们提出的方法的意义上控制逐字复制的量，并取得了竞争力的结果强基线。我们的分析进一步揭示了有趣而不明显的事实。
2019-11-23 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126（亚马逊Lab126）；eBay Inc.（eBay公司）；Google（谷歌）
序列到序列（Seq2Seq）学习最近已被用于抽象和提取摘要。在目前的研究中，Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型，使用RNN进行抽象和提取摘要。直觉上，这类似于人类在阅读文档之前阅读标题，摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法，并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息，以获得更好的摘要。通过这种方式，输出摘要更加以文档为中心，而不是通用的，克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外，生成人类提取的摘要是非常昂贵的规模，因此，我们提出了一种半监督技术，用于提取近似摘要，并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估，并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器（上下文和非上下文）的并排比较。总的来说，我们提供了方法来使用和评估所提出的技术，大型文档摘要。此外，我们发现这些技术非常有效，而现有技术并非如此。
2018-07-29 cs.CL
Faithful to the Original: Fact Aware Neural Abstractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Microsoft Research（微软研究院）；Peking University（北京大学）
摘要与抽取式摘要不同，摘要必须融合源文本的不同部分，这倾向于创建虚假事实。我们的初步研究表明，来自最先进的神经摘要系统的近30%的输出都存在这个问题。虽然以前的摘要方法通常侧重于信息量的提高，我们认为，忠实性也是一个实用的摘要系统的重要前提。为了避免在摘要中生成虚假事实，我们利用开放的信息抽取和依赖解析技术从源文本中提取实际的事实描述。然后提出了双注意序列到序列框架，以迫使生成条件的源文本和提取的事实描述。在Gigaword基准数据集上的实验表明，我们的模型可以大大减少80%的虚假摘要。值得注意的是，事实描述也带来了显着的信息量的改善，因为他们往往浓缩的源文本的含义。
2017-11-13 cs.CL cs.IR
How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning
Jadavpur University（贾达普大学）；Indian Association for the Cultivation of Science（印度科学促进会）；Techno India University（印度技术大学）
本文针对文本摘要微调任务，比较T5-base、BART-base与LLaMA-3-8B的碳足迹和多项指标性能，发现LLaMA-3-8B环境成本最高，凸显节能AI的必要性。
2025-03-14 cs.CL
An entity-guided text summarization framework with relational heterogeneous graph neural network
School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）
本文提出实体引导的两步摘要框架，利用实体构建连接KG的加权异构句子-实体图，并通过关系异构GNN建模跨句关系与外部知识，在CNN/DM和NYT50上取得优于基线的效果。
2023-02-07 cs.CL
Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
文本摘要的目的是将文本压缩成简短的摘要，同时保留显著信息。摘要抽取式自动摘要方法以其流畅性和高效性被广泛应用于文本摘要中。然而，大多数现有的提取模型很难捕捉句子间的关系，特别是在长文档。他们还经常忽视主题信息对捕捉重要内容的影响。为了解决这些问题，本文提出了一个基于图神经网络（GNN）的提取摘要模型，使捕捉句子间的关系，有效地通过图结构的文档表示。此外，我们的模型集成了一个联合神经主题模型（NTM），以发现潜在的主题，它可以提供文档级的功能，句子选择。实验结果表明，我们的模型不仅在CNN/DM和NYT数据集上取得了最先进的结果，而且在由更长文档组成的科学论文数据集上的性能也大大优于现有方法，表明其在文档类型和长度方面具有更好的鲁棒性。进一步的讨论表明，主题信息可以帮助模型从整个文档中预选出显著的内容，这解释了它在长文档摘要中的有效性。
2020-10-13 cs.AI cs.CL
Towards Supervised Extractive Text Summarization via RNN-based Sequence Classification
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；University of Bonn（波恩大学）
本文简要介绍了我们提交的DocEng'19比赛的方法。我们实现了一个基于递归神经网络的模型，该模型学习分类文章的句子是否属于相应的提取摘要。我们绕过了缺乏大型注释新闻语料库提取摘要从抽象的，这是可从CNN语料库生成摘要。
2019-11-13 cs.CL
Explaining Veracity Predictions with Evidence Summarization: A Multi-Task Model Approach
Middle East Technical University（中东技术大学）
针对社交媒体错误信息检测，提出一种多任务可解释神经模型，将真实性预测的解释生成视为文本摘要问题，并在公开数据集上评估其性能。
2024-02-09 cs.CL
Entity Commonsense Representation for Neural Abstractive Summarization
Yonsei University（延世大学）
文本摘要的主要部分包括在原始文本中找到的重要实体。这些实体构成了摘要的主题。此外，一旦它们与知识库相关联，它们就拥有常识信息。基于这些观察，本文研究了链接实体的使用，以指导神经文本摘要器的解码器生成简洁和更好的摘要。为此，我们利用一个现成的实体链接系统（ELS）提取链接的实体，并提出一个模块，很容易附加到一个序列到序列的模型，将一个列表的实体转换成一个向量表示的主题的摘要。目前可用的ELS仍然不够有效，可能会引入未解决的模糊性和不相关的实体。我们解决了ELS的缺陷（a）编码实体与选择性消歧，和（b）池实体向量使用公司的注意力。通过将E2T应用于以注意力机制为基础模型的简单序列到序列模型，我们看到Gigaword（句子到标题）和CNN（长文档到多句突出显示）摘要数据集的性能至少有2个ROUGE点的显着改善。
2018-06-14 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
Multi-stage Pretraining for Abstractive Summarization
Google Research（谷歌研究院）
用于抽象摘要的神经模型往往在存在高度专业化的摘要特定建模插件（如指针生成器、覆盖建模和推理时间分析）的情况下实现最佳性能。我们在这里表明，预训练可以补充这种建模进步，使用两个关键概念：全网络初始化和多阶段预训练，在短格式和长格式抽象摘要中产生改进的结果。我们的方法允许模型从多个预训练任务中过渡受益，从通用语言任务到专门的摘要任务，再到更专业的摘要任务，如基于项目符号的摘要。使用这种方法，我们证明了1.05 ROUGE-L点的Gigaword基准和1.78 ROUGE-L点的CNN/DailyMail基准的改进，相比随机初始化的基线。
2019-09-23 cs.CL
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本综述全面回顾了抽象文本摘要中的事实不一致问题，重点梳理了旨在筛选无事实错误输出的感知事实评估指标，以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
Toward Extractive Summarization of Online Forum Discussions via Hierarchical Attention Networks
University of Central Florida（中佛罗里达大学）
论坛的帖子很长，内容丰富。简洁的主题摘要将有利于寻求信息的新人和参与讨论的人。然而，很少有研究探讨了论坛主题摘要的任务。在这项工作中，我们第一次尝试适应线程摘要的层次注意力网络。该模型利用神经注意力机制的最新发展来构建句子和线索表示并将其用于摘要。我们的研究结果表明，所提出的方法可以优于一系列的竞争基线。此外，冗余去除步骤对于实现出色的结果至关重要。
2018-12-26 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research（谷歌研究院）
众所周知，神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中，我们分析了这些模型的局限性，抽象的文档摘要，发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估，以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅在原始指标方面，即，ROUGE，但也在生成由人类评估的忠实和事实的总结。此外，我们表明，文本蕴涵措施更好地与忠诚度比标准的指标，潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
Windowing Models for Abstractive Summarization of Long Texts
University of Mannheim（曼海姆大学）；inovex GmbH（inovex有限公司）
神经摘要模型受到固定大小输入限制的影响：如果文本长度超过模型的最大输入标记数，则某些文档内容（可能与摘要相关）会被截断。我们提出了（任意）长文本的神经抽象摘要的窗口模型。我们扩展了序列到序列模型，增加了指针生成器网络，（1）允许编码器在输入文档的不同窗口上滑动，（2）共享解码器并在不同的输入窗口上保留其状态。我们探索两种窗口化变体：静态窗口化预先计算解码器应该从每个窗口生成的令牌数量（基于训练语料统计）;在动态窗口化中，解码器学会发出一个令牌，该令牌指示编码器向下一个输入窗口的移位。实证结果使我们的模型在其预期的用例中有效：总结长文本，相关内容不限于文档开头。
2020-04-07 cs.CL
Restructuring Conversations using Discourse Relations for Zero-shot Abstractive Dialogue Summarization
adsc-create.edu.sg；cs.cmu.edu
由于会话数据的非正式和非结构化性质，会话摘要是一个具有挑战性的问题。摘要摘要的最新进展一直集中在数据饥饿的神经模型和适应这些模型到一个新的领域需要特定领域的可用性手动注释语料库创建的语言专家。我们提出了一个zero-shot的抽象对话摘要方法，使用话语关系来提供结构的对话，然后使用一个开箱即用的文档摘要模型来创建最终的摘要。在AMI和ICSI会议语料库上进行的实验，使用PGN和BART等文档摘要模型，表明我们的方法将ROGUE分数提高了3分，甚至与其他最先进的方法相比具有竞争力。
2020-10-13 cs.CL
Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization
NTT Communication Science Laboratories, NTT Corporation（NTT通信科学实验室，NTT公司）
本文解决了在基于RNN的编码器-解码器模型中经常观察到的冗余重复生成的减少。我们的基本思想是在编码器中联合估计每个目标词汇的上界频率，并在解码器中根据估计控制输出单词。我们的方法在基于RNN的编码器-解码器基线上显示出显着的改进，并在抽象摘要基准上取得了最佳结果。
2017-02-13 cs.AI cs.CL stat.ML
