A more abstractive summarization model
指针生成网络是一种非常流行的文本摘要方法。最近在这个领域的工作仍然建立在基线指针生成器的基础上，通过增加内容选择阶段，或通过将解码器分解为上下文网络和语言模型。然而，基于指针生成器基础架构的所有这些模型都不能在摘要中生成新的单词，并且大多数都是从源文本中复制单词。在我们的工作中，我们首先彻底调查了为什么指针生成器网络无法生成新单词，然后通过添加词汇表外（OOV）惩罚来解决这个问题。这使我们能够显著提高新颖性/抽象性的数量。我们使用规范化的n-gram的新颖性分数作为度量，用于确定抽象的水平。此外，我们还报告了我们的模型的胭脂分数，因为大多数摘要模型的评估与R-1，R-2，R-L分数。
2020-02-25 cs.CL
StructSum: Summarization via Structured Representations
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
摘要文本摘要的目的是将长源文档的信息压缩成重新措辞的、精简的摘要。尽管建模技术取得了进步，但抽象摘要模型仍然面临着几个关键挑战：（i）布局偏差：它们过度适应训练语料库的风格;（ii）有限的抽象性：它们被优化为从源代码复制n-gram，而不是生成新的抽象摘要;（iii）缺乏透明度：它们不可解释。在这项工作中，我们提出了一个基于文档级结构归纳的摘要框架来解决这些挑战。为此，我们建议将源文档中句子之间的潜在和显式依赖关系纳入端到端的单文档摘要模型。我们的框架补充了标准的编码器-解码器摘要模型，通过使用基于隐式学习（潜在）结构和外部派生语言（显式）结构的丰富的结构感知文档表示来增强它们。我们证明了我们的摘要框架，在CNN/DM数据集上训练，提高了源文档中内容的覆盖率，通过生成更多新颖的n-gram生成更抽象的摘要，并结合了可解释的摘要级结构，同时与标准基线保持一致。
2021-02-16 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
Diverse Beam Search for Increased Novelty in Abstractive Summarization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
文本摘要将文本压缩为较短的版本，同时保留重要信息。摘要摘要是一种新的发展，它生成新的短语，而不是简单地复制或改写原始文本中的句子。最近，神经序列到序列模型在抽象摘要领域取得了很好的效果，这为工业目的开辟了新的可能性和应用。然而，大多数从业者观察到，这些模型在输出摘要中仍然使用大部分原始文本，使其通常类似于提取框架。为了解决这个缺点，我们首先引入了一个新的度量标准来衡量从输入文本中提取了多少摘要。其次，我们提出了一种新的方法，它依赖于一个多样性的因素，在计算神经网络的损失，以提高多样性的摘要产生的任何神经抽象模型实现束搜索。最后，我们证明了这种方法不仅使系统不那么提取，而且还将最先进的方法的整体胭脂分数提高了至少2个点。
2018-02-05 cs.CL
HydraSum: Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Hugging Face（Hugging Face（抱抱脸））；Faire；Salesforce Research（赛富时研究院）
摘要系统在推理过程中对摘要属性做出了许多“决定”，例如复制程度、输出的特异性和长度等。然而，这些都被隐式地编码在模型参数中，无法强制执行特定的样式。为了解决这个问题，我们引入了HydraSum，这是一种新的摘要架构，它将当前模型的单个解码器框架扩展到具有多个解码器的专家混合版本。我们表明，HydraSum的多个解码器自动学习对比摘要风格时，在标准的训练目标，没有任何额外的监督下训练。通过对三个摘要数据集（CNN，Newsroom和XSum）的实验，我们表明HydraSum提供了一种简单的机制，通过从单个解码器或其混合物中采样来获得风格多样的摘要，优于基线模型。最后，我们证明了在训练过程中对门控策略的一个小的修改可以强制执行更严格的风格划分，例如高与低抽象性或高与低特异性，允许用户从生成空间中的更大区域进行采样，并沿多个维度改变摘要风格。
2022-10-21 cs.CL
Get To The Point: Summarization with Pointer-Generator Networks
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）
神经序列到序列模型为抽象文本摘要提供了一种可行的新方法（这意味着它们不限于简单地从原始文本中选择和重新排列段落）。然而，这些模型有两个缺点：它们容易不准确地再现事实细节，并且它们倾向于重复自己。在这项工作中，我们提出了一种新的架构，增强了标准的序列到序列的注意力模型在两个正交的方式。首先，我们使用混合指针生成器网络，它可以通过指向从源文本复制单词，这有助于准确再现信息，同时保留通过生成器生成新单词的能力。第二，我们使用覆盖率来跟踪已经总结的内容，这不鼓励重复。我们将我们的模型应用于CNN/Daily Mail摘要任务，至少比当前抽象的最先进技术高出2个ROUGE点。
2017-04-25 cs.CL
Length-controllable Abstractive Summarization by Guiding with Summary Prototype
NTT Media Intelligence Laboratories（日本电信电话公司媒体智能实验室）；NTT Corporation（日本电信电话公司）；Nara Institute of Science Technology（奈良先端科学技术大学院大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
提出了一种新的长度可控的摘要模型。最近的国家的最先进的抽象摘要模型的基础上的编码器-解码器模型生成每个源文本只有一个摘要。然而，摘要的可控性，尤其是摘要长度的可控性，是实际应用中的一个重要方面。以往的研究长度可控的摘要将长度嵌入的解码器模块控制摘要的长度。虽然长度嵌入可以控制在哪里停止解码，但它们并不决定在长度约束内哪些信息应该包括在摘要中。与以前的模型不同，我们的长度可控的抽象摘要模型在编码器-解码器模型中引入了一个词级提取模块，而不是长度嵌入。我们的模型通过两个步骤生成摘要。首先，我们的词级提取器提取一个序列的重要词（我们称之为“原型文本”）从源文本根据词级的重要性分数和长度约束。其次，原型文本被用作编码器-解码器模型的附加输入，该模型通过联合编码和复制来自原型文本和源文本的单词来生成摘要。由于原型文本是对摘要内容和长度的指导，因此我们的模型可以生成信息丰富且长度受控的摘要。使用CNN/Daily Mail数据集和NEWSROOM数据集的实验表明，我们的模型在长度控制设置中优于以前的模型。
2020-01-21 cs.CL
FRSUM: Towards Faithful Abstractive Summarization via Enhancing Factual Robustness
Peking University（北京大学）；Baidu Inc.（百度公司）；Soochow University（苏州大学）
尽管能够生成流畅和合乎语法的文本，但目前的Seq2Seq摘要模型仍然存在不忠实的生成问题。在本文中，我们研究了现有系统的忠实性，从一个新的角度，事实的鲁棒性，这是正确地生成事实信息对抗不忠实的信息的能力。我们首先通过模型在生成事实信息时抵御对抗攻击的成功率来衡量模型的事实鲁棒性。对现有系统的实际鲁棒性分析表明，它与人类对忠诚的判断具有良好的一致性。受这些发现的启发，我们建议通过增强模型的事实鲁棒性来提高模型的忠实性。具体来说，我们提出了一种新的训练策略，即FRSUM，它教会模型防御显式对抗样本和隐式事实对抗扰动。大量的自动和人工评估结果表明，FRSUM始终如一地提高了各种Seq2Seq模型（如T5，BART）的可信度。
2022-11-01 cs.CL
Amharic Abstractive Text Summarization
Ain-Shams University（艾因夏姆斯大学）
文本摘要是将长文本压缩成几个句子的任务。已经提出了许多方法来完成这项任务，其中一些最早的方法是建立统计模型（提取方法）能够选择重要的单词并将它们复制到输出中，但是这些模型缺乏解释句子的能力，因为它们只是选择重要的单词，而没有真正理解它们的上下文，也没有理解它们的含义，因此使用基于深度学习的架构（抽象方法），它有效地试图理解句子的含义，以建立有意义的摘要。在这项工作中，我们讨论了这些新的新颖的方法之一，结合课程学习与深度学习，这个模型被称为预定采样。我们将这项工作应用于最广泛使用的非洲语言之一，即阿姆哈拉语，因为我们试图用一流的深度学习架构来丰富非洲NLP社区。
2020-03-30 cs.CL cs.LG
Inference Time Style Control for Summarization
University of Michigan（密歇根大学）
如何生成不同风格的摘要，而不需要目标风格的语料库，或训练单独的模型？我们提出了两种新的方法，可以在任何预训练的基于transformer的摘要模型上进行摘要解码。(1)解码器状态调整通过外部训练的风格评分器即时修改解码器最终状态，以针对目标风格迭代地细化输出。(2)词单元预测约束词的使用，在生成过程中施加强大的词汇控制。在简单控制的总结实验中，自动评估和人类判断都发现我们的模型在更简单的语言中产生输出，同时仍然提供信息。我们还生成具有各种意识形态倾向的新闻标题，人类可以以合理的概率区分这些标题。
2021-04-05 cs.CL
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们解决了序列到序列（Seq 2Seq）学习中的一个重要问题，即复制，其中输入序列中的某些片段在输出序列中被选择性地复制。在人类语言交流中也可以观察到类似的现象。例如，人类倾向于在谈话中重复实体名称甚至长短语。在Seq 2Seq中复制的挑战是需要新的机器来决定何时执行操作。在本文中，我们将复制到基于神经网络的Seq 2Seq学习，并提出了一个新的模型称为CopyNet的编码器-解码器结构。CopyNet可以很好地将解码器中的常规单词生成方式与新的复制机制相结合，该机制可以选择输入序列中的子序列，并将它们放在输出序列中的适当位置。我们对合成数据集和真实世界数据集的实证研究证明了CopyNet的有效性。例如，CopyNet可以在文本摘要任务上超越常规的基于RNN的模型，具有显着的优势。
2016-06-08 cs.AI cs.CL cs.LG
Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
针对低资源语言跨语言摘要性能不佳的问题，提出四步零样本SITR方法（摘要、改进、翻译、精炼），在多个数据集上验证，显著提升GPT-3.5和GPT-4的跨语言摘要能力。
2025-03-25 cs.AI cs.CL
Importance of Copying Mechanism for News Headline Generation
MIPT（莫斯科物理技术学院）
新闻标题的生成是文本摘要的一个基本问题，因为它是受约束的，定义明确的，并且仍然很难解决。词汇量有限的模型不能很好地解决这个问题，因为新的命名实体可能会经常出现在新闻中，这些实体通常应该出现在标题中。在形态丰富的语言，如俄语的新闻文章需要模型修改，由于大量的可能的单词形式。本研究旨在验证具有从原始文章复制单词的可能性的模型比没有这种选项的模型表现更好。所提出的模型在提供的测试数据集上实现了平均ROUGE得分23，这比没有复制机制的类似模型的结果高8分。此外，所得到的模型比任何已知的模型在新的俄罗斯新闻数据集上的表现更好。
2019-04-25 cs.AI cs.CL cs.LG
Neural Abstractive Text Summarization and Fake News Detection
Stanford University（斯坦福大学）
在这项工作中，我们研究抽象的文本摘要，探索不同的模型，如LSTM编码器解码器与注意，指针生成器网络，覆盖机制，和Transformers。经过广泛和仔细的超参数调整，我们比较了所提出的架构对彼此的抽象文本摘要任务。最后，作为我们工作的延伸，我们将我们的文本摘要模型作为假新闻检测任务的特征提取器，在该任务中，将对分类之前的新闻文章进行总结，并将结果与仅使用原始新闻文本的分类进行比较。关键词：LSTM，编码器-解码器，抽象文本摘要，指针生成器，覆盖机制，Transformers，假新闻检测
2019-12-12 cs.CL cs.LG stat.ML
What to Read in a Contract? Party-Specific Summarization of Legal Obligations, Entitlements, and Prohibitions
Adobe Research（Adobe研究院）；University of Maryland, College Park（马里兰大学学院公园分校）
提出法律合同特定方抽取式摘要任务，构建约293K句子对数据集训练成对重要性排序器，并开发基于流水线的摘要系统，通过自动和人工评估证明其有效性。
2023-10-24 cs.CL
Closed-Book Training to Improve Summarization Encoder Memory
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
一个好的神经序列到序列摘要模型应该有一个强大的编码器，可以从长输入文本中提取和记忆重要信息，以便解码器可以根据编码器的记忆生成突出的摘要。在本文中，我们的目标是提高记忆能力的指针生成器模型的编码器，通过添加一个额外的“闭卷”解码器没有注意力和指针机制。这样的解码器迫使编码器在其存储器状态中编码的信息中更具选择性，因为解码器不能依赖于由注意和可能的复制模块提供的额外信息，因此改进了整个模型。在CNN/Daily Mail数据集上，我们的2-解码器模型在ROUGE和METEOR指标方面，对于交叉熵和增强设置（以及人类评估），都显着优于基线。此外，我们的模型在仅测试DUC-2002泛化设置中也获得了更高的分数。我们进一步提出了一个记忆能力测试，两个显着性指标，以及几个健全检查消融（基于固定编码器，梯度流切割，和模型容量），以证明我们的2解码器模型的编码器实际上学习更强的内存表示比基线编码器。
2018-09-12 cs.AI cs.CL
SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个概念简单但经验强大的抽象摘要框架SimCLS，它可以通过将文本生成公式化来弥合学习目标与当前占主导地位的序列到序列学习框架产生的评估指标之间的差距。无参考评估问题（即，质量评估）。实验结果表明，与现有的最高评分系统的微小修改，SimCLS可以提高现有的高性能模型的性能由大幅度。特别是，在CNN/DailyMail数据集上，相对于BART的绝对改进为2.51，相对于PEGASUS的ROUGE-1的绝对改进为2.50，将最先进的性能提升到了一个新的水平。我们已经开源了我们的代码和结果：https://github.com/yixinL7/SimCLS。我们提出的模型的结果已经部署到ExplainaBoard平台，这使得研究人员能够以更细粒度的方式了解我们的系统。
2021-06-03 cs.CL
Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention
研究针对长序列大语言模型推理计算成本高的问题，提出脉冲星注意力机制，用轻量级组件取代静态锚点，减少计算量，在多个模型测试中表现出色，优于星型注意力和密集注意力，有显著绝对增益。
2026-08-10 cs.AI cs.CL
A Convolutional Attention Network for Extreme Summarization of Source Code
University of Edinburgh（爱丁堡大学）；Peking University（北京大学）
神经网络中的注意力机制已被证明对于输入和输出不具有固定维数的问题是有用的。通常存在局部平移不变的特征，并且对于引导模型的注意力是有价值的，但是以前的注意力架构并不是专门为了学习这些特征而构建的。我们引入了一个注意力神经网络，它采用卷积的输入令牌检测本地时不变和长距离的主题注意力特征的上下文相关的方式。我们将这种架构应用于将源代码片段极端总结成简短的、描述性的函数名称之类的摘要的问题。使用这些功能，该模型通过边缘化两个注意力机制来顺序生成摘要：一个基于输入标记的注意力权重预测下一个摘要标记，另一个能够将代码标记直接复制到摘要中。我们在10个流行的Java项目上展示了我们的卷积注意力神经网络的性能，表明与以前的注意力机制相比，它实现了更好的性能。
2016-05-25 cs.CL cs.LG cs.SE
Improving the Robustness of Summarization Systems with Dual Augmentation
Ant Group（蚂蚁集团）；University of Notre Dame（圣母大学）；Microsoft（微软）
本文提出 SummAttacker 生成语义一致的对抗样本，并结合输入空间增强与隐藏空间 manifold softmixing 双重增强，显著提升摘要系统在噪声、攻击及干净数据上的鲁棒性。
2023-06-01 cs.CL
Few-Shot Learning of an Interleaved Text Summarization Model by Pretraining with Synthetic Data
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Machine Intelligence, Siemens Healthineers, Princeton（西门子医疗 Princeton 机器智能部门）；Toyota Research Institute, Los Altos, California（丰田研究所）；Machine Intelligence, Siemens AG, Munich（西门子股份公司慕尼黑机器智能部门）
属于不同线程的帖子按顺序出现的交错文本通常出现在在线聊天帖子中，因此快速获得讨论的概述可能很耗时。现有的系统首先通过线程解开帖子，然后从这些线程中提取摘要。这种系统的一个主要问题是来自解纠缠组件的错误传播。虽然端到端可训练摘要系统可以避免显式解纠缠，但此类系统需要大量标记数据。为了解决这个问题，我们建议使用合成交织文本来预训练端到端的可训练分层编码器-解码器系统。我们表明，通过对真实世界的会议数据集（AMI）进行微调，这样的系统比传统的两步系统的性能高出22%。我们还与Transformer模型进行了比较，并观察到编码器和解码器都使用合成数据进行预训练的效果优于BertSumExtAbs Transformer模型，该模型仅在大型数据集上预训练编码器。
2021-03-08 cs.CL
GreekT5: A Series of Greek Sequence-to-Sequence Models for News Summarization
University of Patras（帕特雷大学）
本文提出一系列希腊语新闻摘要序列到序列模型GreekT5，在相同数据集上评估，多数模型显著优于最先进的GreekBART，并公开评估代码以促进可重复研究。
2023-11-13 cs.AI cs.CL
ViT5: Pretrained Text-to-Text Transformer for Vietnamese Language Generation
VietAI Research（VietAI研究院）；Case Western Reserve University（凯斯西储大学）；New York University（纽约大学）
我们提出了ViT 5，这是一个用于越南语的预训练的基于transformer的编码器-解码器模型。通过T5风格的自我监督预训练，ViT 5在大量高质量和多样化的越南语文本语料库上进行训练。我们在两个下游文本生成任务上对ViT 5进行基准测试，抽象文本摘要和命名实体识别。尽管由于其丰富而庞大的数据源，摘要文本摘要在英语中得到了广泛的研究，但在越南语中，对同样的任务的研究却很少，越南语是一种低得多的资源语言。在这项工作中，我们对越南语抽象摘要和命名实体识别进行了详尽的实验，验证了ViT 5对许多其他预训练的基于transformer的编码器-解码器模型的性能。我们的实验表明，ViT 5显着优于现有的模型，并实现了最先进的越南语文本摘要的结果。在命名实体识别的任务中，ViT 5与先前基于预训练编码器的Transformer模型的最佳结果相比具有竞争力。进一步的分析表明，在不同设置的下游性能的自我监督预训练过程中，上下文长度的重要性。
2022-05-26 cs.AI cs.CL
Improving generation quality of pointer networks via guided attention
Adobe Research（奥多比研究院）；Carnegie Mellon University（卡内基梅隆大学）
指针生成器网络已成功地用于抽象摘要。除了生成新单词的能力外，它还允许模型从输入文本中复制来处理词汇表外的单词。在本文中，我们指出了两个关键的缺点，通过人工检查，统计分析和人类的评价与此框架生成的摘要。第一个缺点是生成的摘要的提取性质，因为网络最终会在大多数情况下从输入文章中复制，从而影响生成的摘要的抽象性质。第二个缺点是生成的文本中的事实不准确，尽管语法正确。我们的分析表明，这是由于不正确的注意力转移之间的文章的不同部分。我们提出了一个初步的尝试，通过外部附加从输入文本解析的传统语言信息，从而在底层文本的结构上教授网络，来解决这两个缺点。结果表明，这种额外的线索，以提高一代的可行性和潜力。
2019-01-20 cs.CL cs.LG stat.ML
