Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；MILA（蒙特利尔学习算法研究所）
现有技术的抽象摘要系统通常生成\emph{hallucinations} ;即，不能从源文本直接推断的内容。尽管假设是不正确的，但我们发现许多幻觉内容是真实的，即与世界知识一致。这些真实的幻觉可以通过提供有用的背景信息而在摘要中受益。在这项工作中，我们提出了一种新的检测方法，将实体的真实幻觉与非真实幻觉分开。我们的方法利用一个实体的先验和后验概率根据预先训练和微调掩蔽语言模型，分别。实证结果表明，我们的方法大大优于两个基线%的准确性和F1分数，并与人类的判断强烈相关。%的真实性分类任务。此外，我们表明，我们的检测器，当用作奖励信号在离线强化学习（RL）算法，显着提高了真实性的摘要，同时保持抽象的水平。
2021-12-06 cs.CL
Faithful or Extractive? On Mitigating the Faithfulness-Abstractiveness Trade-off in Abstractive Summarization
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；New York University（纽约大学）；Cornell University（康奈尔大学）
尽管最近在摘要摘要方面取得了进展，但系统仍然遭受忠实性错误。虽然先前的工作已经提出了提高忠实度的模型，但尚不清楚这种改进是否来自模型输出的提取水平的提高，因为提高忠实度的一种简单方法是使摘要模型更提取。在这项工作中，我们提出了一个框架，用于评估有效的忠实性摘要系统，通过生成一个faithfulnessabstractiveness权衡曲线，作为控制在不同的操作点上的抽象频谱。然后，我们表明，最大似然估计（MLE）的基线，以及最近提出的方法，以提高忠诚度，都比控制在同一水平的抽象。最后，我们学习了一个选择器来识别给定文档的最忠实和最抽象的摘要，并表明该系统可以在人类评估中获得更高的忠实度分数，同时在两个数据集上比基线系统更抽象。此外，我们表明，我们的系统是能够实现一个更好的忠实性，抽象性的权衡比控制在同一水平的抽象性。
2022-04-21 cs.CL
Enhancing Abstractiveness of Summarization Models through Calibrated Distillation
AWS AI Labs（AWS人工智能实验室）
本文提出DisCal方法，通过校准蒸馏在序列级知识蒸馏中兼顾摘要的抽象性与信息量，实验证明其优于现有方法。
2023-12-04 cs.CL
Query-Based Abstractive Summarization Using Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
在本文中，我们提出了一个模型，生成摘要的文本文档的查询。这称为基于查询的摘要。我们针对该任务调整现有的新闻文章摘要数据集，并使用该数据集训练指针生成器模型。通过测量与参考摘要的相似性来评价生成的摘要。我们的研究结果表明，一个神经网络摘要模型，类似于现有的神经网络模型的抽象摘要，可以构建利用查询，以产生有针对性的摘要。
2017-12-17 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
Multi-stage Pretraining for Abstractive Summarization
Google Research（谷歌研究院）
用于抽象摘要的神经模型往往在存在高度专业化的摘要特定建模插件（如指针生成器、覆盖建模和推理时间分析）的情况下实现最佳性能。我们在这里表明，预训练可以补充这种建模进步，使用两个关键概念：全网络初始化和多阶段预训练，在短格式和长格式抽象摘要中产生改进的结果。我们的方法允许模型从多个预训练任务中过渡受益，从通用语言任务到专门的摘要任务，再到更专业的摘要任务，如基于项目符号的摘要。使用这种方法，我们证明了1.05 ROUGE-L点的Gigaword基准和1.78 ROUGE-L点的CNN/DailyMail基准的改进，相比随机初始化的基线。
2019-09-23 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group（微软认知服务团队）；University of Notre Dame（圣母大学）
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中，通过图形注意。然后，我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明，与现有系统相比，基于事实感知的摘要生成的摘要具有更高的事实一致性，而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Exploring Multitask Learning for Low-Resource AbstractiveSummarization
University of Pittsburgh（匹兹堡大学）
本文在小型训练语料库上探讨了多任务学习对摘要写作的影响。特别是，我们将四个不同的任务（提取摘要，语言建模，概念检测和释义检测）单独和组合，通过多任务学习增强抽象摘要的目标任务的目标。我们发现，对于许多任务组合，在多任务设置中训练的模型优于仅为抽象摘要训练的模型，没有引入额外的摘要数据。此外，我们做了一个全面的搜索，发现某些任务（例如释义检测）始终有利于抽象总结，不仅当与其他任务相结合，而且当使用不同的架构和训练语料库。
2021-09-17 cs.CL
Abstractive Dialog Summarization with Semantic Scaffolds
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
在现实世界的应用中，对抽象对话摘要的需求正在增长。例如，客户服务中心或医院希望总结客户服务互动和医患互动。然而，由于缺乏合适的数据集，很少有研究者探讨对话的摘要。我们提出了一个抽象的对话摘要数据集的基础上MultiWOZ。如果我们直接应用以前的国家的最先进的文件摘要对话框的方法，有两个显着的缺点：信息实体，如餐厅名称是难以保存，和内容从不同的对话域有时不匹配。为了解决这两个缺点，我们提出了脚手架指针网络（SPNet），利用现有的注释扬声器角色，语义槽和对话域。SPNet将这些语义支架用于对话摘要。由于ROUGE不能捕捉到上述两个缺点，我们还提出了一个新的评估指标，认为关键的信息实体的文本。在MultiWOZ上，我们提出的SPNet在所有自动和人工评估指标上都优于最先进的抽象摘要方法。
2019-10-02 cs.CL
ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization
Tokyo Institute of Technology（东京工业大学）
用大量并行数据训练的神经模型在抽象摘要任务中取得了令人印象深刻的性能。然而，大规模的平行语料库是昂贵的和具有挑战性的建设。在这项工作中，我们引入了一个低成本和有效的策略，ExtraPhrase，以增加训练数据抽象摘要任务。ExtraPhrase通过两个步骤构建伪训练数据：提取摘要和释义。在摘要提取阶段，我们提取了输入文本的主要部分，并在释义阶段获得了其不同的表达方式。通过实验，我们表明，ExtraPhrase提高了抽象摘要任务的性能超过0.50点的ROUGE分数相比，设置没有数据增强。ExtraPhrase也优于现有的方法，如反向翻译和自我训练。我们还表明，当真正的训练数据的量非常小时，ExtraPhrase是非常有效的，即，一个低资源的环境。此外，ExtraPhrase比现有方法更具成本效益。
2022-01-14 cs.CL
Restructuring Conversations using Discourse Relations for Zero-shot Abstractive Dialogue Summarization
adsc-create.edu.sg；cs.cmu.edu
由于会话数据的非正式和非结构化性质，会话摘要是一个具有挑战性的问题。摘要摘要的最新进展一直集中在数据饥饿的神经模型和适应这些模型到一个新的领域需要特定领域的可用性手动注释语料库创建的语言专家。我们提出了一个zero-shot的抽象对话摘要方法，使用话语关系来提供结构的对话，然后使用一个开箱即用的文档摘要模型来创建最终的摘要。在AMI和ICSI会议语料库上进行的实验，使用PGN和BART等文档摘要模型，表明我们的方法将ROGUE分数提高了3分，甚至与其他最先进的方法相比具有竞争力。
2020-10-13 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design（系统设计研究生院）；Tokyo Metropolitan University（东京都立大学）
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题，相同的内容在摘要中，他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是，标准数据集包括可变长度的摘要，导致分析信息流时出现问题，具体地说，第一个句子与下面的句子相关的方式。因此，我们使用一个数据集包含的摘要只有三个要点，并提出了一个基于神经网络的抽象摘要模型，认为所生成的摘要的信息结构。我们的实验结果表明，摘要的信息结构可以控制，从而提高整体摘要的性能。
2018-09-28 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia（不列颠哥伦比亚大学）
尽管最近的抽象摘要自动评价指标的成功，生成的摘要仍然存在与源文件的事实不一致。在本文中，我们专注于实体级的事实不一致，即减少不匹配的实体之间生成的摘要和源文档。因此，我们提出了一种新的基于实体的SpanCopy机制，并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明，SpanCopy能有效地提高实体级的事实一致性，而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Abstractive Text Summarization Using the BRIO Training Paradigm
Can Tho University（芹苴大学）；Duy Tan University（维新大学）；University of Colorado（科罗拉多大学）
本文提出使用BRIO训练范式微调预训练语言模型，以减少对参考摘要的依赖，并在CNNDM和越南语VieSum数据集上验证，模型在基础硬件上性能优于现有抽象摘要模型。
2023-05-23 cs.CL
Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
Abstractive Summarization Using Attentive Neural Techniques
Gonzaga University（贡萨加大学）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在一个数据激增的世界里，快速总结文本的能力越来越重要。文本的自动摘要可以被认为是一个序列到序列的问题。解决序列到序列问题的自然语言处理的另一个领域是机器翻译，由于基于注意力的编码器-解码器网络的发展，机器翻译正在迅速发展。这项工作将这些现代技术应用于抽象概括。我们对各种用于摘要的注意力机制进行了分析，目的是开发一种旨在改进现有技术的方法和架构。特别是，我们修改和优化了一个用于生成抽象句子摘要的自注意翻译模型。这个基础模型的有效性以及注意力变量进行了比较和分析的背景下，标准化的评估集和测试指标。然而，我们发现，这些指标是有限的，在他们的能力，有效地评分抽象摘要，并提出了一种新的方法，基于直觉的抽象模型需要一个抽象的评价。
2018-10-20 cs.CL
CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
Tencent AI Platform Department（腾讯人工智能平台部）；Harbin Institute of Technology（哈尔滨工业大学）
摘要摘要的生成是一个具有挑战性的任务。以前的工作主要是编码的事实信息或执行后纠正/排名解码后。在本文中，我们从对比学习的角度提供了一个事实一致的解决方案，这是一个自然的延伸，以前的工作。我们提出了CO2 Sum（Contrasive for Consistency），一个对比学习方案，可以很容易地应用于序列到序列模型的事实一致的抽象摘要，证明该模型可以是事实感知的，而无需修改架构。CO2 Sum在编码器上进行对比学习，帮助模型感知输入文章中包含的事实信息;在解码器上进行对比学习，使模型生成符合事实的输出摘要。更重要的是，这两个方案是正交的，可以结合起来，以进一步提高忠诚度。在公共基准上的综合实验表明，CO2 Sum提高了大型预训练语言模型的忠实性，并与其他强事实一致的摘要基线相比达到了有竞争力的结果。
2022-01-09 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
Topic-Guided Abstractive Text Summarization: a Joint Learning Approach
University of Delaware（特拉华大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tongji University（同济大学）；Tezign（特赞）
我们介绍了一种新的方法，抽象的文本摘要，主题引导的抽象摘要，校准长期的依赖关系，从主题级功能与全球显着的内容。我们的想法是将神经主题建模与基于transformer的序列到序列（seq2seq）模型结合在一个联合学习框架中。这种设计可以学习和保存文档的全局语义，这可以为捕获文档的重要思想提供额外的上下文指导，从而增强摘要的生成。我们在两个数据集上进行了大量的实验，结果表明，我们提出的模型在ROUGE测量和人类评估方面优于许多提取和抽象系统。我们的代码可在https://github.com/chz816/tas上获得。
2021-08-27 cs.CL
Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models
Ben-Gurion University（本-古里安大学）；Dept. of Computer Science（计算机科学系）
查询集中摘要（QFS）主要使用提取方法来解决。然而，这种方法产生的文本具有低连贯性。我们研究如何将抽象方法应用于QFS，以克服这些限制。基于神经注意力的序列到序列模型的最新发展已经导致了抽象通用单文档摘要任务的最新成果。这样的模型在大量训练数据上以端到端的方法训练。我们从三个方面使抽象摘要适用于QFS：（a）由于没有训练数据，我们将查询相关性纳入到预先训练的抽象模型中;（b）由于现有的抽象模型是在单文档环境中训练的，我们设计了一种迭代方法来将抽象模型嵌入到QFS的多文档需求中;（c）我们调整的抽象模型经过训练，可以生成特定长度的文本（约100个单词），而我们的目标是生成不同大小的输出（约250个单词）;我们设计了一种方法，使生成的摘要的目标大小适应给定的大小比例。我们将我们的方法（QFS的相关性敏感注意力）与提取基线进行了比较，并将其与DUC QFS数据集上的抽象模型相结合的各种方法进行了比较，并证明了ROUGE性能的可靠改进。
2018-01-25 cs.CL
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中，我们提出了一个反事实的数据增强方法，我们增加数据与扰动的摘要，增加训练数据的多样性。具体来说，我们提出了三种增强方法的基础上替换（i）实体从其他和相同的类别和（ii）名词与其相应的WordNet上位词。我们表明，增加训练数据与我们的方法提高了事实的正确性摘要，而不显着影响ROUGE分数。我们表明，在两个常用的摘要数据集（CNN/Dailymail和XSum）中，我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
HunSum-1: an Abstractive Summarization Dataset for Hungarian
Institute for Computer Science and Control（计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）
我们介绍HunSum-1：一个用于匈牙利语摘要的数据集，由114万篇新闻文章组成。该数据集是通过CommonCrawl从匈牙利9个主要新闻网站收集，清理和删除重复数据而建立的。使用这个数据集，我们构建了基于huBERT和mT5的抽象摘要器模型。我们通过对模型结果进行定量和定性分析来证明所创建数据集的价值。HunSum-1数据集，我们实验中使用的所有模型和我们的代码都是开源的。
2023-02-01 cs.CL
Analyzing Sentence Fusion in Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
虽然最近在抽象摘要方面的工作已经在自动度量中获得了更高的分数，但对这些系统如何结合从多个文档句子中获取的信息却知之甚少。在本文中，我们分析了五个国家的最先进的抽象摘要器的输出，侧重于总结句子，形成句子融合。我们要求评判员对摘要句的语法性、忠实性和融合方法进行评判。我们的分析表明，系统句大多是语法，但往往不能保持忠实于原文。
2019-10-01 cs.CL
Subjective Bias in Abstractive Summarization
Beijing University of Posts and Telecommunications（北京邮电大学）；Shamoon College of Engineering（沙蒙工程学院）
由于总结的主观性，每个培训文档都有一个以上的黄金总结是一个很好的做法。然而，许多现代大规模的摘要数据集只有一对一的样本，由不同的人以不同的风格编写。这一现象的影响尚未得到充分研究。我们制定了可能的多个表达式之间的差异，总结了相同的内容主观偏见，并检查这种偏见的作用，在抽象的总结。本文提出了一种轻量级的、有效的主观风格特征嵌入提取方法。在风格聚类数据集上训练的摘要模型的结果表明，有某些类型的风格可以导致更好的收敛，抽象和泛化。可复制的代码和生成的摘要可在线获得。
2021-06-18 cs.CL
Abstractive Summarization of Reddit Posts with Multi-level Memory Networks
Seoul National University（首尔国立大学）
我们从两个方向解决抽象摘要的问题：提出一个新的数据集和一个新的模型。首先，我们收集Reddit TIFU数据集，包括来自在线论坛Reddit的12万篇帖子。我们使用这种非正式的人群生成的帖子作为文本源，与现有的数据集，主要使用正式的文件作为源，如新闻文章。因此，我们的数据集可以减少一些偏见，即关键句通常位于文本的开头，而有利的摘要候选人已经以类似的形式出现在文本中。其次，我们提出了一种新的抽象摘要模型命名为多级记忆网络（MMN），配备了多级存储器存储的信息，从不同的抽象层次的文本。通过Amazon Mechanical Turk的定量评估和用户研究，我们发现Reddit TIFU数据集具有高度抽象性，MMN优于最先进的摘要模型。
2019-04-09 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila（米拉研究中心）；McGill University（麦吉尔大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位，至少在ROUGE方面。然而，系统生成的摘要往往面临事实不一致的陷阱：生成与源文本相关的不正确事实。为了应对这一挑战，我们提出了跨度事实，一套两个事实校正模型，利用知识学习的问答模型，使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体，以确保语义一致性w.r.t.源文本，同时保留由抽象摘要模型生成的摘要的句法结构。实验表明，我们的模型显着提高了系统生成的摘要的事实一致性，而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
Abstractive Meeting Summarization: A Survey
Linagora（利纳戈拉公司）；École Polytechnique（巴黎综合理工学院）
本文综述抽象式会议摘要任务，梳理其挑战以及用于解决该任务的数据集、模型与评估指标。
2023-04-25 cs.CL
EASE: Extractive-Abstractive Summarization with Explanations
Facebook（脸书）
目前的抽象摘要系统优于其提取同行，但其广泛采用的内在缺乏可解释性的抑制。为了实现两全其美，我们提出了EASE，一个基于证据的文本生成的提取抽象框架，并将其应用于文档摘要。我们提出了一个可解释的摘要系统的基础上的信息瓶颈的原则，联合训练的提取和抽象的端到端的方式。受先前研究的启发，人类使用两阶段框架来总结长文档（Jing和McKeown，2000），我们的框架首先提取预定义数量的证据跨度作为解释，然后仅使用证据生成摘要。使用自动和人工评估，我们表明，我们的框架的解释比简单的基线更相关，而不会实质上牺牲生成的摘要的质量。
2021-05-14 cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）
最先进的抽象摘要系统经常会产生源文档不支持的内容，这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记，减少了有效训练集的大小，并创造了从源复制单词的人为倾向。在这项工作中，我们提出了一个基于拒绝学习的抽象摘要的训练目标，其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标，通过使用在训练过程中学习到的拒绝概率，在推理过程中惩罚非事实的候选摘要。我们表明，我们的方法大大提高了真实性的自动和人工评估生成的摘要相比，五个基线模型，它这样做，同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
Attention Temperature Matters in Abstractive Summarization Distillation
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
摘要文本摘要的最新进展在很大程度上依赖于大型预训练的序列到序列Transformer模型，这是计算昂贵的。本文旨在将这些大型模型提取为较小的模型，以实现更快的推理和最小的性能损失。基于伪标记的方法在序列到序列模型蒸馏中很流行。在本文中，我们发现简单地操纵Transformers中的注意力温度可以使学生模型更容易学习伪标签。我们在三个摘要数据集上的实验表明，我们提出的方法始终优于基于香草伪标签的方法。我们还发现，我们的学生产生的伪标签和摘要都更短，更抽象。我们的代码可在\url{https://github.com/Shengqiang-Zhang/plate}上获得。
2022-03-01 cs.CL
Efficient Adaptation of Pretrained Transformers for Abstractive Summarization
Allen School of Computer Science & Engineering, University of Washington（华盛顿大学艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
Transformer语言模型的大规模学习已经在各种自然语言理解任务上取得了改进。然而，它们是否可以有效地适应摘要，还没有得到太多的探索，因为学习的表示不太无缝地集成到现有的神经文本生成架构中。在这项工作中，我们提出了两种解决方案，有效地适应预训练的Transformer语言模型作为文本摘要：源嵌入和域自适应训练。我们在三个抽象摘要数据集上测试了这些解决方案，在其中两个数据集上实现了最先进的性能。最后，我们表明，这些改进是通过产生更有针对性的摘要，减少多余的，更抽象的数据集上的性能提高更明显。
2019-06-01 cs.CL
Point-less: More Abstractive Summarization with Pointer-Generator Networks
University of Amsterdam（阿姆斯特丹大学）
指针生成器架构已经证明是抽象摘要seq 2seq模型的一个很大的改进。然而，该模型产生的摘要在很大程度上是提取的，因为超过30%的生成句子是从源文本复制的。这项工作提出了一个多头注意力机制，指针丢弃，和两个新的损失函数，以促进更抽象的摘要，同时保持类似的ROUGE分数。多头注意和dropout都没有提高N-gram的新颖性，但是，dropout作为正则化器，提高了ROUGE分数。新的损失函数以略低的ROUGE分数为代价，实现了显著更高的新颖N元语法和句子。
2019-04-18 cs.CL
A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization
研究了神经网络文摘的领域自适应问题。我们在调查哪些信息可以转移到一个新的域的初步努力。对新闻故事和评论文章的实验结果表明，神经摘要模型受益于基于提取摘要的预训练。我们还发现，在域内和域外设置的组合产生更好的摘要时，域内数据不足。进一步的分析表明，该模型即使在域外数据上训练也能够选择突出内容，但需要域内数据来捕获目标域的风格。
2017-07-21 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University（莫纳什大学）；Zhongtukexin Co. Ltd.（中图科信有限公司）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
摘要文摘近年来取得了巨大的进展。在这项工作中，我们执行细粒度的人工注释来评估长文档抽象摘要系统（即，模型和指标），目的是实施它们以生成可靠的摘要。对于长文档抽象模型，我们表明，不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要，但不是事实的。对于长文档评估指标，人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后，我们提出了有前途的方向，在努力发展的事实一致性指标。最后，我们发布了带注释的长文档数据集，希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Understanding Factuality in Abstractive Summarization with FRANK: A Benchmark for Factuality Metrics
Carnegie Mellon University（卡内基梅隆大学）
现代摘要模型生成高度流畅但通常不可靠的输出。这激发了大量试图衡量自动生成摘要的真实性的指标。由于缺乏共同的基准，这些指标无法进行比较。此外，所有这些方法都将真实性视为一个二元概念，无法更深入地了解不同系统造成的各种不一致。为了解决这些限制，我们设计了一个事实错误的类型学，并使用它来收集人类注释的生成摘要从国家的最先进的摘要系统的CNN/DM和XSum数据集。通过这些注释，我们确定了各种摘要模型和基准真实性度量中不同类别的事实错误的比例，显示了它们与人类判断的相关性以及它们的具体优势和劣势。
2021-07-23 cs.CL
To Adapt or to Fine-tune: A Case Study on Abstractive Summarization
University of Edinburgh（爱丁堡大学）
摘要领域的最新进展利用预训练的语言模型，而不是从头开始训练模型。然而，这样的模型是缓慢的训练，并伴随着大量的开销。研究人员已经提出了一些轻量级的替代方案，如较小的适配器，以减轻缺点。尽管如此，仍然不确定使用适配器是否有利于总结任务，在提高效率而不牺牲性能方面。在这项工作中，我们进行了多方面的调查微调和适配器的摘要任务具有不同的复杂性：语言，域和任务转移。在我们的实验中，微调预训练的语言模型通常比使用适配器获得更好的性能;性能差距与所使用的训练数据的量呈正相关。值得注意的是，适配器在资源非常少的情况下超过了微调。我们进一步提供了对多语言性，模型收敛性和鲁棒性的见解，希望能够阐明抽象摘要中微调或适配器的务实选择。
2022-08-30 cs.CL
AraBART: a Pretrained Arabic Sequence-to-Sequence Model for Abstractive Summarization
École Polytechnique（巴黎综合理工学院）；Université Sorbonne Paris Nord（巴黎第十三大学（索邦巴黎北大学））；New York University Abu Dhabi（纽约大学阿布扎比分校）；AUEB（雅典经济与商业大学）
与大多数自然语言理解和生成任务一样，最先进的摘要模型是基于transformer的序列到序列架构，这些架构在大型语料库上进行了预训练。虽然大多数现有的模式侧重于英语，但阿拉伯语仍然没有得到充分研究。在本文中，我们提出了AraBART，第一个阿拉伯语模型，其中编码器和解码器是基于BART的端到端预训练的。我们表明，AraBART在多个抽象摘要数据集上实现了最佳性能，优于强基线，包括预训练的基于阿拉伯语BERT的模型和多语言mBART和mT5模型。
2022-03-21 cs.CL
Improving the Faithfulness of Abstractive Summarization via Entity Coverage Control
Salesforce Research（赛富时研究院）
利用预训练语言模型的抽象摘要系统在基准数据集上取得了优异的结果。然而，这样的模型已经被证明更容易产生对输入上下文不忠实的幻觉事实。在本文中，我们提出了一种方法来补救实体级的外部幻觉与实体覆盖控制（ECC）。首先计算实体覆盖精度，并为每个训练样本预先设定相应的控制代码，隐式地指导模型在训练阶段识别忠实内容。我们进一步扩展我们的方法，通过中间微调从维基百科提取的大但嘈杂的数据解锁zero-shot摘要。我们表明，该方法导致更忠实和突出的抽象摘要在监督微调和zero-shot设置根据我们的实验结果在三个基准数据集XSum，Pubmed和SAMSum非常不同的领域和风格。
2022-07-05 cs.CL
Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
摘要模型通常会生成不一致的摘要，其中包含事实错误或幻觉内容。最近的工作重点是通过后期编辑来纠正生成的摘要中的事实错误。这种纠正模型使用对抗性非事实摘要进行训练，这些摘要是使用启发式规则构建的，用于注入错误。然而，使用统计学生成非事实摘要通常不能很好地推广到实际的模型错误。在这项工作中，我们建议通过填充语言模型来生成硬的、有代表性的非事实摘要的合成示例。有了这些数据，我们训练了一个更强大的事实校正模型来对摘要进行后期编辑，以提高事实的一致性。通过对两个流行的摘要数据集-- CNN/DM和XSum --的定量和定性实验，我们表明，我们的方法在纠正错误摘要方面大大优于以前的方法。我们的模型- FactEdit -在CNN/DM上提高了超过11分的真实性分数，在多个摘要模型中平均提高了超过31分的XSum分数，在保持有竞争力的摘要质量的同时产生了更多的事实摘要。
2022-10-31 cs.CL
Enhanced Seq2Seq Autoencoder via Contrastive Learning for Abstractive Text Summarization
University of Delaware（特拉华大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tongji University（同济大学）；Tezign（特赞）
在本文中，我们提出了一个去噪序列到序列（seq2seq）自动编码器通过对比学习的抽象文本摘要。我们的模型采用了一个标准的transformer为基础的架构与多层双向编码器和自回归解码器。为了增强其去噪能力，我们将自监督对比学习与各种文档级文档增强相结合。这两个组件seq2seq autoencoder和对比学习通过微调进行联合训练，从而提高了文本摘要在ROUGE分数和人工评估方面的性能。我们在两个数据集上进行了实验，并证明我们的模型优于许多现有的基准测试，甚至达到了与使用更复杂的架构和广泛的计算资源训练的最先进的抽象系统相当的性能。
2021-08-26 cs.CL
PromptSum: Parameter-Efficient Controllable Abstractive Summarization
Nanyang Technological University（南洋理工大学）；Salesforce AI（赛富时人工智能研究院）
PromptSum 结合提示微调、多任务目标和离散实体提示，在参数高效、数据高效和可控性条件下实现强抽象式摘要性能。
2023-08-06 cs.CL
Diverse Beam Search for Increased Novelty in Abstractive Summarization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
文本摘要将文本压缩为较短的版本，同时保留重要信息。摘要摘要是一种新的发展，它生成新的短语，而不是简单地复制或改写原始文本中的句子。最近，神经序列到序列模型在抽象摘要领域取得了很好的效果，这为工业目的开辟了新的可能性和应用。然而，大多数从业者观察到，这些模型在输出摘要中仍然使用大部分原始文本，使其通常类似于提取框架。为了解决这个缺点，我们首先引入了一个新的度量标准来衡量从输入文本中提取了多少摘要。其次，我们提出了一种新的方法，它依赖于一个多样性的因素，在计算神经网络的损失，以提高多样性的摘要产生的任何神经抽象模型实现束搜索。最后，我们证明了这种方法不仅使系统不那么提取，而且还将最先进的方法的整体胭脂分数提高了至少2个点。
2018-02-05 cs.CL
Attention Head Masking for Inference Time Content Selection in Abstractive Summarization
University of Michigan（密歇根大学）
如何在基于transformer的抽象摘要模型中有效地通知内容选择？在这项工作中，我们提出了一个简单而有效的注意头掩蔽技术，这是适用于编码器-解码器的注意力，以查明在推理时间的显着内容。利用注意力头部掩蔽，我们能够揭示编码器-解码器注意力和摘要模型的内容选择行为之间的关系。然后，我们证明了其有效性的三个文档摘要数据集的基础上，在域和跨域设置。重要的是，我们的模型在CNN/Daily Mail和New York Times数据集上的表现优于之前最先进的模型。此外，我们的推理时间掩蔽技术也是数据高效的，只需要20%的训练样本就可以在完整的CNN/DailyMail数据集上超越BART微调。
2021-04-06 cs.CL
A Baseline Analysis for Podcast Abstractive Summarization
University of Delaware（特拉华大学）；University of Maryland（马里兰大学）；Tongji University（同济大学）
摘要是影响用户收听决策的一个重要因素，也是播客推荐系统以及许多下游应用的关键特征。现有的抽象摘要方法主要是建立在专业编辑的文本，如CNN和DailyMail新闻的微调模型。与新闻不同，播客通常更长，更口语化和对话化，并且广告和赞助内容更嘈杂，这使得自动播客摘要极具挑战性。本文使用TREC 2020提供的Spotify播客数据集对播客摘要进行了基线分析。它旨在帮助研究人员了解当前最先进的预训练模型，从而为创建更好的模型奠定基础。
2020-08-26 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan（密歇根大学）
我们研究生成的摘要是忠实的，事实上与给定的文章一致。提出了一种新的对比学习公式，该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本，以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明，我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估，它始终产生更多的事实摘要，而不是与事后纠错，基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果，发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
BASS: Boosting Abstractive Summarization with Unified Semantic Graph
Peking University（北京大学）；Baidu Inc.（百度公司）；Soochow University（苏州大学）
对于Seq 2Seq架构来说，长文档或多文档的抽象摘要仍然具有挑战性，因为Seq 2Seq不擅长分析文本中的长距离关系。在本文中，我们提出了BASS，一种新的框架，用于基于统一的语义图，聚合分布在很长一段时间的上下文中的共指短语，并传达丰富的短语之间的关系，以促进抽象摘要。此外，提出了一种基于图的编码器-解码器模型，通过利用图结构来改进文档表示和摘要生成过程。具体而言，几个图增强方法被设计成编码文本中的显式和隐式关系，而图传播注意力机制是在解码器中开发的，以选择突出的内容到摘要。实验结果表明，所提出的架构带来了实质性的改善，为长文档和多文档摘要任务。
2021-05-25 cs.CL
Abstractive Document Summarization without Parallel Data
Institute of Neuroinformatics, University of Z \"u rich
摘要通常依赖于大量成对文章和摘要的集合。然而，在许多情况下，并行数据是稀缺的和昂贵的获得。我们开发了一个抽象的摘要系统，只依赖于大量的例子摘要和非匹配的文章。我们的方法包括一个无监督的句子提取器，它选择突出的句子，包括在最终的摘要，以及一个句子抽象器，它是训练的伪平行和合成数据，解释每个提取的句子。我们对我们的方法进行了广泛的评估：在CNN/DailyMail基准上，我们将我们的方法与完全监督的基线进行了比较，以及从科学期刊文章自动生成新闻稿的新任务，这非常适合我们的系统。我们在这两项任务上都表现出了良好的性能，而不依赖于任何文章摘要对。
2020-03-03 cs.CL
Towards Argument-Aware Abstractive Summarization of Long Legal Opinions with Summary Reranking
University of Pittsburgh（匹兹堡大学）
本文提出一种论证感知的长法律意见书生成式摘要方法，通过论证角色信息生成候选摘要并依据论证结构对齐重排序，在长法律意见书数据集上优于多个强基线。
2023-06-01 cs.CL
