Source Identification in Abstractive Summarization
NVIDIA(英伟达);Grammarly
本文通过定义源句并分析PEGASUS生成的摘要,研究抽象摘要的生成机制,提出自动源句检测方法,实验表明困惑度法适合高抽象场景,相似度法适合抽取场景。
2024-02-07 cs.CL
Controlling Decoding for More Abstractive Summaries with Copy-Based Networks
Stony Brook University(石溪大学);New York University(纽约大学)
基于注意力的神经抽象摘要系统配备了复制机制,显示出可喜的成果。尽管取得了这一成功,但已经注意到,这样的系统通过大部分(如果不是全部的话)从输入段落复制短语、句子以及有时多个连续的句子来生成摘要,从而有效地执行提取摘要。在本文中,我们使用最新的神经抽象摘要系统-指针生成器网络来验证这种行为。我们提出了一个简单的基线方法,使我们能够控制复制量,而无需重新训练。实验表明,该方法为抽象系统提供了一个强大的基线,希望获得高ROUGE分数,同时最大限度地减少与源文章的重叠,大大减少了与原始文章的n-gram重叠,同时保持在2点内的原始模型的ROUGE分数。
2018-03-20 cs.CL
Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
摘要模型通常会生成不一致的摘要,其中包含事实错误或幻觉内容。最近的工作重点是通过后期编辑来纠正生成的摘要中的事实错误。这种纠正模型使用对抗性非事实摘要进行训练,这些摘要是使用启发式规则构建的,用于注入错误。然而,使用统计学生成非事实摘要通常不能很好地推广到实际的模型错误。在这项工作中,我们建议通过填充语言模型来生成硬的、有代表性的非事实摘要的合成示例。有了这些数据,我们训练了一个更强大的事实校正模型来对摘要进行后期编辑,以提高事实的一致性。通过对两个流行的摘要数据集-- CNN/DM和XSum --的定量和定性实验,我们表明,我们的方法在纠正错误摘要方面大大优于以前的方法。我们的模型- FactEdit -在CNN/DM上提高了超过11分的真实性分数,在多个摘要模型中平均提高了超过31分的XSum分数,在保持有竞争力的摘要质量的同时产生了更多的事实摘要。
2022-10-31 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group(微软认知服务团队);University of Notre Dame(圣母大学)
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中,通过图形注意。然后,我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明,与现有系统相比,基于事实感知的摘要生成的摘要具有更高的事实一致性,而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University(东北大学);Tencent AI Lab(腾讯人工智能实验室)
序列到序列(seq2seq)神经模型已经被积极地研究用于抽象摘要。然而,现有的神经抽象系统经常生成事实上不正确的摘要,并且容易受到对抗性信息的影响,这表明严重缺乏语义理解。在本文中,我们提出了一种新的语义感知神经抽象摘要模型,学习生成高质量的摘要,通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力,我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实,并且冗余度更低。
2018-10-14 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila(米拉研究中心);McGill University(麦吉尔大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位,至少在ROUGE方面。然而,系统生成的摘要往往面临事实不一致的陷阱:生成与源文本相关的不正确事实。为了应对这一挑战,我们提出了跨度事实,一套两个事实校正模型,利用知识学习的问答模型,使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体,以确保语义一致性w.r.t.源文本,同时保留由抽象摘要模型生成的摘要的句法结构。实验表明,我们的模型显着提高了系统生成的摘要的事实一致性,而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan(密歇根大学)
我们研究生成的摘要是忠实的,事实上与给定的文章一致。提出了一种新的对比学习公式,该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本,以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明,我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估,它始终产生更多的事实摘要,而不是与事后纠错,基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果,发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
Generating Abstractive Summaries from Meeting Transcripts
The Pennsylvania State University(宾夕法尼亚州立大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);National University of Singapore(新加坡国立大学)
会议摘要非常重要,因为它们以简洁的形式传达了讨论的基本内容。一般来说,阅读和理解整个文件是很耗时的。因此,摘要起着重要的作用,因为读者只对讨论的重要背景感兴趣。在这项工作中,我们解决了会议文件摘要的任务。迄今为止开发的会议对话自动摘要系统主要是提取的,导致难以阅读的不可接受的摘要。所提取的话语包含影响提取摘要的质量的不流利。为了使摘要更具可读性,我们提出了一种方法来生成抽象的摘要融合重要内容从几个话语。我们首先将会议记录分成不同的主题片段,然后使用监督学习方法识别每个片段中的重要话语。然后将重要的话语组合在一起以生成一句话的摘要。在文本生成步骤中,每个片段中的话语的依赖性解析被组合在一起以创建有向图。通过整数线性规划(ILP)获得的信息量最大且结构良好的子图被选择用于为每个主题段生成一句话的摘要。ILP公式化通过利用在非会话风格的文本中更突出的语法关系来减少不流利,并且因此生成与人类书写的抽象摘要相当的摘要。实验结果表明,我们的方法可以产生更多的信息摘要比基线。此外,由人类法官的可读性评估以及从依赖解析器获得的对数似然估计表明,我们生成的摘要是显着可读和良好的形式。
2016-09-22 cs.CL
Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon(亚马逊公司);SliceX AI(SliceX人工智能公司)
针对抽象式摘要中抽象性提升常损害事实性的问题,本文通过人类评估分析二者权衡,发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
Concept Pointer Network for Abstractive Summarization
Beijing Institute of Technology(北京理工大学);Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications(海量语言信息处理与云计算应用北京市工程研究中心)
一个高质量的摘要不仅应该复制突出的源文本作为摘要,而且还应该倾向于生成新的概念词来表达具体的细节。受流行的指针生成器序列到序列模型的启发,本文提出了一个概念指针网络,以改善抽象摘要的这些方面。该网络利用基于知识的、上下文感知的概念化来导出一组扩展的候选概念。然后,该模型使用概念集和原始源文本指向最合适的选择。这种联合方法生成具有更高级别语义概念的抽象摘要。训练模型也以适应不同数据的方式进行了优化,这是基于一种新的方法,由参考摘要和测试集引导的远程监督学习。总的来说,所提出的方法提供了统计上的显着改进,在几个国家的最先进的模型上的DUC-2004和Gigaword数据集。对模型抽象能力的人工评估也支持在此框架内生成的摘要的质量。
2019-10-18 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control(HUN-REN计算机科学与控制研究所);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
针对匈牙利语摘要资源稀缺的问题,本文构建了开源语料库HunSum-2,生成两类摘要标签并训练基线模型,经评估验证有效,相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
Multi-Perspective Abstractive Answer Summarization
Yale University(耶鲁大学);Facebook AI(脸书人工智能研究院)
社区问答(CQA)论坛,如堆栈溢出和雅虎!答案包含了一个广泛的问题的答案丰富的资源。每个问题线程可以接收大量具有不同视角的答案。多视角答案摘要的目标是生成一个包含答案所有视角的摘要。多视角、抽象的答案摘要的主要障碍是缺乏数据集来为生成这样的摘要提供监督。这项工作介绍了一种新的数据集创建方法,从现有的CQA论坛自动创建多角度,子弹点摘要。该数据集提供的监督训练模型,以内在地生成多视角摘要。此外,为了训练模型在保持多个视角的同时输出更多样化、更忠实的答案摘要,我们提出了一种多奖励优化技术,并结合了一种基于相关性的多任务损失预测。我们的方法表明,与强大的基线相比,通过自动和人工评估来衡量,视角和忠诚度的覆盖率有所提高。
2021-04-17 cs.CL
Spotify at TREC 2020: Genre-Aware Abstractive Podcast Summarization
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Spotify
本文描述了我们提交给2020年TREC(文本检索会议)播客轨道摘要任务的内容。这项挑战的目标是使用自动生成的播客音频转录来生成简短、信息丰富的摘要,其中包含播客片段中存在的关键信息。由于播客不同的风格,主题和粒度的信息,我们提出了两个摘要模型,明确考虑到体裁和命名实体,以生成适当的播客风格的摘要。我们的模型是抽象的,并使用创建者提供的描述作为基础事实摘要进行监督。提交的摘要的结果表明,我们最好的模型实现了1.58的总质量分数相比,创建者的描述和基线抽象系统,都得分1.49(9%的改进),由人类评估。
2021-04-07 cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila(米拉研究所);McGill University(麦吉尔大学)
最先进的抽象摘要系统经常会产生源文档不支持的内容,这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记,减少了有效训练集的大小,并创造了从源复制单词的人为倾向。在这项工作中,我们提出了一个基于拒绝学习的抽象摘要的训练目标,其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标,通过使用在训练过程中学习到的拒绝概率,在推理过程中惩罚非事实的候选摘要。我们表明,我们的方法大大提高了真实性的自动和人工评估生成的摘要相比,五个基线模型,它这样做,同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design(系统设计研究生院);Tokyo Metropolitan University(东京都立大学)
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题,相同的内容在摘要中,他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是,标准数据集包括可变长度的摘要,导致分析信息流时出现问题,具体地说,第一个句子与下面的句子相关的方式。因此,我们使用一个数据集包含的摘要只有三个要点,并提出了一个基于神经网络的抽象摘要模型,认为所生成的摘要的信息结构。我们的实验结果表明,摘要的信息结构可以控制,从而提高整体摘要的性能。
2018-09-28 cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Cape Town(开普敦大学)
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性,这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要,我们提出了合作生成器-鉴别器网络(Co-opNet),这是一种新的基于变换器的框架,其中生成器与一个转换器架构一起工作,以组成连贯的长格式摘要。我们探讨了四个不同的目标,每个捕获不同方面的连贯性,包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中,和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力,使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明,与竞争基线相比,Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
A Hierarchical Decoder with Three-level Hierarchical Attention to Generate Abstractive Summaries of Interleaved Texts
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Siemens CT(西门子中央研究院);FX Palo Alto Laboratory(FX帕洛阿尔托实验室)
属于不同线程的帖子以一个序列出现的交错文本是常见的,例如,在线聊天。为了快速获得这些文本的概述,现有系统首先通过线程解开帖子,然后从这些线程中提取摘要。这种系统的主要问题是错误传播和不流畅的摘要。为了解决这些问题,我们提出了一个端到端的可训练分层编码器-解码器系统。我们还引入了一种新的分层注意力机制,它结合了来自交错文本的三个层次的信息,即帖子,短语和单词,并隐含地解开线程。我们在多个交错文本数据集上评估了所提出的系统,它比SOTA两步系统的性能高出20- 40%。
2020-04-09 cs.CL
Abstractive Meeting Summarization UsingDependency Graph Fusion
The Pennsylvania State University(宾夕法尼亚州立大学);Qatar Computing Research Institute(卡塔尔计算研究所);National University of Singapore(新加坡国立大学)
迄今为止开发的会议会话自动摘要技术主要是提取的,导致摘要不佳。为了改善这一点,我们提出了一种方法来生成抽象的摘要融合重要内容从几个话语。任何会议通常都由几个讨论主题部分组成。对于会议会话中的每个主题段,我们的目标是使用基于整数线性规划的句子融合方法从最重要的话语中生成一个句子摘要。实验结果表明,我们的方法可以产生更多的信息摘要比基线。
2016-09-22 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126(亚马逊Lab126);eBay Inc.(eBay公司);Google(谷歌)
序列到序列(Seq2Seq)学习最近已被用于抽象和提取摘要。在目前的研究中,Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型,使用RNN进行抽象和提取摘要。直觉上,这类似于人类在阅读文档之前阅读标题,摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法,并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息,以获得更好的摘要。通过这种方式,输出摘要更加以文档为中心,而不是通用的,克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外,生成人类提取的摘要是非常昂贵的规模,因此,我们提出了一种半监督技术,用于提取近似摘要,并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估,并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器(上下文和非上下文)的并排比较。总的来说,我们提供了方法来使用和评估所提出的技术,大型文档摘要。此外,我们发现这些技术非常有效,而现有技术并非如此。
2018-07-29 cs.CL
Abstractive Text Summarization Using the BRIO Training Paradigm
Can Tho University(芹苴大学);Duy Tan University(维新大学);University of Colorado(科罗拉多大学)
本文提出使用BRIO训练范式微调预训练语言模型,以减少对参考摘要的依赖,并在CNNDM和越南语VieSum数据集上验证,模型在基础硬件上性能优于现有抽象摘要模型。
2023-05-23 cs.CL
CLTS+: A New Chinese Long Text Summarization Dataset with Abstractive Summaries
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
摘要方法缺乏创新性是自动文摘中的一个突出问题。由模型生成的摘要大多是从源文章中提取的。造成这一问题的主要原因之一是缺乏具有抽象性的数据集,尤其是中文数据集。为了解决这一问题,我们对中文长文本摘要数据集CLTS中的参考摘要进行了释义,纠正了事实不一致的错误,并提出了第一个具有高抽象水平的中文长文本摘要数据集CLTS+,它包含超过18万个文章摘要对,并且可以在线获得。此外,我们引入了一个基于共现词的内在度量来评估我们构建的数据集。我们分析了CLTS+摘要中使用的提取策略,以量化我们新数据的抽象性和难度,并在CLTS+上训练了几个基线,以验证它对提高模型创新能力的实用性。
2022-06-09 cs.AI cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi(德里大学)
针对法律判决自动摘要问题,提出AugAbEx流程,通过用含专家意见的银标准抽取摘要扩充数据集,经多维度审查确保质量,实验表明该流程生成的摘要质量优于其他方法,能推动法律领域摘要算法发展。
2026-07-23 cs.CL
Abstractive Summarization Improved by WordNet-based Extractive Sentences
Peking University(北京大学);Chinese Academy of Medical Sciences(中国医学科学院)
最近,seq 2seq抽象摘要模型在CNN/Daily Mail数据集上取得了良好的效果。然而,如何用抽取方法改进抽取方法是一个很好的研究方向,因为抽取方法具有利用各种有效特征提取文本中重要句子的潜力。为了提高摘要的语义相关性,本文采用基于WordNet的句子排序算法,抽取与文本语义相关性最高的句子。然后,我们设计了一个双注意seq 2seq框架,以生成摘要考虑提取的信息。同时,结合指针生成器和覆盖机制,解决了抽象模型中存在的词汇表外词和重复词问题。在CNN/Daily Mail数据集上的实验表明,我们的模型具有最先进的ROUGE分数,具有竞争力的性能。人类的评价也表明,我们的模型生成的摘要具有较高的语义相关性的原始文本。
2018-08-04 cs.CL
Planning with Learned Entity Prompts for Abstractive Summarization
Google Research(谷歌研究院);Google Brain(谷歌大脑);ASAPP
我们引入了一个简单但灵活的机制来学习一个中间计划,以生成抽象摘要。具体地说,我们在目标摘要前添加(或提示)实体链--摘要中提到的实体的有序序列。然后训练基于转换器的序列到序列模型以生成实体链,然后继续生成以实体链和输入为条件的摘要。我们对这个内容规划目标进行了预训练和微调。当在CNN/DailyMail、XSum、SAMSum和BillSum上进行评估时,我们根据经验证明,具有规划目标的接地生成提高了所有数据集的实体特异性和摘要中的规划,并在Rouge方面实现了XSum和SAMSum的最新性能。此外,我们实证表明,规划与实体链提供了一种机制,以控制幻觉的抽象摘要。通过用修改后的内容计划提示解码器,删除幻觉实体,我们在自动评估和人类评估时的忠实性优于最先进的方法。
2021-09-05 cs.CL
SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization
Samsung R&D Institute Poland(三星波兰研发中心)
本文介绍了SAMSum语料库,一个新的数据集与抽象的对话摘要。我们通过测试几个模型并将其结果与新闻文章语料库中获得的结果进行比较,来研究它对自动摘要带来的挑战。我们发现,模型生成的对话摘要比模型生成的新闻摘要获得更高的ROUGE分数-与人类评估者的判断相反。这表明抽象对话摘要的挑战性任务需要专用模型和非标准质量措施。据我们所知,我们的研究是第一次尝试引入一个高质量的聊天对话语料库,手动注释抽象的摘要,这可以被研究界用于进一步的研究。
2019-11-29 cs.CL
Leveraging Graph to Improve Abstractive Multi-Document Summarization
Baidu Inc.(百度公司);Beijing University of Posts and Telecommunications(北京邮电大学)
捕获文本单元之间关系的图形对于从多个文档中检测显着信息并生成整体连贯的摘要有很大的好处。在本文中,我们开发了一个神经抽象多文档摘要(MDS)模型,它可以利用众所周知的图形表示的文件,如相似性图和话语图,更有效地处理多个输入文档,并产生抽象摘要。我们的模型利用图来编码文档,以捕获跨文档关系,这对于总结长文档至关重要。我们的模型还可以利用图来指导摘要生成过程,这有利于生成连贯和简洁的摘要。此外,预训练的语言模型可以很容易地与我们的模型相结合,这进一步提高了摘要的性能显着。WikiSum和MultiNews数据集上的实证结果表明,所提出的架构在几个强大的基线上带来了实质性的改进。
2020-05-20 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题,构建了含片段级标签的忠实与不忠实摘要数据集,并评估了梯度上升、不可能性训练和任务向量否定三种技术,发现不可能性训练效果最佳。
2025-10-10 cs.CL
BRIO: Bringing Order to Abstractive Summarization
Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学)
抽象摘要模型通常使用最大似然估计进行训练,该估计假设确定性(一点)目标分布,其中理想模型将所有概率质量分配给参考摘要。这种假设可能会导致推理过程中的性能下降,其中模型需要比较几个系统生成的(候选)摘要,这些摘要偏离了参考摘要。为了解决这个问题,我们提出了一种新的训练范式,它假设一个非确定性分布,使不同的候选摘要分配概率质量根据其质量。我们的方法在CNN/DailyMail(47.78 ROUGE-1)和XSum(49.07 ROUGE-1)数据集上实现了新的最先进的结果。进一步的分析还表明,我们的模型可以估计候选摘要的概率与其质量水平更相关。
2022-03-31 cs.CL
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University(北京大学计算机科学与技术学院);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
目前,神经抽象文摘方法在单文档文摘(SDS)中取得了很大的成功。然而,由于缺乏大规模的多文档摘要,这些方法很难适用于多文档摘要(MDS)。在本文中,我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明,我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI;Montréal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
我们提出了一种方法,通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前,我们执行一个简单的提取步骤,然后在生成摘要之前,使用该摘要来根据相关信息调节Transformer语言模型。我们表明,这一提取步骤显着提高摘要结果。我们还表明,这种方法产生更抽象的摘要相比,以前的工作,采用复制机制,同时仍然实现更高的胭脂分数。注意:上面的摘要不是作者写的,它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Point-less: More Abstractive Summarization with Pointer-Generator Networks
University of Amsterdam(阿姆斯特丹大学)
指针生成器架构已经证明是抽象摘要seq 2seq模型的一个很大的改进。然而,该模型产生的摘要在很大程度上是提取的,因为超过30%的生成句子是从源文本复制的。这项工作提出了一个多头注意力机制,指针丢弃,和两个新的损失函数,以促进更抽象的摘要,同时保持类似的ROUGE分数。多头注意和dropout都没有提高N-gram的新颖性,但是,dropout作为正则化器,提高了ROUGE分数。新的损失函数以略低的ROUGE分数为代价,实现了显著更高的新颖N元语法和句子。
2019-04-18 cs.CL
Learning by Semantic Similarity Makes Abstractive Summarization Better
Korea University(高丽大学);NAVER(NAVER(纳瓦))
摘要模型利用预先训练好的语言模型,近年来得到了快速的发展。然而,这些模型主要是由自动评估指标,如ROUGE评估。虽然ROUGE以与人类评价分数呈正相关而闻名,但它因其脆弱性和实际质量之间的差距而受到批评。在本文中,我们比较了最近的LM,BART和基准数据集,CNN/DM,使用众包人类评价指标的参考摘要生成的摘要。有趣的是,模型生成的摘要相对于参考摘要获得更高的分数。从我们的实验结果出发,我们首先讨论了CNN/DM数据集的内在特征,预训练语言模型的进展,以及它们在训练数据上的泛化能力。最后,我们分享了我们对模型生成摘要的见解,并提出了我们对抽象摘要学习方法的想法。
2021-06-02 cs.CL
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University(乔治城大学)
GUMSum构建了12种体裁的英语摘要数据集,评估发现GPT3虽流畅但仍有幻觉且不如人类,并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
GSum: A General Framework for Guided Neural Abstractive Summarization
Carnegie Mellon University(卡内基梅隆大学)
神经抽象摘要模型是灵活的,可以产生连贯的摘要,但它们有时是不忠实的,很难控制。虽然以前的研究试图提供不同类型的指导,以控制输出和增加忠诚,这是不清楚这些策略如何比较和对比。在本文中,我们提出了一个通用的和可扩展的指导摘要框架(GSum),可以有效地采取不同种类的外部指导作为输入,我们在几个不同的品种进行实验。实验表明,该模型是有效的,达到了最先进的性能根据ROUGE 4流行的摘要数据集时,使用突出显示的句子作为指导。此外,我们还证明了我们的指导模型可以生成更忠实的摘要,并演示了不同类型的指导如何生成质量不同的摘要,从而为学习模型提供一定程度的可控性。
2021-04-19 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Factual Error Correction for Abstractive Summaries Using Entity Retrieval
Seoul National University(首尔国立大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司);Adobe Research(奥多比研究院)
尽管最近在利用大规模数据集和预训练的语言模型的抽象摘要系统中取得了进步,但摘要的事实正确性仍然不足。缓解这一问题的一种尝试是包括一个后编辑过程,可以发现和纠正摘要中的事实错误。在构建这样的后期编辑系统时,强烈要求1)过程具有高成功率和可解释性,以及2)具有快速运行时间。以前的方法集中在使用自回归模型的摘要的再生,缺乏可解释性,需要高的计算资源。在本文中,我们提出了一个有效的事实错误更正系统RFEC的基础上,实体检索后编辑过程。RFEC首先通过将句子与目标摘要进行比较来从原始文档中检索证据句子。这种方法大大减少了系统要分析的文本长度。然后,RFEC通过考虑证据语句来检测摘要中的实体级错误,并将错误的实体替换为证据语句中的准确实体。实验结果表明,我们提出的错误校正系统显示出更有竞争力的性能比基线方法在纠正事实错误,更快的速度。
2022-04-18 cs.CL
A Deep Reinforced Model for Abstractive Summarization
Salesforce Research(Salesforce 研究院)
用于抽象摘要的基于RNN的编码器-解码器模型在短输入和输出序列上取得了良好的性能。然而,对于较长的文档和摘要,这些模型通常包括重复和不连贯的短语。我们引入了一个神经网络模型,该模型具有一种新的内部注意力,分别关注输入和连续生成的输出,以及一种新的训练方法,该方法结合了标准的监督词预测和强化学习(RL)。仅使用监督学习训练的模型通常会表现出“暴露偏差”-它们假设在训练过程中的每一步都提供了基础事实。然而,当标准单词预测与RL的全局序列预测训练相结合时,所得到的摘要变得更具可读性。我们在CNN/Daily Mail和New York Times数据集上评估了这个模型。我们的模型在CNN/Daily Mail数据集上获得了41.16 ROUGE-1得分,比以前的最先进模型有所改进。人工评估也表明,我们的模型产生更高质量的摘要。
2017-11-13 cs.CL
Synthesizing Scientific Summaries: An Extractive and Abstractive Approach
本文提出一种结合抽取式与生成式的混合方法用于科学论文摘要,利用无监督模型提取关键发现并与引言配对,结合transformer语言模型生成摘要,发现特定超参数组合可使系统摘要抽象度超越人类。
2024-07-29 cs.CL
A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization
研究了神经网络文摘的领域自适应问题。我们在调查哪些信息可以转移到一个新的域的初步努力。对新闻故事和评论文章的实验结果表明,神经摘要模型受益于基于提取摘要的预训练。我们还发现,在域内和域外设置的组合产生更好的摘要时,域内数据不足。进一步的分析表明,该模型即使在域外数据上训练也能够选择突出内容,但需要域内数据来捕获目标域的风格。
2017-07-21 cs.CL
How to Write Summaries with Patterns? Learning towards Abstractive Summarization through Prototype Editing
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Tencent AI Lab(腾讯AI实验室);Center for Data Science, Peking University(北京大学数据科学中心)
在特殊情况下,摘要应符合特定的文体模式,如法院判决书和学术论文摘要。为此,可以利用原型文档-摘要对来生成更好的摘要。在这个任务中有两个主要的挑战:(1)模型需要从原型中整合学习到的模式,但是(2)应该避免将模式化单词以外的内容(例如不相关的事实)复制到生成的摘要中。为了解决这些问题,我们设计了一个基于原型编辑的摘要生成器(Prototype Editing based Summary Generator,PESG)。PESG首先通过分析原型文档与其摘要之间的相关性来学习摘要模式和原型事实。然后利用原型事实来帮助从输入文档中提取事实。接下来,编辑生成器基于概要模式或提取的事实生成新的概要。最后,为了解决第二个挑战,使用事实检查器来估计输入文档和生成的摘要之间的互信息,为生成器提供附加信号。在大规模真实文本摘要数据集上进行的大量实验表明,PESG在自动度量和人工评估方面都达到了最先进的性能。
2019-09-19 cs.CL
Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths
The Ohio State University(俄亥俄州立大学)
摘要长度可控的摘要摘要是自然语言处理中一个具有挑战性的课题。对于有限的训练数据可用的领域或摘要长度事先未知的场景,这甚至更具挑战性。与此同时,当涉及到信任机器生成的摘要时,解释摘要是如何以人类可理解的术语构建的可能至关重要。我们提出了多级摘要器(MLS),一种有监督的方法来构建一个文本文档的抽象摘要在可控的长度。我们的方法的关键使能器是一个可解释的多头注意力机制,它使用一个时间步独立的语义内核阵列来计算输入文档的注意力分布。每个内核都优化了人类可解释的语法或语义属性。在英语语言中的两个低资源数据集上进行的详尽实验表明,MLS在METEOR评分中优于强基线高达14.70%。人类对摘要的评价也表明,它们在不同的长度预算下捕捉到了文档的关键概念。
2020-11-27 cs.CL
Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection
University of Pennsylvania(宾夕法尼亚大学);Google(谷歌)
尽管在神经抽象摘要方面取得了重大进展,但最近的研究表明,当前的模型容易生成不忠实于原始上下文的摘要。为了解决这个问题,我们研究对比候选生成和选择作为一个模型不可知的后处理技术,以纠正外在的幻觉(即信息不存在于源文本)在不忠实的摘要。我们通过生成替代候选摘要来学习判别校正模型,其中所生成的摘要中的命名实体和数量被替换为来自源文档的具有兼容语义类型的实体和数量。然后使用该模型选择最佳候选项作为最终输出摘要。我们在一些神经摘要系统上的实验和分析表明,我们提出的方法在识别和纠正外部幻觉方面是有效的。我们通过不同类型的神经摘要系统分析了典型的幻觉现象,希望为未来的工作方向提供见解。
2021-04-19 cs.CL
Incorporating Question Answering-Based Signals into Abstractive Summarization via Salient Span Selection
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们提出了一种方法,将问答(QA)信号的摘要模型。我们的方法通过自动生成由NP回答的wh-问题并自动确定这些问题是否在黄金摘要中得到回答来识别输入文档中的突出名词短语(NP)。这个基于QA的信号被纳入一个两阶段的摘要模型,首先使用分类模型标记输入文档中的突出NP,然后有条件地生成摘要。我们的实验表明,使用基于QA的监督训练的模型生成的摘要质量高于在基准摘要数据集上识别突出跨度的基线方法。此外,我们表明,所生成的摘要的内容可以控制的基础上,在输入文档中标记的NP。最后,我们提出了一种增强训练数据的方法,使黄金摘要与训练期间使用的标记输入跨度更加一致,并展示了这如何导致模型学习更好地排除未标记的文档内容。
2023-02-25 cs.CL
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中,我们提出了一个反事实的数据增强方法,我们增加数据与扰动的摘要,增加训练数据的多样性。具体来说,我们提出了三种增强方法的基础上替换(i)实体从其他和相同的类别和(ii)名词与其相应的WordNet上位词。我们表明,增加训练数据与我们的方法提高了事实的正确性摘要,而不显着影响ROUGE分数。我们表明,在两个常用的摘要数据集(CNN/Dailymail和XSum)中,我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
Towards Abstractive Timeline Summarisation using Preference-based Reinforcement Learning
Intelligent Systems Laboratory, University of Bristol(布里斯托大学智能系统实验室)
针对生成式模型在时间线摘要任务上表现不及抽取式方法的问题,提出基于偏好的强化学习方法适配预训练生成式摘要模型,在多数据集上表现更优且更契合人类偏好。
2023-11-02 cs.CL cs.LG
Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization
Stanford University(斯坦福大学);Microsoft(微软)
神经模型已经成功地产生了人类可读和流畅的抽象摘要。然而,这些模型有两个关键的缺点:它们通常不尊重源文章中包含的事实或人类已知的常识知识,并且当源文章很长时,它们不会产生连贯的摘要。在这项工作中,我们提出了一种新的架构,扩展了Transformer的编码器-解码器架构,以改善这些缺点。首先,我们将来自Wikidata知识图谱的实体级知识整合到编码器-解码器架构中。从维基数据中注入结构化世界知识有助于我们的抽象摘要模型更加了解事实。其次,我们利用的思想,在transformer-XL语言模型在我们提出的编码器-解码器架构。这有助于我们的模型生成连贯的摘要,即使源文章很长。我们在CNN/Daily Mail摘要数据集上测试了我们的模型,并显示了ROUGE分数比基线Transformer模型的改进。我们还包括模型预测,我们的模型准确地传达了事实,而基线Transformer模型没有。
2020-06-27 cs.CL
Generating abstractive summaries of Lithuanian news articles using a transformer model
Faculty of Informatics, Kaunas University of Technology(考纳斯理工大学信息学学院)
在这项工作中,我们训练第一单语立陶宛Transformer模型上的立陶宛新闻文章的一个相对较大的语料库,并比较各种输出解码算法的抽象新闻摘要。我们实现了平均ROUGE-2得分0.163,生成的摘要是连贯的,乍一看令人印象深刻。然而,其中一些包含不容易发现的误导性信息。我们描述了所有的技术细节,并在一个在线开源存储库中分享了我们的训练模型和附带的代码,以及生成的摘要的一些特征样本。
2021-06-22 cs.CL cs.IR cs.LG
Controlling the Amount of Verbatim Copying in Abstractive Summarization
University of Central Florida(中佛罗里达大学);Robert Bosch LLC(罗伯特·博世有限责任公司)
摘要不得改变原文的意思。实现这一点的一个最有效的方法是增加复制量,同时仍然允许文本抽象。人类编辑通常可以对复制进行控制,从而使摘要更抽象,反之亦然。然而,现代神经抽象概括器是否能提供同样的灵活性,即,从单个参考摘要中学习以生成具有不同程度的复制的多个摘要假设。在本文中,我们提出了一个神经摘要模型,通过从单个人类摘要中学习,可以产生从纯粹提取到高度生成的广泛摘要。我们框架的任务摘要语言建模和利用替代机制生成摘要假设。我们的方法允许在神经摘要模型的训练和解码阶段控制复制。通过大量的实验,我们说明了我们提出的方法的意义上控制逐字复制的量,并取得了竞争力的结果强基线。我们的分析进一步揭示了有趣而不明显的事实。
2019-11-23 cs.CL
Controllable Abstractive Summarization
Facebook AI Research(脸书人工智能研究院)
当前的文档摘要模型忽略了用户的偏好,例如所需的长度,样式,用户可能感兴趣的实体,或者用户已经阅读了多少文档。我们提出了一个神经摘要模型,它具有一个简单但有效的机制,使用户能够指定这些高级属性,以便控制最终摘要的形状,以更好地满足他们的需求。通过用户输入,我们的系统可以生成符合用户偏好的高质量摘要。无需用户输入,我们自动设置控制变量。在全文CNN-Dailymail数据集上,我们的表现优于最先进的抽象系统(F1-ROUGE 1 40.38 vs. 39.53和人类评估)。
2018-05-18 cs.CL
PeerSum: A Peer Review Dataset for Abstractive Multi-document Summarization
我们提出了PeerSum,一个新的MDS数据集,使用科学出版物的同行评审。我们的数据集与现有MDS数据集的不同之处在于,我们的摘要(即,元评论)是高度抽象的并且它们是源文档的真实摘要(即,评论),它还具有源文件之间的分歧。我们发现,目前最先进的MDS模型很难为PeerSum生成高质量的摘要,这提供了新的研究机会。
2022-09-29 cs.CL cs.IR
BIGPATENT: A Large-Scale Dataset for Abstractive and Coherent Summarization
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院);Tencent AI Lab(腾讯AI实验室)
大多数现有的文本摘要数据集是从新闻领域编译的,其中摘要具有扁平化的话语结构。在这样的数据集中,有摘要价值的内容通常出现在输入文章的开头。此外,输入文章中的大部分内容在各自的摘要中逐字呈现。这些问题阻碍了系统的学习和评估,可以理解文章的全球内容结构,以及产生高压缩比的抽象摘要。在这项工作中,我们提出了一个新的数据集,BIGPATENT,由130万条美国专利文件记录以及人类书面摘要组成。与现有的摘要数据集相比,BIGPATENT具有以下特性:i)摘要包含更丰富的话语结构,具有更多的重复实体,ii)显著内容均匀分布在输入中,以及iii)摘要中存在更少和更短的提取片段。最后,我们在BIGPATENT上对基线和流行的学习模型进行训练和评估,以揭示新的挑战并激励总结研究的未来方向。
2019-06-10 cs.CL cs.LG
Abstractive Document Summarization without Parallel Data
Institute of Neuroinformatics, University of Z \"u rich
摘要通常依赖于大量成对文章和摘要的集合。然而,在许多情况下,并行数据是稀缺的和昂贵的获得。我们开发了一个抽象的摘要系统,只依赖于大量的例子摘要和非匹配的文章。我们的方法包括一个无监督的句子提取器,它选择突出的句子,包括在最终的摘要,以及一个句子抽象器,它是训练的伪平行和合成数据,解释每个提取的句子。我们对我们的方法进行了广泛的评估:在CNN/DailyMail基准上,我们将我们的方法与完全监督的基线进行了比较,以及从科学期刊文章自动生成新闻稿的新任务,这非常适合我们的系统。我们在这两项任务上都表现出了良好的性能,而不依赖于任何文章摘要对。
2020-03-03 cs.CL
Structure-Aware Abstractive Conversation Summarization via Discourse and Action Graphs
Georgia Institute of Technology(佐治亚理工学院)
摘要会话摘要是近年来研究的热点。然而,这些生成的摘要通常存在内容不足、冗余或不正确的问题,这主要是由于人与人之间交互的非结构化和复杂特性。为此,我们建议显式地建模会话中的丰富结构,以获得更精确和准确的会话摘要,首先通过结构化图将话语和动作三元组(“谁做什么”)之间的话语关系纳入话语中,以更好地编码会话,然后设计一个多粒度解码器,通过结合所有级别的信息来生成摘要。实验表明,我们提出的模型优于国家的最先进的方法和推广以及在其他领域的自动评估和人类的判断。我们已在https://github.com/GT-SALT/Structure-Aware-BART上公开发布了我们的代码。
2021-04-16 cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University(麦吉尔大学);MILA(MILA研究所)
神经抽象摘要系统已经取得了可喜的进展,这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而,确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块,以解决这个问题,通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练,这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明,该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误,并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现,从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL