Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种结合奖励学习与事实性指标的对比学习框架，使抽象式摘要模型从事实性反馈中学习，从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Analyzing Multi-Task Learning for Abstractive Text Summarization
Georg-August-Universität Göttingen（哥廷根大学）；Mercedes-Benz Group AG（梅赛德斯-奔驰集团股份公司）
本文分析了多任务学习策略中任务族对英文抽象式文本摘要的影响，发现任务族的选择与组合对下游性能的影响大于训练方案，支持在摘要任务中使用任务族。
2022-11-10 cs.AI cs.CL
Towards Abstractive Grounded Summarization of Podcast Transcripts
Tencent AI Lab（腾讯人工智能实验室）；University of Central Florida（中佛罗里达大学）
播客最近显示出受欢迎程度的迅速上升。摘要的播客成绩单是实际利益的内容提供方和消费者。它帮助消费者快速决定是否要收听播客，并减少内容提供方撰写摘要的认知负荷。然而，播客摘要面临着重大的挑战，包括输入的事实不一致。这个问题是加剧了言语不流利和识别错误的口头语言的成绩单。在本文中，我们探索了一种新的抽象摘要方法，以减轻这些挑战。具体来说，我们的方法学习产生抽象的摘要，同时将摘要片段固定在转录本的特定部分，以允许对摘要细节进行全面检查。我们在一个大型播客数据集上对所提出的方法进行了一系列分析，并表明该方法可以取得令人满意的结果。固定摘要在定位包含不一致信息的摘要和转录片段方面带来了明显的好处，因此在自动和人工评估指标中显着提高了摘要质量。
2022-03-22 cs.AI cs.CL
Challenges in Domain-Specific Abstractive Summarization and How to Overcome them
Technical University of Munich（慕尼黑工业大学）；University of Twente（特温特大学）
本文指出了大型语言模型在特定领域抽象式文本摘要中的三大局限性（二次复杂度、模型幻觉和领域偏移），并评估了现有最先进技术以解决这些研究空白。
2023-07-03 cs.AI cs.CL
Contrastive Attention Mechanism for Abstractive Sentence Summarization
Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba DAMO Academy（阿里巴巴达摩院）；School of Engineering, Westlake University（西湖大学工学院）
我们提出了一个对比注意力机制，以扩展序列到序列的抽象句子摘要任务，其目的是生成一个简短的摘要给定的源句子的框架。对比注意力机制包含两类注意：一类是注意源句相关部分的常规注意，另一类是注意源句不相关或不太相关部分的对手注意。两种注意力都以相反的方式进行训练，从而通过新的softmax和softmin功能鼓励传统注意力的贡献，并阻止对手注意力的贡献。在基准数据集上的实验表明，与传统的注意力机制相比，本文提出的对比注意力机制更能集中于摘要的相关部分，大大提高了摘要的性能。我们在https://github.com/travel-go/Abstractive-Text-Summarization上发布代码
2019-10-30 cs.AI cs.CL
EmailSum: Abstractive Email Thread Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Facebook AI Research（脸书人工智能研究院）；Microsoft Research（微软研究院）
近年来，人们对总结会话线程（会议，在线讨论等）的挑战性任务产生了兴趣。这样的摘要有助于分析长文本，以快速赶上所做的决定，从而提高我们的工作或沟通效率。为了促进线程摘要的研究，我们开发了一个抽象的电子邮件线程摘要（EmailSum）数据集，其中包含2549个电子邮件线程（每个线程包含3到10封电子邮件）的人工注释的短（<30字）和长（<100字）摘要，涉及各种主题。我们进行了一项全面的实证研究，以探索不同的摘要技术（包括提取和抽象方法，单文档和层次模型，以及迁移和半监督学习），并对短期和长期摘要生成任务进行人工评估。我们的研究结果揭示了当前抽象摘要模型在这项任务中面临的主要挑战，例如理解发送者的意图和识别发送者和接收者的角色。此外，我们发现，广泛使用的自动评估指标（ROUGE，BERTScore）弱相关性与人类的判断，这个电子邮件线程摘要任务。因此，我们强调人类评估和社区开发更好指标的重要性。我们的代码和摘要数据已在以下网站提供：https://github.com/ZhangShiyue/EmailSum
2021-07-30 cs.AI cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University（麦吉尔大学）
自动摘要是通过计算缩短一组文本数据的过程，以创建表示原始文本中最重要信息的子集（摘要）。现有的文摘方法大致可以分为两类：抽取式和抽象式。提取摘要器显式地选择文本片段（单词、短语、句子等）。从源文档，而抽象的摘要生成器生成新颖的文本片段，以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Abstractive Text Summarization for Contemporary Sanskrit Prose: Issues and Challenges
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）；School of Sanskrit and Indic Studies（梵文与印度研究学院）
本文针对低资源屈折语言梵语，系统研究其抽象式文本摘要的开发挑战，并构建了从数据准备到模型训练推理的完整流程。
2025-01-03 cs.AI cs.CL
Abstractive Tabular Dataset Summarization via Knowledge Base Semantic Embeddings
New Knowledge（新知识公司）
提出了一种基于知识库语义嵌入的表格数据摘要生成方法。假设数据集在标题、列和/或一些扩充元数据中包含描述性文本，则系统采用嵌入来为每个文本片段推荐主题/类型。通过利用预先指定的本体中的类型层次结构，将推荐聚合到被认为是数据集的描述性的超类型的小集合中。使用2015年2月的Wikipedia作为知识库，并使用相应的DBpedia本体作为类型，我们展示了来自多个来源的开放数据的实验结果-OpenML，CKAN和data.world-以说明该方法的有效性。
2018-04-05 cs.AI cs.CL
Domain Aligned Prefix Averaging for Domain Generalization in Abstractive Summarization
Indian Institute of Technology (BHU)（印度理工学院（巴纳拉斯印度教大学））；Indian Institute of Technology, Patna（印度理工学院巴特那分校）
本文提出轻量级域对齐前缀平均方法DAPA，通过为各源领域训练前缀并基于目标文档相似度加权平均，实现抽象摘要的领域泛化，在四个领域上取得与基线相当或更优的性能。
2023-05-29 cs.AI cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services（亚马逊网络服务）；Columbia University（哥伦比亚大学）
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如，在现有数据集上训练的最先进的模型表现出实体幻觉，生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性，我们表明，实体幻觉问题可以通过简单地过滤训练数据来缓解。此外，我们提出了一个值得总结的实体分类任务的训练过程，以及一个联合实体和摘要生成方法，从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
Abstractive summarization of hospitalisation histories with transformer networks
Sber AI Lab（Sber人工智能实验室）
在本文中，我们提出了一种新的方法来抽象总结病人的住院史。我们应用了一个编码器-解码器框架，Longformer神经网络作为编码器，BERT作为解码器。我们的实验表明，与指针生成器网络相比，某些摘要任务的质量有所提高。我们还与经验丰富的医生进行了一项研究，将我们的模型结果与PGN基线和人类生成的摘要进行了比较，这表明了我们模型的有效性。
2022-04-05 cs.AI cs.CL cs.LG
Analysis of Multidomain Abstractive Summarization Using Salience Allocation
Jadavpur University（贾达普大学）；Tata Consultancy Services（塔塔咨询服务公司）；Techno India University（泰克诺印度大学）
本文探讨了SEASON技术在多领域生成式文本摘要中的应用，通过在CNN/Dailymail、SAMSum和EDT等数据集上与BART等模型对比，利用ROUGE等指标验证了其效能并揭示了显著性分配技术的复杂性。
2024-02-19 cs.AI cs.CL
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC（Aimesoft股份公司）
提出一种新颖简单的基于黄金摘要缩短文档的分层策略，结合BART模型实现越南语多文档抽象式摘要，在VLSP 2022测试集上达到ROUGE2-F1 0.2468，并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Salience Allocation as Guidance for Abstractive Summarization
University of Southern California（南加州大学）
抽象摘要模型通常学习从零开始隐式地捕获显著信息。最近的文献增加了提取摘要作为抽象摘要模型的指导，以提供显着内容的提示，并取得更好的性能。然而，提取摘要作为指导可能过于严格，导致信息丢失或噪声信号。此外，它不能很容易地适应各种抽象的文件。由于显著性内容片段的数量和分配不同，因此很难找到决定哪些内容应该包括在指南中的固定阈值。在本文中，我们提出了一种新的摘要方法，灵活和可靠的显着性指导，即SEASON（显着性分配作为指导抽象摘要）。SEASON利用显著性期望值的分配来指导文摘，对不同抽象程度的文章有较好的适应性。在两个基准数据集上的自动和人工评估表明，该方法是有效和可靠的。对超过一百万篇新闻文章的实证结果表明，新闻文章句子的显着性自然分裂为1550，为撰写新闻文章提供了有用的见解。
2022-10-22 cs.AI cs.CL cs.LG
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech（阿赫桑乌拉科技大学）
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而，抽象系统的性能仍然是一个挑战，因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题，我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件，它只需要一个部分的语音（POS）标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集，以评估我们的抽象模型，并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验，并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Abstractive Text Summarization by Incorporating Reader Comments
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
在神经抽象文摘领域，传统的基于序列到序列的模型经常遭受关于主要方面总结文档的错误方面。为了解决这个问题，我们提出了读者感知的摘要生成任务，它利用读者的评论，以帮助模型产生更好的摘要的主要方面。与传统的抽象摘要任务不同，读者感知摘要面临两个主要挑战：（1）评论是非正式的，而且带有噪声;（2）对新闻文档和读者评论进行联合建模具有挑战性。为了解决上述问题，我们设计了一个名为读者感知摘要生成器（RASG）的对抗性学习模型，该模型由四个部分组成：（1）基于序列到序列的摘要生成器;（2）捕获读者关注方面的读者关注模块;（3）对生成的摘要和读者关注方面之间的语义鸿沟进行建模的监督模块;（4）目标跟踪器，其为每个生成步骤产生目标。监督者和目标跟踪者用于以对抗的方式指导我们的框架的训练。在我们的大规模真实文本摘要数据集上进行了大量的实验，结果表明，RASG在自动度量和人工评估方面都达到了最先进的性能。实验结果也证明了我们的框架中的每个模块的有效性。我们发布了我们的大规模数据集以供进一步研究。
2018-12-13 cs.AI cs.CL
MovieSum: An Abstractive Summarization Dataset for Movie Screenplays
Institute for Language, Cognition and Computation（语言、认知与计算研究所）
针对电影剧本摘要研究不足的问题，本文提出包含2200部格式化剧本及对应维基百科摘要的MovieSum数据集，其规模为现有同类数据集两倍，还附IMDb元数据，并给出了大语言模型的基准测试结果。
2024-08-12 cs.AI cs.CL
KATSum: Knowledge-aware Abstractive Text Summarization
Auckland University of Technology（奥克兰理工大学）；Jilin University of Finance and Economics（吉林财经大学）
文本摘要是自然语言处理的下游任务之一，近年来得到了广泛的研究。它可以帮助人们从互联网上快速感知信息，包括新闻文章，社交帖子，视频等。大多数现有的研究工作试图开发摘要模型，以产生更好的输出。然而，大多数现有的模型出现的局限性，包括不忠实和事实错误。在本文中，我们提出了一种新的模型，命名为知识感知的抽象文本摘要，它利用知识图谱提供的优势，以增强标准的Seq2Seq模型。最重要的是，从源文本中提取知识图谱三元组，并用于提供关键字与相关信息，产生连贯和真实无误的摘要。我们使用真实世界的数据集进行了广泛的实验。实验结果表明，该框架能有效利用知识图谱中的信息，显著减少摘要中的事实错误。
2022-12-06 cs.AI cs.CL
Mitigating Data Scarceness through Data Synthesis, Augmentation and Curriculum for Abstractive Summarization
University of Pittsburgh（匹兹堡大学）
本文探讨了三种简单的数据操作技术（合成，增强，课程），以改善抽象摘要模型，而不需要任何额外的数据。我们介绍了一种方法的数据合成与释义，数据增强技术与样本混合，和课程学习两个新的难度指标的基础上的具体性和抽象性。我们进行的实验表明，这三种技术可以帮助提高两个摘要模型和两个不同的小数据集的抽象摘要。此外，我们表明，这些技术可以提高性能时，应用在隔离和组合。
2021-09-17 cs.CL
Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization
NTT Communication Science Laboratories, NTT Corporation（NTT通信科学实验室，NTT公司）
本文解决了在基于RNN的编码器-解码器模型中经常观察到的冗余重复生成的减少。我们的基本思想是在编码器中联合估计每个目标词汇的上界频率，并在解码器中根据估计控制输出单词。我们的方法在基于RNN的编码器-解码器基线上显示出显着的改进，并在抽象摘要基准上取得了最佳结果。
2017-02-13 cs.AI cs.CL stat.ML
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学与技术学院）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
目前，神经抽象文摘方法在单文档文摘（SDS）中取得了很大的成功。然而，由于缺乏大规模的多文档摘要，这些方法很难适用于多文档摘要（MDS）。在本文中，我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明，我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
尽管取得了重大进展，但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中，我们提出了约束抽象摘要（CAS），一个一般的设置，保持事实的一致性，抽象摘要，通过指定令牌的约束，必须存在于摘要。我们采用词汇约束解码，一种通常适用于自回归生成模型的技术，以实现CAS，并在两种情况下进行实验：（1）自动摘要没有人类参与，其中关键词从源文档中提取并用作约束;（2）人工指导的交互式摘要，其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明，CAS提高了抽象摘要的词汇重叠（ROUGE）和事实一致性。特别是，我们观察到高达13.8 ROUGE-2增益时，只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon（亚马逊公司）；SliceX AI（SliceX人工智能公司）
针对抽象式摘要中抽象性提升常损害事实性的问题，本文通过人类评估分析二者权衡，发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
Faithful or Extractive? On Mitigating the Faithfulness-Abstractiveness Trade-off in Abstractive Summarization
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；New York University（纽约大学）；Cornell University（康奈尔大学）
尽管最近在摘要摘要方面取得了进展，但系统仍然遭受忠实性错误。虽然先前的工作已经提出了提高忠实度的模型，但尚不清楚这种改进是否来自模型输出的提取水平的提高，因为提高忠实度的一种简单方法是使摘要模型更提取。在这项工作中，我们提出了一个框架，用于评估有效的忠实性摘要系统，通过生成一个faithfulnessabstractiveness权衡曲线，作为控制在不同的操作点上的抽象频谱。然后，我们表明，最大似然估计（MLE）的基线，以及最近提出的方法，以提高忠诚度，都比控制在同一水平的抽象。最后，我们学习了一个选择器来识别给定文档的最忠实和最抽象的摘要，并表明该系统可以在人类评估中获得更高的忠实度分数，同时在两个数据集上比基线系统更抽象。此外，我们表明，我们的系统是能够实现一个更好的忠实性，抽象性的权衡比控制在同一水平的抽象性。
2022-04-21 cs.CL
Enhancing Abstractiveness of Summarization Models through Calibrated Distillation
AWS AI Labs（AWS人工智能实验室）
本文提出DisCal方法，通过校准蒸馏在序列级知识蒸馏中兼顾摘要的抽象性与信息量，实验证明其优于现有方法。
2023-12-04 cs.CL
Query-Based Abstractive Summarization Using Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
在本文中，我们提出了一个模型，生成摘要的文本文档的查询。这称为基于查询的摘要。我们针对该任务调整现有的新闻文章摘要数据集，并使用该数据集训练指针生成器模型。通过测量与参考摘要的相似性来评价生成的摘要。我们的研究结果表明，一个神经网络摘要模型，类似于现有的神经网络模型的抽象摘要，可以构建利用查询，以产生有针对性的摘要。
2017-12-17 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
Multi-stage Pretraining for Abstractive Summarization
Google Research（谷歌研究院）
用于抽象摘要的神经模型往往在存在高度专业化的摘要特定建模插件（如指针生成器、覆盖建模和推理时间分析）的情况下实现最佳性能。我们在这里表明，预训练可以补充这种建模进步，使用两个关键概念：全网络初始化和多阶段预训练，在短格式和长格式抽象摘要中产生改进的结果。我们的方法允许模型从多个预训练任务中过渡受益，从通用语言任务到专门的摘要任务，再到更专业的摘要任务，如基于项目符号的摘要。使用这种方法，我们证明了1.05 ROUGE-L点的Gigaword基准和1.78 ROUGE-L点的CNN/DailyMail基准的改进，相比随机初始化的基线。
2019-09-23 cs.CL
Exploring Multitask Learning for Low-Resource AbstractiveSummarization
University of Pittsburgh（匹兹堡大学）
本文在小型训练语料库上探讨了多任务学习对摘要写作的影响。特别是，我们将四个不同的任务（提取摘要，语言建模，概念检测和释义检测）单独和组合，通过多任务学习增强抽象摘要的目标任务的目标。我们发现，对于许多任务组合，在多任务设置中训练的模型优于仅为抽象摘要训练的模型，没有引入额外的摘要数据。此外，我们做了一个全面的搜索，发现某些任务（例如释义检测）始终有利于抽象总结，不仅当与其他任务相结合，而且当使用不同的架构和训练语料库。
2021-09-17 cs.CL
Global Encoding for Abstractive Summarization
Peking University（北京大学）
在神经抽象摘要中，传统的序列到序列（seq2seq）模型经常遭受重复和语义无关性。为了解决这个问题，我们提出了一个全局编码框架，它控制的信息流从编码器到解码器的源上下文的全局信息的基础上。它由一个卷积门控单元组成，用于执行全局编码以改进源端信息的表示。在LCSTS和英语Gigaword上的测试结果表明，该模型的性能优于基线模型，分析表明，该模型能够减少重复。
2018-06-10 cs.AI cs.CL cs.LG
Abstractive Dialog Summarization with Semantic Scaffolds
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
在现实世界的应用中，对抽象对话摘要的需求正在增长。例如，客户服务中心或医院希望总结客户服务互动和医患互动。然而，由于缺乏合适的数据集，很少有研究者探讨对话的摘要。我们提出了一个抽象的对话摘要数据集的基础上MultiWOZ。如果我们直接应用以前的国家的最先进的文件摘要对话框的方法，有两个显着的缺点：信息实体，如餐厅名称是难以保存，和内容从不同的对话域有时不匹配。为了解决这两个缺点，我们提出了脚手架指针网络（SPNet），利用现有的注释扬声器角色，语义槽和对话域。SPNet将这些语义支架用于对话摘要。由于ROUGE不能捕捉到上述两个缺点，我们还提出了一个新的评估指标，认为关键的信息实体的文本。在MultiWOZ上，我们提出的SPNet在所有自动和人工评估指标上都优于最先进的抽象摘要方法。
2019-10-02 cs.CL
ExtraPhrase: Efficient Data Augmentation for Abstractive Summarization
Tokyo Institute of Technology（东京工业大学）
用大量并行数据训练的神经模型在抽象摘要任务中取得了令人印象深刻的性能。然而，大规模的平行语料库是昂贵的和具有挑战性的建设。在这项工作中，我们引入了一个低成本和有效的策略，ExtraPhrase，以增加训练数据抽象摘要任务。ExtraPhrase通过两个步骤构建伪训练数据：提取摘要和释义。在摘要提取阶段，我们提取了输入文本的主要部分，并在释义阶段获得了其不同的表达方式。通过实验，我们表明，ExtraPhrase提高了抽象摘要任务的性能超过0.50点的ROUGE分数相比，设置没有数据增强。ExtraPhrase也优于现有的方法，如反向翻译和自我训练。我们还表明，当真正的训练数据的量非常小时，ExtraPhrase是非常有效的，即，一个低资源的环境。此外，ExtraPhrase比现有方法更具成本效益。
2022-01-14 cs.CL
Restructuring Conversations using Discourse Relations for Zero-shot Abstractive Dialogue Summarization
adsc-create.edu.sg；cs.cmu.edu
由于会话数据的非正式和非结构化性质，会话摘要是一个具有挑战性的问题。摘要摘要的最新进展一直集中在数据饥饿的神经模型和适应这些模型到一个新的领域需要特定领域的可用性手动注释语料库创建的语言专家。我们提出了一个zero-shot的抽象对话摘要方法，使用话语关系来提供结构的对话，然后使用一个开箱即用的文档摘要模型来创建最终的摘要。在AMI和ICSI会议语料库上进行的实验，使用PGN和BART等文档摘要模型，表明我们的方法将ROGUE分数提高了3分，甚至与其他最先进的方法相比具有竞争力。
2020-10-13 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design（系统设计研究生院）；Tokyo Metropolitan University（东京都立大学）
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题，相同的内容在摘要中，他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是，标准数据集包括可变长度的摘要，导致分析信息流时出现问题，具体地说，第一个句子与下面的句子相关的方式。因此，我们使用一个数据集包含的摘要只有三个要点，并提出了一个基于神经网络的抽象摘要模型，认为所生成的摘要的信息结构。我们的实验结果表明，摘要的信息结构可以控制，从而提高整体摘要的性能。
2018-09-28 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Abstractive Text Summarization Using the BRIO Training Paradigm
Can Tho University（芹苴大学）；Duy Tan University（维新大学）；University of Colorado（科罗拉多大学）
本文提出使用BRIO训练范式微调预训练语言模型，以减少对参考摘要的依赖，并在CNNDM和越南语VieSum数据集上验证，模型在基础硬件上性能优于现有抽象摘要模型。
2023-05-23 cs.CL
Guided Neural Language Generation for Abstractive Summarization using Abstract Meaning Representation
The University of Sheffield（谢菲尔德大学）
最近关于抽象摘要的工作在神经编码器-解码器架构方面取得了进展。然而，这样的模型往往是挑战，由于他们缺乏明确的语义建模的源文档及其摘要。在本文中，我们扩展了以前的工作抽象摘要使用抽象意义表示（AMR）与神经语言生成阶段，我们指导使用源文件。我们证明，这一指导提高了7.4和10.5点，在ROUGE-2使用黄金标准AMR解析和解析从现成的解析器分别获得的摘要结果。我们还发现，使用后者的摘要性能比在较大数据集上训练的成熟神经编码器-解码器方法高2个ROUGE-2点。代码可在\url{https://github.com/sheffieldnlp/AMR2Text-summ}上获得
2018-08-28 cs.CL
Abstractive Summarization Using Attentive Neural Techniques
Gonzaga University（贡萨加大学）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在一个数据激增的世界里，快速总结文本的能力越来越重要。文本的自动摘要可以被认为是一个序列到序列的问题。解决序列到序列问题的自然语言处理的另一个领域是机器翻译，由于基于注意力的编码器-解码器网络的发展，机器翻译正在迅速发展。这项工作将这些现代技术应用于抽象概括。我们对各种用于摘要的注意力机制进行了分析，目的是开发一种旨在改进现有技术的方法和架构。特别是，我们修改和优化了一个用于生成抽象句子摘要的自注意翻译模型。这个基础模型的有效性以及注意力变量进行了比较和分析的背景下，标准化的评估集和测试指标。然而，我们发现，这些指标是有限的，在他们的能力，有效地评分抽象摘要，并提出了一种新的方法，基于直觉的抽象模型需要一个抽象的评价。
2018-10-20 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
Topic-Guided Abstractive Text Summarization: a Joint Learning Approach
University of Delaware（特拉华大学）；University of Maryland, College Park（马里兰大学帕克分校）；Tongji University（同济大学）；Tezign（特赞）
我们介绍了一种新的方法，抽象的文本摘要，主题引导的抽象摘要，校准长期的依赖关系，从主题级功能与全球显着的内容。我们的想法是将神经主题建模与基于transformer的序列到序列（seq2seq）模型结合在一个联合学习框架中。这种设计可以学习和保存文档的全局语义，这可以为捕获文档的重要思想提供额外的上下文指导，从而增强摘要的生成。我们在两个数据集上进行了大量的实验，结果表明，我们提出的模型在ROUGE测量和人类评估方面优于许多提取和抽象系统。我们的代码可在https://github.com/chz816/tas上获得。
2021-08-27 cs.CL
Query Focused Abstractive Summarization: Incorporating Query Relevance, Multi-Document Coverage, and Summary Length Constraints into seq2seq Models
Ben-Gurion University（本-古里安大学）；Dept. of Computer Science（计算机科学系）
查询集中摘要（QFS）主要使用提取方法来解决。然而，这种方法产生的文本具有低连贯性。我们研究如何将抽象方法应用于QFS，以克服这些限制。基于神经注意力的序列到序列模型的最新发展已经导致了抽象通用单文档摘要任务的最新成果。这样的模型在大量训练数据上以端到端的方法训练。我们从三个方面使抽象摘要适用于QFS：（a）由于没有训练数据，我们将查询相关性纳入到预先训练的抽象模型中;（b）由于现有的抽象模型是在单文档环境中训练的，我们设计了一种迭代方法来将抽象模型嵌入到QFS的多文档需求中;（c）我们调整的抽象模型经过训练，可以生成特定长度的文本（约100个单词），而我们的目标是生成不同大小的输出（约250个单词）;我们设计了一种方法，使生成的摘要的目标大小适应给定的大小比例。我们将我们的方法（QFS的相关性敏感注意力）与提取基线进行了比较，并将其与DUC QFS数据集上的抽象模型相结合的各种方法进行了比较，并证明了ROUGE性能的可靠改进。
2018-01-25 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
HunSum-1: an Abstractive Summarization Dataset for Hungarian
Institute for Computer Science and Control（计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）
我们介绍HunSum-1：一个用于匈牙利语摘要的数据集，由114万篇新闻文章组成。该数据集是通过CommonCrawl从匈牙利9个主要新闻网站收集，清理和删除重复数据而建立的。使用这个数据集，我们构建了基于huBERT和mT5的抽象摘要器模型。我们通过对模型结果进行定量和定性分析来证明所创建数据集的价值。HunSum-1数据集，我们实验中使用的所有模型和我们的代码都是开源的。
2023-02-01 cs.CL
Analyzing Sentence Fusion in Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
虽然最近在抽象摘要方面的工作已经在自动度量中获得了更高的分数，但对这些系统如何结合从多个文档句子中获取的信息却知之甚少。在本文中，我们分析了五个国家的最先进的抽象摘要器的输出，侧重于总结句子，形成句子融合。我们要求评判员对摘要句的语法性、忠实性和融合方法进行评判。我们的分析表明，系统句大多是语法，但往往不能保持忠实于原文。
2019-10-01 cs.CL
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Subjective Bias in Abstractive Summarization
Beijing University of Posts and Telecommunications（北京邮电大学）；Shamoon College of Engineering（沙蒙工程学院）
由于总结的主观性，每个培训文档都有一个以上的黄金总结是一个很好的做法。然而，许多现代大规模的摘要数据集只有一对一的样本，由不同的人以不同的风格编写。这一现象的影响尚未得到充分研究。我们制定了可能的多个表达式之间的差异，总结了相同的内容主观偏见，并检查这种偏见的作用，在抽象的总结。本文提出了一种轻量级的、有效的主观风格特征嵌入提取方法。在风格聚类数据集上训练的摘要模型的结果表明，有某些类型的风格可以导致更好的收敛，抽象和泛化。可复制的代码和生成的摘要可在线获得。
2021-06-18 cs.CL
An Entity-Driven Framework for Abstractive Summarization
Northeastern University（东北大学）；Boston University（波士顿大学）
摘要摘要系统的目标是产生更连贯和简洁的摘要比他们的提取同行。流行的神经模型在单文档摘要方面取得了令人印象深刻的结果，但它们的输出往往不连贯，并且对输入不忠实。在本文中，我们介绍了SENECA，一个新的系统，利用实体信息生成信息丰富和连贯的摘要的实体驱动的连贯抽象摘要框架。我们的框架采用两步方法：（1）实体感知内容选择模块首先从输入中识别出突出的句子，然后（2）摘要生成模块进行跨句子信息压缩和抽象，以生成最终摘要，并通过奖励进行训练，以促进连贯性，简洁性和清晰度。使用强化学习进一步连接这两个组件。自动评估表明，我们的模型显着优于以前的国家的最先进的ROUGE和我们提出的一致性措施对纽约时报和CNN/每日邮报数据集。人类法官进一步评价我们的系统摘要比流行的摘要模型更丰富和连贯。
2019-09-04 cs.AI cs.CL cs.LG
Abstractive Summarization of Reddit Posts with Multi-level Memory Networks
Seoul National University（首尔国立大学）
我们从两个方向解决抽象摘要的问题：提出一个新的数据集和一个新的模型。首先，我们收集Reddit TIFU数据集，包括来自在线论坛Reddit的12万篇帖子。我们使用这种非正式的人群生成的帖子作为文本源，与现有的数据集，主要使用正式的文件作为源，如新闻文章。因此，我们的数据集可以减少一些偏见，即关键句通常位于文本的开头，而有利的摘要候选人已经以类似的形式出现在文本中。其次，我们提出了一种新的抽象摘要模型命名为多级记忆网络（MMN），配备了多级存储器存储的信息，从不同的抽象层次的文本。通过Amazon Mechanical Turk的定量评估和用户研究，我们发现Reddit TIFU数据集具有高度抽象性，MMN优于最先进的摘要模型。
2019-04-09 cs.CL
Faithfulness-Aware Decoding Strategies for Abstractive Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；AWS AI Labs（亚马逊云服务人工智能实验室）
尽管在理解和提高摘要忠实性方面取得了重大进展，但解码策略如何影响摘要忠实性的问题研究较少。我们提出了一个系统的研究，如束搜索和核心抽样的生成技术的影响，在摘要的忠实性。我们发现了一个一致的趋势，其中具有大波束尺寸的束搜索产生最忠实的摘要，而核采样产生最不忠实的摘要。我们提出了两种忠实性感知的生成方法，以进一步提高忠实性比当前的生成技术：（1）排名的候选人产生的束搜索使用自动忠实性指标和（2）纳入前瞻性分析，产生一个忠实性分数的未来摘要。我们表明，这两种生成方法显着提高了两个数据集的忠实性，由四个自动忠实性指标和人类评价。为了减少计算成本，我们展示了一个简单的蒸馏方法，允许模型生成忠实的摘要，只需贪心解码。我们的代码可在https://github.com/amazon-science/faithful-summarization-generation上公开获取
2023-03-06 cs.AI cs.CL cs.LG
