Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group（微软认知服务团队）；University of Notre Dame（圣母大学）
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中，通过图形注意。然后，我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明，与现有系统相比，基于事实感知的摘要生成的摘要具有更高的事实一致性，而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila（米拉研究中心）；McGill University（麦吉尔大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位，至少在ROUGE方面。然而，系统生成的摘要往往面临事实不一致的陷阱：生成与源文本相关的不正确事实。为了应对这一挑战，我们提出了跨度事实，一套两个事实校正模型，利用知识学习的问答模型，使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体，以确保语义一致性w.r.t.源文本，同时保留由抽象摘要模型生成的摘要的句法结构。实验表明，我们的模型显着提高了系统生成的摘要的事实一致性，而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan（密歇根大学）
我们研究生成的摘要是忠实的，事实上与给定的文章一致。提出了一种新的对比学习公式，该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本，以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明，我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估，它始终产生更多的事实摘要，而不是与事后纠错，基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果，发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon（亚马逊公司）；SliceX AI（SliceX人工智能公司）
针对抽象式摘要中抽象性提升常损害事实性的问题，本文通过人类评估分析二者权衡，发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
Concept Pointer Network for Abstractive Summarization
Beijing Institute of Technology（北京理工大学）；Beijing Engineering Research Center of High Volume Language Information Processing and Cloud Computing Applications（海量语言信息处理与云计算应用北京市工程研究中心）
一个高质量的摘要不仅应该复制突出的源文本作为摘要，而且还应该倾向于生成新的概念词来表达具体的细节。受流行的指针生成器序列到序列模型的启发，本文提出了一个概念指针网络，以改善抽象摘要的这些方面。该网络利用基于知识的、上下文感知的概念化来导出一组扩展的候选概念。然后，该模型使用概念集和原始源文本指向最合适的选择。这种联合方法生成具有更高级别语义概念的抽象摘要。训练模型也以适应不同数据的方式进行了优化，这是基于一种新的方法，由参考摘要和测试集引导的远程监督学习。总的来说，所提出的方法提供了统计上的显着改进，在几个国家的最先进的模型上的DUC-2004和Gigaword数据集。对模型抽象能力的人工评估也支持在此框架内生成的摘要的质量。
2019-10-18 cs.CL
From News to Summaries: Building a Hungarian Corpus for Extractive and Abstractive Summarization
HUN-REN Institute for Computer Science and Control（HUN-REN计算机科学与控制研究所）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
针对匈牙利语摘要资源稀缺的问题，本文构建了开源语料库HunSum-2，生成两类摘要标签并训练基线模型，经评估验证有效，相关资源全部公开以推动后续研究与应用。
2024-04-12 cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）
最先进的抽象摘要系统经常会产生源文档不支持的内容，这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记，减少了有效训练集的大小，并创造了从源复制单词的人为倾向。在这项工作中，我们提出了一个基于拒绝学习的抽象摘要的训练目标，其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标，通过使用在训练过程中学习到的拒绝概率，在推理过程中惩罚非事实的候选摘要。我们表明，我们的方法大大提高了真实性的自动和人工评估生成的摘要相比，五个基线模型，它这样做，同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
The Rule of Three: Abstractive Text Summarization in Three Bullet Points
Graduate School of System Design（系统设计研究生院）；Tokyo Metropolitan University（东京都立大学）
基于神经网络的方法已经广泛用于抽象文本摘要。虽然以前提出的模型抽象的文本摘要解决了重复的问题，相同的内容在摘要中，他们没有明确考虑其信息结构。这些先前的模型未能解释生成的摘要中的信息结构的原因之一是，标准数据集包括可变长度的摘要，导致分析信息流时出现问题，具体地说，第一个句子与下面的句子相关的方式。因此，我们使用一个数据集包含的摘要只有三个要点，并提出了一个基于神经网络的抽象摘要模型，认为所生成的摘要的信息结构。我们的实验结果表明，摘要的信息结构可以控制，从而提高整体摘要的性能。
2018-09-28 cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Stanford University（斯坦福大学）；University of Cape Town（开普敦大学）
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性，这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要，我们提出了合作生成器-鉴别器网络（Co-opNet），这是一种新的基于变换器的框架，其中生成器与一个转换器架构一起工作，以组成连贯的长格式摘要。我们探讨了四个不同的目标，每个捕获不同方面的连贯性，包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中，和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力，使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明，与竞争基线相比，Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126（亚马逊Lab126）；eBay Inc.（eBay公司）；Google（谷歌）
序列到序列（Seq2Seq）学习最近已被用于抽象和提取摘要。在目前的研究中，Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型，使用RNN进行抽象和提取摘要。直觉上，这类似于人类在阅读文档之前阅读标题，摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法，并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息，以获得更好的摘要。通过这种方式，输出摘要更加以文档为中心，而不是通用的，克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外，生成人类提取的摘要是非常昂贵的规模，因此，我们提出了一种半监督技术，用于提取近似摘要，并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估，并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器（上下文和非上下文）的并排比较。总的来说，我们提供了方法来使用和评估所提出的技术，大型文档摘要。此外，我们发现这些技术非常有效，而现有技术并非如此。
2018-07-29 cs.CL
Abstractive Text Summarization Using the BRIO Training Paradigm
Can Tho University（芹苴大学）；Duy Tan University（维新大学）；University of Colorado（科罗拉多大学）
本文提出使用BRIO训练范式微调预训练语言模型，以减少对参考摘要的依赖，并在CNNDM和越南语VieSum数据集上验证，模型在基础硬件上性能优于现有抽象摘要模型。
2023-05-23 cs.CL
CLTS+: A New Chinese Long Text Summarization Dataset with Abstractive Summaries
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
摘要方法缺乏创新性是自动文摘中的一个突出问题。由模型生成的摘要大多是从源文章中提取的。造成这一问题的主要原因之一是缺乏具有抽象性的数据集，尤其是中文数据集。为了解决这一问题，我们对中文长文本摘要数据集CLTS中的参考摘要进行了释义，纠正了事实不一致的错误，并提出了第一个具有高抽象水平的中文长文本摘要数据集CLTS+，它包含超过18万个文章摘要对，并且可以在线获得。此外，我们引入了一个基于共现词的内在度量来评估我们构建的数据集。我们分析了CLTS+摘要中使用的提取策略，以量化我们新数据的抽象性和难度，并在CLTS+上训练了几个基线，以验证它对提高模型创新能力的实用性。
2022-06-09 cs.AI cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi（德里大学）
针对法律判决自动摘要问题，提出AugAbEx流程，通过用含专家意见的银标准抽取摘要扩充数据集，经多维度审查确保质量，实验表明该流程生成的摘要质量优于其他方法，能推动法律领域摘要算法发展。
2026-07-23 cs.CL
Abstractive Summarization Improved by WordNet-based Extractive Sentences
Peking University（北京大学）；Chinese Academy of Medical Sciences（中国医学科学院）
最近，seq 2seq抽象摘要模型在CNN/Daily Mail数据集上取得了良好的效果。然而，如何用抽取方法改进抽取方法是一个很好的研究方向，因为抽取方法具有利用各种有效特征提取文本中重要句子的潜力。为了提高摘要的语义相关性，本文采用基于WordNet的句子排序算法，抽取与文本语义相关性最高的句子。然后，我们设计了一个双注意seq 2seq框架，以生成摘要考虑提取的信息。同时，结合指针生成器和覆盖机制，解决了抽象模型中存在的词汇表外词和重复词问题。在CNN/Daily Mail数据集上的实验表明，我们的模型具有最先进的ROUGE分数，具有竞争力的性能。人类的评价也表明，我们的模型生成的摘要具有较高的语义相关性的原始文本。
2018-08-04 cs.CL
Planning with Learned Entity Prompts for Abstractive Summarization
Google Research（谷歌研究院）；Google Brain（谷歌大脑）；ASAPP
我们引入了一个简单但灵活的机制来学习一个中间计划，以生成抽象摘要。具体地说，我们在目标摘要前添加（或提示）实体链--摘要中提到的实体的有序序列。然后训练基于转换器的序列到序列模型以生成实体链，然后继续生成以实体链和输入为条件的摘要。我们对这个内容规划目标进行了预训练和微调。当在CNN/DailyMail、XSum、SAMSum和BillSum上进行评估时，我们根据经验证明，具有规划目标的接地生成提高了所有数据集的实体特异性和摘要中的规划，并在Rouge方面实现了XSum和SAMSum的最新性能。此外，我们实证表明，规划与实体链提供了一种机制，以控制幻觉的抽象摘要。通过用修改后的内容计划提示解码器，删除幻觉实体，我们在自动评估和人类评估时的忠实性优于最先进的方法。
2021-09-05 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题，构建了含片段级标签的忠实与不忠实摘要数据集，并评估了梯度上升、不可能性训练和任务向量否定三种技术，发现不可能性训练效果最佳。
2025-10-10 cs.CL
BRIO: Bringing Order to Abstractive Summarization
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
抽象摘要模型通常使用最大似然估计进行训练，该估计假设确定性（一点）目标分布，其中理想模型将所有概率质量分配给参考摘要。这种假设可能会导致推理过程中的性能下降，其中模型需要比较几个系统生成的（候选）摘要，这些摘要偏离了参考摘要。为了解决这个问题，我们提出了一种新的训练范式，它假设一个非确定性分布，使不同的候选摘要分配概率质量根据其质量。我们的方法在CNN/DailyMail（47.78 ROUGE-1）和XSum（49.07 ROUGE-1）数据集上实现了新的最先进的结果。进一步的分析还表明，我们的模型可以估计候选摘要的概率与其质量水平更相关。
2022-03-31 cs.CL
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学与技术学院）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
目前，神经抽象文摘方法在单文档文摘（SDS）中取得了很大的成功。然而，由于缺乏大规模的多文档摘要，这些方法很难适用于多文档摘要（MDS）。在本文中，我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明，我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
Point-less: More Abstractive Summarization with Pointer-Generator Networks
University of Amsterdam（阿姆斯特丹大学）
指针生成器架构已经证明是抽象摘要seq 2seq模型的一个很大的改进。然而，该模型产生的摘要在很大程度上是提取的，因为超过30%的生成句子是从源文本复制的。这项工作提出了一个多头注意力机制，指针丢弃，和两个新的损失函数，以促进更抽象的摘要，同时保持类似的ROUGE分数。多头注意和dropout都没有提高N-gram的新颖性，但是，dropout作为正则化器，提高了ROUGE分数。新的损失函数以略低的ROUGE分数为代价，实现了显著更高的新颖N元语法和句子。
2019-04-18 cs.CL
Learning by Semantic Similarity Makes Abstractive Summarization Better
Korea University（高丽大学）；NAVER（NAVER（纳瓦））
摘要模型利用预先训练好的语言模型，近年来得到了快速的发展。然而，这些模型主要是由自动评估指标，如ROUGE评估。虽然ROUGE以与人类评价分数呈正相关而闻名，但它因其脆弱性和实际质量之间的差距而受到批评。在本文中，我们比较了最近的LM，BART和基准数据集，CNN/DM，使用众包人类评价指标的参考摘要生成的摘要。有趣的是，模型生成的摘要相对于参考摘要获得更高的分数。从我们的实验结果出发，我们首先讨论了CNN/DM数据集的内在特征，预训练语言模型的进展，以及它们在训练数据上的泛化能力。最后，我们分享了我们对模型生成摘要的见解，并提出了我们对抽象摘要学习方法的想法。
2021-06-02 cs.CL
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University（乔治城大学）
GUMSum构建了12种体裁的英语摘要数据集，评估发现GPT3虽流畅但仍有幻觉且不如人类，并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
GSum: A General Framework for Guided Neural Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）
神经抽象摘要模型是灵活的，可以产生连贯的摘要，但它们有时是不忠实的，很难控制。虽然以前的研究试图提供不同类型的指导，以控制输出和增加忠诚，这是不清楚这些策略如何比较和对比。在本文中，我们提出了一个通用的和可扩展的指导摘要框架（GSum），可以有效地采取不同种类的外部指导作为输入，我们在几个不同的品种进行实验。实验表明，该模型是有效的，达到了最先进的性能根据ROUGE 4流行的摘要数据集时，使用突出显示的句子作为指导。此外，我们还证明了我们的指导模型可以生成更忠实的摘要，并演示了不同类型的指导如何生成质量不同的摘要，从而为学习模型提供一定程度的可控性。
2021-04-19 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia（不列颠哥伦比亚大学）
尽管最近的抽象摘要自动评价指标的成功，生成的摘要仍然存在与源文件的事实不一致。在本文中，我们专注于实体级的事实不一致，即减少不匹配的实体之间生成的摘要和源文档。因此，我们提出了一种新的基于实体的SpanCopy机制，并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明，SpanCopy能有效地提高实体级的事实一致性，而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
A Deep Reinforced Model for Abstractive Summarization
Salesforce Research（Salesforce 研究院）
用于抽象摘要的基于RNN的编码器-解码器模型在短输入和输出序列上取得了良好的性能。然而，对于较长的文档和摘要，这些模型通常包括重复和不连贯的短语。我们引入了一个神经网络模型，该模型具有一种新的内部注意力，分别关注输入和连续生成的输出，以及一种新的训练方法，该方法结合了标准的监督词预测和强化学习（RL）。仅使用监督学习训练的模型通常会表现出“暴露偏差”-它们假设在训练过程中的每一步都提供了基础事实。然而，当标准单词预测与RL的全局序列预测训练相结合时，所得到的摘要变得更具可读性。我们在CNN/Daily Mail和New York Times数据集上评估了这个模型。我们的模型在CNN/Daily Mail数据集上获得了41.16 ROUGE-1得分，比以前的最先进模型有所改进。人工评估也表明，我们的模型产生更高质量的摘要。
2017-11-13 cs.CL
A Pilot Study of Domain Adaptation Effect for Neural Abstractive Summarization
研究了神经网络文摘的领域自适应问题。我们在调查哪些信息可以转移到一个新的域的初步努力。对新闻故事和评论文章的实验结果表明，神经摘要模型受益于基于提取摘要的预训练。我们还发现，在域内和域外设置的组合产生更好的摘要时，域内数据不足。进一步的分析表明，该模型即使在域外数据上训练也能够选择突出内容，但需要域内数据来捕获目标域的风格。
2017-07-21 cs.CL
How to Write Summaries with Patterns? Learning towards Abstractive Summarization through Prototype Editing
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Tencent AI Lab（腾讯AI实验室）；Center for Data Science, Peking University（北京大学数据科学中心）
在特殊情况下，摘要应符合特定的文体模式，如法院判决书和学术论文摘要。为此，可以利用原型文档-摘要对来生成更好的摘要。在这个任务中有两个主要的挑战：（1）模型需要从原型中整合学习到的模式，但是（2）应该避免将模式化单词以外的内容（例如不相关的事实）复制到生成的摘要中。为了解决这些问题，我们设计了一个基于原型编辑的摘要生成器（Prototype Editing based Summary Generator，PESG）。PESG首先通过分析原型文档与其摘要之间的相关性来学习摘要模式和原型事实。然后利用原型事实来帮助从输入文档中提取事实。接下来，编辑生成器基于概要模式或提取的事实生成新的概要。最后，为了解决第二个挑战，使用事实检查器来估计输入文档和生成的摘要之间的互信息，为生成器提供附加信号。在大规模真实文本摘要数据集上进行的大量实验表明，PESG在自动度量和人工评估方面都达到了最先进的性能。
2019-09-19 cs.CL
Interpretable Multi-Headed Attention for Abstractive Summarization at Controllable Lengths
The Ohio State University（俄亥俄州立大学）
摘要长度可控的摘要摘要是自然语言处理中一个具有挑战性的课题。对于有限的训练数据可用的领域或摘要长度事先未知的场景，这甚至更具挑战性。与此同时，当涉及到信任机器生成的摘要时，解释摘要是如何以人类可理解的术语构建的可能至关重要。我们提出了多级摘要器（MLS），一种有监督的方法来构建一个文本文档的抽象摘要在可控的长度。我们的方法的关键使能器是一个可解释的多头注意力机制，它使用一个时间步独立的语义内核阵列来计算输入文档的注意力分布。每个内核都优化了人类可解释的语法或语义属性。在英语语言中的两个低资源数据集上进行的详尽实验表明，MLS在METEOR评分中优于强基线高达14.70%。人类对摘要的评价也表明，它们在不同的长度预算下捕捉到了文档的关键概念。
2020-11-27 cs.CL
Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection
University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
尽管在神经抽象摘要方面取得了重大进展，但最近的研究表明，当前的模型容易生成不忠实于原始上下文的摘要。为了解决这个问题，我们研究对比候选生成和选择作为一个模型不可知的后处理技术，以纠正外在的幻觉（即信息不存在于源文本）在不忠实的摘要。我们通过生成替代候选摘要来学习判别校正模型，其中所生成的摘要中的命名实体和数量被替换为来自源文档的具有兼容语义类型的实体和数量。然后使用该模型选择最佳候选项作为最终输出摘要。我们在一些神经摘要系统上的实验和分析表明，我们提出的方法在识别和纠正外部幻觉方面是有效的。我们通过不同类型的神经摘要系统分析了典型的幻觉现象，希望为未来的工作方向提供见解。
2021-04-19 cs.CL
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中，我们提出了一个反事实的数据增强方法，我们增加数据与扰动的摘要，增加训练数据的多样性。具体来说，我们提出了三种增强方法的基础上替换（i）实体从其他和相同的类别和（ii）名词与其相应的WordNet上位词。我们表明，增加训练数据与我们的方法提高了事实的正确性摘要，而不显着影响ROUGE分数。我们表明，在两个常用的摘要数据集（CNN/Dailymail和XSum）中，我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
Mind The Facts: Knowledge-Boosted Coherent Abstractive Text Summarization
Stanford University（斯坦福大学）；Microsoft（微软）
神经模型已经成功地产生了人类可读和流畅的抽象摘要。然而，这些模型有两个关键的缺点：它们通常不尊重源文章中包含的事实或人类已知的常识知识，并且当源文章很长时，它们不会产生连贯的摘要。在这项工作中，我们提出了一种新的架构，扩展了Transformer的编码器-解码器架构，以改善这些缺点。首先，我们将来自Wikidata知识图谱的实体级知识整合到编码器-解码器架构中。从维基数据中注入结构化世界知识有助于我们的抽象摘要模型更加了解事实。其次，我们利用的思想，在transformer-XL语言模型在我们提出的编码器-解码器架构。这有助于我们的模型生成连贯的摘要，即使源文章很长。我们在CNN/Daily Mail摘要数据集上测试了我们的模型，并显示了ROUGE分数比基线Transformer模型的改进。我们还包括模型预测，我们的模型准确地传达了事实，而基线Transformer模型没有。
2020-06-27 cs.CL
Controlling the Amount of Verbatim Copying in Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
摘要不得改变原文的意思。实现这一点的一个最有效的方法是增加复制量，同时仍然允许文本抽象。人类编辑通常可以对复制进行控制，从而使摘要更抽象，反之亦然。然而，现代神经抽象概括器是否能提供同样的灵活性，即，从单个参考摘要中学习以生成具有不同程度的复制的多个摘要假设。在本文中，我们提出了一个神经摘要模型，通过从单个人类摘要中学习，可以产生从纯粹提取到高度生成的广泛摘要。我们框架的任务摘要语言建模和利用替代机制生成摘要假设。我们的方法允许在神经摘要模型的训练和解码阶段控制复制。通过大量的实验，我们说明了我们提出的方法的意义上控制逐字复制的量，并取得了竞争力的结果强基线。我们的分析进一步揭示了有趣而不明显的事实。
2019-11-23 cs.CL
Controllable Abstractive Summarization
Facebook AI Research（脸书人工智能研究院）
当前的文档摘要模型忽略了用户的偏好，例如所需的长度，样式，用户可能感兴趣的实体，或者用户已经阅读了多少文档。我们提出了一个神经摘要模型，它具有一个简单但有效的机制，使用户能够指定这些高级属性，以便控制最终摘要的形状，以更好地满足他们的需求。通过用户输入，我们的系统可以生成符合用户偏好的高质量摘要。无需用户输入，我们自动设置控制变量。在全文CNN-Dailymail数据集上，我们的表现优于最先进的抽象系统（F1-ROUGE 1 40.38 vs. 39.53和人类评估）。
2018-05-18 cs.CL
Abstractive Summarization Using Attentive Neural Techniques
Gonzaga University（贡萨加大学）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在一个数据激增的世界里，快速总结文本的能力越来越重要。文本的自动摘要可以被认为是一个序列到序列的问题。解决序列到序列问题的自然语言处理的另一个领域是机器翻译，由于基于注意力的编码器-解码器网络的发展，机器翻译正在迅速发展。这项工作将这些现代技术应用于抽象概括。我们对各种用于摘要的注意力机制进行了分析，目的是开发一种旨在改进现有技术的方法和架构。特别是，我们修改和优化了一个用于生成抽象句子摘要的自注意翻译模型。这个基础模型的有效性以及注意力变量进行了比较和分析的背景下，标准化的评估集和测试指标。然而，我们发现，这些指标是有限的，在他们的能力，有效地评分抽象摘要，并提出了一种新的方法，基于直觉的抽象模型需要一个抽象的评价。
2018-10-20 cs.CL
Abstractive Document Summarization without Parallel Data
Institute of Neuroinformatics, University of Z \"u rich
摘要通常依赖于大量成对文章和摘要的集合。然而，在许多情况下，并行数据是稀缺的和昂贵的获得。我们开发了一个抽象的摘要系统，只依赖于大量的例子摘要和非匹配的文章。我们的方法包括一个无监督的句子提取器，它选择突出的句子，包括在最终的摘要，以及一个句子抽象器，它是训练的伪平行和合成数据，解释每个提取的句子。我们对我们的方法进行了广泛的评估：在CNN/DailyMail基准上，我们将我们的方法与完全监督的基线进行了比较，以及从科学期刊文章自动生成新闻稿的新任务，这非常适合我们的系统。我们在这两项任务上都表现出了良好的性能，而不依赖于任何文章摘要对。
2020-03-03 cs.CL
Towards Abstractive Grounded Summarization of Podcast Transcripts
Tencent AI Lab（腾讯人工智能实验室）；University of Central Florida（中佛罗里达大学）
播客最近显示出受欢迎程度的迅速上升。摘要的播客成绩单是实际利益的内容提供方和消费者。它帮助消费者快速决定是否要收听播客，并减少内容提供方撰写摘要的认知负荷。然而，播客摘要面临着重大的挑战，包括输入的事实不一致。这个问题是加剧了言语不流利和识别错误的口头语言的成绩单。在本文中，我们探索了一种新的抽象摘要方法，以减轻这些挑战。具体来说，我们的方法学习产生抽象的摘要，同时将摘要片段固定在转录本的特定部分，以允许对摘要细节进行全面检查。我们在一个大型播客数据集上对所提出的方法进行了一系列分析，并表明该方法可以取得令人满意的结果。固定摘要在定位包含不一致信息的摘要和转录片段方面带来了明显的好处，因此在自动和人工评估指标中显着提高了摘要质量。
2022-03-22 cs.AI cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University（麦吉尔大学）；MILA（MILA研究所）
神经抽象摘要系统已经取得了可喜的进展，这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而，确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块，以解决这个问题，通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练，这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明，该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误，并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现，从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
The Summary Loop: Learning to Write Abstractive Summaries Without Examples
UC Berkeley（加州大学伯克利分校）；Bloomberg（彭博社）
这项工作提出了一种新的方法，无监督的抽象摘要的基础上最大化的组合覆盖率和流畅性为给定的长度约束。它引入了一种新的方法，鼓励将原始文档中的关键词包含到摘要中：关键词被屏蔽在原始文档之外，并且必须使用当前生成的摘要由覆盖模型填充。一种新的无监督训练过程利用这种覆盖模型以及流畅度模型来生成摘要并对其进行评分。在流行的新闻摘要数据集上进行测试时，该方法优于以前的无监督方法超过2个R-1点，并接近竞争性监督方法的结果。我们的模型达到了更高的抽象水平，复制的段落比以前的工作短了大约两倍，并且学会了在没有监督的情况下压缩和合并句子。
2021-05-11 cs.CL cs.LG
How Far are We from Robust Long Abstractive Summarization?
Monash University（莫纳什大学）；Zhongtukexin Co. Ltd.（中图科信有限公司）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
摘要文摘近年来取得了巨大的进展。在这项工作中，我们执行细粒度的人工注释来评估长文档抽象摘要系统（即，模型和指标），目的是实施它们以生成可靠的摘要。对于长文档抽象模型，我们表明，不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要，但不是事实的。对于长文档评估指标，人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后，我们提出了有前途的方向，在努力发展的事实一致性指标。最后，我们发布了带注释的长文档数据集，希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本综述全面回顾了抽象文本摘要中的事实不一致问题，重点梳理了旨在筛选无事实错误输出的感知事实评估指标，以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
Improving Abstractive Text Summarization with History Aggregation
School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
最近的神经序列到序列模型为抽象摘要提供了可行的解决方案。然而，这样的模型仍然很难解决长文本依赖的摘要任务。一个高质量的摘要系统通常依赖于强大的编码器，它可以从长输入文本中提炼重要信息，以便解码器可以从编码器的内存中生成显著的摘要。在本文中，我们提出了一个聚合机制的基础上的Transformer模型，以解决长文本表示的挑战。我们的模型可以回顾历史信息，使编码器持有更多的内存容量。从经验上讲，我们将我们的聚合机制应用于Transformer模型，并在CNN/DailyMail数据集上进行实验，以实现比ROUGE指标上的几个强基线模型更高质量的摘要。
2019-12-24 cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种结合奖励学习与事实性指标的对比学习框架，使抽象式摘要模型从事实性反馈中学习，从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency
Peking University（北京大学）；Northwestern Polytechnical University（西北工业大学）
摘要文本摘要是一个非常困难的问题，序列到序列模型已经成功地提高了任务的性能。然而，生成的摘要往往在语义上与源内容不一致。在这种情况下，当生成摘要时，模型选择与源内容语义无关的单词作为最可能的输出。这个问题可以归因于抽象地构造的训练数据，其中摘要可以与源内容无关，因此包含语义上不相关的单词和虚假的单词对应。在本文中，我们提出了一种正则化方法的序列到序列模型，并利用模型已经学会了正则化的学习目标，以减轻问题的影响。此外，针对现有自动评估方法无法正确评估与源内容的语义一致性的问题，我们提出了一种实用的人工评估方法。实验结果表明，该方法的有效性，它优于几乎所有现有的模型。特别是在人工评价方面，该方法将语义一致性提高了4%.
2018-05-10 cs.CL
How Private are Language Models in Abstractive Summarization?
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
本研究全面评估了语言模型在医疗和法律摘要中的隐私风险，发现模型常泄露个人信息，与人类专家摘要相比隐私保护差距显著。
2025-05-27 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
Diverse Beam Search for Increased Novelty in Abstractive Summarization
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Swisscom AG（瑞士电信股份公司）
文本摘要将文本压缩为较短的版本，同时保留重要信息。摘要摘要是一种新的发展，它生成新的短语，而不是简单地复制或改写原始文本中的句子。最近，神经序列到序列模型在抽象摘要领域取得了很好的效果，这为工业目的开辟了新的可能性和应用。然而，大多数从业者观察到，这些模型在输出摘要中仍然使用大部分原始文本，使其通常类似于提取框架。为了解决这个缺点，我们首先引入了一个新的度量标准来衡量从输入文本中提取了多少摘要。其次，我们提出了一种新的方法，它依赖于一个多样性的因素，在计算神经网络的损失，以提高多样性的摘要产生的任何神经抽象模型实现束搜索。最后，我们证明了这种方法不仅使系统不那么提取，而且还将最先进的方法的整体胭脂分数提高了至少2个点。
2018-02-05 cs.CL
OpineSum: Entailment-based self-training for abstractive opinion summarization
Google Research（谷歌研究院）
一个典型的产品或地方往往有数百个评论，这些文本的摘要是一个重要的和具有挑战性的问题。最近在新闻等领域的抽象摘要方面的进展是由监督系统驱动的，这些系统在数十万篇新闻文章中进行了训练，并与人类撰写的摘要相结合。然而，对于意见文本，这种大规模的数据集很少可用。无监督方法、自我训练和少样本学习方法弥补了这一差距。在这项工作中，我们提出了一种新的自我训练方法，OpineSum，抽象的意见摘要。这种方法中的摘要是使用文本蕴涵的新应用程序构建的，并捕获了对一个项目的各种评论的一致意见。该方法可用于大规模获得银标准摘要，并可用于无监督和Few-Shot抽象摘要系统的训练。OpineSum在这两种设置下都实现了最先进的性能。
2022-12-21 cs.AI cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research（谷歌研究院）
众所周知，神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中，我们分析了这些模型的局限性，抽象的文档摘要，发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估，以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅在原始指标方面，即，ROUGE，但也在生成由人类评估的忠实和事实的总结。此外，我们表明，文本蕴涵措施更好地与忠诚度比标准的指标，潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
ARLED: Leveraging LED-based ARMAN Model for Abstractive Summarization of Persian Long Documents
Ferdowsi University of Mashhad（马什哈德费尔多西大学）
本文针对波斯语长文档摘要难题，构建含30万篇Ensani全文论文的数据集，并采用基于Longformer的ARMAN模型验证其抽象式摘要效果。
2025-03-13 cs.CL
MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization
MIT Media Lab（麻省理工学院媒体实验室）；Google Brain（谷歌大脑）
摘要已经研究了使用神经序列转导方法与数据集的大型，成对的文档摘要的例子。然而，这样的数据集是罕见的，从它们训练的模型不能推广到其他领域。最近，在学习序列到序列映射方面取得了一些进展，只有不成对的例子。在我们的工作中，我们考虑了只有文档（产品或业务评论）而没有提供摘要的情况，并提出了一个端到端的神经模型架构来执行无监督的抽象摘要。我们提出的模型由一个自动编码器组成，其中输入评论的表示的平均值解码为合理的摘要评论，同时不依赖于任何特定于评论的特征。我们考虑所提出的架构的变体，并进行消融研究，以显示特定组件的重要性。我们通过自动化指标和人工评估表明，生成的摘要高度抽象，流畅，相关，并代表了输入评论的平均情绪。最后，我们收集了一个参考评估数据集，并表明我们的模型优于强提取基线。
2019-05-22 cs.CL
Optimizing Abstractive Summarization With Fine-Tuned PEGASUS
BRAC University（BRAC大学）
针对抽象式文本摘要任务，微调PEGASUS模型在XL-Sum英语语料上，相比基线mT5模型在ROUGE指标上取得显著提升，实现最先进性能。
2026-06-25 cs.CL
Neural Network-Based Abstract Generation for Opinions and Arguments
Google DeepMind（谷歌DeepMind）
我们研究的问题，产生的抽象摘要固执己见的文本。我们提出了一个基于注意力的神经网络模型，能够从多个文本单元中吸收信息，构建信息丰富，简洁，流畅的摘要。设计了一种基于重要性的采样方法，允许编码器从输入的重要子集中整合信息。自动评估表明，我们的系统优于国家的最先进的抽象和提取摘要系统上两个新收集的数据集的电影评论和论点。我们的系统摘要在人类评估中也被评为信息量更大，语法更合理。
2016-06-09 cs.CL
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架，利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
