Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon（亚马逊公司）；SliceX AI（SliceX人工智能公司）
针对抽象式摘要中抽象性提升常损害事实性的问题，本文通过人类评估分析二者权衡，发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；MILA（蒙特利尔学习算法研究所）
现有技术的抽象摘要系统通常生成\emph{hallucinations} ;即，不能从源文本直接推断的内容。尽管假设是不正确的，但我们发现许多幻觉内容是真实的，即与世界知识一致。这些真实的幻觉可以通过提供有用的背景信息而在摘要中受益。在这项工作中，我们提出了一种新的检测方法，将实体的真实幻觉与非真实幻觉分开。我们的方法利用一个实体的先验和后验概率根据预先训练和微调掩蔽语言模型，分别。实证结果表明，我们的方法大大优于两个基线%的准确性和F1分数，并与人类的判断强烈相关。%的真实性分类任务。此外，我们表明，我们的检测器，当用作奖励信号在离线强化学习（RL）算法，显着提高了真实性的摘要，同时保持抽象的水平。
2021-12-06 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group（微软认知服务团队）；University of Notre Dame（圣母大学）
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中，通过图形注意。然后，我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明，与现有系统相比，基于事实感知的摘要生成的摘要具有更高的事实一致性，而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了FactPEGASUS，一个抽象的摘要模型，解决了预训练和微调期间的真实性问题：（1）我们增强了PEGASUS的句子选择策略（Zhang et al.，（2020）预训练目标是创建既重要又真实的伪摘要;（2）我们引入了三个互补的组件进行微调。校正器去除参考摘要中存在的幻觉，对比器使用对比学习来更好地区分非事实摘要和事实摘要，连接器弥合预训练和微调之间的差距，以更好地传递知识。在三个下游任务上的实验表明，FactPEGASUS大大提高了由多个自动度量和人类评估的真实性。我们的全面分析表明，FactPEGASUS比在zero-shot和Few-Shot设置中使用原始预训练目标更符合事实，比强基线更稳健地保留事实行为，并且不完全依赖于变得更加提取来提高真实性。我们的代码和数据可在以下网址公开获取：https://github.com/meetdavidwan/factpegasus
2022-05-16 cs.AI cs.CL cs.LG
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University（麦吉尔大学）
自动摘要是通过计算缩短一组文本数据的过程，以创建表示原始文本中最重要信息的子集（摘要）。现有的文摘方法大致可以分为两类：抽取式和抽象式。提取摘要器显式地选择文本片段（单词、短语、句子等）。从源文档，而抽象的摘要生成器生成新颖的文本片段，以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Southern California（南加州大学）
提出EFACTSUM候选摘要生成与排序技术，结合对比学习框架与排序策略，在不牺牲摘要质量的前提下显著提升生成式摘要的事实性。
2023-05-24 cs.AI cs.CL cs.LG
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia（不列颠哥伦比亚大学）
尽管最近的抽象摘要自动评价指标的成功，生成的摘要仍然存在与源文件的事实不一致。在本文中，我们专注于实体级的事实不一致，即减少不匹配的实体之间生成的摘要和源文档。因此，我们提出了一种新的基于实体的SpanCopy机制，并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明，SpanCopy能有效地提高实体级的事实一致性，而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models
Seoul National University（首尔大学）；Samsung SDS（三星SDS）；ASRI（首尔国立大学先进技术与融合研究院）；INMC（纳米融合技术研究院）；AIIS（人工智能与信息科学研究院）
本文研究基于微调的抽象式摘要模型在参数知识与输入文档知识冲突时的事实适应性，提出可控反事实数据增强方法，在 PEGASUS 和 BART 上提升事实适应性并保持与对比学习基线相当的事实一致性。
2024-02-23 cs.AI cs.CL cs.LG
CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
Tencent AI Platform Department（腾讯人工智能平台部）；Harbin Institute of Technology（哈尔滨工业大学）
摘要摘要的生成是一个具有挑战性的任务。以前的工作主要是编码的事实信息或执行后纠正/排名解码后。在本文中，我们从对比学习的角度提供了一个事实一致的解决方案，这是一个自然的延伸，以前的工作。我们提出了CO2 Sum（Contrasive for Consistency），一个对比学习方案，可以很容易地应用于序列到序列模型的事实一致的抽象摘要，证明该模型可以是事实感知的，而无需修改架构。CO2 Sum在编码器上进行对比学习，帮助模型感知输入文章中包含的事实信息;在解码器上进行对比学习，使模型生成符合事实的输出摘要。更重要的是，这两个方案是正交的，可以结合起来，以进一步提高忠诚度。在公共基准上的综合实验表明，CO2 Sum提高了大型预训练语言模型的忠实性，并与其他强事实一致的摘要基线相比达到了有竞争力的结果。
2022-01-09 cs.CL
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中，我们提出了一个反事实的数据增强方法，我们增加数据与扰动的摘要，增加训练数据的多样性。具体来说，我们提出了三种增强方法的基础上替换（i）实体从其他和相同的类别和（ii）名词与其相应的WordNet上位词。我们表明，增加训练数据与我们的方法提高了事实的正确性摘要，而不显着影响ROUGE分数。我们表明，在两个常用的摘要数据集（CNN/Dailymail和XSum）中，我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
尽管取得了重大进展，但最先进的抽象摘要方法仍然容易产生与源文档不一致的幻觉内容。在本文中，我们提出了约束抽象摘要（CAS），一个一般的设置，保持事实的一致性，抽象摘要，通过指定令牌的约束，必须存在于摘要。我们采用词汇约束解码，一种通常适用于自回归生成模型的技术，以实现CAS，并在两种情况下进行实验：（1）自动摘要没有人类参与，其中关键词从源文档中提取并用作约束;（2）人工指导的交互式摘要，其中人工反馈的形式手动约束用于指导摘要生成。两个基准数据集上的自动和人工评估表明，CAS提高了抽象摘要的词汇重叠（ROUGE）和事实一致性。特别是，我们观察到高达13.8 ROUGE-2增益时，只有一个手动约束用于交互式摘要。
2021-12-16 cs.CL
Evaluating and Improving Factuality in Multimodal Abstractive Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
目前用于评估抽象文档摘要的真实性的度量已经与人类判断实现了高度相关性，但是它们不考虑视觉模态，因此不足以用于视觉和语言摘要。我们提出了CLIPBERTScore，CLIPScore和BERTScore的简单加权组合，分别利用图像摘要和文档摘要之间的鲁棒性和强真实性检测性能。接下来，由于缺乏元评估基准来评估多模态真实性指标的质量，我们收集了人类对文档和图像真实性的判断。我们表明，这种简单的组合中的两个指标的zero-shot设置实现了更高的相关性比现有的真实性指标的文档摘要，优于现有的多模态摘要指标，并执行竞争力强的多模态真实性指标专门微调的任务。我们的全面分析表明，CLIPBERTScore及其组件在四个真实性度量评估基准上具有鲁棒性和高度相关性。最后，我们展示了我们的CLIPBERTScore度量的两个实际下游应用：用于选择在训练过程中关注的重要图像，以及作为强化学习的奖励，以提高多模态摘要生成的真实性。我们的数据和代码可在https://github.com/meetdavidwan/faithful-multimodal-summ上公开获取
2022-11-04 cs.AI cs.CL cs.CV
Understanding Factuality in Abstractive Summarization with FRANK: A Benchmark for Factuality Metrics
Carnegie Mellon University（卡内基梅隆大学）
现代摘要模型生成高度流畅但通常不可靠的输出。这激发了大量试图衡量自动生成摘要的真实性的指标。由于缺乏共同的基准，这些指标无法进行比较。此外，所有这些方法都将真实性视为一个二元概念，无法更深入地了解不同系统造成的各种不一致。为了解决这些限制，我们设计了一个事实错误的类型学，并使用它来收集人类注释的生成摘要从国家的最先进的摘要系统的CNN/DM和XSum数据集。通过这些注释，我们确定了各种摘要模型和基准真实性度量中不同类别的事实错误的比例，显示了它们与人类判断的相关性以及它们的具体优势和劣势。
2021-07-23 cs.CL
Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
摘要模型通常会生成不一致的摘要，其中包含事实错误或幻觉内容。最近的工作重点是通过后期编辑来纠正生成的摘要中的事实错误。这种纠正模型使用对抗性非事实摘要进行训练，这些摘要是使用启发式规则构建的，用于注入错误。然而，使用统计学生成非事实摘要通常不能很好地推广到实际的模型错误。在这项工作中，我们建议通过填充语言模型来生成硬的、有代表性的非事实摘要的合成示例。有了这些数据，我们训练了一个更强大的事实校正模型来对摘要进行后期编辑，以提高事实的一致性。通过对两个流行的摘要数据集-- CNN/DM和XSum --的定量和定性实验，我们表明，我们的方法在纠正错误摘要方面大大优于以前的方法。我们的模型- FactEdit -在CNN/DM上提高了超过11分的真实性分数，在多个摘要模型中平均提高了超过31分的XSum分数，在保持有竞争力的摘要质量的同时产生了更多的事实摘要。
2022-10-31 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan（密歇根大学）
我们研究生成的摘要是忠实的，事实上与给定的文章一致。提出了一种新的对比学习公式，该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本，以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明，我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估，它始终产生更多的事实摘要，而不是与事后纠错，基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果，发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
KATSum: Knowledge-aware Abstractive Text Summarization
Auckland University of Technology（奥克兰理工大学）；Jilin University of Finance and Economics（吉林财经大学）
文本摘要是自然语言处理的下游任务之一，近年来得到了广泛的研究。它可以帮助人们从互联网上快速感知信息，包括新闻文章，社交帖子，视频等。大多数现有的研究工作试图开发摘要模型，以产生更好的输出。然而，大多数现有的模型出现的局限性，包括不忠实和事实错误。在本文中，我们提出了一种新的模型，命名为知识感知的抽象文本摘要，它利用知识图谱提供的优势，以增强标准的Seq2Seq模型。最重要的是，从源文本中提取知识图谱三元组，并用于提供关键字与相关信息，产生连贯和真实无误的摘要。我们使用真实世界的数据集进行了广泛的实验。实验结果表明，该框架能有效利用知识图谱中的信息，显著减少摘要中的事实错误。
2022-12-06 cs.AI cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Stanford University（斯坦福大学）；University of Cape Town（开普敦大学）
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性，这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要，我们提出了合作生成器-鉴别器网络（Co-opNet），这是一种新的基于变换器的框架，其中生成器与一个转换器架构一起工作，以组成连贯的长格式摘要。我们探讨了四个不同的目标，每个捕获不同方面的连贯性，包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中，和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力，使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明，与竞争基线相比，Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.（亚马逊公司）
电子商务商店收集客户反馈，让卖家了解客户关注的问题，提升客户订单体验。由于客户反馈通常包含冗余信息，因此可以生成反馈的简明摘要，以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误，即错误的实体检测（WED）和错误的产品缺陷描述（IPD）。在这项工作中，我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据，并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项，以便模型学习避免某些事实错误。评估结果表明，大部分的WED和IPD错误减轻BART和T5。此外，我们的方法不依赖于结构的摘要模型，因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
FRSUM: Towards Faithful Abstractive Summarization via Enhancing Factual Robustness
Peking University（北京大学）；Baidu Inc.（百度公司）；Soochow University（苏州大学）
尽管能够生成流畅和合乎语法的文本，但目前的Seq2Seq摘要模型仍然存在不忠实的生成问题。在本文中，我们研究了现有系统的忠实性，从一个新的角度，事实的鲁棒性，这是正确地生成事实信息对抗不忠实的信息的能力。我们首先通过模型在生成事实信息时抵御对抗攻击的成功率来衡量模型的事实鲁棒性。对现有系统的实际鲁棒性分析表明，它与人类对忠诚的判断具有良好的一致性。受这些发现的启发，我们建议通过增强模型的事实鲁棒性来提高模型的忠实性。具体来说，我们提出了一种新的训练策略，即FRSUM，它教会模型防御显式对抗样本和隐式事实对抗扰动。大量的自动和人工评估结果表明，FRSUM始终如一地提高了各种Seq2Seq模型（如T5，BART）的可信度。
2022-11-01 cs.CL
Evaluating Large Language Models for Multilingual Abstractive Summarization: A Comprehensive Study of English and Bengali
Islamic University of Technology（伊斯兰科技大学）
本文通过对8种LLM在英语和孟加拉语XL-Sum测试集的零样本基准测试，发现多语言摘要生成存在跨语言差异，单一评估指标不可靠，需为低资源语言构建综合评估框架。
2026-10-15 cs.AI cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research（谷歌研究院）
众所周知，神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中，我们分析了这些模型的局限性，抽象的文档摘要，发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估，以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅在原始指标方面，即，ROUGE，但也在生成由人类评估的忠实和事实的总结。此外，我们表明，文本蕴涵措施更好地与忠诚度比标准的指标，潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research（赛富时研究院）
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督，基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务：1）识别句子在变换后是否保持事实一致，2）在源文档中提取跨度以支持一致性预测，3）在摘要句子中提取不一致的跨度（如果存在的话）。将此模型转换为由几个最先进的模型生成的摘要表明，这种高度可扩展的方法大大优于以前的模型，包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外，人类的评价表明，辅助跨度提取任务提供了有用的帮助，在验证事实的一致性的过程中。
2019-10-28 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University（莫纳什大学）；Zhongtukexin Co. Ltd.（中图科信有限公司）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
摘要文摘近年来取得了巨大的进展。在这项工作中，我们执行细粒度的人工注释来评估长文档抽象摘要系统（即，模型和指标），目的是实施它们以生成可靠的摘要。对于长文档抽象模型，我们表明，不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要，但不是事实的。对于长文档评估指标，人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后，我们提出了有前途的方向，在努力发展的事实一致性指标。最后，我们发布了带注释的长文档数据集，希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Improving the Factual Accuracy of Abstractive Clinical Text Summarization using Multi-Objective Optimization
Wright State University（莱特州立大学）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
虽然最近在应用于不同领域（包括新闻文章、科学文章和博客文章）的抽象摘要方面取得了进展，但这些技术在临床文本摘要中的应用受到限制。这主要是由于缺乏大规模的训练数据以及与大量训练数据以结构化或半结构化形式出现的其他领域相反的临床笔记的混乱/非结构化性质。此外，临床文本摘要的最少探索和关键组成部分之一是临床摘要的事实准确性。这在医疗保健领域尤其重要，特别是心脏病学，其中保留源注释中的事实的准确摘要生成对患者的健康至关重要。在这项研究中，我们提出了一个框架，提高临床文本的抽象摘要的事实准确性，使用知识引导的多目标优化。我们建议在训练过程中联合优化我们提出的架构中的三个成本函数：生成损失，实体损失和知识损失，并在1）我们为本研究收集的心力衰竭（HF）患者的临床记录上评估所提出的架构; 2）两个基准数据集，印第安纳大学胸部X射线收集（IU X射线）和MIMIC-CXR，这是公开的。我们用三种Transformer编码器-解码器架构进行了实验，并证明优化不同的损失函数可以提高实体级实际准确性方面的性能。
2022-04-02 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila（米拉研究中心）；McGill University（麦吉尔大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位，至少在ROUGE方面。然而，系统生成的摘要往往面临事实不一致的陷阱：生成与源文本相关的不正确事实。为了应对这一挑战，我们提出了跨度事实，一套两个事实校正模型，利用知识学习的问答模型，使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体，以确保语义一致性w.r.t.源文本，同时保留由抽象摘要模型生成的摘要的句法结构。实验表明，我们的模型显着提高了系统生成的摘要的事实一致性，而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本综述全面回顾了抽象文本摘要中的事实不一致问题，重点梳理了旨在筛选无事实错误输出的感知事实评估指标，以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
Counterfactual Debiasing for Generating Factually Consistent Text Summaries
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
本文针对抽象式文本摘要中的事实不一致问题，构建因果图识别语言偏差和无关性偏差，并提出反事实去偏框架CoFactSum，通过显式反事实掩码、隐式反事实训练及去偏程度调整机制，有效提升了生成摘要的事实一致性。
2023-05-18 cs.AI cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）
最先进的抽象摘要系统经常会产生源文档不支持的内容，这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记，减少了有效训练集的大小，并创造了从源复制单词的人为倾向。在这项工作中，我们提出了一个基于拒绝学习的抽象摘要的训练目标，其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标，通过使用在训练过程中学习到的拒绝概率，在推理过程中惩罚非事实的候选摘要。我们表明，我们的方法大大提高了真实性的自动和人工评估生成的摘要相比，五个基线模型，它这样做，同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
Understanding LLM Reasoning for Abstractive Summarization
ALOHA Lab, University of Hawaii at Manoa（夏威夷大学马诺亚分校ALOHA实验室）
本研究通过大规模比较8种推理策略和3种大型推理模型在8个数据集上的表现，发现推理并非万能，其效果依赖于策略和摘要设置，且存在质量与事实准确性之间的权衡。
2026-06-16 cs.CL
CLTS+: A New Chinese Long Text Summarization Dataset with Abstractive Summaries
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
摘要方法缺乏创新性是自动文摘中的一个突出问题。由模型生成的摘要大多是从源文章中提取的。造成这一问题的主要原因之一是缺乏具有抽象性的数据集，尤其是中文数据集。为了解决这一问题，我们对中文长文本摘要数据集CLTS中的参考摘要进行了释义，纠正了事实不一致的错误，并提出了第一个具有高抽象水平的中文长文本摘要数据集CLTS+，它包含超过18万个文章摘要对，并且可以在线获得。此外，我们引入了一个基于共现词的内在度量来评估我们构建的数据集。我们分析了CLTS+摘要中使用的提取策略，以量化我们新数据的抽象性和难度，并在CLTS+上训练了几个基线，以验证它对提高模型创新能力的实用性。
2022-06-09 cs.AI cs.CL
Semi-Supervised Dialogue Abstractive Summarization via High-Quality Pseudolabel Selection
AWS AI Labs（亚马逊AI实验室）；Virginia Tech（弗吉尼亚理工大学）
针对现有半监督方法不适用于生成式对话摘要的问题，提出包含语义不变性、覆盖度、忠实度三维度的SiCF评分法筛选高质量伪标签，提升半监督对话摘要性能。
2024-03-06 cs.AI cs.CL
Annotating and Modeling Fine-grained Factuality in Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的预训练抽象摘要系统已经开始实现可靠的性能，但在实践中使用它们的主要障碍是它们倾向于输出不忠实于输入并且包含事实错误的摘要。虽然已经探索了一些用于评估真实性的注释数据集和统计模型，但没有明确说明哪些错误最重要，也没有明确说明当前技术的成功和失败之处。我们探索了合成和人工标记的数据源，用于训练模型，以识别总结中的事实错误，并在单词，依赖关系和重复级别上研究真实性。我们的观察有三个方面。首先，表现出的事实错误在不同的数据集上有很大的不同，而常用的简单合成错误训练集并不能反映像XSum这样的抽象数据集上的错误。第二，具有细粒度注释的人工标记数据提供比分级注释或合成数据更有效的训练信号。最后，我们证明了我们的最佳真实性检测模型可以通过识别训练数据中的非事实标记来训练更真实的XSum摘要模型。
2021-04-09 cs.CL
CaPE: Contrastive Parameter Ensembling for Reducing Hallucination in Abstractive Summarization
Salesforce AI Research（赛富时人工智能研究院）；Hugging Face（抱抱脸公司）
幻觉是神经抽象摘要模型的一个已知问题。最近的研究表明，幻觉的程度可能取决于训练数据中的错误。在这项工作中，我们提出了一种新的方法，称为对比参数集成（CaPE）更有效地使用训练数据，利用训练样本中的噪声变化，以减少幻觉。我们首先使用不同的自动事实度量从训练数据中选择干净和有噪声的子集。然后，我们微调一个基本的摘要模型，这是在所有的训练样本，在干净的（嘈杂的）子集，以获得一个\textit{expert}（\textit{anti-expert}）模型。最后，根据\textit{expert}模型和\textit{anti-expert}模型参数的差异，调整基础模型的参数，使基础模型向\textit{expert}模型靠拢，向远离\textit{anti-expert}模型靠拢。实验结果表明，CaPE提高了不同自动事实度量和人工评估的性能，XSUM和CNN/DM数据集的摘要级依赖弧蕴涵准确度最大分别提高了16.69%和15.78%.实际性能的提高不会降低其他信息性指标（如ROUGE）的性能。
2022-05-20 cs.CL
Challenges in Domain-Specific Abstractive Summarization and How to Overcome them
Technical University of Munich（慕尼黑工业大学）；University of Twente（特温特大学）
本文指出了大型语言模型在特定领域抽象式文本摘要中的三大局限性（二次复杂度、模型幻觉和领域偏移），并评估了现有最先进技术以解决这些研究空白。
2023-07-03 cs.AI cs.CL
Deep Reinforced Self-Attention Masks for Abstractive Summarization (DR.SAS)
Stanford（斯坦福大学）
我们提出了一种新的架构方案来解决基于CNN/DM数据集的抽象摘要问题，该数据集将强化学习（RL）与UniLM（一种预训练的深度学习模型）融合在一起，以解决各种自然语言任务。我们已经测试了在Transformers中学习细粒度注意力以提高摘要质量的限制。UniLM以全局方式关注整个令牌空间。我们提出了DR.SAS，它应用Actor-Critic（AC）算法来学习令牌上的动态自我注意力分布，以减少冗余，并生成事实和连贯的摘要，以提高摘要的质量。在进行超参数调整后，我们获得了比基线更好的ROUGE结果。由于对ROUGE奖励进行了优化，我们的模型往往更加提取/真实，但在细节上更加连贯。我们提出了详细的误差分析与我们的模型的优势和局限性的例子。我们的代码库将在我们的GitHub上公开。
2019-12-30 cs.CL
Towards Abstractive Grounded Summarization of Podcast Transcripts
Tencent AI Lab（腾讯人工智能实验室）；University of Central Florida（中佛罗里达大学）
播客最近显示出受欢迎程度的迅速上升。摘要的播客成绩单是实际利益的内容提供方和消费者。它帮助消费者快速决定是否要收听播客，并减少内容提供方撰写摘要的认知负荷。然而，播客摘要面临着重大的挑战，包括输入的事实不一致。这个问题是加剧了言语不流利和识别错误的口头语言的成绩单。在本文中，我们探索了一种新的抽象摘要方法，以减轻这些挑战。具体来说，我们的方法学习产生抽象的摘要，同时将摘要片段固定在转录本的特定部分，以允许对摘要细节进行全面检查。我们在一个大型播客数据集上对所提出的方法进行了一系列分析，并表明该方法可以取得令人满意的结果。固定摘要在定位包含不一致信息的摘要和转录片段方面带来了明显的好处，因此在自动和人工评估指标中显着提高了摘要质量。
2022-03-22 cs.AI cs.CL
Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences
Meta AI
该研究将输入中的无关句子视为导致摘要事实不一致的混杂因素，提出基于因果效应度量并利用人工标注相关句子的多任务模型，在 AnswerSumm 上显著提升忠实度及标准指标。
2024-01-18 cs.AI cs.CL cs.LG
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
CADS: A Systematic Literature Review on the Challenges of Abstractive Dialogue Summarization
Georg-August University（哥廷根大学）
本文系统综述2019-2024年间1262篇论文，梳理抽象式对话摘要的语言、结构、理解等六类挑战及其技术关联，指出理解、事实性等难题仍待攻克，并探讨了大语言模型的影响。
2025-04-23 cs.AI cs.CL
ScholarSum: Student-Teacher Abstractive Summarization via Knowledge Graph Reasoning and Reflective Refinement
State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出ScholarSum框架，通过构建层次知识图谱引导学生生成初稿，并利用教师式审阅者迭代检查与修正，实现科学文献摘要的流畅性与事实一致性。
2026-06-18 cs.CL cs.IR
Abstractive Text Summarization: State of the Art, Challenges, and Improvements
University of Colorado（科罗拉多大学）；University of Arkansas（阿肯色大学）
该综述系统梳理了抽象式文本摘要的最新技术、挑战与改进方向，涵盖序列到序列模型、预训练大语言模型、强化学习等方法，并提出知识融合等解决方案，为后续研究提供结构化参考。
2024-09-04 cs.AI cs.CL cs.LG
To Point or Not to Point: Understanding How Abstractive Summarizers Paraphrase Text
Cornell University（康奈尔大学）
近年来，抽象神经摘要模型有了很大的改进，如所生成摘要的ROUGE分数所示。但是，尽管有这些改进的指标，人们对不同模型所采用的策略以及这些策略如何与他们对语言的理解相关联的理解有限。为了更好地理解这一点，我们运行了几个实验来描述一个流行的抽象模型，See et al.（2017）的指针生成器模型，如何使用其显式的复制/生成开关来控制其抽象（生成）与提取（复制）的级别。在一个有提取倾向的数据集上，该模型利用句法边界来截断那些经常被逐字复制的句子。当我们修改复制/生成开关并强制模型生成时，除了事实不准确和幻觉之外，只有简单的释义能力被揭示出来。在抽象偏置数据集上，模型很少复制，但同样显示出有限的抽象能力。与以前的研究一致，这些结果表明，抽象摘要模型缺乏必要的语义理解，以生成既抽象又忠实于源文档的释义。
2021-06-03 cs.CL
KgPLM: Knowledge-guided Language Model Pre-training via Generative and Discriminative Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最近对预训练语言模型的研究表明，它们能够捕获知识感知下游任务中的事实知识和应用。在这项工作中，我们提出了一个语言模型的预训练框架指导下的事实知识的完成和验证，并使用生成和判别的方法合作学习模型。特别地，我们研究了两种学习方案，即双塔方案和管道方案，用于训练具有共享参数的生成器和可编程逻辑器件。在一组zero-shot完形填空式问答任务LAMA上的实验结果表明，与传统的预训练语言模型相比，该模型包含了更丰富的事实知识。此外，当对由多个机器阅读理解数据集组成的MRQA共享任务进行微调和评估时，我们的模型达到了最先进的性能，并在NewsQA（+1.26 F1）和TriviaQA（+1.56 F1）上比RoBERTa有很大的改进。
2020-12-07 cs.AI cs.CL
Improving abstractive summarization with energy-based re-ranking
Priberam（Priberam公司）；Universidade do Porto（波尔图大学）；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；Unbabel（Unbabel公司）
当前的抽象摘要系统存在重要的弱点，这阻碍了它们在现实世界应用中的部署，例如遗漏相关信息和产生事实不一致（也称为幻觉）。与此同时，最近已经提出了自动评估指标，如CTC分数，表现出更高的相关性与人类的判断比传统的词汇重叠指标，如ROUGE。在这项工作中，我们打算利用最近的进展，总结指标，以创建质量感知的抽象摘要关闭循环。也就是说，我们提出了一个基于能量的模型，学习根据这些指标中的一个或组合重新排名摘要。我们实验使用几个指标来训练我们的基于能量的重排序器，并表明它始终提高了预测摘要所获得的分数。尽管如此，人工评估结果表明，重新排序的方法应谨慎使用高度抽象的摘要，因为可用的指标还不够可靠，为此目的。
2022-11-07 cs.AI cs.CL cs.LG
Abstractive Summarization of Low resourced Nepali language using Multilingual Transformers
Tribhuvan University（特里布万大学）；Institute of Engineering, Pulchowk Campus（工程学院普尔乔克校区）
本研究针对低资源尼泊尔语抽象式摘要任务，构建新闻摘要数据集并微调mBART和mT5多语言Transformer模型，实验表明4位量化mBART结合LoRA在ROUGE和人工评估中表现最优。
2024-09-29 cs.AI cs.CL
Entity-driven Fact-aware Abstractive Summarization of Biomedical Literature
Wright State University（莱特州立大学）
作为每年出版的大量科学文章的一部分，生物医学文献的出版率一直在增加。因此，已经有相当大的努力来利用和总结大量的生物医学研究文章。虽然已经针对不同领域中的抽象摘要广泛研究了普通源文档到摘要设置中的基于变换器的编码器-解码器模型，但是它们的主要局限性仍然是实体幻觉（生成的摘要构成与源文章不相关或不存在于源文章中的实体的现象）和事实不一致。在生物医学环境中，命名实体及其语义（可以通过知识库捕获）构成文章的本质，这一问题会加剧。在生物医学文章摘要文献中，尚未研究使用命名实体和从与命名实体有关的背景知识库中挖掘的事实来指导抽象摘要。在本文中，我们提出了一个实体驱动的事实感知框架，用于训练端到端的基于变换的编码器-解码器模型，用于生物医学文章的抽象摘要。我们称之为所提出的方法，其构建块是一个基于变换的模型，EFAS，可靠性驱动的事实感知抽象摘要。我们使用五种最先进的基于变压器的模型进行实验（其中两个是专门为长文档摘要设计的），并证明将知识注入这些模型的训练/推理阶段，使模型能够在实体级事实准确性，N-gram新颖性，和语义等价。在ICD-11-Summ-1000和PubMed-50 k上对所提出的方法进行了评价。
2022-03-30 cs.CL cs.LG
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架，利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking
NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）；Seoul National University（首尔国立大学）
尽管近年来摘要系统取得了很大的进步，但仍然很难确定生成的摘要是否与源文本的事实一致。为此，最新的方法是训练一个事实一致性分类器的事实一致性和不一致的摘要。幸运的是，前者可以在现有的摘要数据集中作为参考摘要。然而，生成后者仍然是一个挑战，因为它们需要在事实上不一致，但与源文本密切相关才能有效。在本文中，我们提出了使用源文本和参考摘要与关键信息掩盖生成事实上不一致的摘要。在七个基准数据集上的实验表明，在使用我们的方法生成的摘要上训练的事实一致性分类器通常优于现有模型，并与人类判断具有竞争力。我们还分析了使用我们的方法生成的摘要的特点。我们将在https://github.com/hwanheelee1993/MFMA上发布预训练模型和代码。
2022-05-04 cs.CL
Decoupling Generation and Selection for Budget-Constrained Faithful Summarization
该研究针对摘要式模型的事实不一致等问题，提出解耦生成与选择的模块化框架，在多数据集上提升了事实性，仅参考重叠分数略有降低。
2026-08-05 cs.AI cs.CL
Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
Northeastern University（东北大学）
本文通过压力测试和浅层分类器区分难易样例，系统评估自动事实性指标，发现多数指标在困难样例上性能大幅下降且可被无内容句子钻空子，其中 ChatGPT-DA 最稳健，但存在过度依赖参数化知识的问题，从而质疑当前事实性指标的可靠性。
2025-11-05 cs.AI cs.CL
FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations
Technical University of Darmstadt（达姆施塔特工业大学）；Amazon Alexa AI（亚马逊Alexa AI）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
尽管最近在抽象摘要方面有所改进，但大多数当前方法生成的摘要与源文档实际上并不一致，严重限制了它们在现实世界应用中的信任和使用。最近的工作已经显示出有前途的改进，在使用文本或依赖弧蕴涵的真实性错误识别，但是，他们不考虑整个语义图同时。为此，我们提出了FactGraph，一种将文档和摘要分解为结构化含义表示（MR）的方法，该方法更适合于真实性评估。MR描述核心语义概念及其关系，以规范形式聚合文档和摘要中的主要内容，并降低数据稀疏性。FactGraph使用增强了结构感知适配器的图形编码器来编码这些图形，以基于图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同的基准测试上进行的实验表明，FactGraph比以前的方法性能高出15%。此外，FactGraph提高了识别内容可验证性错误的性能，并更好地捕获了主题级别的事实不一致。
2022-07-19 cs.AI cs.CL cs.LG
Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）
尽管最近在抽象摘要方面取得了进展，但当前的摘要系统仍然遭受内容幻觉，其中模型生成与源文档无关或矛盾的文本。然而，先前的工作一直是基于这样的假设，即任何没有明确出现在源中的生成事实都是不受欢迎的幻觉。已经提出了通过最终提高对源文档的“忠诚度”来解决这种情况的方法，但实际上，黄金参考目标中有很大一部分实体并不直接位于源中。在这项工作中，我们表明，这些实体不是畸变，而是需要利用外部世界的知识来推断推理路径的实体在源。我们表明，通过利用外部的知识库，我们可以提高摘要的忠实性，而不是简单地使他们更提取，此外，我们表明，从源链接的外部知识库可以受益于生成的摘要的真实性。
2022-04-28 cs.CL
Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization
D.J. Sanghvi College of Engineering（D.J. Sanghvi工程学院）；Sardar Patel Institute of Technology（Sardar Patel技术学院）
本文评估基于Transformer的BART编码器-解码器模型在类人摘要中的表现，发现常用指标对事实错误不敏感，并利用WeCheck和SummaC证明人类摘要的事实一致性比微调模型高17%。
2024-10-22 cs.AI cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University（纽约大学）；Facebook AI（Facebook人工智能）
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议，称为QAGS（发音为“kags”），旨在确定事实的不一致，在生成的摘要。QAGS基于这样一种直觉：如果我们询问有关摘要及其来源的问题，如果摘要与来源事实上一致，我们将得到类似的答案。为了评估QAGS，我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断（Hermann等人，2015）和XSUM（Narayan等人，2018年）总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外，QAGS提供了一种自然形式的可解释性：在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具，在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
