Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Stanford University（斯坦福大学）；University of Cape Town（开普敦大学）
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性，这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要，我们提出了合作生成器-鉴别器网络（Co-opNet），这是一种新的基于变换器的框架，其中生成器与一个转换器架构一起工作，以组成连贯的长格式摘要。我们探讨了四个不同的目标，每个捕获不同方面的连贯性，包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中，和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力，使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明，与竞争基线相比，Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia（不列颠哥伦比亚大学）
尽管最近的抽象摘要自动评价指标的成功，生成的摘要仍然存在与源文件的事实不一致。在本文中，我们专注于实体级的事实不一致，即减少不匹配的实体之间生成的摘要和源文档。因此，我们提出了一种新的基于实体的SpanCopy机制，并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明，SpanCopy能有效地提高实体级的事实一致性，而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Understanding Factuality in Abstractive Summarization with FRANK: A Benchmark for Factuality Metrics
Carnegie Mellon University（卡内基梅隆大学）
现代摘要模型生成高度流畅但通常不可靠的输出。这激发了大量试图衡量自动生成摘要的真实性的指标。由于缺乏共同的基准，这些指标无法进行比较。此外，所有这些方法都将真实性视为一个二元概念，无法更深入地了解不同系统造成的各种不一致。为了解决这些限制，我们设计了一个事实错误的类型学，并使用它来收集人类注释的生成摘要从国家的最先进的摘要系统的CNN/DM和XSum数据集。通过这些注释，我们确定了各种摘要模型和基准真实性度量中不同类别的事实错误的比例，显示了它们与人类判断的相关性以及它们的具体优势和劣势。
2021-07-23 cs.CL
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中，我们提出了一个反事实的数据增强方法，我们增加数据与扰动的摘要，增加训练数据的多样性。具体来说，我们提出了三种增强方法的基础上替换（i）实体从其他和相同的类别和（ii）名词与其相应的WordNet上位词。我们表明，增加训练数据与我们的方法提高了事实的正确性摘要，而不显着影响ROUGE分数。我们表明，在两个常用的摘要数据集（CNN/Dailymail和XSum）中，我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
本综述全面回顾了抽象文本摘要中的事实不一致问题，重点梳理了旨在筛选无事实错误输出的感知事实评估指标，以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
Counterfactual Debiasing for Generating Factually Consistent Text Summaries
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
本文针对抽象式文本摘要中的事实不一致问题，构建因果图识别语言偏差和无关性偏差，并提出反事实去偏框架CoFactSum，通过显式反事实掩码、隐式反事实训练及去偏程度调整机制，有效提升了生成摘要的事实一致性。
2023-05-18 cs.AI cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种结合奖励学习与事实性指标的对比学习框架，使抽象式摘要模型从事实性反馈中学习，从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University（麦吉尔大学）；MILA（MILA研究所）
神经抽象摘要系统已经取得了可喜的进展，这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而，确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块，以解决这个问题，通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练，这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明，该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误，并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现，从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research（赛富时研究院）
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督，基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务：1）识别句子在变换后是否保持事实一致，2）在源文档中提取跨度以支持一致性预测，3）在摘要句子中提取不一致的跨度（如果存在的话）。将此模型转换为由几个最先进的模型生成的摘要表明，这种高度可扩展的方法大大优于以前的模型，包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外，人类的评价表明，辅助跨度提取任务提供了有用的帮助，在验证事实的一致性的过程中。
2019-10-28 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila（米拉研究中心）；McGill University（麦吉尔大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位，至少在ROUGE方面。然而，系统生成的摘要往往面临事实不一致的陷阱：生成与源文本相关的不正确事实。为了应对这一挑战，我们提出了跨度事实，一套两个事实校正模型，利用知识学习的问答模型，使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体，以确保语义一致性w.r.t.源文本，同时保留由抽象摘要模型生成的摘要的句法结构。实验表明，我们的模型显着提高了系统生成的摘要的事实一致性，而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization
Bloomberg（彭博社）；Technical University of Darmstadt（达姆施塔特工业大学）；The University of Sheffield（谢菲尔德大学）
神经抽象文摘模型容易产生与源文档不一致的摘要。以前的工作已经介绍了识别这种事实不一致的任务，作为自然语言推理（NLI）的下游应用。然而，国家的最先进的NLI模型表现不佳，在这种情况下，由于他们无法推广到目标任务。在这项工作中，我们表明，NLI模型可以有效地完成这项任务时，训练数据增加了高质量的面向任务的例子。我们引入了Falsesum，这是一个数据生成管道，它利用可控的文本生成模型来扰乱人类注释的摘要，引入了不同类型的事实不一致。与之前介绍的文档级NLI数据集不同，我们生成的数据集包含各种各样的示例，这些示例不一致，但似乎合理。我们表明，在Falsesum增强的NLI数据集上训练的模型在四个基准测试中提高了最先进的性能，用于检测摘要中的事实不一致性。获取数据集的代码可在https://github.com/joshbambrick/Falsesum上在线获取
2022-05-12 cs.CL
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI（Kriston AI（科思顿人工智能））
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度，人们做了很多努力。然而，目前还缺乏对对话摘要系统的系统研究。在这项工作中，我们首先对对话摘要的忠实性进行细粒度的人工分析，并观察到超过35%的生成摘要与源对话忠实地不一致。此外，我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型，其中包含由基于规则的转换创建的多项选择题。实验结果表明，我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布，以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization
University of Macau（澳门大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有文本摘要事实一致性评估仅提供二元预测的局限，提出细粒度不一致性检测任务及可解释模型FineGrainFact，利用语义角色标注提取语义框架以预测错误类型并修正摘要，实验证明其优于强基线。
2023-05-23 cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research（谷歌研究院）
众所周知，神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中，我们分析了这些模型的局限性，抽象的文档摘要，发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估，以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而，我们的分析确实表明，预训练模型不仅在原始指标方面，即，ROUGE，但也在生成由人类评估的忠实和事实的总结。此外，我们表明，文本蕴涵措施更好地与忠诚度比标准的指标，潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.（亚马逊公司）
电子商务商店收集客户反馈，让卖家了解客户关注的问题，提升客户订单体验。由于客户反馈通常包含冗余信息，因此可以生成反馈的简明摘要，以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误，即错误的实体检测（WED）和错误的产品缺陷描述（IPD）。在这项工作中，我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据，并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项，以便模型学习避免某些事实错误。评估结果表明，大部分的WED和IPD错误减轻BART和T5。此外，我们的方法不依赖于结构的摘要模型，因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University（耶鲁大学）；Microsoft Research（微软研究院）
本研究提出利用自然语言信息反馈改善摘要事实一致性，构建DeFacto数据集，通过微调语言模型在编辑、反馈生成和修正任务中提升性能，而大型语言模型零样本能力不足。
2023-10-16 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University（莫纳什大学）；Zhongtukexin Co. Ltd.（中图科信有限公司）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
摘要文摘近年来取得了巨大的进展。在这项工作中，我们执行细粒度的人工注释来评估长文档抽象摘要系统（即，模型和指标），目的是实施它们以生成可靠的摘要。对于长文档抽象模型，我们表明，不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要，但不是事实的。对于长文档评估指标，人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后，我们提出了有前途的方向，在努力发展的事实一致性指标。最后，我们发布了带注释的长文档数据集，希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）
最先进的抽象摘要系统经常会产生源文档不支持的内容，这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记，减少了有效训练集的大小，并创造了从源复制单词的人为倾向。在这项工作中，我们提出了一个基于拒绝学习的抽象摘要的训练目标，其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标，通过使用在训练过程中学习到的拒绝概率，在推理过程中惩罚非事实的候选摘要。我们表明，我们的方法大大提高了真实性的自动和人工评估生成的摘要相比，五个基线模型，它这样做，同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；MILA（蒙特利尔学习算法研究所）
现有技术的抽象摘要系统通常生成\emph{hallucinations} ;即，不能从源文本直接推断的内容。尽管假设是不正确的，但我们发现许多幻觉内容是真实的，即与世界知识一致。这些真实的幻觉可以通过提供有用的背景信息而在摘要中受益。在这项工作中，我们提出了一种新的检测方法，将实体的真实幻觉与非真实幻觉分开。我们的方法利用一个实体的先验和后验概率根据预先训练和微调掩蔽语言模型，分别。实证结果表明，我们的方法大大优于两个基线%的准确性和F1分数，并与人类的判断强烈相关。%的真实性分类任务。此外，我们表明，我们的检测器，当用作奖励信号在离线强化学习（RL）算法，显着提高了真实性的摘要，同时保持抽象的水平。
2021-12-06 cs.CL
FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了FactPEGASUS，一个抽象的摘要模型，解决了预训练和微调期间的真实性问题：（1）我们增强了PEGASUS的句子选择策略（Zhang et al.，（2020）预训练目标是创建既重要又真实的伪摘要;（2）我们引入了三个互补的组件进行微调。校正器去除参考摘要中存在的幻觉，对比器使用对比学习来更好地区分非事实摘要和事实摘要，连接器弥合预训练和微调之间的差距，以更好地传递知识。在三个下游任务上的实验表明，FactPEGASUS大大提高了由多个自动度量和人类评估的真实性。我们的全面分析表明，FactPEGASUS比在zero-shot和Few-Shot设置中使用原始预训练目标更符合事实，比强基线更稳健地保留事实行为，并且不完全依赖于变得更加提取来提高真实性。我们的代码和数据可在以下网址公开获取：https://github.com/meetdavidwan/factpegasus
2022-05-16 cs.AI cs.CL cs.LG
Annotating and Modeling Fine-grained Factuality in Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的预训练抽象摘要系统已经开始实现可靠的性能，但在实践中使用它们的主要障碍是它们倾向于输出不忠实于输入并且包含事实错误的摘要。虽然已经探索了一些用于评估真实性的注释数据集和统计模型，但没有明确说明哪些错误最重要，也没有明确说明当前技术的成功和失败之处。我们探索了合成和人工标记的数据源，用于训练模型，以识别总结中的事实错误，并在单词，依赖关系和重复级别上研究真实性。我们的观察有三个方面。首先，表现出的事实错误在不同的数据集上有很大的不同，而常用的简单合成错误训练集并不能反映像XSum这样的抽象数据集上的错误。第二，具有细粒度注释的人工标记数据提供比分级注释或合成数据更有效的训练信号。最后，我们证明了我们的最佳真实性检测模型可以通过识别训练数据中的非事实标记来训练更真实的XSum摘要模型。
2021-04-09 cs.CL
CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
Tencent AI Platform Department（腾讯人工智能平台部）；Harbin Institute of Technology（哈尔滨工业大学）
摘要摘要的生成是一个具有挑战性的任务。以前的工作主要是编码的事实信息或执行后纠正/排名解码后。在本文中，我们从对比学习的角度提供了一个事实一致的解决方案，这是一个自然的延伸，以前的工作。我们提出了CO2 Sum（Contrasive for Consistency），一个对比学习方案，可以很容易地应用于序列到序列模型的事实一致的抽象摘要，证明该模型可以是事实感知的，而无需修改架构。CO2 Sum在编码器上进行对比学习，帮助模型感知输入文章中包含的事实信息;在解码器上进行对比学习，使模型生成符合事实的输出摘要。更重要的是，这两个方案是正交的，可以结合起来，以进一步提高忠诚度。在公共基准上的综合实验表明，CO2 Sum提高了大型预训练语言模型的忠实性，并与其他强事实一致的摘要基线相比达到了有竞争力的结果。
2022-01-09 cs.CL
Improving Factual Error Correction for Abstractive Summarization via Data Distillation and Conditional-generation Cloze
Beijing University of Posts and Telecommunications（北京邮电大学）；Shamoon College of Engineering（沙蒙工程大学）
本文提出基于条件生成完形填空任务的事实错误纠正模型 FactCloze，并结合数据蒸馏方法生成更忠实的摘要数据集 SummDSC，有效提升了抽象式摘要的事实一致性。
2024-02-13 cs.CL
CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning
Yale University（耶鲁大学）；Meta AI
针对对话摘要中的事实不一致问题，提出基于语言学错误类型学的对比微调方法ConFiT，通过模块化目标和对话特定损失显著减少幻觉，并在SAMSum和AMI数据集上超越多数基线。
2022-07-09 cs.CL
Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation
Alibaba Group（阿里巴巴集团）；The Chinese University of Hong Kong（香港中文大学）
尽管文本摘要技术已经取得了很大的进展，但摘要中的事实不一致性仍然严重限制了它的实际应用。在保证事实一致性的关键因素中，可靠的自动评价指标是首要的，也是最关键的。然而，现有的度量方法要么忽略了造成事实不一致的内在原因，要么依赖于辅助任务，导致与人类判断的相关性不高，或者增加了实际使用的不便。鉴于这些挑战，我们提出了一种新的度量标准来评估事实的一致性，在文本摘要通过反事实的估计，它制定了源文件，生成的摘要，和语言先验之间的因果关系。我们删除了语言先验的影响，这可能会导致事实的不一致性，从总的因果关系的影响所产生的摘要，并提供了一个简单而有效的方法来评估一致性，而不依赖于其他辅助任务。我们在三个公开的抽象文本摘要数据集上进行了一系列的实验，并证明了所提出的度量在提高与人类判断的相关性和使用的方便性方面的优势。源代码可在https://github.com/xieyxclack/factual_coco上获得。
2021-09-08 cs.CL
Robust Neural Abstractive Summarization Systems and Evaluation against Adversarial Information
Northeastern University（东北大学）；Tencent AI Lab（腾讯人工智能实验室）
序列到序列（seq2seq）神经模型已经被积极地研究用于抽象摘要。然而，现有的神经抽象系统经常生成事实上不正确的摘要，并且容易受到对抗性信息的影响，这表明严重缺乏语义理解。在本文中，我们提出了一种新的语义感知神经抽象摘要模型，学习生成高质量的摘要，通过语义解释显着的内容。引入了一种带有对抗性样本的新评估方案来衡量模型识别主题外信息的能力，我们的模型比流行的指针生成器摘要器的性能要好得多。人工评估也证实了我们的系统摘要比seq2seq模型更加信息化和忠实，并且冗余度更低。
2018-10-14 cs.CL
ChatGPT as a Factual Inconsistency Evaluator for Text Summarization
The University of Manchester（曼彻斯特大学）
本文探索ChatGPT在零样本设置下评估文本摘要事实不一致性的能力，实验表明其在蕴含推理、摘要排序和一致性评分三项任务上普遍优于以往指标，但也存在偏好词汇相似候选、错误推理和理解指令不足等局限。
2023-04-13 cs.CL
Background Knowledge Grounding for Readable, Relevant, and Factual Biomedical Lay Summaries
Dalhousie University（达尔豪斯大学）
针对生物医学通俗摘要生成存在事实错误、锚定知识的使用方式不明的问题，提出锚定来源选择与整合方法，经BioLaySum数据集验证，该方法可提升摘要可读性与相关性但无法改善事实性。
2023-05-03 cs.CL
Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization
D.J. Sanghvi College of Engineering（D.J. Sanghvi工程学院）；Sardar Patel Institute of Technology（Sardar Patel技术学院）
本文评估基于Transformer的BART编码器-解码器模型在类人摘要中的表现，发现常用指标对事实错误不敏感，并利用WeCheck和SummaC证明人类摘要的事实一致性比微调模型高17%。
2024-10-22 cs.AI cs.CL
Evaluating the Factual Consistency of Large Language Models Through News Summarization
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出事实不一致基准FIB，通过比较LLM对新闻摘要的评分衡量其事实一致性，并评估23个模型，发现逐字出现的不一致摘要会误导LLM。
2023-12-02 cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services（亚马逊网络服务）；Columbia University（哥伦比亚大学）
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如，在现有数据集上训练的最先进的模型表现出实体幻觉，生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性，我们表明，实体幻觉问题可以通过简单地过滤训练数据来缓解。此外，我们提出了一个值得总结的实体分类任务的训练过程，以及一个联合实体和摘要生成方法，从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
Stress Testing Factual Consistency Metrics for Long-Document Summarization
University of Copenhagen（哥本哈根大学）
本文评估了六个常用无参考事实性度量在长文档摘要中的可靠性，发现短形式度量在处理信息密集型声明时可靠性下降，提出改进方向包括多跨度推理、上下文感知校准和训练保留意义的变体。
2026-04-29 cs.AI cs.CL cs.LG
GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization
Georgetown University（乔治城大学）
GUMSum构建了12种体裁的英语摘要数据集，评估发现GPT3虽流畅但仍有幻觉且不如人类，并揭示了不同方法生成摘要的错误类型与挑战。
2023-06-20 cs.CL
Improving the Factual Accuracy of Abstractive Clinical Text Summarization using Multi-Objective Optimization
Wright State University（莱特州立大学）；University of Illinois, Chicago（伊利诺伊大学芝加哥分校）
虽然最近在应用于不同领域（包括新闻文章、科学文章和博客文章）的抽象摘要方面取得了进展，但这些技术在临床文本摘要中的应用受到限制。这主要是由于缺乏大规模的训练数据以及与大量训练数据以结构化或半结构化形式出现的其他领域相反的临床笔记的混乱/非结构化性质。此外，临床文本摘要的最少探索和关键组成部分之一是临床摘要的事实准确性。这在医疗保健领域尤其重要，特别是心脏病学，其中保留源注释中的事实的准确摘要生成对患者的健康至关重要。在这项研究中，我们提出了一个框架，提高临床文本的抽象摘要的事实准确性，使用知识引导的多目标优化。我们建议在训练过程中联合优化我们提出的架构中的三个成本函数：生成损失，实体损失和知识损失，并在1）我们为本研究收集的心力衰竭（HF）患者的临床记录上评估所提出的架构; 2）两个基准数据集，印第安纳大学胸部X射线收集（IU X射线）和MIMIC-CXR，这是公开的。我们用三种Transformer编码器-解码器架构进行了实验，并证明优化不同的损失函数可以提高实体级实际准确性方面的性能。
2022-04-02 cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科技大学）
本研究通过直接提示大型语言模型来评估摘要的事实一致性，系统比较了多种模型和提示方法，实验证明该方法在多个设置下均优于现有最佳系统，准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations
University of Colorado - Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；DataCrunch Lab, LLC（DataCrunch实验室有限责任公司）；North Carolina State University（北卡罗来纳州立大学）
本文提出利用GPT优化DistilBERT与T5生成的抽取式、生成式及混合式摘要，以最小化幻觉问题，并通过多指标评估验证了该方法能显著提升摘要的事实准确性与可靠性。
2024-05-07 cs.AI cs.CL cs.LG
CLTS+: A New Chinese Long Text Summarization Dataset with Abstractive Summaries
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
摘要方法缺乏创新性是自动文摘中的一个突出问题。由模型生成的摘要大多是从源文章中提取的。造成这一问题的主要原因之一是缺乏具有抽象性的数据集，尤其是中文数据集。为了解决这一问题，我们对中文长文本摘要数据集CLTS中的参考摘要进行了释义，纠正了事实不一致的错误，并提出了第一个具有高抽象水平的中文长文本摘要数据集CLTS+，它包含超过18万个文章摘要对，并且可以在线获得。此外，我们引入了一个基于共现词的内在度量来评估我们构建的数据集。我们分析了CLTS+摘要中使用的提取策略，以量化我们新数据的抽象性和难度，并在CLTS+上训练了几个基线，以验证它对提高模型创新能力的实用性。
2022-06-09 cs.AI cs.CL
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；Facebook AI（脸书人工智能）
当前应用于摘要的预训练模型容易出现事实不一致，要么歪曲源文本，要么引入无关信息。因此，在我们开发改进的模型时，比较摘要的事实一致性是必要的。然而，事实一致性的最佳人类评估设置尚未标准化。为了解决这个问题，我们使用基于评级的李克特量表和基于排名的最佳-最差缩放协议，对来自CNN-每日邮报和XSum数据集的100篇文章进行了众包评估，以确定最可靠的评估框架。我们发现，基于排名的协议提供了一个更可靠的衡量汇总质量的数据集，而李克特评级的可靠性取决于目标数据集和评估设计。我们的众包模板和摘要评估将公开提供，以促进未来对摘要中事实一致性的研究。
2022-07-09 cs.CL
Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；University of Southern California（南加州大学）
提出EFACTSUM候选摘要生成与排序技术，结合对比学习框架与排序策略，在不牺牲摘要质量的前提下显著提升生成式摘要的事实性。
2023-05-24 cs.AI cs.CL cs.LG
Using Similarity to Evaluate Factual Consistency in Summaries
Intelligent Systems Laboratory（智能系统实验室）；University of Bristol（布里斯托尔大学）
本文提出零样本事实性评估指标 SBERTScore，通过比较摘要与源文档的句子，无需微调即可媲美基于 NLI 和 QA 的指标，并证明结合多种技术能更有效检测摘要中的事实性错误。
2024-09-23 cs.CL
AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出AMRFact框架，通过将摘要解析为AMR图并注入受控错误生成高质量负样本，结合NegFilter数据选择模块，在AggreFact-SOTA基准上显著提升了抽象式摘要事实一致性评估的性能。
2024-10-03 cs.CL
FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations
Technical University of Darmstadt（达姆施塔特工业大学）；Amazon Alexa AI（亚马逊Alexa AI）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
尽管最近在抽象摘要方面有所改进，但大多数当前方法生成的摘要与源文档实际上并不一致，严重限制了它们在现实世界应用中的信任和使用。最近的工作已经显示出有前途的改进，在使用文本或依赖弧蕴涵的真实性错误识别，但是，他们不考虑整个语义图同时。为此，我们提出了FactGraph，一种将文档和摘要分解为结构化含义表示（MR）的方法，该方法更适合于真实性评估。MR描述核心语义概念及其关系，以规范形式聚合文档和摘要中的主要内容，并降低数据稀疏性。FactGraph使用增强了结构感知适配器的图形编码器来编码这些图形，以基于图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同的基准测试上进行的实验表明，FactGraph比以前的方法性能高出15%。此外，FactGraph提高了识别内容可验证性错误的性能，并更好地捕获了主题级别的事实不一致。
2022-07-19 cs.AI cs.CL cs.LG
Deep Reinforced Self-Attention Masks for Abstractive Summarization (DR.SAS)
Stanford（斯坦福大学）
我们提出了一种新的架构方案来解决基于CNN/DM数据集的抽象摘要问题，该数据集将强化学习（RL）与UniLM（一种预训练的深度学习模型）融合在一起，以解决各种自然语言任务。我们已经测试了在Transformers中学习细粒度注意力以提高摘要质量的限制。UniLM以全局方式关注整个令牌空间。我们提出了DR.SAS，它应用Actor-Critic（AC）算法来学习令牌上的动态自我注意力分布，以减少冗余，并生成事实和连贯的摘要，以提高摘要的质量。在进行超参数调整后，我们获得了比基线更好的ROUGE结果。由于对ROUGE奖励进行了优化，我们的模型往往更加提取/真实，但在细节上更加连贯。我们提出了详细的误差分析与我们的模型的优势和局限性的例子。我们的代码库将在我们的GitHub上公开。
2019-12-30 cs.CL
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架，利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
Shortcomings of Question Answering Based Factuality Frameworks for Error Localization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
尽管最近在抽象摘要方面取得了进展，但模型通常生成具有事实错误的摘要。已经提出了许多方法来检测这些错误，其中最流行的是基于问答（QA）的真实性度量。这些已被证明可以很好地预测摘要级别的真实性，并有可能在摘要中定位错误，但后者的能力在过去的研究中没有得到系统的评估。在本文中，我们进行了第一次这样的分析，并发现，与我们的预期相反，基于QA的框架无法正确识别生成的摘要中的错误跨度，并且被平凡的精确匹配基线所超越。我们的分析揭示了这样的本地化差的主要原因：QG模块生成的问题通常会继承来自非事实摘要的错误，然后进一步传播到下游模块。此外，即使是人在回路问题生成也不能轻易地抵消这些问题。我们的实验最终表明，使用QA框架的本地化存在根本性的问题，这不能仅仅通过更强的QA和QG模型来解决。
2023-02-11 cs.CL
Factual Error Correction for Abstractive Summaries Using Entity Retrieval
Seoul National University（首尔国立大学）；AIRS Company, Hyundai Motor Group（现代汽车集团AIRS公司）；Adobe Research（奥多比研究院）
尽管最近在利用大规模数据集和预训练的语言模型的抽象摘要系统中取得了进步，但摘要的事实正确性仍然不足。缓解这一问题的一种尝试是包括一个后编辑过程，可以发现和纠正摘要中的事实错误。在构建这样的后期编辑系统时，强烈要求1）过程具有高成功率和可解释性，以及2）具有快速运行时间。以前的方法集中在使用自回归模型的摘要的再生，缺乏可解释性，需要高的计算资源。在本文中，我们提出了一个有效的事实错误更正系统RFEC的基础上，实体检索后编辑过程。RFEC首先通过将句子与目标摘要进行比较来从原始文档中检索证据句子。这种方法大大减少了系统要分析的文本长度。然后，RFEC通过考虑证据语句来检测摘要中的实体级错误，并将错误的实体替换为证据语句中的准确实体。实验结果表明，我们提出的错误校正系统显示出更有竞争力的性能比基线方法在纠正事实错误，更快的速度。
2022-04-18 cs.CL
Hallucination Reduction in Long Input Text Summarization
Jadavpur University（贾达沃普尔大学）；School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science（印度科学促进会数学与计算科学学院）
本文针对长文档摘要幻觉问题，在 PubMed 上微调 LED，并结合数据过滤与 JAENS 联合生成，提升实体层面事实一致性。
2023-09-28 cs.CL cs.IR cs.LG
Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding
Nara Institute of Science and Technology（奈良科学技术研究所）；Chungnam National University（全南国立大学）；Institute of Science Tokyo（东京科学研究所）
提出ConSUM方法，利用最小贝叶斯风险解码建立候选摘要间的共识，并结合与源文档的一致性指标进行重排序，以提升摘要的事实性。
2026-05-28 cs.CL
Revisiting text decomposition methods for NLI-based factuality scoring of summaries
M Health Information Systems（3M健康信息系统）；Carnegie Mellon University（卡内基梅隆大学）
对生成的摘要的真实性进行评分涉及使用输入文档作为支持来测量目标文本包含事实信息的程度。鉴于问题表述的相似性，以前的工作表明，自然语言推理模型可以有效地重新利用来执行这项任务。由于这些模型被训练为在句子级别上对蕴涵进行评分，最近的几项研究表明，将输入文档或摘要分解为句子有助于真实性评分。但是细粒度分解总是一个成功的策略吗？在本文中，我们系统地比较了不同的粒度分解-从文档到子句子级别，我们的答案是否定的。我们的结果表明，将额外的上下文可以产生改善，但这并不一定适用于所有的数据集。我们还表明，以前提出的基于蕴涵的评分方法的小的变化可以导致更好的性能，强调需要谨慎的模型和方法选择下游任务。
2022-11-30 cs.CL
Faithful to the Document or to the World? Mitigating Hallucinations via Entity-linked Knowledge in Abstractive Summarization
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）
尽管最近在抽象摘要方面取得了进展，但当前的摘要系统仍然遭受内容幻觉，其中模型生成与源文档无关或矛盾的文本。然而，先前的工作一直是基于这样的假设，即任何没有明确出现在源中的生成事实都是不受欢迎的幻觉。已经提出了通过最终提高对源文档的“忠诚度”来解决这种情况的方法，但实际上，黄金参考目标中有很大一部分实体并不直接位于源中。在这项工作中，我们表明，这些实体不是畸变，而是需要利用外部世界的知识来推断推理路径的实体在源。我们表明，通过利用外部的知识库，我们可以提高摘要的忠实性，而不是简单地使他们更提取，此外，我们表明，从源链接的外部知识库可以受益于生成的摘要的真实性。
2022-04-28 cs.CL
Decoupling Generation and Selection for Budget-Constrained Faithful Summarization
该研究针对摘要式模型的事实不一致等问题，提出解耦生成与选择的模块化框架，在多数据集上提升了事实性，仅参考重叠分数略有降低。
2026-08-05 cs.AI cs.CL
Semi-Supervised Dialogue Abstractive Summarization via High-Quality Pseudolabel Selection
AWS AI Labs（亚马逊AI实验室）；Virginia Tech（弗吉尼亚理工大学）
针对现有半监督方法不适用于生成式对话摘要的问题，提出包含语义不变性、覆盖度、忠实度三维度的SiCF评分法筛选高质量伪标签，提升半监督对话摘要性能。
2024-03-06 cs.AI cs.CL
Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences
Meta AI
该研究将输入中的无关句子视为导致摘要事实不一致的混杂因素，提出基于因果效应度量并利用人工标注相关句子的多任务模型，在 AnswerSumm 上显著提升忠实度及标准指标。
2024-01-18 cs.AI cs.CL cs.LG
Prompted Zero-Shot Multi-label Classification of Factual Incorrectness in Machine-Generated Summaries
Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学）；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
本文针对机器生成摘要中的事实错误，提出基于提示的零样本多标签分类系统，将错误分为歪曲、数量不准、错误归因和捏造四类，并通过定性评估验证其检测效果。
2023-12-02 cs.AI cs.CL
