Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
摘要模型通常会生成不一致的摘要,其中包含事实错误或幻觉内容。最近的工作重点是通过后期编辑来纠正生成的摘要中的事实错误。这种纠正模型使用对抗性非事实摘要进行训练,这些摘要是使用启发式规则构建的,用于注入错误。然而,使用统计学生成非事实摘要通常不能很好地推广到实际的模型错误。在这项工作中,我们建议通过填充语言模型来生成硬的、有代表性的非事实摘要的合成示例。有了这些数据,我们训练了一个更强大的事实校正模型来对摘要进行后期编辑,以提高事实的一致性。通过对两个流行的摘要数据集-- CNN/DM和XSum --的定量和定性实验,我们表明,我们的方法在纠正错误摘要方面大大优于以前的方法。我们的模型- FactEdit -在CNN/DM上提高了超过11分的真实性分数,在多个摘要模型中平均提高了超过31分的XSum分数,在保持有竞争力的摘要质量的同时产生了更多的事实摘要。
2022-10-31 cs.CL
Background Knowledge Grounding for Readable, Relevant, and Factual Biomedical Lay Summaries
Dalhousie University(达尔豪斯大学)
针对生物医学通俗摘要生成存在事实错误、锚定知识的使用方式不明的问题,提出锚定来源选择与整合方法,经BioLaySum数据集验证,该方法可提升摘要可读性与相关性但无法改善事实性。
2023-05-03 cs.CL
Evaluating the Factual Consistency of Large Language Models Through News Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出事实不一致基准FIB,通过比较LLM对新闻摘要的评分衡量其事实一致性,并评估23个模型,发现逐字出现的不一致摘要会误导LLM。
2023-12-02 cs.CL
Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization
University of Pittsburgh(匹兹堡大学)
本研究针对长文档摘要事实不一致检测的挑战,通过话语分析揭示错误与话语特征的关联,提出基于话语块分解和信息聚合的框架,在多基准上提升不同模型性能,强调话语特征的重要性。
2025-02-10 cs.AI cs.CL
Evaluating Factual Consistency of Summaries with Large Language Models
City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology(香港科技大学)
本研究通过直接提示大型语言模型来评估摘要的事实一致性,系统比较了多种模型和提示方法,实验证明该方法在多个设置下均优于现有最佳系统,准确率最高提升12.2个百分点。
2023-10-12 cs.CL
Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries
Yale University(耶鲁大学);Columbia University(哥伦比亚大学);Facebook AI(脸书人工智能)
当前应用于摘要的预训练模型容易出现事实不一致,要么歪曲源文本,要么引入无关信息。因此,在我们开发改进的模型时,比较摘要的事实一致性是必要的。然而,事实一致性的最佳人类评估设置尚未标准化。为了解决这个问题,我们使用基于评级的李克特量表和基于排名的最佳-最差缩放协议,对来自CNN-每日邮报和XSum数据集的100篇文章进行了众包评估,以确定最可靠的评估框架。我们发现,基于排名的协议提供了一个更可靠的衡量汇总质量的数据集,而李克特评级的可靠性取决于目标数据集和评估设计。我们的众包模板和摘要评估将公开提供,以促进未来对摘要中事实一致性的研究。
2022-07-09 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan(密歇根大学)
我们研究生成的摘要是忠实的,事实上与给定的文章一致。提出了一种新的对比学习公式,该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本,以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明,我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估,它始终产生更多的事实摘要,而不是与事后纠错,基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果,发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
Enhancing Factual Consistency of Abstractive Summarization
Microsoft Cognitive Services Group(微软认知服务团队);University of Notre Dame(圣母大学)
自动摘要经常歪曲或捏造事实的文章。摘要与原文之间的这种不一致严重影响了其适用性。我们提出了一个事实感知的摘要模型FASum提取和整合的事实关系到摘要生成过程中,通过图形注意。然后,我们设计了一个事实校正模型FC自动纠正现有系统生成的摘要中的事实错误。实验结果表明,与现有系统相比,基于事实感知的摘要生成的摘要具有更高的事实一致性,而修正模型仅通过修改少量关键词就能提高摘要的事实一致性。
2021-03-15 cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University(纽约大学);Facebook AI(Facebook人工智能)
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议,称为QAGS(发音为“kags”),旨在确定事实的不一致,在生成的摘要。QAGS基于这样一种直觉:如果我们询问有关摘要及其来源的问题,如果摘要与来源事实上一致,我们将得到类似的答案。为了评估QAGS,我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断(Hermann等人,2015)和XSUM(Narayan等人,2018年)总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外,QAGS提供了一种自然形式的可解释性:在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具,在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization
Northeastern University(东北大学);King’s College London(伦敦国王学院)
我们考虑的问题,自动生成一个叙述性的生物医学证据摘要,从多个试验报告。我们评估了现代神经模型对Cochrane协作成员先前进行的系统综述中的相关文章摘要进行抽象总结,使用综述摘要的作者结论部分作为我们的目标。我们招募医学专业人士来评估生成的摘要,我们发现,现代摘要系统产生一贯流畅和相关的概要,但它们并不总是事实。我们提出了新的方法,利用特定领域的模型来通知摘要,例如,通过明确划分传达关键发现的输入片段,并强调大型和高质量试验的报告。我们发现,这些策略适度地提高了所生成的摘要的事实准确性。最后,我们提出了一种新的方法,自动评估的真实性生成的叙事证据合成模型,推断报告的结果的方向性。
2020-12-22 cs.CL
AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出AMRFact框架,通过将摘要解析为AMR图并注入受控错误生成高质量负样本,结合NegFilter数据选择模块,在AggreFact-SOTA基准上显著提升了抽象式摘要事实一致性评估的性能。
2024-10-03 cs.CL
Shortcomings of Question Answering Based Factuality Frameworks for Error Localization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
尽管最近在抽象摘要方面取得了进展,但模型通常生成具有事实错误的摘要。已经提出了许多方法来检测这些错误,其中最流行的是基于问答(QA)的真实性度量。这些已被证明可以很好地预测摘要级别的真实性,并有可能在摘要中定位错误,但后者的能力在过去的研究中没有得到系统的评估。在本文中,我们进行了第一次这样的分析,并发现,与我们的预期相反,基于QA的框架无法正确识别生成的摘要中的错误跨度,并且被平凡的精确匹配基线所超越。我们的分析揭示了这样的本地化差的主要原因:QG模块生成的问题通常会继承来自非事实摘要的错误,然后进一步传播到下游模块。此外,即使是人在回路问题生成也不能轻易地抵消这些问题。我们的实验最终表明,使用QA框架的本地化存在根本性的问题,这不能仅仅通过更强的QA和QG模型来解决。
2023-02-11 cs.CL
Factual Error Correction for Abstractive Summaries Using Entity Retrieval
Seoul National University(首尔国立大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司);Adobe Research(奥多比研究院)
尽管最近在利用大规模数据集和预训练的语言模型的抽象摘要系统中取得了进步,但摘要的事实正确性仍然不足。缓解这一问题的一种尝试是包括一个后编辑过程,可以发现和纠正摘要中的事实错误。在构建这样的后期编辑系统时,强烈要求1)过程具有高成功率和可解释性,以及2)具有快速运行时间。以前的方法集中在使用自回归模型的摘要的再生,缺乏可解释性,需要高的计算资源。在本文中,我们提出了一个有效的事实错误更正系统RFEC的基础上,实体检索后编辑过程。RFEC首先通过将句子与目标摘要进行比较来从原始文档中检索证据句子。这种方法大大减少了系统要分析的文本长度。然后,RFEC通过考虑证据语句来检测摘要中的实体级错误,并将错误的实体替换为证据语句中的准确实体。实验结果表明,我们提出的错误校正系统显示出更有竞争力的性能比基线方法在纠正事实错误,更快的速度。
2022-04-18 cs.CL
Enhancing Factuality through Consensus and Consistency in Summarization Using Minimum Bayes Risk Decoding
Nara Institute of Science and Technology(奈良科学技术研究所);Chungnam National University(全南国立大学);Institute of Science Tokyo(东京科学研究所)
提出ConSUM方法,利用最小贝叶斯风险解码建立候选摘要间的共识,并结合与源文档的一致性指标进行重排序,以提升摘要的事实性。
2026-05-28 cs.CL
Evaluating the Tradeoff Between Abstractiveness and Factuality in Abstractive Summarization
Amazon(亚马逊公司);SliceX AI(SliceX人工智能公司)
针对抽象式摘要中抽象性提升常损害事实性的问题,本文通过人类评估分析二者权衡,发布两个判断数据集并提出抽象性调整的事实性指标与基线。
2023-04-24 cs.CL
Prompted Zero-Shot Multi-label Classification of Factual Incorrectness in Machine-Generated Summaries
Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学);Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本文针对机器生成摘要中的事实错误,提出基于提示的零样本多标签分类系统,将错误分为歪曲、数量不准、错误归因和捏造四类,并通过定性评估验证其检测效果。
2023-12-02 cs.AI cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Cape Town(开普敦大学)
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性,这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要,我们提出了合作生成器-鉴别器网络(Co-opNet),这是一种新的基于变换器的框架,其中生成器与一个转换器架构一起工作,以组成连贯的长格式摘要。我们探讨了四个不同的目标,每个捕获不同方面的连贯性,包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中,和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力,使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明,与竞争基线相比,Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
Entity-based SpanCopy for Abstractive Summarization to Improve the Factual Consistency
University of British Columbia(不列颠哥伦比亚大学)
尽管最近的抽象摘要自动评价指标的成功,生成的摘要仍然存在与源文件的事实不一致。在本文中,我们专注于实体级的事实不一致,即减少不匹配的实体之间生成的摘要和源文档。因此,我们提出了一种新的基于实体的SpanCopy机制,并探索其扩展与全局相关性组件。在4个摘要数据集上的实验结果表明,SpanCopy能有效地提高实体级的事实一致性,而对词级和实体级的显著性基本没有影响。代码可在www.example.com上获得
2022-09-07 cs.CL
Understanding Factuality in Abstractive Summarization with FRANK: A Benchmark for Factuality Metrics
Carnegie Mellon University(卡内基梅隆大学)
现代摘要模型生成高度流畅但通常不可靠的输出。这激发了大量试图衡量自动生成摘要的真实性的指标。由于缺乏共同的基准,这些指标无法进行比较。此外,所有这些方法都将真实性视为一个二元概念,无法更深入地了解不同系统造成的各种不一致。为了解决这些限制,我们设计了一个事实错误的类型学,并使用它来收集人类注释的生成摘要从国家的最先进的摘要系统的CNN/DM和XSum数据集。通过这些注释,我们确定了各种摘要模型和基准真实性度量中不同类别的事实错误的比例,显示了它们与人类判断的相关性以及它们的具体优势和劣势。
2021-07-23 cs.CL
Factual Dialogue Summarization via Learning from Large Language Models
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
针对小型预训练模型对话摘要事实一致性不足及大语言模型部署受限的问题,提出基于符号知识蒸馏的方法,通过零样本学习从大语言模型提取正负例摘要,结合对比学习增强小型模型,在多个模型上超越强基线,兼顾事实一致性与文本质量并开放资源。
2024-06-20 cs.CL
Counterfactual Data Augmentation improves Factuality of Abstractive Summarization
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
基于预训练的语言模型的抽象摘要系统通常生成连贯但事实上不一致的句子。在本文中,我们提出了一个反事实的数据增强方法,我们增加数据与扰动的摘要,增加训练数据的多样性。具体来说,我们提出了三种增强方法的基础上替换(i)实体从其他和相同的类别和(ii)名词与其相应的WordNet上位词。我们表明,增加训练数据与我们的方法提高了事实的正确性摘要,而不显着影响ROUGE分数。我们表明,在两个常用的摘要数据集(CNN/Dailymail和XSum)中,我们平均提高了约2.5个点的事实正确性
2022-05-25 cs.CL
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
本综述全面回顾了抽象文本摘要中的事实不一致问题,重点梳理了旨在筛选无事实错误输出的感知事实评估指标,以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
Technion - Israel Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
本文提出TrueTeacher方法,利用大型语言模型标注多样化的模型生成摘要来生成合成数据,以学习事实一致性评估,在TRUE基准上显著优于现有模型和LLM教师,并发布了140万示例的大规模数据集。
2023-10-18 cs.CL
Counterfactual Debiasing for Generating Factually Consistent Text Summaries
Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
本文针对抽象式文本摘要中的事实不一致问题,构建因果图识别语言偏差和无关性偏差,并提出反事实去偏框架CoFactSum,通过显式反事实掩码、隐式反事实训练及去偏程度调整机制,有效提升了生成摘要的事实一致性。
2023-05-18 cs.AI cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University(卡内基梅隆大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种结合奖励学习与事实性指标的对比学习框架,使抽象式摘要模型从事实性反馈中学习,从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University(麦吉尔大学);MILA(MILA研究所)
神经抽象摘要系统已经取得了可喜的进展,这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而,确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块,以解决这个问题,通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练,这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明,该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误,并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现,从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
MedFactEval and MedAgentBrief: A Framework and Workflow for Generating and Evaluating Factual Clinical Summaries
Center for Biomedical Informatics Research, Stanford University(生物医学信息学研究所在斯坦福大学);Department of Biomedical Data Science, Stanford University(生物医学数据科学系,斯坦福大学);Stanford Health Care(斯坦福健康中心);Department of Anesthesiology and Pain Medicine, Stanford Medicine(麻醉与疼痛医学系,斯坦福医学院);Department of Radiology, Stanford University(放射科,斯坦福大学);Stanford Clinical Excellence Research Center, Stanford University(斯坦福临床卓越研究中心,斯坦福大学);Department of Medicine, Stanford University(医学系,斯坦福大学)
针对LLM临床文本事实性评估与生成难题,提出MedFactEval评估框架和MedAgentBrief生成工作流,经七医生金标准验证,LLM评审团一致性达81%,优于单个专家。
2025-09-07 cs.CL
Optimizing the Factual Correctness of a Summary: A Study of Summarizing Radiology Reports
Stanford University(斯坦福大学);University of Florida(佛罗里达大学)
神经抽象摘要模型能够生成与人类参考文献高度重叠的摘要。然而,现有的模型并没有针对事实正确性进行优化,这是现实世界应用程序中的一个关键指标。在这项工作中,我们开发了一个通用的框架,我们评估的事实正确性生成的摘要通过事实检查它自动对它的引用使用信息抽取模块。我们进一步提出了一种训练策略,通过强化学习优化具有事实正确性奖励的神经摘要模型。我们将所提出的方法应用于放射学报告的摘要,其中事实的正确性是一个关键要求。在从医院收集的两个单独的数据集上,我们通过自动和人工评估表明,所提出的方法大大提高了竞争性神经摘要系统输出的事实正确性和整体质量,产生了接近人工撰写质量的放射学摘要。
2020-04-28 cs.CL
Agent-as-Judge for Factual Summarization of Long Narratives
IPAI, Seoul National University(IPAI,首尔国立大学);Seoul National University(首尔国立大学);Hyundai Card(现代卡)
针对长叙事摘要中传统指标及 LLM-as-a-Judge 难以评估事实一致性的问题,本文提出 NarrativeFactScore,利用人物知识图谱评估并指导摘要修正,在多个基准上取得更优表现。
2025-09-29 cs.CL
FactKB: Generalizable Factuality Evaluation using Language Models Enhanced with Factual Knowledge
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Xi’an Jiaotong University(西安交通大学)
本文提出FactKB,一种基于外部知识库事实预训练语言模型的事实性评估方法,通过三种互补预训练目标提升跨领域泛化能力,在多个数据集上达到SOTA,有效检测实体与关系错误。
2023-10-18 cs.CL
Evaluating the Factual Consistency of Abstractive Text Summarization
Salesforce Research(赛富时研究院)
目前用于评估摘要算法的指标并不考虑摘要是否与源文档事实上一致。我们提出了一个弱监督,基于模型的方法来验证事实的一致性和识别源文件和生成的摘要之间的冲突。训练数据是通过对源文档的句子应用一系列基于规则的转换来生成的。事实一致性模型然后被联合训练用于三个任务:1)识别句子在变换后是否保持事实一致,2)在源文档中提取跨度以支持一致性预测,3)在摘要句子中提取不一致的跨度(如果存在的话)。将此模型转换为由几个最先进的模型生成的摘要表明,这种高度可扩展的方法大大优于以前的模型,包括使用标准数据集进行自然语言推理和事实检查的强监督训练的模型。此外,人类的评价表明,辅助跨度提取任务提供了有用的帮助,在验证事实的一致性的过程中。
2019-10-28 cs.CL
Multi-Fact Correction in Abstractive Text Summarization
Mila(米拉研究中心);McGill University(麦吉尔大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位,至少在ROUGE方面。然而,系统生成的摘要往往面临事实不一致的陷阱:生成与源文本相关的不正确事实。为了应对这一挑战,我们提出了跨度事实,一套两个事实校正模型,利用知识学习的问答模型,使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体,以确保语义一致性w.r.t.源文本,同时保留由抽象摘要模型生成的摘要的句法结构。实验表明,我们的模型显着提高了系统生成的摘要的事实一致性,而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Calibrating Likelihoods towards Consistency in Summarization Models
Google DeepMind(谷歌DeepMind)
针对摘要模型生成事实不一致内容的问题,提出通过校准模型生成序列的似然度以对齐NLI一致性指标,实验证明该方法能提升摘要的一致性和质量,并增强模型可靠性。
2023-10-12 cs.CL cs.LG
mFACE: Multilingual Summarization with Factual Consistency Evaluation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本文提出利用事实一致性评估模型改进多语言摘要生成,通过数据过滤和受控生成缓解幻觉,在XLSum数据集45种语言上的自动与人工评估均优于基线。
2024-01-05 cs.CL
Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学现代软件工程国家重点实验室)
本文通过对话摘要和派生事实性问题评估大语言模型的对话理解能力,发现其事实一致性错误率较高,并提出自动构建多任务数据的微调方法以降低错误率。
2024-04-01 cs.CL
FactPICO: Factuality Evaluation for Plain Language Summarization of Medical Evidence
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Massachusetts Institute of Technology(麻省理工学院);University of Duisburg-Essen(杜伊斯堡-埃森大学);Institute for AI in Medicine, University Hospital Essen(埃森大学医院医学人工智能研究所);Georgia Institute of Technology(佐治亚理工学院);Northeastern University(东北大学)
本文提出FactPICO,一个针对医学RCT文本通俗语言摘要的事实性评估基准,包含345篇由多个LLM生成的摘要及专家评估,研究发现现有指标与专家判断相关性差,平衡简洁与事实性仍具挑战。
2024-06-05 cs.CL
Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization
Bloomberg(彭博社);Technical University of Darmstadt(达姆施塔特工业大学);The University of Sheffield(谢菲尔德大学)
神经抽象文摘模型容易产生与源文档不一致的摘要。以前的工作已经介绍了识别这种事实不一致的任务,作为自然语言推理(NLI)的下游应用。然而,国家的最先进的NLI模型表现不佳,在这种情况下,由于他们无法推广到目标任务。在这项工作中,我们表明,NLI模型可以有效地完成这项任务时,训练数据增加了高质量的面向任务的例子。我们引入了Falsesum,这是一个数据生成管道,它利用可控的文本生成模型来扰乱人类注释的摘要,引入了不同类型的事实不一致。与之前介绍的文档级NLI数据集不同,我们生成的数据集包含各种各样的示例,这些示例不一致,但似乎合理。我们表明,在Falsesum增强的NLI数据集上训练的模型在四个基准测试中提高了最先进的性能,用于检测摘要中的事实不一致性。获取数据集的代码可在https://github.com/joshbambrick/Falsesum上在线获取
2022-05-12 cs.CL
Factual consistency evaluation of summarization in the Era of large language models
The University of Manchester(曼彻斯特大学);The Fin AI
本研究引入临床摘要事实一致性数据集TreatFact,并基准测试11个LLM,发现开源模型落后于专有模型,且现有方法难以捕捉临床摘要中的事实不一致。
2025-02-27 cs.CL
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI(Kriston AI(科思顿人工智能))
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度,人们做了很多努力。然而,目前还缺乏对对话摘要系统的系统研究。在这项工作中,我们首先对对话摘要的忠实性进行细粒度的人工分析,并观察到超过35%的生成摘要与源对话忠实地不一致。此外,我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型,其中包含由基于规则的转换创建的多项选择题。实验结果表明,我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布,以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
ReFEree: Reference-Free and Fine-Grained Method for Evaluating Factual Consistency in Real-World Code Summarization
本文提出ReFEree,一种无需参考的细粒度方法,用于评估现实世界代码总结中的事实一致性。通过定义特定于代码总结的事实不一致标准,并在段落层面进行评估,最终获得细粒度评分。
2026-04-12 cs.AI cs.CL cs.PL
Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization
University of Macau(澳门大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有文本摘要事实一致性评估仅提供二元预测的局限,提出细粒度不一致性检测任务及可解释模型FineGrainFact,利用语义角色标注提取语义框架以预测错误类型并修正摘要,实验证明其优于强基线。
2023-05-23 cs.CL
On Faithfulness and Factuality in Abstractive Summarization
Google Research(谷歌研究院)
众所周知,神经文本生成模型中的标准似然训练和近似解码目标导致对语言建模和故事生成等开放式任务的响应不太像人类。在本文中,我们分析了这些模型的局限性,抽象的文档摘要,发现这些模型是非常容易产生幻觉的内容是不忠实的输入文档。我们对几种神经抽象摘要系统进行了大规模的人类评估,以更好地了解它们产生的幻觉类型。我们的人类注释者在所有模型生成的摘要中发现了大量的幻觉内容。然而,我们的分析确实表明,预训练模型不仅在原始指标方面,即,ROUGE,但也在生成由人类评估的忠实和事实的总结。此外,我们表明,文本蕴涵措施更好地与忠诚度比标准的指标,潜在的自动评估指标以及训练和解码标准的方式。
2020-05-02 cs.CL
Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
Northeastern University(东北大学)
本文通过压力测试和浅层分类器区分难易样例,系统评估自动事实性指标,发现多数指标在困难样例上性能大幅下降且可被无内容句子钻空子,其中 ChatGPT-DA 最稳健,但存在过度依赖参数化知识的问题,从而质疑当前事实性指标的可靠性。
2025-11-05 cs.AI cs.CL
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.(亚马逊公司)
电子商务商店收集客户反馈,让卖家了解客户关注的问题,提升客户订单体验。由于客户反馈通常包含冗余信息,因此可以生成反馈的简明摘要,以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误,即错误的实体检测(WED)和错误的产品缺陷描述(IPD)。在这项工作中,我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据,并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项,以便模型学习避免某些事实错误。评估结果表明,大部分的WED和IPD错误减轻BART和T5。此外,我们的方法不依赖于结构的摘要模型,因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy
Pattern Recognition Center, WeChat AI(微信AI模式识别中心);South China University of Technology(华南理工大学);Pazhou Lab, Guangzhou(广州琶洲实验室);Emory University(埃默里大学)
针对摘要事实不一致检测,本文提出将错误类型任务分类法引入 LLM 的零样本与监督推理,在十数据集五领域达到 SOTA,并蒸馏出更小模型替代大型零样本 LLM。
2024-10-04 cs.CL cs.LG
Sensitivity of BLANC to human-scored qualities of text summaries
Primer Technologies Inc.
我们探讨了敏感性的文件摘要质量估计,BLANC,人类评估质量相同的摘要。在我们的人类评估中,我们区分了五种摘要质量,定义为摘要的流畅性,可理解性,信息量,紧凑性和事实正确性。我们提出了最佳BLANC参数的情况,在该参数下,BLANC对几乎所有摘要质量的灵敏度与人类注释者的灵敏度一样好。
2020-10-13 cs.CL
Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization
School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne(墨尔本大学)
本文提出首个细粒度对话摘要事实错误标注数据集DIASUMFACT,将错误检测建模为句子级多标签分类,并提出无监督模型ENDERANKER,在性能与SOTA相当的同时资源需求更低。
2023-05-26 cs.AI cs.CL
BanglaSummEval: Reference-Free Factual Consistency Evaluation for Bangla Summarization
Islamic University of Technology(伊斯兰科技大学);York University(约克大学)
BanglaSummEval通过无参考文献的问答框架评估孟加拉语摘要的事实一致性,结合BERTScore-Recall实现语义一致性检测,验证了其在教育和医疗领域的有效性。
2026-02-18 cs.CL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University(耶鲁大学);Microsoft Research(微软研究院)
本研究提出利用自然语言信息反馈改善摘要事实一致性,构建DeFacto数据集,通过微调语言模型在编辑、反馈生成和修正任务中提升性能,而大型语言模型零样本能力不足。
2023-10-16 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University(莫纳什大学);Zhongtukexin Co. Ltd.(中图科信有限公司);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
摘要文摘近年来取得了巨大的进展。在这项工作中,我们执行细粒度的人工注释来评估长文档抽象摘要系统(即,模型和指标),目的是实施它们以生成可靠的摘要。对于长文档抽象模型,我们表明,不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要,但不是事实的。对于长文档评估指标,人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后,我们提出了有前途的方向,在努力发展的事实一致性指标。最后,我们发布了带注释的长文档数据集,希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Learning with Rejection for Abstractive Text Summarization
Mila(米拉研究所);McGill University(麦吉尔大学)
最先进的抽象摘要系统经常会产生源文档不支持的内容,这主要是由于训练数据集中的噪声。现有的方法选择从训练集中完全丢弃噪声样本或标记,减少了有效训练集的大小,并创造了从源复制单词的人为倾向。在这项工作中,我们提出了一个基于拒绝学习的抽象摘要的训练目标,其中模型学习是否拒绝潜在的噪声标记。我们进一步提出了一个正则化的解码目标,通过使用在训练过程中学习到的拒绝概率,在推理过程中惩罚非事实的候选摘要。我们表明,我们的方法大大提高了真实性的自动和人工评估生成的摘要相比,五个基线模型,它这样做,同时增加了抽象的生成的摘要。
2023-02-16 cs.CL
Hallucinated but Factual! Inspecting the Factuality of Hallucinations in Abstractive Summarization
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);MILA(蒙特利尔学习算法研究所)
现有技术的抽象摘要系统通常生成\emph{hallucinations} ;即,不能从源文本直接推断的内容。尽管假设是不正确的,但我们发现许多幻觉内容是真实的,即与世界知识一致。这些真实的幻觉可以通过提供有用的背景信息而在摘要中受益。在这项工作中,我们提出了一种新的检测方法,将实体的真实幻觉与非真实幻觉分开。我们的方法利用一个实体的先验和后验概率根据预先训练和微调掩蔽语言模型,分别。实证结果表明,我们的方法大大优于两个基线%的准确性和F1分数,并与人类的判断强烈相关。%的真实性分类任务。此外,我们表明,我们的检测器,当用作奖励信号在离线强化学习(RL)算法,显着提高了真实性的摘要,同时保持抽象的水平。
2021-12-06 cs.CL