Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking
NAVER AI Lab(NAVER人工智能实验室);University of Richmond(里士满大学);Seoul National University(首尔国立大学)
尽管近年来摘要系统取得了很大的进步,但仍然很难确定生成的摘要是否与源文本的事实一致。为此,最新的方法是训练一个事实一致性分类器的事实一致性和不一致的摘要。幸运的是,前者可以在现有的摘要数据集中作为参考摘要。然而,生成后者仍然是一个挑战,因为它们需要在事实上不一致,但与源文本密切相关才能有效。在本文中,我们提出了使用源文本和参考摘要与关键信息掩盖生成事实上不一致的摘要。在七个基准数据集上的实验表明,在使用我们的方法生成的摘要上训练的事实一致性分类器通常优于现有模型,并与人类判断具有竞争力。我们还分析了使用我们的方法生成的摘要的特点。我们将在https://github.com/hwanheelee1993/MFMA上发布预训练模型和代码。
2022-05-04 cs.CL
Evaluation of Automatic Text Summarization using Synthetic Facts
California Polytechnic State University(加州州立理工大学)
尽管最近取得了一些进展,但自动文本摘要仍然不可靠,难以捉摸,并且在应用中的实际用途有限。当前摘要方法的两个主要问题是众所周知的:评估和事实一致性。为了解决这些问题,我们提出了一个新的自动无参考文本摘要评估系统,可以衡量任何文本摘要模型的质量与一组基于事实的一致性,全面性和压缩率的生成事实。据我们所知,我们的评估系统是第一个基于真实性,信息覆盖率和压缩率来衡量文本摘要模型总体质量的系统。
2022-04-11 cs.CL
Discourse Understanding and Factual Consistency in Abstractive Summarization
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Stanford University(斯坦福大学);University of Cape Town(开普敦大学)
我们介绍了一个抽象的摘要与事实的一致性和独特的建模的叙述流在输出摘要的一般框架。我们的工作解决了当前抽象摘要模型的局限性,这些模型通常会产生幻觉信息或生成具有一致性问题的摘要。为了生成具有事实一致性和叙述流的抽象摘要,我们提出了合作生成器-鉴别器网络(Co-opNet),这是一种新的基于变换器的框架,其中生成器与一个转换器架构一起工作,以组成连贯的长格式摘要。我们探讨了四个不同的目标,每个捕获不同方面的连贯性,包括是否显着跨度生成的摘要是幻觉或出现在输入的上下文中,和句子相邻生成的摘要的可能性。我们使用arXiv科学论文来衡量Co-opNet学习这些目标的能力,使用摘要作为黄金长格式科学文章摘要的代理。自动和人工评估的实证结果表明,与竞争基线相比,Co-opNet学习总结具有显著提高的全局一致性。
2021-04-09 cs.CL
Investigating Consistency in Query-Based Meeting Summarization: A Comparative Study of Different Embedding Methods
National Central University(中央大学)
针对会议记录结构复杂导致摘要困难及一致性问题,受QMSum启发提出Locater与Summarizer结合的模型,并比较不同词嵌入技术以提升摘要一致性。
2024-02-10 cs.CL
Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search
Allen Institute for AI(艾伦人工智能研究所);Masakhane(马萨卡内);University of Washington(华盛顿大学);MosaicML;MIT(麻省理工学院);Northwestern University(西北大学)
本研究提出PINOCCHIO解码方法,通过约束束搜索检测并避免幻觉,将抽象式摘要的一致性平均提升约67%。
2023-11-17 cs.CL
On Improving Summarization Factual Consistency from Natural Language Feedback
Yale University(耶鲁大学);Microsoft Research(微软研究院)
本研究提出利用自然语言信息反馈改善摘要事实一致性,构建DeFacto数据集,通过微调语言模型在编辑、反馈生成和修正任务中提升性能,而大型语言模型零样本能力不足。
2023-10-16 cs.CL
Regularizing Output Distribution of Abstractive Chinese Social Media Text Summarization for Improved Semantic Consistency
Peking University(北京大学);Northwestern Polytechnical University(西北工业大学)
摘要文本摘要是一个非常困难的问题,序列到序列模型已经成功地提高了任务的性能。然而,生成的摘要往往在语义上与源内容不一致。在这种情况下,当生成摘要时,模型选择与源内容语义无关的单词作为最可能的输出。这个问题可以归因于抽象地构造的训练数据,其中摘要可以与源内容无关,因此包含语义上不相关的单词和虚假的单词对应。在本文中,我们提出了一种正则化方法的序列到序列模型,并利用模型已经学会了正则化的学习目标,以减轻问题的影响。此外,针对现有自动评估方法无法正确评估与源内容的语义一致性的问题,我们提出了一种实用的人工评估方法。实验结果表明,该方法的有效性,它优于几乎所有现有的模型。特别是在人工评价方面,该方法将语义一致性提高了4%.
2018-05-10 cs.CL
Multilingual Sentiment Aware Text Summarization A Reinforcement Learning Approach for Consistency Maintenance
Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC)(国立理工学院(IPN),计算研究中心(CIC))
研究RLHF摘要中的情感漂移现象,提出基于策略归因框架的情感感知KL正则化方法,在保持摘要质量的同时缓解情感中性化。
2026-06-08 cs.CL
Entity-level Factual Consistency of Abstractive Text Summarization
Amazon Web Services(亚马逊网络服务);Columbia University(哥伦比亚大学)
摘要摘要的一个关键挑战是确保生成的摘要与原始文档的事实一致性。例如,在现有数据集上训练的最先进的模型表现出实体幻觉,生成源文档中不存在的实体名称。我们提出了一组新的指标来量化生成的摘要的实体级事实的一致性,我们表明,实体幻觉问题可以通过简单地过滤训练数据来缓解。此外,我们提出了一个值得总结的实体分类任务的训练过程,以及一个联合实体和摘要生成方法,从而进一步提高实体级指标。
2021-02-18 cs.AI cs.CL
Improving Factual Consistency of Abstractive Summarization on Customer Feedback
Amazon, Inc.(亚马逊公司)
电子商务商店收集客户反馈,让卖家了解客户关注的问题,提升客户订单体验。由于客户反馈通常包含冗余信息,因此可以生成反馈的简明摘要,以帮助销售人员更好地了解导致客户不满的问题。现有的抽象文本摘要模型在根据客户反馈生成摘要时会产生两种主要的事实错误,即错误的实体检测(WED)和错误的产品缺陷描述(IPD)。在这项工作中,我们介绍了一套方法来提高客户反馈的抽象摘要的事实一致性。我们用人工破坏的摘要来增加训练数据,并将它们用作目标摘要的对应物。我们在训练目标中添加了一个对比损失项,以便模型学习避免某些事实错误。评估结果表明,大部分的WED和IPD错误减轻BART和T5。此外,我们的方法不依赖于结构的摘要模型,因此是可推广到任何抽象的摘要系统。
2021-06-30 cs.CL cs.LG
Multi-Fact Correction in Abstractive Text Summarization
Mila(米拉研究中心);McGill University(麦吉尔大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院)
预训练的神经抽象摘要系统在新闻摘要性能上占主导地位,至少在ROUGE方面。然而,系统生成的摘要往往面临事实不一致的陷阱:生成与源文本相关的不正确事实。为了应对这一挑战,我们提出了跨度事实,一套两个事实校正模型,利用知识学习的问答模型,使更正系统生成的摘要通过跨度选择。我们的模型采用单一或多掩蔽策略迭代或自回归替换实体,以确保语义一致性w.r.t.源文本,同时保留由抽象摘要模型生成的摘要的句法结构。实验表明,我们的模型显着提高了系统生成的摘要的事实一致性,而不会牺牲摘要质量的自动指标和人类评估。
2020-10-06 cs.CL
Improving Factual Error Correction for Abstractive Summarization via Data Distillation and Conditional-generation Cloze
Beijing University of Posts and Telecommunications(北京邮电大学);Shamoon College of Engineering(沙蒙工程大学)
本文提出基于条件生成完形填空任务的事实错误纠正模型 FactCloze,并结合数据蒸馏方法生成更忠实的摘要数据集 SummDSC,有效提升了抽象式摘要的事实一致性。
2024-02-13 cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University(纽约大学);Facebook AI(Facebook人工智能)
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议,称为QAGS(发音为“kags”),旨在确定事实的不一致,在生成的摘要。QAGS基于这样一种直觉:如果我们询问有关摘要及其来源的问题,如果摘要与来源事实上一致,我们将得到类似的答案。为了评估QAGS,我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断(Hermann等人,2015)和XSUM(Narayan等人,2018年)总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外,QAGS提供了一种自然形式的可解释性:在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具,在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University(麦吉尔大学);MILA(MILA研究所)
神经抽象摘要系统已经取得了可喜的进展,这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而,确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块,以解决这个问题,通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练,这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明,该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误,并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现,从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
Just ClozE! A Novel Framework for Evaluating the Factual Consistency Faster in Abstractive Summarization
Beijing University of Posts and Telecommunications(北京邮电大学);Shamoon College of Engineering(沙蒙工程学院)
本文提出基于完形填空的评估框架ClozE,用于快速评估抽象摘要的事实一致性,在保留QA级可解释性和性能的同时将评估时间减少近96%。
2023-11-28 cs.AI cs.CL
SummVis: Interactive Visual Analysis of Models, Data, and Evaluation for Text Summarization
Salesforce Research(Salesforce研究院);Stanford University(斯坦福大学)
新颖的神经结构、训练策略和大规模语料库的可用性是最近抽象文本摘要进展背后的驱动力。然而,由于神经模型的黑箱性质、无信息的评估指标以及用于模型和数据分析的稀缺工具,摘要模型的真实性能和故障模式在很大程度上仍然未知。为了解决这一限制,我们引入了SummVis,这是一种用于可视化抽象摘要的开源工具,可以对与文本摘要相关的模型,数据和评估指标进行细粒度分析。通过其词汇和语义可视化,这些工具为跨重要维度(如事实一致性或抽象性)进行深入的模型预测探索提供了一个简单的切入点。该工具以及几个预先计算的模型输出可在https://github.com/robustness-gym/summvis上获得。
2021-07-26 cs.CL
MaskEval: Weighted MLM-Based Evaluation for Text Summarization and Simplification
MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学);Inria(法国国家信息与自动化研究所);META AI;Sorbonne Université(索邦大学)
在文本摘要和简化中,系统输出必须沿着多个维度进行评估,例如相关性,事实一致性,流畅性和语法性,并且广泛的可能输出可能是高质量的。这些特性使得开发一个适应性强、无参考的评价指标既必要又具有挑战性。我们引入MaskEval,文本摘要和简化的无参考度量,通过对候选文本和源文本的串联执行掩码语言建模(MLM)来操作。它具有类似注意力的加权机制,以调节每个MLM步骤的相对重要性,这至关重要,使其能够适应评估不同的质量维度。我们证明了其有效性的英语摘要和简化与人类判断的相关性,并探讨了这两个任务之间的迁移情况。
2022-10-13 cs.CL
What Have We Achieved on Text Summarization?
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Zhejiang University(浙江大学);Tencent SPPD(腾讯可持续社会价值事业部)
多年来,通过研究各种方法并提高报告的ROUGE分数,深度学习已经显着改善了文本摘要。然而,自动摘要器和人类专业人员制作的摘要之间仍然存在差距。为了更好地了解摘要系统在细粒度语法和语义层面上的优势和局限性,我们参考了多维质量度量(MQM),并手动量化了10个代表性摘要模型的8个主要错误来源。首先,我们发现:1)在相似的设置下,由于忠实性和事实一致性的优势,提取摘要通常优于抽象摘要; 2)复制,覆盖和混合提取/抽象方法等里程碑技术确实带来了具体的改进,但也表现出局限性; 3)预训练技术,特别是序列到序列的预训练,对于改进文本摘要非常有效,BART给出了最好的结果。
2020-10-09 cs.CL
Stress Testing Factual Consistency Metrics for Long-Document Summarization
University of Copenhagen(哥本哈根大学)
本文评估了六个常用无参考事实性度量在长文档摘要中的可靠性,发现短形式度量在处理信息密集型声明时可靠性下降,提出改进方向包括多跨度推理、上下文感知校准和训练保留意义的变体。
2026-04-29 cs.AI cs.CL cs.LG
Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
摘要模型通常会生成不一致的摘要,其中包含事实错误或幻觉内容。最近的工作重点是通过后期编辑来纠正生成的摘要中的事实错误。这种纠正模型使用对抗性非事实摘要进行训练,这些摘要是使用启发式规则构建的,用于注入错误。然而,使用统计学生成非事实摘要通常不能很好地推广到实际的模型错误。在这项工作中,我们建议通过填充语言模型来生成硬的、有代表性的非事实摘要的合成示例。有了这些数据,我们训练了一个更强大的事实校正模型来对摘要进行后期编辑,以提高事实的一致性。通过对两个流行的摘要数据集-- CNN/DM和XSum --的定量和定性实验,我们表明,我们的方法在纠正错误摘要方面大大优于以前的方法。我们的模型- FactEdit -在CNN/DM上提高了超过11分的真实性分数,在多个摘要模型中平均提高了超过31分的XSum分数,在保持有竞争力的摘要质量的同时产生了更多的事实摘要。
2022-10-31 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University(莫纳什大学);Zhongtukexin Co. Ltd.(中图科信有限公司);Deakin University(迪肯大学);Griffith University(格里菲斯大学)
摘要文摘近年来取得了巨大的进展。在这项工作中,我们执行细粒度的人工注释来评估长文档抽象摘要系统(即,模型和指标),目的是实施它们以生成可靠的摘要。对于长文档抽象模型,我们表明,不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要,但不是事实的。对于长文档评估指标,人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后,我们提出了有前途的方向,在努力发展的事实一致性指标。最后,我们发布了带注释的长文档数据集,希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
Using Multimodal and Language-Agnostic Sentence Embeddings for Abstractive Summarization
本文提出SBARThez框架,利用多模态和多语言句子嵌入提升抽象摘要的准确性与跨语言能力。
2026-03-09 cs.CL
SEval-Ex: A Statement-Level Framework for Explainable Summarization Evaluation
AgroParisTech - MIA(阿格罗巴黎科技-信息与自动化学院)
SEval-Ex框架通过将摘要评估分解为原子语句并进行语句级匹配,在保持可解释性的同时实现了优于GPT-4评估器的最先进性能。
2025-05-04 cs.AI cs.CL
Understanding LLM Reasoning for Abstractive Summarization
ALOHA Lab, University of Hawaii at Manoa(夏威夷大学马诺亚分校ALOHA实验室)
本研究通过大规模比较8种推理策略和3种大型推理模型在8个数据集上的表现,发现推理并非万能,其效果依赖于策略和摘要设置,且存在质量与事实准确性之间的权衡。
2026-06-16 cs.CL
CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization
Tencent AI Platform Department(腾讯人工智能平台部);Harbin Institute of Technology(哈尔滨工业大学)
摘要摘要的生成是一个具有挑战性的任务。以前的工作主要是编码的事实信息或执行后纠正/排名解码后。在本文中,我们从对比学习的角度提供了一个事实一致的解决方案,这是一个自然的延伸,以前的工作。我们提出了CO2 Sum(Contrasive for Consistency),一个对比学习方案,可以很容易地应用于序列到序列模型的事实一致的抽象摘要,证明该模型可以是事实感知的,而无需修改架构。CO2 Sum在编码器上进行对比学习,帮助模型感知输入文章中包含的事实信息;在解码器上进行对比学习,使模型生成符合事实的输出摘要。更重要的是,这两个方案是正交的,可以结合起来,以进一步提高忠诚度。在公共基准上的综合实验表明,CO2 Sum提高了大型预训练语言模型的忠实性,并与其他强事实一致的摘要基线相比达到了有竞争力的结果。
2022-01-09 cs.CL
Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization
University of Macau(澳门大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有文本摘要事实一致性评估仅提供二元预测的局限,提出细粒度不一致性检测任务及可解释模型FineGrainFact,利用语义角色标注提取语义框架以预测错误类型并修正摘要,实验证明其优于强基线。
2023-05-23 cs.CL
Towards Improving Faithfulness in Abstractive Summarization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Ant Group(蚂蚁集团);University of Notre Dame(圣母大学)
尽管基于预训练语言模型的神经抽象摘要取得了成功,但一个未解决的问题是生成的摘要并不总是忠实于输入文档。不忠实问题有两个可能的原因:(1)摘要模型无法理解或捕捉输入文本的要点,以及(2)该模型过度依赖于语言模型来生成流畅但不充分的单词。在这项工作中,我们提出了一个忠实增强摘要模型(FES),这是专为解决这两个问题,提高抽象摘要的忠实性。对于第一个问题,我们建议使用问答(QA)来检查编码器是否完全掌握输入文档,并能够回答输入中的关键信息的问题。QA对正确输入单词的关注也可以用来规定解码器应该如何关注源。对于第二个问题,我们引入了一个定义在语言和摘要模型之间的差异的最大余量损失,旨在防止过度信任的语言模型。在两个基准摘要数据集CNN/DM和XSum上进行的大量实验表明,我们的模型显著优于强基线。对事实一致性的评估也表明,我们的模型比基线生成更忠实的摘要。
2022-10-04 cs.CL
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
National University of Defense Technology(国防科技大学)
针对文本摘要中令牌重要性被忽视的问题,提出令牌重要性感知策略优化(TIAO),通过识别核心令牌并重新加权优势,使7B模型性能媲美GPT-4和GPT-5-nano。
2026-09-16 cs.CL
FRSUM: Towards Faithful Abstractive Summarization via Enhancing Factual Robustness
Peking University(北京大学);Baidu Inc.(百度公司);Soochow University(苏州大学)
尽管能够生成流畅和合乎语法的文本,但目前的Seq2Seq摘要模型仍然存在不忠实的生成问题。在本文中,我们研究了现有系统的忠实性,从一个新的角度,事实的鲁棒性,这是正确地生成事实信息对抗不忠实的信息的能力。我们首先通过模型在生成事实信息时抵御对抗攻击的成功率来衡量模型的事实鲁棒性。对现有系统的实际鲁棒性分析表明,它与人类对忠诚的判断具有良好的一致性。受这些发现的启发,我们建议通过增强模型的事实鲁棒性来提高模型的忠实性。具体来说,我们提出了一种新的训练策略,即FRSUM,它教会模型防御显式对抗样本和隐式事实对抗扰动。大量的自动和人工评估结果表明,FRSUM始终如一地提高了各种Seq2Seq模型(如T5,BART)的可信度。
2022-11-01 cs.CL
Agreement in Representation Space for Open-Ended Self-Consistency
HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)(HiTZ中心 - Ixa,巴斯克大学(UPV/EHU))
针对开放式生成任务,提出基于嵌入的协议(EBA),通过聚类采样生成的嵌入表示来估计自洽性,无需训练即可鲁棒地选择更可靠的输出。
2026-06-11 cs.CL
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
本综述全面回顾了抽象文本摘要中的事实不一致问题,重点梳理了旨在筛选无事实错误输出的感知事实评估指标,以及致力于实现事实一致性的新型摘要系统。
2023-04-10 cs.CL
Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models
Seoul National University(首尔大学);Samsung SDS(三星SDS);ASRI(首尔国立大学先进技术与融合研究院);INMC(纳米融合技术研究院);AIIS(人工智能与信息科学研究院)
本文研究基于微调的抽象式摘要模型在参数知识与输入文档知识冲突时的事实适应性,提出可控反事实数据增强方法,在 PEGASUS 和 BART 上提升事实适应性并保持与对比学习基线相当的事实一致性。
2024-02-23 cs.AI cs.CL cs.LG
CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning
Yale University(耶鲁大学);Meta AI
针对对话摘要中的事实不一致问题,提出基于语言学错误类型学的对比微调方法ConFiT,通过模块化目标和对话特定损失显著减少幻觉,并在SAMSum和AMI数据集上超越多数基线。
2022-07-09 cs.CL
ScholarSum: Student-Teacher Abstractive Summarization via Knowledge Graph Reasoning and Reflective Refinement
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
提出ScholarSum框架,通过构建层次知识图谱引导学生生成初稿,并利用教师式审阅者迭代检查与修正,实现科学文献摘要的流畅性与事实一致性。
2026-06-18 cs.CL cs.IR
StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs
ALOHA Lab, University of Hawaii at Manoa(夏威夷大学曼纳亚分校ALOHA实验室);University of Hawaii at Hilo(夏威夷大学希洛分校)
StrucSum通过图结构推理提升基于LLM的长文档提取式摘要质量,有效增强文档结构建模与关键信息识别能力。
2026-01-21 cs.CL
Domain-specific Guided Summarization for Mental Health Posts
School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西交利物浦大学先进技术学院);University of Liverpool(利物浦大学);School of Information Science and Technology, Hangzhou Normal University(杭州师范大学信息科学与技术学院)
针对心理健康领域生成式摘要需贴合专业内容的需求,提出带双编码器与适配解码器的引导式摘要器及后编辑校正模型,在Mentsum数据集上ROUGE和FactCC得分优于基线,方法具广泛适用性。
2024-11-03 cs.CL
Guidance in Radiology Report Summarization: An Empirical Evaluation and Error Analysis
University of Duisburg-Essen(杜伊斯堡-埃森大学);University Hospital Essen(埃森大学医院);University of Mannheim(曼海姆大学);University of Marburg(马尔堡大学)
针对放射学报告引导式摘要依赖领域资源、错误认知不足的问题,提出领域无关的可变长度抽取式引导信号,性能媲美领域特定方法,并通过专家评估发现内容选择错误是核心问题,为后续研究指明方向。
2023-07-24 cs.CL
ChatGPT as a Factual Inconsistency Evaluator for Text Summarization
The University of Manchester(曼彻斯特大学)
本文探索ChatGPT在零样本设置下评估文本摘要事实不一致性的能力,实验表明其在蕴含推理、摘要排序和一致性评分三项任务上普遍优于以往指标,但也存在偏好词汇相似候选、错误推理和理解指令不足等局限。
2023-04-13 cs.CL
Decoupling Generation and Selection for Budget-Constrained Faithful Summarization
该研究针对摘要式模型的事实不一致等问题,提出解耦生成与选择的模块化框架,在多数据集上提升了事实性,仅参考重叠分数略有降低。
2026-08-05 cs.AI cs.CL
DeepSeek-R1 vs. o3-mini: How Well can Reasoning LLMs Evaluate MT and Summarization?
University of Mannheim(曼海姆大学);University of Technology Nuremberg(纽伦堡技术大学)
本研究首次系统比较了推理与非推理LLM在机器翻译和文本摘要评估任务中的表现,发现推理能力带来的提升具有架构和任务依赖性,并揭示了推理token使用与评估质量之间的相关性。
2025-05-30 cs.CL
Questioning the Validity of Summarization Datasets and Improving Their Factual Consistency
École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);Télécom-Paris(巴黎电信学院)
摘要评价的话题近年来引起了人们的关注,因为摘要摘要系统的快速发展。然而,任务的制定是相当模糊的,无论是语言还是自然语言处理社区都没有成功地给出一个相互同意的定义。由于缺乏明确定义的公式,大量流行的抽象摘要数据集的构建方式既不能保证有效性,也不符合摘要的最基本标准之一:事实一致性。在本文中,我们通过结合最先进的事实一致性模型来识别流行摘要数据集中存在的问题实例来解决这个问题。我们发布了SummFC,这是一个经过过滤的摘要数据集,具有更好的事实一致性,并证明在此数据集上训练的模型在几乎所有质量方面都实现了性能的提高。我们认为我们的数据集应该成为开发和评估摘要系统的有效基准。
2022-10-31 cs.CL
A Comparative Study of Quality Evaluation Methods for Text Summarization
University of North Texas(北得克萨斯大学)
本文针对文本摘要评估中自动指标与人工评估脱节的问题,提出基于大语言模型的评估方法,并在专利文档数据集上通过比较实验验证其与人工评估高度一致,进而构建LLM驱动的自动评估与改进框架。
2024-06-30 cs.AI cs.CL
AgenticSum: An Agentic Inference-Time Framework for Faithful Clinical Text Summarization
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家);University of Delaware, Newark, DE, USA(特拉华大学)
AgenticSum通过代理推理框架提升临床文本摘要的准确性与一致性。
2026-02-23 cs.AI cs.CL
Active Learning for Abstractive Text Summarization
AIRI(AIRI(人工智能研究院));HSE(高等经济学院);SberDevices(SberDevices(俄罗斯联邦储蓄银行设备部));TII(技术创新研究院);Skoltech(斯科尔科沃科技学院);MIPT(莫斯科物理技术学院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息传输问题研究所可信人工智能研究中心)
构建用于抽象文本摘要(ATS)的人工管理的注释数据集非常耗时且昂贵,因为创建每个实例需要人工注释者阅读长文档并撰写较短的摘要,以保留原始文档中的关键信息。主动学习(AL)是一种开发用于减少实现一定水平的机器学习模型性能所需的注释量的技术。在信息抽取和文本分类中,人工智能可以将劳动量减少数倍。尽管它有可能帮助昂贵的注释,据我们所知,没有有效的AL查询策略的ATS。这是因为许多AL策略依赖于不确定性估计,而正如我们在工作中所展示的那样,不确定的实例通常是嘈杂的,与被动注释相比,选择它们会降低模型性能。我们解决这个问题,提出了第一个有效的查询策略AL在ATS的多样性原则的基础上。我们表明,给定一定的注释预算,在AL注释中使用我们的策略有助于提高模型在ROUGE和一致性得分方面的性能。此外,我们分析了自学习的效果,并表明它可以进一步提高模型的性能。
2023-01-09 cs.CL
Hallucination Reduction in Long Input Text Summarization
Jadavpur University(贾达沃普尔大学);School of Mathematical and Computational Sciences, Indian Association for the Cultivation of Science(印度科学促进会数学与计算科学学院)
本文针对长文档摘要幻觉问题,在 PubMed 上微调 LED,并结合数据过滤与 JAENS 联合生成,提升实体层面事实一致性。
2023-09-28 cs.CL cs.IR cs.LG
Balancing Rewards in Text Summarization: Multi-Objective Reinforcement Learning via HyperVolume Optimization
AI-4-Business of Li Auto Inc.(利汽车有限公司AI-4-Business)
本文提出超体积优化(HVO)策略,通过动态调整奖励分数引导模型逼近帕累托前沿,实现多目标平衡的文本摘要,在多个数据集上优于GRPO,且7B模型性能媲美GPT-4。
2025-10-22 cs.AI cs.CL
Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Southern California(南加州大学)
提出EFACTSUM候选摘要生成与排序技术,结合对比学习框架与排序策略,在不牺牲摘要质量的前提下显著提升生成式摘要的事实性。
2023-05-24 cs.AI cs.CL cs.LG
UMSE: Unified Multi-scenario Summarization Evaluation
Shandong University(山东大学);Microsoft Corporation(微软公司);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出统一多场景摘要评估模型UMSE,通过扰动前缀调优和自监督训练共享跨场景知识,首次实现单一框架同时支持基于参考、无参考等多种摘要评估场景,并在SummEval上取得与专用强方法相当的性能。
2023-05-26 cs.AI cs.CL
BRIDO: Bringing Democratic Order to Abstractive Summarization
Samsung Research(三星研究院)
本文提出BRIDO模型,通过对比学习激励高候选间ROUGE分数,缓解暴露偏差以减少抽象摘要中的幻觉,在XSum和CNN/DM数据集上分别提升一致性G-Eval分数6.25%和3.82%。
2025-02-25 cs.CL cs.LG
What Is That Talk About? A Video-to-Text Summarization Dataset for Scientific Presentations
Saarland University(萨尔兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);University of Cambridge(剑桥大学);University of Edinburgh(爱丁堡大学)
本文提出VISTA数据集,含18,599个AI会议演示及其摘要,并采用基于计划的框架提升摘要质量,但模型与人类表现仍有差距。
2025-05-24 cs.AI cs.CL cs.CV
Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出统一的后验防御框架,通过影响函数分析或行为审计检测微调阶段的数据投毒,并利用梯度上升遗忘恢复模型性能,在多种攻击下实现85-92%检测精度和96%行为恢复。
2026-06-25 cs.CL cs.CR
Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系);aiXplain Inc.(aiXplain公司)
本文提出多目标强化学习方法,通过MDO_min和MDO_pro策略优化摘要的一致性、连贯性、相关性和流畅性,并利用QA奖励模型和折扣因子调节,在多个数据集上显著提升性能。
2024-06-01 cs.AI cs.CL
Enhancing Coherence of Extractive Summarization with Multitask Learning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本研究提出多任务学习架构,通过连贯性判别器与两种可微分训练策略提升抽取式摘要的连贯性,在保留传统指标表现的同时,经自动和人工评估验证了连贯性与一致性的提升。
2023-07-21 cs.AI cs.CL
Abstractive Text Summarization: State of the Art, Challenges, and Improvements
University of Colorado(科罗拉多大学);University of Arkansas(阿肯色大学)
该综述系统梳理了抽象式文本摘要的最新技术、挑战与改进方向,涵盖序列到序列模型、预训练大语言模型、强化学习等方法,并提出知识融合等解决方案,为后续研究提供结构化参考。
2024-09-04 cs.AI cs.CL cs.LG