Annotating and Modeling Fine-grained Factuality in Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的预训练抽象摘要系统已经开始实现可靠的性能，但在实践中使用它们的主要障碍是它们倾向于输出不忠实于输入并且包含事实错误的摘要。虽然已经探索了一些用于评估真实性的注释数据集和统计模型，但没有明确说明哪些错误最重要，也没有明确说明当前技术的成功和失败之处。我们探索了合成和人工标记的数据源，用于训练模型，以识别总结中的事实错误，并在单词，依赖关系和重复级别上研究真实性。我们的观察有三个方面。首先，表现出的事实错误在不同的数据集上有很大的不同，而常用的简单合成错误训练集并不能反映像XSum这样的抽象数据集上的错误。第二，具有细粒度注释的人工标记数据提供比分级注释或合成数据更有效的训练信号。最后，我们证明了我们的最佳真实性检测模型可以通过识别训练数据中的非事实标记来训练更真实的XSum摘要模型。
2021-04-09 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
Unsupervised Pseudo-Labeling for Extractive Summarization on Electronic Health Records
Petuum Inc.（Petuum公司）
摘要对于医生更好地管理和消化电子健康记录（EHR）非常有用。然而，监督模型的训练需要特定疾病的医学背景，因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签，并训练一个没有外部注释的监督模型。在真实患者数据上的实验验证了我们的模型在总结患者的关键疾病特定信息方面是有效的。
2018-11-26 cs.CL
Noisy Self-Knowledge Distillation for Text Summarization
Microsoft Cognitive Services Research（微软认知服务研究院）；University of California, Berkeley（加州大学伯克利分校）；University of Edinburgh（爱丁堡大学）
在本文中，我们将自知识蒸馏应用到文本摘要中，我们认为这可以缓解在单一参考和噪声数据集上进行最大似然训练的问题。我们的学生摘要模型不是依赖于一个热门的注释标签，而是在老师的指导下进行训练，老师会生成平滑的标签来帮助规范训练。此外，为了在训练过程中改善模型的不确定性，我们为教师和学生模型引入了多个噪声信号。我们在三个基准测试上通过实验证明，我们的框架可以提高预训练和非预训练摘要器的性能，从而获得最先进的结果。
2021-07-27 cs.CL
Clustering of Deep Contextualized Representations for Summarization of Biomedical Texts
近年来，将领域知识融入文本摘要过程的摘要器已经优于一般方法，特别是对于生物医学文本的摘要。然而，领域知识库的建设和维护是资源密集型的任务，需要大量的人工注释。在本文中，我们证明了从预训练的深度语言模型BERT中提取的上下文表示可以有效地用于测量句子之间的相似性并量化信息内容。实验结果表明，我们的基于BERT的摘要器可以提高生物医学摘要的性能。虽然摘要器不使用任何领域知识的来源，它可以捕捉句子的上下文比比较方法更准确。源代码和数据可在https://github.com/BioTextSumm/BERT-based-Summ上获得。
2019-08-22 cs.CL
CTRLsum: Towards Generic Controllable Text Summarization
Carnegie Mellon University（卡内基梅隆大学）；Salesforce Research（赛富时研究院）
当前的摘要系统产生与用户的偏好和期望断开的通用摘要。为了解决这个问题，我们提出了CTRLsum，一个新的框架可控总结。我们的方法使用户能够控制多个方面生成的摘要通过与摘要系统通过文本输入的形式，一组关键字或描述性提示。使用单一的统一模型，CTRLsum能够在推理时实现广泛的汇总操作，而无需额外的人工注释或在训练期间预先定义一组控制方面。我们定量地证明了我们的方法在三个领域的摘要数据集和五个控制方面的有效性：1）以实体为中心和2）长度可控的摘要，3）科学论文的贡献摘要，4）专利申请的发明目的摘要，和5）在阅读理解设置中的新闻文章的问题引导摘要。此外，当在标准、不受控制的摘要设置中使用时，CTRLsum在CNN/DailyMail数据集上获得了最先进的结果。代码和模型检查点可在https://github.com/salesforce/ctrl-sum上获得
2020-12-08 cs.CL
Human-like Summarization Evaluation with ChatGPT
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本研究探讨了ChatGPT在五个数据集上使用四种人工评估方法进行类人摘要评估的能力，发现其能顺利完成标注并在部分数据集上优于常用自动评估指标。
2023-04-05 cs.CL
Toward Abstractive Summarization Using Semantic Representations
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的抽象摘要框架，借鉴了最近发展的树库的抽象意义表示（AMR）。在这个框架中，源文本被解析成一组AMR图，这些图被转换成摘要图，然后从摘要图生成文本。我们专注于图到图的转换，减少了源语义图到一个摘要图，利用现有的AMR解析器，并假设最终可用的AMR到文本生成器。该框架是数据驱动的，可训练的，而不是专门为特定领域设计的。在金标准AMR注释和系统解析上的实验显示了良好的结果。代码可在：https://github.com/summarization
2018-05-25 cs.CL
Abstractive Dialog Summarization with Semantic Scaffolds
Zhejiang University（浙江大学）；University of California, Davis（加州大学戴维斯分校）
在现实世界的应用中，对抽象对话摘要的需求正在增长。例如，客户服务中心或医院希望总结客户服务互动和医患互动。然而，由于缺乏合适的数据集，很少有研究者探讨对话的摘要。我们提出了一个抽象的对话摘要数据集的基础上MultiWOZ。如果我们直接应用以前的国家的最先进的文件摘要对话框的方法，有两个显着的缺点：信息实体，如餐厅名称是难以保存，和内容从不同的对话域有时不匹配。为了解决这两个缺点，我们提出了脚手架指针网络（SPNet），利用现有的注释扬声器角色，语义槽和对话域。SPNet将这些语义支架用于对话摘要。由于ROUGE不能捕捉到上述两个缺点，我们还提出了一个新的评估指标，认为关键的信息实体的文本。在MultiWOZ上，我们提出的SPNet在所有自动和人工评估指标上都优于最先进的抽象摘要方法。
2019-10-02 cs.CL
Enhancing Faithfulness in Abstractive Summarization via Span-Level Fine-Tuning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文研究了通过片段级微调策略减少LLM生成式摘要中的幻觉问题，构建了含片段级标签的忠实与不忠实摘要数据集，并评估了梯度上升、不可能性训练和任务向量否定三种技术，发现不可能性训练效果最佳。
2025-10-10 cs.CL
QAPyramid: Fine-grained Evaluation of Content Selection for Text Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Bar-Ilan University（巴伊兰大学）
针对Pyramid评估协议子单元定义和粒度缺乏系统性的问题，提出QAPyramid，利用QA-SRL框架将参考摘要分解为细粒度QA对，实现更系统、细粒度的内容选择评估，并保持高标注者间一致性。
2025-10-07 cs.AI cs.CL
TL;DR Progress: Multi-faceted Literature Exploration in Text Summarization
Leipzig University（莱比锡大学）；University of Groningen（格罗宁根大学）
本文提出TL;DR Progress工具，通过综合标注方案对514篇神经文本摘要论文进行多维度人工标注，支持细粒度分面搜索并提供自动生成的指示性摘要，助力高效探索文献。
2024-02-10 cs.CL
How Far are We from Robust Long Abstractive Summarization?
Monash University（莫纳什大学）；Zhongtukexin Co. Ltd.（中图科信有限公司）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
摘要文摘近年来取得了巨大的进展。在这项工作中，我们执行细粒度的人工注释来评估长文档抽象摘要系统（即，模型和指标），目的是实施它们以生成可靠的摘要。对于长文档抽象模型，我们表明，不断争取国家的最先进的ROUGE结果可以导致我们生成更多的相关摘要，但不是事实的。对于长文档评估指标，人工评估结果显示ROUGE在评估摘要的相关性方面仍然是最好的。它还揭示了事实性度量在检测不同类型的事实错误方面的重要局限性以及BARTScore有效性背后的原因。然后，我们提出了有前途的方向，在努力发展的事实一致性指标。最后，我们发布了带注释的长文档数据集，希望它能有助于在更广泛的摘要设置中开发指标。
2022-10-30 cs.CL
InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation
IBM（国际商业机器公司）；Telecom Paris（巴黎电信学院）
通过人工注释来评估自然语言生成系统的质量是非常昂贵的。此外，人工注释活动是耗时的，并且包括不可重复使用的人工劳动。在实践中，研究人员依赖自动度量作为质量的代理。在过去的十年中，许多基于字符串的度量（例如，BLEU）已经推出。然而，这样的度量通常依赖于精确匹配，因此不能鲁棒地处理同义词。在本文中，我们介绍了InfoLM一系列未经训练的指标，可以被视为一个基于字符串的指标，解决了上述缺陷，这要归功于一个预先训练的掩码语言模型。这一系列指标还使用了信息度量，允许InfoLM适应各种评估标准。使用直接评估，我们证明了InfoLM实现了统计上的显着改善，并超过$10$点的相关增益在许多配置的总结和data2text生成。
2022-03-25 cs.AI cs.CL
Unsupervised Opinion Summarization with Content Planning
最近深度学习技术在抽象摘要方面的成功是基于大规模数据集的可用性。当总结评论时（例如，对于产品或电影），这样的训练数据既不可用，也不能容易地获得，从而促使开发依赖于用于监督训练的合成数据集的方法。我们表明，将内容规划明确纳入摘要模型不仅可以产生更高质量的输出，而且还可以创建更自然的合成数据集，类似于真实世界的文档摘要对。我们的内容计划采用方面和情感分布的形式，我们从数据中推导出来，而无需访问昂贵的注释。合成数据集是通过从我们的内容规划器参数化的Dirichlet分布中采样伪评论来创建的，而我们的模型则根据输入评论和诱导内容计划生成摘要。三个领域的实验结果表明，我们的方法优于竞争模型在生成信息丰富，连贯，流畅的摘要，捕捉意见的共识。
2020-12-14 cs.CL
Should We Trust This Summary? Bayesian Abstractive Summarization to The Rescue
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们使用贝叶斯深度学习的工具，在现代抽象摘要模型的背景下探索不确定性的概念。我们的方法近似贝叶斯推理，首先扩展了最先进的总结模型与蒙特卡洛辍学，然后使用它们来执行多个随机向前传递。基于贝叶斯推理，我们能够有效地量化预测时的不确定性。有了可靠的不确定性度量，我们可以通过过滤掉生成的高不确定性摘要来改善最终用户的体验。此外，不确定性估计可以用作选择用于注释的样本的标准，并且可以与主动学习和人在回路方法很好地配对。最后，贝叶斯推理使我们能够找到一个贝叶斯总结，它比确定性的表现更好，更强大的不确定性。在实践中，我们表明，我们的变分贝叶斯等价BART和PEGASUS可以在多个基准数据集上胜过他们的确定性同行。
2022-05-03 cs.CL
SummEval: Re-evaluating Summarization Evaluation
Yale University（耶鲁大学）；Salesforce Research（Salesforce研究院）
缺乏全面的最新研究的文本摘要的评价指标和缺乏共识的评价协议继续抑制进展。我们从五个维度来解决摘要评价方法存在的不足：1）我们使用神经摘要模型输出以及专家和众包人类注释，以全面和一致的方式重新评估14个自动评估指标，2）我们使用上述自动评估指标对23个最近的摘要模型进行了一致的基准测试，3）我们汇集了由在CNN/DailyMail新闻数据集上训练的模型生成的最大摘要集合，并以统一格式共享，4）我们实现并共享了一个工具包，该工具包提供了可扩展和统一的API，用于在广泛的自动度量中评估摘要模型，5）我们收集并分享了最大和最多样化的模型类型，收集了由专家评委和众包工作者注释的CNN/每日邮报数据集上模型生成摘要的人类判断。我们希望这项工作将有助于促进一个更完整的文本摘要评估协议，以及在开发更好地与人类判断相关的评估指标的研究。
2021-02-01 cs.CL
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization
University of Michigan（密歇根大学）
我们研究生成的摘要是忠实的，事实上与给定的文章一致。提出了一种新的对比学习公式，该公式利用参考摘要作为正训练数据和自动生成的错误摘要作为负训练数据来训练更好地区分它们的摘要系统。我们进一步设计了四种类型的策略来创建阴性样本，以类似于我们在总结错误的新人类注释中发现的两种最先进的模型BART和PEGASUS通常所犯的错误。在XSum和CNN/Daily Mail上的实验表明，我们的对比学习框架在数据集和模型上都是鲁棒的。根据基于QA的真实性评估，它始终产生更多的事实摘要，而不是与事后纠错，基于蕴涵的重新排序和不可能训练的强比较。人类法官回应了观察结果，发现我们的模型总结纠正了更多的错误。
2021-09-19 cs.CL
Loss-Based Active Learning for Neural Abstractive Summarization
School of Informatics（信息学院）；Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；Microsoft（微软公司）
针对神经抽象摘要生成标注数据获取成本高的问题，提出LOBSTER主动学习框架，在三个数据集和两个模型上验证其性能优于或相当SOTA，且查询选择速度最高提升665倍
2026-08-27 cs.CL
Hallucination Diversity-Aware Active Learning for Text Summarization
Shanghai Jiao Tong University（上海交通大学）；University of Michigan（密歇根大学）；Adobe Research（奥多比研究院）
本文提出首个缓解LLM幻觉的主动学习框架HADAS，通过从语义框架、话语和内容可验证性度量细粒度幻觉并选择多样化样本标注，在三个数据集上验证了其高效减轻文本摘要幻觉的效果。
2024-04-02 cs.AI cs.CL cs.LG
Understanding Points of Correspondence between Sentences for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
融合包含不同内容的句子是一种非凡的人类能力，有助于创建信息丰富和简洁的摘要。对于人类来说，这样一个简单的任务对现代抽象摘要器来说仍然是一个挑战，大大限制了它们在现实世界中的适用性。在本文中，我们提出了一个调查融合的句子从一个文件中引入的概念，对应点，这是衔接手段，将任何两个句子连接在一起，成为一个连贯的文本。语篇衔接理论对对应点的类型进行了划分，包括代词和名词性指称、重复及其他。我们创建了一个数据集，其中包含文档、源语句和融合语句，以及语句之间对应点的人工注释。我们的数据集弥合了共指消解和摘要之间的差距。它是公开共享的，作为未来工作的基础，以衡量句子融合系统的成功。（https：//github.com/ucfnlp/points-of-correspondence）
2020-06-10 cs.CL
DUAL: Diversity and Uncertainty Active Learning for Text Summarization
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）；School of Informatics（信息学院）
提出结合不确定性与多样性的主动学习算法DUAL，通过迭代选择兼具代表性和挑战性的样本，有效解决了文本摘要任务中传统主动学习方法表现不佳的问题。
2025-03-02 cs.CL
Mitigating the Impact of Reference Quality on Evaluation of Summarization Systems with Reference-Free Metrics
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）；Japanese French Laboratory for Informatics（日法信息学实验室）；JustAI
针对现有摘要评估指标依赖参考质量且在长文档上相关性差的问题，提出一种低成本、与人工评估高度相关的无参考指标，并能与基于参考的指标结合提升低质量参考下的鲁棒性。
2024-10-08 cs.AI cs.CL cs.IR
How to Evaluate a Summarizer: Study Design and Statistical Analysis for Manual Linguistic Quality Evaluation
Heidelberg University（海德堡大学）
人工评估是判断自动文本摘要进展的关键。然而，我们进行了一项调查，最近的摘要系统的论文，揭示了如何进行这种评估研究的协议。我们对摘要的语言质量（连贯性和重复性）的两个方面进行了两个评价实验，比较了Likert类型和等级注释，并表明最佳评价方法的选择可以从一个方面到另一个方面而变化。在我们的调查中，我们还发现，研究参数，如注释者的总数和注释者的注释项目的分布往往没有完全报告，随后的统计分析忽略了分组因素所产生的一个注释判断多个摘要。使用我们的评估实验，我们表明，注释器的总数可以有很大的影响，学习的力量，目前的统计分析方法可以膨胀I型出错率高达8倍。此外，我们强调，为了系统比较的目的，目前的做法，每个摘要引起多个判断，导致不太强大和可靠的注释给定一个固定的研究预算。
2021-01-27 cs.CL
USB: A Unified Summarization Benchmark Across Tasks and Domains
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）
本文提出源自维基百科并含众包标注的统一摘要基准USB，覆盖8项摘要与事实性任务，发现中等规模微调模型优于大模型少样本提示，并揭示训练数据规模与领域对性能的影响。
2023-12-04 cs.CL cs.LG
CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning
Yale University（耶鲁大学）；Meta AI
针对对话摘要中的事实不一致问题，提出基于语言学错误类型学的对比微调方法ConFiT，通过模块化目标和对话特定损失显著减少幻觉，并在SAMSum和AMI数据集上超越多数基线。
2022-07-09 cs.CL
Meta-Transfer Learning for Low-Resource Abstractive Summarization
National Chiao Tung University（台湾交通大学）
神经抽象摘要已在许多文献中得到研究，并在大型语料库的帮助下取得了巨大成功。然而，当遇到新的任务，一个可能并不总是受益于迁移学习由于域转移问题，过拟合可能会发生没有足够的标记的例子。此外，抽象摘要的注释是昂贵的，这通常需要领域知识来确保地面真实质量。因此，越来越多的人呼吁低资源抽象摘要，其目的是利用过去的经验，以提高目标语料库的有限标记的例子的性能。在本文中，我们建议利用两个知识丰富的资源来解决这个问题，即大型预训练模型和各种现有语料库。前者可以提供处理摘要任务的基本能力，后者可以帮助发现共同的句法或语义信息，以提高概括能力。我们在不同写作风格和形式的摘要语料库上进行了大量的实验。结果表明，我们的方法实现了国家的最先进的6个语料库在低资源的情况下，只有0.7%的可训练参数相比，以前的工作。
2021-05-31 cs.CL cs.LG
Modeling Low-Resource Health Coaching Dialogues via Neuro-Symbolic Goal Summarization and Text-Units-Text Generation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对低资源健康辅导成本高、依赖模式与标注的问题，提出神经符号目标摘要器和 Text-Units-Text 对话生成模型，并配套新数据集与回答非常规性指标，性能超过此前最优方法。
2024-04-16 cs.CL
Unsupervised Abstractive Dialogue Summarization for Tete-a-Tetes
ASAPP Inc.（ASAPP公司）；Duke University（杜克大学）；Google Research（谷歌研究院）
高质量的对话摘要配对数据的生产成本很高，并且对领域敏感，这使得抽象的对话摘要成为一项具有挑战性的任务。在这项工作中，我们提出了第一个无监督的抽象对话摘要模型，为tete-a-tetes（SuTaT）。与标准文本摘要不同，对话摘要方法应该考虑多说话者的情况，其中说话者具有不同的角色，目标和语言风格。在一个tite-a-tete，如客户代理对话，SuTaT的目的是总结每个扬声器通过建模的客户话语和代理话语分别保留其相关性。SuTaT由一个条件生成模块和两个无监督摘要模块组成。条件生成模块包含两个编码器和两个解码器，在一个变分自编码器框架中，捕获两个潜在空间之间的依赖关系。使用相同的编码器和解码器，两个无监督的摘要模块配备了自注意力机制生成摘要，而不使用任何注释。实验结果表明，SuTaT是优越的无监督的对话摘要的自动和人类的评价，并能够对话分类和单轮会话生成。
2020-09-15 cs.CL cs.LG stat.ML
Artemis: A Novel Annotation Methodology for Indicative Single Document Summarization
Umass Amherst（马萨诸塞大学阿默斯特分校）；Facebook Inc（脸书公司）；Microsoft Corporation（微软公司）
我们描述了Artemis（注释方法丰富，易处理，提取，多域，指示性摘要），一种新的层次注释过程，从多个域的文件产生指示性摘要。目前的摘要评估数据集是单域的，集中在一些自然发生的摘要可以很容易地找到的领域，如新闻和科学文章。这些不足以训练和评估用于文档管理和信息检索系统的摘要模型，这些系统需要处理来自多个域的文档。与相对效用和金字塔等其他注释方法相比，Artemis更易于处理，因为法官在对其中一个句子进行重要性判断时不需要查看文档中的所有句子，同时提供同样丰富的句子重要性注释。我们详细描述了注释过程，并将其与其他类似的评估系统进行了比较。我们还提出了一个样本集的532注释的文档的分析和实验结果。
2020-05-14 cs.CL
Incorporating Distributions of Discourse Structure for Long Document Abstractive Summarization
Saarland University（萨尔大学）
针对长文档生成式摘要中 RST 篇章关系信息利用不足的问题，提出基于 Longformer 的 RSTformer 及 RST-attention，融合修辞关系类型与不确定性，并在自动指标和人工评估中优于现有方法。
2024-12-10 cs.AI cs.CL cs.LG
Towards Summary Candidates Fusion
Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
本文提出SummaFusion方法，通过融合多个摘要候选生成更优的第二阶段抽象式摘要，在多个数据集上提升ROUGE分数，并在少样本场景下取得新最优结果。
2023-05-26 cs.CL
Can We Trust the Performance Evaluation of Uncertainty Estimation Methods in Text Summarization?
Virginia Tech（弗吉尼亚理工大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对文本摘要不确定性估计评估因依赖冲突NLG指标而可靠性存疑的问题，本文构建含31项NLG指标的综合基准，测试多类模型与14种常用方法，证实多维度指标与方法结合可提升评估可靠性。
2024-10-09 cs.CL cs.LG
TalkSumm: A Dataset and Scalable Annotation Method for Scientific Paper Summarization Based on Conference Talks
IBM Research（IBM研究院）
目前，没有大规模的训练数据可用于科学论文摘要任务。在本文中，我们提出了一种新的方法，自动生成摘要的科学论文，利用视频的谈话在科学会议。我们假设，这样的谈话构成了论文内容的连贯和简洁的描述，并可以形成良好的总结的基础。我们收集了1716篇论文及其相应的视频，并创建了一个论文摘要数据集。在此数据集上训练的模型与在手动创建的汇总数据集上训练的模型具有相似的性能。此外，我们还通过人类专家验证了摘要的质量。
2019-06-13 cs.CL
Revisiting Cross-Lingual Summarization: A Corpus-based Study and A New Benchmark with Improved Annotation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Sichuan Lan-bridge Information Technology Co., Ltd.（四川语言桥信息技术有限公司）；Westlake Institute for Advanced Study（西湖高等研究院）
本文针对现有跨语言摘要语料库因直接翻译预标注摘要而引入错误的问题，提出考虑源输入上下文的对话摘要基准ConvSumX及模拟人工标注的2-Step方法，实验证明其更忠实且性能超越强基线。
2023-07-08 cs.CL
Improving Sequence-to-Sequence Models for Abstractive Text Summarization Using Meta Heuristic Approaches
Bharati Vidyapeeth College of Engineering（巴拉蒂·维迪亚皮特工程学院）
本文旨在通过微调超参数和尝试特定编码器-解码器组合来增强抽象式文本摘要的seq2seq模型架构，并在CNN/DailyMail数据集上验证了多种模型的有效性。
2024-03-24 cs.CL cs.LG cs.NE
Text Summarization of Czech News Articles Using Named Entities
Czech Technical University in Prague（布拉格捷克理工大学）
Straka et al.（2018）的工作为捷克语中的摘要研究奠定了基础。他们发布了SumeCzech，一个大型的捷克新闻摘要数据集，并提出了几种基线方法。然而，从所取得的成果来看，显然还有很大的改进空间。在我们的工作中，我们专注于命名实体的捷克新闻文章的摘要的影响。首先，我们用命名实体注释SumeCzech。我们提出了一个新的度量ROUGE_NE，衡量重叠的命名实体之间的真实和生成的摘要，我们表明，它仍然是具有挑战性的摘要系统，以达到一个高的分数在it.We提出了一个提取的摘要方法命名实体密度，选择一个句子之间的最高比率的实体数量和句子的长度作为摘要的文章。实验结果表明，该方法在新闻文章选择第一句话的领域达到了接近坚实的基线的结果。此外，我们证明，所选的句子反映了简洁地确定谁，何时，何地，发生了什么事的报告的风格。我们建议，这样的摘要与呈现新闻文章的语音应用中的文章的第一句结合是有益的。提出了两种基于Seq2Seq结构的摘要方法。第一种方法使用文章的标记。第二种方法可以访问命名实体注释。实验表明，这两种方法都超过了Straka等人（2018）之前报道的最先进的结果，后者在SumeCzech的域外测试集上取得了略好的结果。
2021-04-21 cs.AI cs.CL cs.LG
SNaC: Coherence Error Detection for Narrative Summarization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于缺乏适当的评价框架，在总结长篇案文方面的进展受到阻碍。当必须编写一个长摘要以适当涵盖文本的各个方面时，该摘要需要提供一个连贯的叙述，以便读者能够理解，但目前的自动和人工评价方法无法确定连贯性方面的差距。在这项工作中，我们介绍SNaC，一个叙事连贯性评价框架植根于细粒度的注释长摘要。我们开发了一个分类法的连贯性错误生成的叙述性摘要，并收集跨度级注释6.6k句子在150本书和电影剧本摘要。我们的工作提供了第一个表征的连贯性错误所产生的国家的最先进的摘要模型和协议，用于引起一致性判断人群注释。此外，我们发现，收集的注释，使我们能够训练一个强大的分类自动本地化的连贯性错误生成的摘要，以及基准过去的工作在连贯性建模。最后，我们的SNaC框架可以支持长文档摘要和一致性评估的未来工作，包括改进的摘要建模和事后摘要校正。
2022-10-28 cs.CL
Constructing Contrastive samples via Summarization for Text Classification with limited annotations
Zhejiang University（浙江大学）；IBM Research（IBM研究院）；Squirrel AI Learning（松鼠AI）
对比学习已经成为一种功能强大的表示学习方法，并促进了各种下游任务，特别是当监督数据有限时。如何通过数据增强构造有效的对比样本是其成功的关键。与视觉任务不同，用于对比学习的数据增强方法在语言任务中还没有得到充分的研究。在本文中，我们提出了一种新的方法来构建对比样本的语言任务，使用文本摘要。我们使用这些样本进行监督对比学习，以获得更好的文本表示，这极大地有利于有限注释的文本分类任务。为了进一步改进该方法，我们混合了来自不同类别的样本，并在交叉熵损失之外添加了一个额外的正则化，名为Mixsum。在真实文本分类数据集（Amazon-5、Yelp-5、AG News和IMDb）上的实验证明了所提出的基于摘要的数据增强和Mixsum正则化的对比学习框架的有效性。
2021-11-29 cs.CL cs.LG
TLDR: Extreme Summarization of Scientific Documents
Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
我们介绍了TLDR生成，一种新的形式的极端摘要，科技论文。TLDR生成涉及高度的源压缩，并且需要专业的背景知识和对复杂的领域特定语言的理解。为了促进这项任务的研究，我们引入了SciTLDR，这是一个新的多目标数据集，包含5.4K TLDR和3.2K论文。SciTLDR包含作者撰写的和专家衍生的TLDR，后者是使用一种新的注释协议收集的，该协议可以产生高质量的摘要，同时最大限度地减少注释负担。我们提出了CATTS，一个简单而有效的学习策略，用于生成TLD，利用标题作为辅助训练信号。CATTS在自动化指标和人工评估的基础上进行了改进。数据和代码可在https://github.com/allenai/scitldr上公开获取。
2020-10-08 cs.CL
Needle in a Haystack: An Analysis of High-Agreement Workers on MTurk for Summarization
New York University（纽约大学）；ADAPT Centre, DCU（都柏林城市大学ADAPT中心）；IBM Research（IBM研究院）；Google（谷歌）；Google Research（谷歌研究院）；Yale University（耶鲁大学）；trivago N.V.（途易集团）；University of Edinburgh（爱丁堡大学）；Allen Institute for AI（艾伦人工智能研究所）
本研究针对低质量标注资源浪费问题，提出两步式流水线招募筛选MTurk高质量摘要标注者的方法，可获高一致性标注，但与专家判断一致性仍需提升，为同类标注任务招募提供实践参考。
2023-06-14 cs.CL
A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods
University of Pennsylvania（宾夕法尼亚大学）
摘要评价指标的质量通过计算其分数与大量摘要中的人工注释之间的相关性来量化。目前，还不清楚这些相关性估计的精确程度，也不清楚两个指标相关性之间的差异是否反映了真正的差异，或者这仅仅是偶然的。在这项工作中，我们解决这两个问题，提出的方法计算置信区间和运行假设检验的相关性使用两个restriking方法，自举和置换。在评估所提出的方法是最适合通过两个模拟实验总结后，我们分析了将这些方法应用于三组人类注释的几个不同的自动评估指标的结果。我们发现，置信区间是相当广泛的，表现出高度的不确定性，在自动度量的可靠性。此外，虽然许多指标未能显示ROUGE的统计改进，最近的两个作品，QAEval和BERTScore，在一些评估设置。
2021-07-26 cs.CL
LongEval: Guidelines for Human Evaluation of Faithfulness in Long-form Summarization
Allen Institute for AI（艾伦人工智能研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Yale University（耶鲁大学）
虽然人工评估仍然是准确判断自动生成摘要的忠实性的最佳实践，但在评估长格式摘要时，几乎没有解决方案可以解决增加的难度和工作量。通过对162篇关于长式摘要的论文的调查，我们首先阐明了围绕长式摘要的当前人类评估实践。我们发现，这些论文中有73%没有对模型生成的摘要进行任何人工评估，而其他作品在处理长文档时面临新的困难（例如，低注释者间一致性）。出于我们的调查，我们提出了LongEval，一套指导方针，为人类评价的忠实性，在长形式的摘要，解决了以下挑战：（1）我们如何才能实现高注释者之间的一致性的忠实分数？(2)我们如何在保持准确的忠实度分数的同时最大限度地减少注释者的工作量？以及（3）人类是否从摘要和源代码片段之间的自动对齐中受益？我们在不同领域（SQualITY和PubMed）的两个长格式摘要数据集的注释研究中部署了LongEval，我们发现切换到更细的判断粒度（例如，小句级别）减少了忠实度分数中的注释者间差异（例如，std-dev从18.5到6.8）。我们还表明，分数从部分注释的细粒度单位高度相关的分数从一个完整的注释工作量（0.89肯德尔的tau使用50%的判断）。我们发布了我们的人类判断，注释模板和我们的软件作为Python库用于未来的研究。
2023-01-30 cs.CL
Align then Summarize: Automatic Alignment Methods for Summarization Corpus Creation
Le Mans Université（勒芒大学）；Ubiqus Labs（Ubiqus实验室）；Université Paris Descartes（巴黎笛卡尔大学）；Avignon Université（阿维尼翁大学）
摘要文本不是一项简单的任务。在考虑文本摘要之前，应该确定预期的摘要类型。信息应该压缩到什么程度？是否需要重新措辞，或者摘要是否应该坚持原来的措辞？自动摘要技术的发展主要围绕新闻文章展开。我们认为，考虑更广泛的任务将导致该领域的改进，在泛化和鲁棒性方面。我们探讨会议摘要：从自动transmitting生成报告。我们的工作包括对报告进行分割和对齐，以获得适合神经摘要的数据集。使用自举方法，我们提供了由人类注释者校正的预对齐，从而建立了一个验证集，我们可以根据该验证集评估自动模型。这通过迭代提供更好的预对齐来不断减少注释者的工作量，并通过使用我们的自动对齐模型中的注释来最大化语料库大小。评估是在\publicmeetings上进行的，这是一个新的对齐公共会议语料库。我们报告了自动对齐和摘要在这个语料库的性能，并表明自动对齐是相关的数据注释，因为它导致了大的改善几乎+4对所有的ROUGE分数的摘要任务。
2020-07-15 cs.CL
Not Worth Mentioning? A Pilot Study on Salient Proposition Annotation
Department of Linguistics Georgetown University（语言学系 圾顿大学）
本文提出基于分级摘要的显著性度量，用于量化命题显著性，并在多文体数据集上进行标注和评估，探讨其与话语单元中心性之间的关系。
2026-05-11 cs.CL
Revisiting Automatic Question Summarization Evaluation in the Biomedical Domain
Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
摘要自动评价指标通过提供对摘要质量的即时和公正的评估，促进了自动摘要方法的快速发展。大多数指标都是针对一般领域开发的，特别是新闻和会议记录，或其他语言生成任务。然而，这些指标被应用于评估摘要系统在不同的领域，如生物医学问题摘要。为了更好地了解常用的评估指标是否能够评估自动摘要在生物医学领域，我们进行人类的评价摘要质量从四个不同方面的生物医学问题摘要任务。基于人类的判断，我们确定不同的值得注意的功能，目前的自动度量和摘要系统以及。我们还发布了我们的人类注释的数据集，以帮助在生物医学领域的摘要评估指标的研究。
2023-03-18 cs.CL
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction
Babelscape；Sapienza University of Rome（罗马大学）
本文提出FENICE度量指标，通过NLI对齐源文档与摘要提取的原子声明来评估摘要事实性，在AGGREFACT上取得最优结果，并扩展到长文本摘要场景。
2024-08-31 cs.CL
Mining customer product reviews for product development: A summarization process
CentraleSupélec（中央高等电力学院）；Université Paris-Saclay（巴黎-萨克雷大学）；Ecole Centrale de Nantes（南特中央理工学院）；IRCCyN（南特中央理工学院法国国家科研中心联合研究所）
本研究旨在从网上评论中识别和构建与顾客好恶相关的词语和表达，以指导产品开发。以前的方法主要集中在产品特征上。然而，评论者表达他们的偏好不仅在产品功能上。在本文中，在广泛的设计科学文献综述的基础上，作者提出了一个包含多个方面的用户偏好，如产品启示，情感，使用条件的摘要模型。同时，描述这些方面的偏好的语言模式被发现和起草的注释准则。一个案例研究表明，与建议的模型和注释准则，人类注释者可以结构的在线评论具有较高的相互协议。由于高一致性的人工标注结果对于使用自然语言处理自动化在线评论摘要过程至关重要，因此本研究为自动化的未来研究提供了材料。
2020-01-13 cs.CL cs.IR
How Domain Terminology Affects Meeting Summarization Performance
University of Central Florida（中佛罗里达大学）
会议对现代组织来说是必不可少的。每天都有许多会议举行和记录，比以往任何时候都要多。一个会议摘要系统可以从记录中识别出突出的话语，从而自动生成会议记录。它使用户能够快速搜索和筛选大型会议集合。到目前为止，领域术语对会议摘要性能的影响仍然研究不足，尽管会议是丰富的领域知识。在本文中，我们创建了一个相当大的会议语料库领域术语的黄金标准注释，他们被称为行话术语。然后，我们分析了一个会议摘要系统的性能与行话条款。我们的研究结果表明，领域术语可以有实质性的影响摘要性能。我们公开发布所有领域术语，以推进会议摘要的研究。
2020-11-09 cs.CL
CiteSum: Citation Text-guided Scientific Extreme Summarization and Domain Adaptation with Limited Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
科学极端摘要（TLDR）旨在形成科学论文的超短摘要。由于需要大量的人工注释和领域专业知识，以前管理科学TLDR数据集的努力未能扩大规模。在本文中，我们提出了一个简单而有效的方法来自动提取TLDR摘要的科学论文从他们的引文文本。基于所提出的方法，我们创建了一个没有人类注释的新基准CiteSum，它比以前的人类策划数据集SciTLDR大30倍左右。我们对CiteSum进行全面分析，检查其数据特征并建立强大的基线。我们通过使在CiteSum（名为CITES）上预训练的模型适应监督有限的新任务和领域，进一步证明了CiteSum的有用性。对于科学的极端总结，CITES在SciTLDR上的表现优于大多数完全监督的方法，无需任何微调，并且仅用128个例子就获得了最先进的结果。对于新闻极端摘要，CITES在XSum上实现了其基础模型（未在CiteSum上预训练）的显著增益，例如，+7.2 ROUGE-1 zero-shot性能和最先进的Few-Shot性能。对于新闻标题生成，CITES在Gigaword上的无监督和zero-shot方法中表现最好。我们的数据集和代码可以在https://github.com/morningmoni/CiteSum上找到。
2022-10-19 cs.CL
UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs
Korea Advanced Institute of Science and Technology（韩国科学技术院）；AWS AI Labs（亚马逊云科技人工智能实验室）
本文提出UniSumEval基准，通过AI辅助构建细粒度、多维标注并扩展输入场景，系统评估九种最新LLM的摘要能力及SOTA自动评估器。
2024-10-01 cs.AI cs.CL
Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation
Yale University（耶鲁大学）；Salesforce AI（Salesforce人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出ACU细粒度人类评估协议并构建含22,000条标注的RoSE基准，系统比较评估协议与50种自动指标，揭示LLM可能过拟合非稳健人类评估。
2023-06-06 cs.CL
Guiding Extractive Summarization with Question-Answering Rewards
University of Central Florida（中佛罗里达大学）
在阅读时突出显示是人们跟踪文档的显著内容的自然行为。希望教一个提取式摘要器做同样的事情。然而，一个主要的障碍，监督摘要的发展是缺乏地面真相。提取单元的手动注释成本高昂，而通过自动对齐人类摘要和源文档来获取标签可能会产生较差的结果。在本文中，我们描述了一个新颖的框架来指导具有问答奖励的监督式提取摘要系统。我们认为，高质量的摘要应作为一个文件的替代品，以回答重要的问题，这样的问答对可以方便地从人类摘要。该系统学习促进信息丰富，流畅，并在问答时表现出竞争力的摘要。我们的结果与自动指标和人类评估员评估的强汇总基线报告的结果相比毫不逊色。
2019-04-04 cs.CL
Towards Multi-dimensional Evaluation of LLM Summarization across Domains and Languages
Korea Advanced Institute of Science and Technology（韩国先进科学研究院）；AWS AI Labs（AWS人工智能实验室）
针对现有摘要评估基准缺领域标准、偏英语、标注难的问题，研究提出多领域多语言的MSumBench评估基准，采用多智能体辩论优化标注，评估8个模型后发现跨领域语言的性能差异，并揭示大模型自评摘要的系统性偏差。
2025-05-31 cs.AI cs.CL
