SQuALITY: Building a Long-Document Summarization Dataset the Hard Way
New York University（纽约大学）
摘要数据集通常是通过抓取自然发生的公共领域摘要（几乎总是在难以使用的技术领域）或通过使用近似算法从日常文本中提取它们来组装的，这通常会产生不忠实的摘要。在这项工作中，我们转向一种更慢但更直接的方法来开发摘要基准数据：我们聘请高素质的承包商从头开始阅读故事并编写原始摘要。为了节省阅读时间，我们为每份文件收集了五个摘要，第一个摘要是概述，随后的四个摘要是针对具体问题的。我们使用该协议来收集SQuality，这是一个以问题为中心的摘要数据集，建立在与多项选择数据集QUALITY相同的公共领域短篇小说上（Pang et al.，2021年）。最先进的摘要系统的实验表明，我们的数据集是具有挑战性的，现有的自动评估指标的质量弱指标。
2022-05-23 cs.AI cs.CL
FREDSum: A Dialogue Summarization Corpus for French Political Debates
Linagora（利纳戈拉公司）；École Polytechnique（巴黎综合理工学院）；Grenoble Ecole de Management（格勒诺布尔高等商学院）
本文构建了人工转录与标注的法国政治辩论数据集 FREDSum，并提供基于最先进方法的基线实验，以弥补多语言、多方对话摘要资源的不足。
2023-12-08 cs.AI cs.CL
Unsupervised Abstractive Dialogue Summarization with Word Graphs and POV Conversion
ActionPower
我们利用多句压缩图推进了无监督抽象对话摘要的最新技术。从有理有据的假设词图，我们提出了简单但可靠的路径重新排序和主题分割计划。我们的方法的鲁棒性在多个领域的数据集上得到了证明，包括会议，采访，电影剧本和日常对话。我们还确定了用深度学习来增强我们基于经验的系统的可能途径。我们开源了我们的代码，为未来研究无监督对话摘要提供了一个强大的，可重复的基线。
2022-05-26 cs.AI cs.CL
Factual Error Correction for Abstractive Summarization Models
McGill University（麦吉尔大学）；MILA（MILA研究所）
神经抽象摘要系统已经取得了可喜的进展，这要归功于大规模数据集和使用自监督方法预训练的模型的可用性。然而，确保抽象摘要系统生成的摘要的事实一致性是一个挑战。我们提出了一个后编辑校正模块，以解决这个问题，通过识别和纠正生成的摘要中的事实错误。神经校正器模型在人工示例上进行预训练，这些人工示例是通过对参考摘要应用一系列启发式变换而创建的。这些转换的灵感来自于对最先进的摘要模型输出的错误分析。实验结果表明，该模型能够纠正由其他神经摘要模型生成的摘要中的事实错误，并且在CNN/DailyMail数据集上的事实一致性评价上优于以前的模型。我们还发现，从人工纠错转移到下游设置仍然是非常具有挑战性的。
2021-04-01 cs.AI cs.CL
Metrics also Disagree in the Low Scoring Range: Revisiting Summarization Evaluation Metrics
Carnegie Mellon University（卡内基梅隆大学）
在文本摘要中，在没有人为判断的情况下评估自动度量的有效性最近变得流行。一个典型的工作得出结论，自动指标强烈不同意时，排名高分摘要。在本文中，我们重新审视了他们的实验，发现他们的观察结果源于这样一个事实，即度量在任何狭窄的评分范围内对摘要进行排名时都不一致。我们假设这可能是因为总结在狭窄的评分范围内彼此相似，因此难以排名。除了摘要的评分范围的宽度，我们还分析了影响指标间一致性的其他三个属性-总结的容易性，抽象性和覆盖率。为了鼓励可重复的研究，我们将所有的分析代码和数据公开。
2020-11-08 cs.AI cs.CL
Dialogue Inspectional Summarization with Factual Inconsistency Awareness
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）；Indiana University（印第安纳大学）
对话摘要已被广泛研究和应用，其中先前的工作主要集中在探索更好的模型结构，以对齐输入对话和输出摘要。然而，对于专业对话（例如，法律辩论和医学诊断），语义/统计对齐很难填补输入对话话语和具有外部知识的摘要输出之间的逻辑/事实鸿沟。本文主要研究了非预训练和预训练环境下的对话检查摘要（DIS）中的事实不一致问题。提出了一种新的端到端对话摘要生成框架，该框架包含两个辅助任务：期望事实方面正则化（EFAR）和缺失事实实体判别（MFED）。综合实验表明，所提出的模型可以生成一个更可读的摘要，准确覆盖的事实方面，以及通知用户与潜在的缺失的事实，从输入对话中检测到进一步的人为干预。
2021-11-05 cs.AI cs.CL
Semi-Supervised Dialogue Abstractive Summarization via High-Quality Pseudolabel Selection
AWS AI Labs（亚马逊AI实验室）；Virginia Tech（弗吉尼亚理工大学）
针对现有半监督方法不适用于生成式对话摘要的问题，提出包含语义不变性、覆盖度、忠实度三维度的SiCF评分法筛选高质量伪标签，提升半监督对话摘要性能。
2024-03-06 cs.AI cs.CL
Coreference-Aware Dialogue Summarization
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
最近，通过神经方法总结对话已经获得了研究的关注，但要获得实用的解决方案仍然具有挑战性。这些挑战的例子包括对话中的非结构化信息交换，发言者之间的非正式互动，以及随着对话的发展，发言者的动态角色变化。许多这样的挑战导致复杂的共指链接。因此，在这项工作中，我们研究了不同的方法来显式地将共指信息纳入神经抽象对话摘要模型，以应对上述挑战。实验结果表明，本文提出的方法达到了最先进的性能，这意味着它是有用的，利用共指信息的对话摘要。事实正确性的评估结果表明，这种共指感知模型更好地跟踪对话者之间的信息流，并将准确的状态/动作与相应的对话者和人物提及相关联。
2021-09-14 cs.AI cs.CL
Human-in-the-loop Abstractive Dialogue Summarization
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
摘要近年来，对话摘要越来越受到人们的关注。尽管大多数当前的对话摘要系统都经过训练，以最大限度地提高人类撰写摘要的可能性，并取得了显著的成果，但在生成由人类确定的高质量摘要方面仍然存在巨大的差距，例如连贯性和忠实性，部分原因是最大限度地提高单个人类撰写摘要的不一致性。为此，我们建议将不同层次的人类反馈纳入培训过程。这将使我们能够引导模型捕捉人类关心的行为以进行总结。具体而言，我们要求人类突出显示摘要中包含的显著信息以提供局部反馈，并在连贯性，准确性，覆盖范围，简洁性和整体质量方面对摘要进行整体比较，作为全局反馈。然后，我们结合本地和全局反馈，使用强化学习微调对话摘要策略。在多个数据集上进行的实验证明了我们的方法在最先进的监督基线上的有效性和通用性，特别是在人类判断方面。
2022-12-19 cs.AI cs.CL
SCURank: Ranking Multiple Candidate Summaries with Summary Content Units for Enhanced Summarization
Department of Computer Science and Information Engineering, National Cheng Kung University（国立成功大学计算机科学与资讯工程系）；Artificial Intelligence Research Center, Chang Gung University（长庚大学人工智能研究中心）；Department of Artificial Intelligence, Chang Gung University（长庚大学人工智能系）；Department of Computer Science, National Tsing Hua University（国立清华大学计算机科学系）
SCURank通过摘要内容单元提升摘要生成，优于传统指标和LLM排序方法，验证了信息导向排序在多LLM蒸馏中的优势。
2026-04-21 cs.AI cs.CL
MEDSAGE: Enhancing Robustness of Medical Dialogue Summarization to ASR Errors with LLM-generated Synthetic Dialogues
AICS
本文提出 MEDSAGE，利用 LLM 的上下文学习生成模拟 ASR 错误的合成医学对话，以低资源数据增强提升临床对话摘要系统的鲁棒性与准确性。
2025-01-08 cs.AI cs.CL
Beyond One-Size-Fits-All Summarization: Customizing Summaries for Diverse Users
Faculty of Engineering and Natural Sciences, Bahcesehir University（巴赫切谢希尔大学工程与自然科学学院）；Bahcesehir University（巴赫切谢希尔大学）
针对摘要难以按读者可读性水平调整的问题，本文构建土耳其语定制数据集并提出自定义架构模型，在保持准确性与连贯性的同时优于监督微调基线。
2025-03-10 cs.AI cs.CL
Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Microsoft（微软）；NEC Laboratories America（NEC美国实验室）
文本摘要是自然语言处理中的一个重要问题。它旨在将冗长的文件压缩成较短的版本，同时保留最关键的信息。已经提出了各种文本摘要方法，包括抽取式和抽象式摘要。大语言模型（LLM）的出现，如GPT3和ChatGPT，最近产生了使用这些模型进行文本摘要任务的极大兴趣。最近的研究\cite{goyal2022news, zhang2023benchmarking}表明，LLMs生成的新闻摘要已经与人类不相上下。然而，LLM对于更实际的应用程序（如方面或基于查询的摘要）的性能还没有得到充分的研究。为了填补这一空白，我们在四个广泛使用的基准数据集上对ChatGPT的性能进行了评估，其中包括Reddit帖子，新闻文章，对话会议和故事的各种摘要。我们的实验表明，ChatGPT的性能与传统的微调方法在胭脂分数方面相当。此外，我们强调了ChatGPT生成的摘要和人类引用之间的一些独特差异，为ChatGPT在各种文本摘要任务中的强大功能提供了有价值的见解。我们的研究结果呼吁在这一领域的新方向，我们计划进行进一步的研究，通过广泛的人类评估系统地检查ChatGPT生成的摘要的特征。
2023-02-16 cs.AI cs.CL
Improving Factuality of Abstractive Summarization via Contrastive Reward Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种结合奖励学习与事实性指标的对比学习框架，使抽象式摘要模型从事实性反馈中学习，从而生成更符合事实的摘要。
2023-07-10 cs.AI cs.CL
Mutual Reinforcement of LLM Dialogue Synthesis and Summarization Capabilities for Few-Shot Dialogue Summarization
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Research（苹果研究院）
提出MRDS机制，通过相互强化LLM的对话合成与摘要能力，以合成数据增强少样本训练，显著提升对话摘要性能。
2025-02-24 cs.AI cs.CL cs.LG
Rank Your Summaries: Enhancing Bengali Text Summarization via Ranking-based Approach
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文提出一种基于排序的孟加拉语文本摘要方法，预处理后由四个预训练模型生成候选摘要，并用文本排序算法选出最佳结果，在多项 NLG 指标上显著提升摘要质量。
2023-07-14 cs.AI cs.CL
Query-Based Abstractive Summarization Using Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
在本文中，我们提出了一个模型，生成摘要的文本文档的查询。这称为基于查询的摘要。我们针对该任务调整现有的新闻文章摘要数据集，并使用该数据集训练指针生成器模型。通过测量与参考摘要的相似性来评价生成的摘要。我们的研究结果表明，一个神经网络摘要模型，类似于现有的神经网络模型的抽象摘要，可以构建利用查询，以产生有针对性的摘要。
2017-12-17 cs.CL
Multi-Document Summarization via Discriminative Summary Reranking
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
现有的多文档摘要系统通常依赖于特定的摘要模型（即，具有特定参数设置的摘要方法）来提取具有不同主题的不同文档集的摘要。然而，根据我们的定量分析，没有一个现有的摘要模型可以总是产生高质量的摘要，为不同的文档集，即使是一个摘要模型具有良好的整体性能可能会产生低质量的摘要为某些文档集。相反，基线摘要模型可以为某些文档集生成高质量的摘要。基于上述观察结果，我们把不同摘要模型产生的摘要作为候选摘要，然后探索区分性重排序技术，以从不同文档集的候选摘要中识别出高质量的摘要。我们建议提取一组候选摘要为每个文档集的基础上的ILP框架，然后利用排名SVM摘要重新排名。各种有用的功能已经开发的重排序过程中，包括词级功能，摘要级功能和摘要级功能。在DUC数据集上的测试结果验证了该方法的有效性和鲁棒性。
2015-07-08 cs.CL
Extractive is not Faithful: An Investigation of Broad Unfaithfulness Problems in Extractive Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文通过定义五类不忠实问题并人工标注1600篇抽取式摘要，发现30%的摘要存在问题，进而提出新指标ExtEval以更准确地自动检测抽取式摘要中的不忠实现象。
2023-05-30 cs.AI cs.CL
Systematic Exploration of Dialogue Summarization Approaches for Reproducibility, Comparative Assessment, and Methodological Innovations for Advancing Natural Language Processing in Abstractive Summarization
SRM Institute of Science and Technology（SRM科学技术学院）；SRM University, AP（SRM大学（安得拉邦））
本文系统复现并比较了基于AMI数据集的HMNet和多种PGN对话摘要模型，通过人工评估分析其摘要质量与信息量，揭示了原始研究与复现结果之间的差异，为抽象式摘要的可复现性研究提供方法学参考。
2024-10-21 cs.AI cs.CL
OpineSum: Entailment-based self-training for abstractive opinion summarization
Google Research（谷歌研究院）
一个典型的产品或地方往往有数百个评论，这些文本的摘要是一个重要的和具有挑战性的问题。最近在新闻等领域的抽象摘要方面的进展是由监督系统驱动的，这些系统在数十万篇新闻文章中进行了训练，并与人类撰写的摘要相结合。然而，对于意见文本，这种大规模的数据集很少可用。无监督方法、自我训练和少样本学习方法弥补了这一差距。在这项工作中，我们提出了一种新的自我训练方法，OpineSum，抽象的意见摘要。这种方法中的摘要是使用文本蕴涵的新应用程序构建的，并捕获了对一个项目的各种评论的一致意见。该方法可用于大规模获得银标准摘要，并可用于无监督和Few-Shot抽象摘要系统的训练。OpineSum在这两种设置下都实现了最先进的性能。
2022-12-21 cs.AI cs.CL
Unsupervised Extractive Dialogue Summarization in Hyperdimensional Space
ActionPower
本研究提出基于超维空间的无监督抽取式摘要框架HyperSum，利用高维向量伪正交性构建高效句子嵌入，经聚类提取中心点生成摘要，性能优于现有最优模型且速度快10-100倍，已开源作为强基线。
2024-05-16 cs.AI cs.CL
Summarization with Graphical Elements
University of Amsterdam（阿姆斯特丹大学）；Microsoft Research（微软研究院）
近年来，自动文本摘要取得了长足的进步。随着这一进展，出现了一个问题，即通常由自动摘要模型生成的摘要类型是否符合用户的需求。Ter Hoeve et al（2020）否定地回答了这个问题。除其他外，他们建议专注于生成具有更多图形元素的摘要。这与我们从心理语言学文献中了解到的人类如何处理文本是一致的。从这两个角度出发，我们提出了一个新的任务：总结与图形元素，我们验证了这些摘要是有帮助的临界质量的人。我们收集了一个高质量的人类标记数据集，以支持对任务的研究。我们提出了一些基线方法，表明任务是有趣的和具有挑战性的。因此，通过这项工作，我们希望在自动摘要社区中激发一条新的研究路线。
2022-04-25 cs.AI cs.CL
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services（亚马逊云服务）；Columbia University（哥伦比亚大学）
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上，自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题，限制了它的广泛应用。在本文中，我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性，接下来，我们提出了一种新的学习算法，最大限度地提高模型训练过程中提出的度量。通过大量的实验，我们证实，我们的方法是有效的，在提高事实的一致性，甚至整体质量的摘要，判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Comparing Methods for Extractive Summarization of Call Centre Dialogue
Connex One（Connex One公司）
本文提供了一些文本摘要技术的评估结果的目的，生产呼叫摘要的联络中心解决方案。我们特别关注提取汇总方法，因为它们不需要任何标记的数据，并且在生产中非常快速和容易实现。我们实验比较几个这样的方法，使用它们来产生呼叫的摘要，并客观地（使用ROUGE-L）和主观地（通过聚合几个注释者的判断）评估这些摘要。我们发现TopicSum和Lead-N优于其他总结方法，而BERTSum在主观和客观评价中的得分相对较低。结果表明，即使是像Lead-N这样简单的基于统计学的方法，也能产生有意义和有用的呼叫中心对话摘要。
2022-09-06 cs.AI cs.CL
Bringing Structure into Summaries: a Faceted Summarization Dataset for Long Scientific Documents
University of Pittsburgh（匹兹堡大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
分面摘要从不同的角度提供文档的简要说明。读者可以在结构化大纲的帮助下快速理解长文档的要点。然而，很少有研究已经在这个问题上进行，部分原因是缺乏大规模的分面摘要数据集。在这项研究中，我们提出FacetSum，一个基于Emerald期刊文章的多方面摘要基准，涵盖了各种领域。与传统的文档摘要对不同，FacetSum提供多个摘要，每个摘要针对长文档的特定部分，包括目的，方法，发现和价值。对我们数据集的分析和实证结果揭示了将结构纳入摘要的重要性。我们相信FacetSum将推动摘要研究的进一步发展，并促进NLP系统的发展，这些系统可以利用长文本和摘要中的结构化信息。
2021-06-23 cs.CL
Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs
Adobe Research（奥多比研究院）；Arizona State University（亚利桑那州立大学）
本文针对大语言模型抽取式摘要不连贯问题，提出融合用户意图的人工标注数据集，并通过监督微调与人类反馈对齐LLM，使Falcon-40B和Llama-2-13B的Rouge-L提升约10%。
2024-07-05 cs.AI cs.CL
Cross-Lingual Conversational Speech Summarization with Large Language Models
BBN Technologies（BBN技术公司）
针对跨语言对话语音摘要资源匮乏问题，研究者在Fisher和Callhome西英语音翻译语料库基础上补充GPT-4生成的摘要构建数据集，适配后的Mistral-7B模型摘要性能优于现成模型且媲美GPT-4。
2024-08-12 cs.AI cs.CL
Chain of Summaries: Summarization Through Iterative Questioning
Slovak Technical University（斯洛伐克技术大学）；University of Southern Denmark（南部丹麦大学）
通过迭代提问生成摘要，CoS在多个数据集上超越现有方法，提供更高效的信息摘要。
2026-02-16 cs.AI cs.CL
Fair Summarization: Bridging Quality and Diversity in Extractive Summaries
Portland State University（波特兰州立大学）
针对多文档摘要中社会群体代表性不公的问题，提出 FairExtract 与 FairGPT，并结合质量和公平性复合指标验证其能在保持摘要质量的同时提升公平性。
2025-03-18 cs.AI cs.CL
Controllable Abstractive Dialogue Summarization with Sketch Supervision
Salesforce Research（赛富时研究院）；University College London（伦敦大学学院）
在本文中，我们的目标是提高抽象的对话摘要质量，并在同一时间，使粒度控制。我们的模型有两个主要组成部分和阶段：1）一个两阶段的生成策略，生成一个初步的摘要草图，作为最终摘要的基础。该概要草图以伪标记的疑问代词类别和使用选区解析器提取的关键短语的形式提供弱监督信号。2)一个简单的策略来控制最终摘要的粒度，因为我们的模型可以通过预测和突出显示源文本的不同文本跨度来自动确定或控制给定对话的摘要句子的数量。我们的模型在最大的对话摘要语料库SAMSum上取得了最好的性能，ROUGE-L得分高达50.79。此外，我们进行了案例研究，并显示有竞争力的人的评价结果和可控性，以人为注释的摘要。
2021-06-03 cs.AI cs.CL
Correcting Diverse Factual Errors in Abstractive Summarization via Post-Editing and Language Model Infilling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
摘要模型通常会生成不一致的摘要，其中包含事实错误或幻觉内容。最近的工作重点是通过后期编辑来纠正生成的摘要中的事实错误。这种纠正模型使用对抗性非事实摘要进行训练，这些摘要是使用启发式规则构建的，用于注入错误。然而，使用统计学生成非事实摘要通常不能很好地推广到实际的模型错误。在这项工作中，我们建议通过填充语言模型来生成硬的、有代表性的非事实摘要的合成示例。有了这些数据，我们训练了一个更强大的事实校正模型来对摘要进行后期编辑，以提高事实的一致性。通过对两个流行的摘要数据集-- CNN/DM和XSum --的定量和定性实验，我们表明，我们的方法在纠正错误摘要方面大大优于以前的方法。我们的模型- FactEdit -在CNN/DM上提高了超过11分的真实性分数，在多个摘要模型中平均提高了超过31分的XSum分数，在保持有竞争力的摘要质量的同时产生了更多的事实摘要。
2022-10-31 cs.CL
Post-Training Dialogue Summarization using Pseudo-Paraphrasing
Shanghai Jiao Tong University（上海交通大学）；China Merchants Bank Credit Card Center（招商银行信用卡中心）
以前的对话摘要技术通过将对话特定的特征注入到模型中来适应在叙事文本上预训练的大语言模型。这些特征要么需要额外的知识来识别，要么使生成的模型更难调整。为了弥合对话摘要任务中对话和叙述性摘要之间的格式差距，我们提出后训练预训练的语言模型（PLM）从对话到叙述的重组。在此之后，该模型像往常一样进行了对话摘要的微调。综合实验表明，我们的方法显着提高香草PLM的对话摘要，并优于其他SOTA模型的摘要质量和实施成本。
2022-04-28 cs.CL
STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension
Yale University（耶鲁大学）；Meta AI
摘要对话摘要长期以来一直被视为自然语言处理中的一个重要的独立任务，但以前的工作还没有探讨是否抽象的对话摘要也可以被用来作为一种手段，以提高NLP系统的其他重要的对话理解任务的性能的可能性。在本文中，我们提出了一种新型的对话摘要任务--训练的DiaLoguE摘要--它可以帮助预先训练的语言模型更好地理解对话，并提高它们在重要对话理解任务中的表现。我们进一步收集人类注释的CFDEL摘要超过400个对话，并介绍了一个新的CFDEL对话理解建模框架，集成CFDEL到一个基于图神经网络的对话推理模块的Transformer编码器语言模型，以提高他们的对话理解能力。在我们的两个重要的下游对话理解任务-对话问答和对话响应预测-的实证实验中，我们表明，我们的EMDEL对话理解模型可以显着提高Transformer编码器语言模型的对话理解性能。
2022-12-24 cs.CL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
QFMTS: Generating Query-Focused Summaries over Multi-Table Inputs
University of Amsterdam（阿姆斯特丹大学）
本文提出QFMTS方法，通过表格序列化模块、摘要控制器和LLM生成聚焦查询的多表摘要，并构建了含4909个查询-摘要对的数据集，实验证明其优于基线方法。
2024-08-25 cs.AI cs.CL
Masked Summarization to Generate Factually Inconsistent Summaries for Improved Factual Consistency Checking
NAVER AI Lab（NAVER人工智能实验室）；University of Richmond（里士满大学）；Seoul National University（首尔国立大学）
尽管近年来摘要系统取得了很大的进步，但仍然很难确定生成的摘要是否与源文本的事实一致。为此，最新的方法是训练一个事实一致性分类器的事实一致性和不一致的摘要。幸运的是，前者可以在现有的摘要数据集中作为参考摘要。然而，生成后者仍然是一个挑战，因为它们需要在事实上不一致，但与源文本密切相关才能有效。在本文中，我们提出了使用源文本和参考摘要与关键信息掩盖生成事实上不一致的摘要。在七个基准数据集上的实验表明，在使用我们的方法生成的摘要上训练的事实一致性分类器通常优于现有模型，并与人类判断具有竞争力。我们还分析了使用我们的方法生成的摘要的特点。我们将在https://github.com/hwanheelee1993/MFMA上发布预训练模型和代码。
2022-05-04 cs.CL
Reasoning or Not? A Comprehensive Evaluation of Reasoning LLMs for Dialogue Summarization
Faculty of Applied Sciences, Macao Polytechnic University（澳门理工大学应用科学学院）；Computer Science and Communication Research Center, School of Technology and Management, Polytechnic of Leiria（莱里亚理工学院技术与管理学院计算机科学与通信研究中心）；Institute of International Language Services Studies, Macau Millennium College（澳门 millennium 学院国际语言服务研究学院）；CISUC, Department of Informatics Engineering, University of Coimbra（科英布拉大学信息工程系 CISUC）
本文首次系统评估推理型与非推理型大语言模型在通用、角色导向和查询导向对话摘要中的表现，发现显式逐步推理并不持续提升摘要质量，反而常导致冗长和事实不一致，并揭示了推理失效的场景与原因。
2025-07-02 cs.AI cs.CL
MUDOS-NG: Multi-document Summaries Using N-gram Graphs (Tech Report)
NCSR Demokritos（德谟克利特国家科学研究中心）；University of the Aegean（爱琴海大学）
本报告描述了MUDOS-NG摘要系统，它应用了一套独立于语言的通用方法来生成摘要。所提出的方法大多是简单的操作符的组合上的一个通用的字符n-gram图表示的文本。这项工作定义了一组使用的操作符上n-gram图，并建议使用这些操作符在多文档摘要过程中的子任务，如文档分析，突出的句子选择，查询扩展和冗余控制。此外，一个新的组块方法，连同一个新的方式来分配概念的句子查询扩展。摘要系统的实验结果，广泛使用的语料库从文档理解和文本分析会议上进行，是有前途的，并提供证据的潜力的通用方法介绍。这项工作的目的是指定的核心方法，利用n-gram图表示，提供更先进的摘要系统的基础。
2010-12-09 cs.AI cs.CL
Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning
Graduate School of Artificial Intelligence, POSTECH（浦项科技大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项科技大学计算机科学与工程系）；aiXplain Inc.（aiXplain公司）
本文提出多目标强化学习方法，通过MDO_min和MDO_pro策略优化摘要的一致性、连贯性、相关性和流畅性，并利用QA奖励模型和折扣因子调节，在多个数据集上显著提升性能。
2024-06-01 cs.AI cs.CL
Instructive Dialogue Summarization with Query Aggregations
Institute for Infocomm Research (IR)（信息通信研究院）；A*STAR（新加坡科技研究局）
本文针对对话摘要未考虑用户特定兴趣的问题，提出通过三步合成查询式摘要数据并训练统一模型InstructDS，在多个数据集上超越现有模型，提升了泛化性与忠实度。
2024-08-01 cs.CL
Effectiveness of French Language Models on Abstractive Dialogue Summarization Task
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
预训练的语言模型已经在各种自然语言处理任务上建立了最先进的技术，包括对话摘要，它允许读者从会议，采访或电话中的长对话中快速访问关键信息。然而，这样的对话仍然难以用当前模型处理，因为语言的自发性涉及很少出现在用于预训练语言模型的语料库中的表达。此外，在这一领域完成的绝大多数工作都集中在英语上。在这项工作中，我们提出了一个研究的摘要自发的口头对话在法国使用几种语言特定的预训练模型：BARThez和BelGPT-2，以及多语种的预训练模型：mBART，mBARThez和mT5。DECODA（呼叫中心）的对话语料库，其任务是从呼叫中心的呼叫者和一个或几个代理之间的对话，根据情况产生抽象的概要进行实验。结果表明，BARThez模型提供了最好的性能远远高于以前的国家的最先进的DECODA。我们进一步讨论了这种预先训练的模型的局限性，以及总结自发对话必须解决的挑战。
2022-07-17 cs.AI cs.CL
Comparative Opinion Summarization via Collaborative Decoding
Megagon Labs（美乐岗实验室）；University of Edinburgh（爱丁堡大学）
意见摘要侧重于生成摘要，反映多个在线评论中表达的流行主观信息。虽然生成的摘要提供关于特定酒店或产品的一般和简明的信息，但是该信息可能不足以帮助用户比较多个不同的选择。因此，用户可能仍然在"我应该选择哪一个？"在本文中，我们提出了比较意见摘要任务，其目的是从两个不同的候选评论集生成两个对比摘要和一个共同摘要。我们开发了一个比较摘要框架CoCoSum，它由两个基本的摘要模型，共同生成对比和共同的摘要。在新创建的基准CoCoTrip上的实验结果表明，CoCoSum可以产生比最先进的意见摘要模型更高质量的对比和常见摘要。数据集和代码可在www.example.com上获得
2022-04-15 cs.CL
DIAL-SUMMER: A Structured Evaluation Framework of Hierarchical Errors in Dialogue Summaries
University of Southern California（美国南加州大学）；Capital One
DIAL-SUMMER提出一种结构化框架，用于评估对话摘要中分层错误，通过细粒度错误分类和实证分析揭示摘要生成的挑战。
2026-02-08 cs.AI cs.CL
Utilizing GPT to Enhance Text Summarization: A Strategy to Minimize Hallucinations
University of Colorado - Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；DataCrunch Lab, LLC（DataCrunch实验室有限责任公司）；North Carolina State University（北卡罗来纳州立大学）
本文提出利用GPT优化DistilBERT与T5生成的抽取式、生成式及混合式摘要，以最小化幻觉问题，并通过多指标评估验证了该方法能显著提升摘要的事实准确性与可靠性。
2024-05-07 cs.AI cs.CL cs.LG
AugSumm: towards generalizable speech summarization using synthetic labels from large language model
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出 AugSumm，用 ChatGPT 生成高质量合成语音摘要并用于训练与评估，在 How2 上通过预训练加微调使两类测试集 ROUGE-L 均提升 1 点。
2024-01-10 cs.AI cs.CL
Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries
University of Pennsylvania（宾夕法尼亚大学）
基于引用的度量（如ROUGE或BERTScore）通过将摘要与引用进行比较来评估摘要的内容质量。理想情况下，这种比较应该通过计算摘要共有多少信息来衡量摘要的信息质量。在这项工作中，我们分析了ROUGE和BERTScore用于比较摘要的标记对齐，并认为他们的分数在很大程度上不能被解释为测量信息重叠，而是他们讨论相同主题的程度。此外，我们提供的证据表明，这一结果适用于许多其他摘要评价指标。这一结果的后果是，这意味着摘要社区尚未找到一个可靠的自动度量标准，与其研究目标相一致，以生成具有高质量信息的摘要。然后，我们提出了一种简单且可解释的评估摘要的方法，该方法直接测量信息重叠，并演示了如何使用它来深入了解其他方法无法单独提供的模型行为。
2020-10-23 cs.CL
Summarization is (Almost) Dead
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文通过新数据集和人工评估实验发现，大型语言模型在零样本摘要生成任务上已超越人类撰写和微调模型生成的摘要，表明传统文本摘要研究在LLM时代大多已不再必要，但仍需探索更高质量的数据集与评估方法。
2023-09-18 cs.CL
AugAbEx: Bridging Abstractive and Extractive Legal Summarization
University of Delhi（德里大学）
针对法律判决自动摘要问题，提出AugAbEx流程，通过用含专家意见的银标准抽取摘要扩充数据集，经多维度审查确保质量，实验表明该流程生成的摘要质量优于其他方法，能推动法律领域摘要算法发展。
2026-07-23 cs.CL
ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks
摘要任务的评估对于确定机器生成摘要的质量至关重要。在过去的十年中，ROUGE已经成为评估摘要任务的标准自动评估措施。虽然ROUGE已被证明在捕获系统和人类组成的摘要之间的n-gram重叠方面是有效的，但是现有的ROUGE措施在捕获同义概念和主题覆盖方面存在一些限制。因此，ROUGE分数通常不能反映摘要的真实质量，并阻止对摘要的多方面评估（即按主题，按整体内容覆盖等）。在本文中，我们介绍了ROUGE 2.0，它有几个更新的ROUGE措施：ROUGE-N+同义词，ROUGE-Topic，ROUGE-Topic+同义词，ROUGE-TopicUniq和ROUGE-TopicUniq+同义词;所有这些都是对核心ROUGE措施的改进。
2018-03-05 cs.AI cs.CL cs.IR
Analyzing and Evaluating Faithfulness in Dialogue Summarization
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI（Kriston AI（科思顿人工智能））
摘要的抽象性使其容易出现事实性错误。摘要的事实正确性在实际应用之前具有最高优先级。为了提高文本摘要的忠实度，人们做了很多努力。然而，目前还缺乏对对话摘要系统的系统研究。在这项工作中，我们首先对对话摘要的忠实性进行细粒度的人工分析，并观察到超过35%的生成摘要与源对话忠实地不一致。此外，我们提出了一种新的模型级的忠诚度评估方法。它检查了生成模型，其中包含由基于规则的转换创建的多项选择题。实验结果表明，我们的评估模式是一个强大的代理的事实正确性的摘要模型。人类注释的忠实性样本和评估工具包的发布，以促进未来的研究对忠实的对话摘要。
2022-10-21 cs.CL
CSDS: A Fine-Grained Chinese Dataset for Customer Service Dialogue Summarization
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd（中科凡语科技有限公司凡语AI实验室）
对话摘要是近年来备受关注的话题。特别是在客户服务领域，代理人可以使用对话摘要，以帮助提高他们的工作，通过快速了解客户的问题和服务的进展。这些应用程序要求摘要包含单个发言者的观点，并具有清晰的主题流结构，而现有数据集中都没有。因此，在本文中，我们介绍了一个新的中国数据集的客户服务对话摘要（CSDS）。CSDS在两个方面对摘要进行了改进：（1）除了对整个对话进行全面总结外，还提供了面向角色的摘要，以获取不同发言者的观点。(2)所有的摘要都分别总结了每个主题，从而包含了对话的主题层次结构。我们将CSDS中的任务定义为生成给定对话的总体摘要和不同的面向角色的摘要。其次，我们比较了CSDS上的各种摘要方法，实验结果表明，现有的方法容易产生冗余和不连贯的摘要。此外，当分析面向角色的摘要和主题结构的性能时，性能变得更差。希望本研究能为汉语对话摘要的进一步研究提供参考。
2021-09-06 cs.CL
Generating (Factual?) Narrative Summaries of RCTs: Experiments with Neural Multi-Document Summarization
Northeastern University（东北大学）；King’s College London（伦敦国王学院）
我们考虑的问题，自动生成一个叙述性的生物医学证据摘要，从多个试验报告。我们评估了现代神经模型对Cochrane协作成员先前进行的系统综述中的相关文章摘要进行抽象总结，使用综述摘要的作者结论部分作为我们的目标。我们招募医学专业人士来评估生成的摘要，我们发现，现代摘要系统产生一贯流畅和相关的概要，但它们并不总是事实。我们提出了新的方法，利用特定领域的模型来通知摘要，例如，通过明确划分传达关键发现的输入片段，并强调大型和高质量试验的报告。我们发现，这些策略适度地提高了所生成的摘要的事实准确性。最后，我们提出了一种新的方法，自动评估的真实性生成的叙事证据合成模型，推断报告的结果的方向性。
2020-12-22 cs.CL
Event-based evaluation of abstractive news summarization
University of Oslo（奥斯陆大学）；University of Bergen（卑尔根大学）
本文提出一种基于事件重叠的抽象式新闻摘要评估方法，通过在挪威语数据集上计算生成摘要、参考摘要与原文之间的事件重叠来评估摘要质量，为摘要中的事件信息提供更深入的分析。
2025-07-01 cs.CL
