Multi-Document Summarization via Discriminative Summary Reranking
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
现有的多文档摘要系统通常依赖于特定的摘要模型（即，具有特定参数设置的摘要方法）来提取具有不同主题的不同文档集的摘要。然而，根据我们的定量分析，没有一个现有的摘要模型可以总是产生高质量的摘要，为不同的文档集，即使是一个摘要模型具有良好的整体性能可能会产生低质量的摘要为某些文档集。相反，基线摘要模型可以为某些文档集生成高质量的摘要。基于上述观察结果，我们把不同摘要模型产生的摘要作为候选摘要，然后探索区分性重排序技术，以从不同文档集的候选摘要中识别出高质量的摘要。我们建议提取一组候选摘要为每个文档集的基础上的ILP框架，然后利用排名SVM摘要重新排名。各种有用的功能已经开发的重排序过程中，包括词级功能，摘要级功能和摘要级功能。在DUC数据集上的测试结果验证了该方法的有效性和鲁棒性。
2015-07-08 cs.CL
AQuaMuSe: Automatically Generating Datasets for Query-Based Multi-Document Summarization
Google Research（谷歌研究院）
摘要是将源文档压缩成连贯和简洁的段落的任务。这是一个有价值的工具，可以向用户提供与其查询相关的排名靠前的文档的简洁而准确的草图。基于查询的多文档摘要（Query-based multi-document summarization，qMDS）解决了这一普遍需求，但由于缺乏训练和评估数据集，现有的单文档和多文档摘要数据集在形式和规模上都存在不足，研究受到严重限制。我们提出了一个可扩展的方法，称为ANOMMuSe自动挖掘qMDS的例子，从问答数据集和大型文档语料库。我们的方法是独特的，因为它可以一般的双数据集-提取和抽象的摘要。我们公开发布了一个特定的ANOMMuSe数据集实例，其中包含5，519个基于查询的摘要，每个摘要与从Common Crawl的3.55亿个文档索引中选择的平均6个输入文档相关联。提供了对数据集的广泛评估以及基线摘要模型实验。
2020-10-23 cs.CL
Bringing Structure into Summaries: a Faceted Summarization Dataset for Long Scientific Documents
University of Pittsburgh（匹兹堡大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
分面摘要从不同的角度提供文档的简要说明。读者可以在结构化大纲的帮助下快速理解长文档的要点。然而，很少有研究已经在这个问题上进行，部分原因是缺乏大规模的分面摘要数据集。在这项研究中，我们提出FacetSum，一个基于Emerald期刊文章的多方面摘要基准，涵盖了各种领域。与传统的文档摘要对不同，FacetSum提供多个摘要，每个摘要针对长文档的特定部分，包括目的，方法，发现和价值。对我们数据集的分析和实证结果揭示了将结构纳入摘要的重要性。我们相信FacetSum将推动摘要研究的进一步发展，并促进NLP系统的发展，这些系统可以利用长文本和摘要中的结构化信息。
2021-06-23 cs.CL
Live Blog Corpus for Summarization
Research Training Group AIPHES；UKP Lab Computer Science Department, Technische Universit \"a t Darmstadt www.aiphes.tu-darmstadt.de, www.ukp.tu-darmstadt.de
实时博客是一种越来越受欢迎的新闻格式，用于报道在线新闻中的突发新闻和现场事件。世界各地的在线新闻网站都在使用这种媒体，为读者提供有关事件的每分钟更新。好的摘要可以提高读者对实时博客的价值，但通常无法获得。在本文中，我们研究了一种收集语料库的自动实时博客摘要的方法。在使用著名的国家的最先进的摘要系统的实证评估，我们发现，生活博客语料库提出了新的挑战，在该领域的摘要。我们公开我们的工具来重建语料库，以鼓励研究社区和复制我们的结果。
2018-02-27 cs.CL
Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model
Yale University（耶鲁大学）
随着在线出版物数量的迅速增长，从多篇新闻文章自动生成摘要是一个有价值的工具。由于大数据集的可用性，单文档摘要（SDS）系统受益于神经编码器-解码器模型的进步。然而，新闻文章的多文档摘要（MDS）仅限于几百个例子的数据集。在本文中，我们介绍了多新闻，第一个大规模的MDS新闻数据集。此外，我们提出了一个端到端的模型，该模型将传统的提取摘要模型与标准SDS模型相结合，并在MDS数据集上取得了有竞争力的结果。我们在Multi-News上对几种方法进行了基准测试，并发布了我们的数据和代码，希望这项工作能够促进多文档环境中摘要的进步。
2019-06-19 cs.CL
HowSumm: A Multi-Document Summarization Dataset Derived from WikiHow Articles
IBM Research - AI（IBM人工智能研究院）
我们提出了HowSumm，这是一个用于以查询为中心的多文档摘要（qMDS）任务的新型大规模数据集，其目标是从一组源生成可操作指令的用例。此用例与现有多文档摘要（MDS）数据集中涵盖的用例不同，适用于教育和工业场景。我们采用自动方法，并利用现有人工qMDS数据集的统计数据，从wikiHow网站文章及其引用的来源创建HowSumm。我们描述了数据集的创建，并讨论了它与其他摘要语料库的独特功能。对数据集的提取和抽象摘要模型的自动和人工评估表明，还有改进的余地。
2021-10-08 cs.CL
QBSUM: a Large-Scale Query-Based Document Summarization Dataset from Real-world Applications
University of Alberta（阿尔伯塔大学）；Platform and Content Group, Tencent（腾讯平台与内容事业群）；University of Montreal（蒙特利尔大学）；Tencent（腾讯）
基于查询的文档摘要旨在提取或生成直接回答搜索查询或与搜索查询相关的文档摘要。这是一项重要的技术，可以有益于各种应用程序，如搜索引擎，文档级机器阅读理解和聊天机器人。目前，设计用于基于查询的摘要的数据集在数量上是短缺的，并且现有的数据集在规模和质量上也受到限制。此外，据我们所知，目前还没有公开的数据集用于基于中文查询的文档摘要。在本文中，我们提出了QBSUM，一个高质量的大规模数据集，包括49,000+数据样本的任务，基于中文查询的文档摘要。我们还提出了多个无监督和有监督的解决方案，并通过离线实验和在线A/B测试证明了它们的高速推理和优越的性能。QBSUM数据集的发布是为了促进该研究领域的未来发展。
2020-10-28 cs.AI
A Mixed-Language Multi-Document News Summarization Dataset and a Graphs-Based Extract-Generate Model
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology（昆明理工大学云南省人工智能重点实验室）
针对混合语言多文档新闻摘要研究缺乏数据集的问题，本文构建了包含四种语言和10,992个文档摘要对的MLMD-news数据集，并提出基于图的抽取-生成模型进行基准测试，以推动该领域研究。
2024-10-13 cs.CL
Overview of the VLSP 2022 -- Abmusu Shared Task: A Data Challenge for Vietnamese Abstractive Multi-document Summarization
VNU University of Engineering and Technology（越南国立大学工程技术大学）
本文介绍了 VLSP 2022 的越南语生成式多文档摘要共享任务，构建了包含1,839篇文档的人工标注数据集，并使用 ROUGE2-F1 评估模型。
2023-11-27 cs.CL
MiRANews: Dataset and Benchmarks for Multi-Resource-Assisted News Summarization
Heriot-Watt University（赫瑞-瓦特大学）；Charles University（查理大学）；Google Research（谷歌研究院）
当前单文档新闻摘要的最具挑战性的方面之一是摘要经常包含“外在幻觉”，即，源文档中不存在的事实，这些事实通常是通过世界知识推导出来的。这使得摘要系统更像是开放式的语言模型，倾向于产生错误的事实。在本文中，我们减轻了这个问题的帮助下，多个补充资源文件协助任务。我们提出了一个新的数据集MiRANews和基准现有的摘要模型。与多文档摘要不同的是，它处理来自多个源文档的多个事件，我们的目标仍然是为单个文档生成摘要。我们通过数据分析表明，这不仅仅是模型的问题：MiRANews的黄金摘要中提到的事实中，超过27%的事实比主要来源文章更好地基于辅助文件。对MiRANews上微调的预训练模型生成的摘要进行的错误分析显示，这对模型的影响更大：与仅在主文章上训练的单文档摘要模型相比，辅助摘要减少了55%的幻觉。我们的代码和数据可在https://github.com/XinnuoXu/MiRANews上获得。
2021-09-22 cs.CL
GameWikiSum: a Novel Large Multi-Document Summarization Dataset
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
目前，多文档摘要领域的研究进展受到可用数据集数量少的阻碍。由于获取参考摘要的成本很高，现有数据集最多只包含数百个样本，导致严重依赖手工制作的功能或需要额外的手动注释数据。因此，缺乏大型语料库阻碍了复杂模型的开发。此外，大多数公开可用的多文档摘要语料库都在新闻领域中，并且在视频游戏领域中不存在类似的数据集。在本文中，我们提出了GameWikiSum，一个新的特定于域的多文档摘要数据集，这是一个比常用的数据集大一百倍，在另一个领域比新闻。输入文档包括长篇的专业视频游戏评论以及维基百科页面中的游戏部分的引用。我们分析了提出的数据集，并表明抽象和提取模型都可以在其上训练。我们发布GameWikiSum以供进一步研究：https://github.com/Diego999/GameWikiSum。
2020-02-17 cs.CL
OpenAsp: A Benchmark for Multi-document Open Aspect-based Summarization
Bar-Ilan University（巴伊兰大学）；One AI（One AI公司）；Amazon（亚马逊）
本文提出多文档开放方面级摘要基准 OpenAsp，利用低成本标注协议从通用多文档摘要数据集派生数据，并证明该真实设定对现有摘要模型和 LLM 均具挑战。
2023-12-07 cs.CL
PeerSum: A Peer Review Dataset for Abstractive Multi-document Summarization
我们提出了PeerSum，一个新的MDS数据集，使用科学出版物的同行评审。我们的数据集与现有MDS数据集的不同之处在于，我们的摘要（即，元评论）是高度抽象的并且它们是源文档的真实摘要（即，评论），它还具有源文件之间的分歧。我们发现，目前最先进的MDS模型很难为PeerSum生成高质量的摘要，这提供了新的研究机会。
2022-09-29 cs.CL cs.IR
Reader-Aware Multi-Document Summarization via Sparse Coding
The Chinese University of Hong Kong（香港中文大学）；Carnegie Mellon University（卡内基梅隆大学）；Huawei Technologies（华为技术有限公司）
我们提出了一个新的MDS范例称为读者感知的多文档摘要（RA-MDS）。具体地，还收集与新闻报道相关联的一组读者评论。从报告中生成的事件摘要不仅应根据报告，而且应根据读者评论而突出。为了解决这个RA-MDS问题，我们提出了一种基于稀疏编码的方法，该方法能够通过联合考虑新闻报道和读者评论来计算文本单元的显著性。我们的框架的另一个读者意识的特点是通过实体重写来提高语言质量。重写的考虑是共同评估与其他摘要的要求下，一个统一的优化模型。为了支持通过优化生成压缩摘要，我们探索了一个更精细的句法单元，即名词/动词短语。在这项工作中，我们还生成了一个数据集进行RA-MDS。在该数据集和一些经典数据集上的实验证明了该方法的有效性。
2015-04-28 cs.AI cs.CL
Mining both Commonality and Specificity from Multiple Documents for Multi-Document Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多文档摘要任务要求设计的摘要器生成涵盖原始文档重要信息并满足内容多样性的简短文本。提出了一种基于文档层次聚类的多文档文摘方法。该方法利用构建的文档类树，提取反映文档共性的句子和反映文档子类特殊性的句子生成摘要，以满足多文档摘要的覆盖性和多样性要求。在DUC'2002-2004数据集上进行了不同方法的对比实验，证明了挖掘文档的共性和特异性的多文档摘要的有效性。在DUC'2004和Multi-News数据集上的实验表明，与现有的无监督和有监督方法相比，该方法具有很好的性能。
2023-03-05 cs.AI cs.CL
ACM -- Attribute Conditioning for Abstractive Multi Document Summarization
UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）
抽象的多文档摘要作为一项任务已经从基本的序列到序列方法发展到基于Transformer和图形的技术。这些方法中的每一种主要集中在多文档信息合成和基于注意力的方法来提取突出信息的问题上。在单文档摘要中并不普遍的多文档摘要中出现的挑战是需要有效地摘要可能具有关于给定主题的冲突极性、情感或主观信息的多个文档。在本文中，我们提出了ACM，属性条件多文档摘要，一个模型，它结合了属性条件模块，以解耦冲突的信息，在输出摘要中的某个属性的条件。这种方法在ROUGE分数上比基线多文档摘要方法有了很大的提高，并且在流畅性、信息量和重复性方面都有了提高，如通过人类注释分析研究所示。
2022-05-09 cs.AI cs.CL
The Influence of Data Pre-processing and Post-processing on Long Document Summarization
长文档摘要是自然语言处理领域的一项重要而艰巨的任务。长文档摘要的良好表现表明该模型对人类语言有很好的理解。目前，大多数研究集中在如何修改Transformer的注意力机制，以获得更高的ROUGE分数。对数据的前处理和后处理的研究相对较少。在本文中，我们使用了两种预处理方法和一种后处理方法，并分析了这些方法对各种长文档摘要模型的效果。
2021-12-03 cs.AI cs.CL
Neighborhood Rough Set based Multi-document Summarization
IIT Delhi（印度理工学院德里分校）
本文提出了一种新的基于邻域粗糙集的有监督多文档文本摘要（MDTS）方法，分析了该方法对MDTS摘要结果的影响。在这里，基于粗糙集的LERS算法进行了改进，使用邻域粗糙集，这本身就是一种新的组合称为邻域LERS进行实验的功效和效率的评估。在本文中，我们将应用和评估建议的邻域LERS多文档摘要，在这里被证明是优于MDTS的基本LERS技术。
2021-05-27 cs.AI cs.CL
Exploiting Cross-Document Relations for Multi-document Evolving Summarization
本文提出了一种从多个文档的摘要是关于一个特定的主题的方法。它基于对这些文档中的文本元素之间发生的跨文档关系的规范和标识。我们的方法涉及到特定主题的实体的规范，特定实体的某些文本元素和规范的关系，可以在这些消息之间传递的消息。上述资源对于为我们基于查询的摘要方法设置特定主题是必要的，该方法使用这些资源来识别文档中特定于查询的消息以及跨文档连接这些消息的特定于查询的关系。
2004-04-23 cs.AI cs.CL
PreSumm: Predicting Summarization Performance Without Summarizing
Mila – Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
本文提出 PreSumm 任务，仅基于源文档预测摘要性能，验证了文档摘要质量跨系统的一致性，并展示了其在优化混合摘要流程和提升数据集质量中的应用价值。
2025-04-07 cs.AI cs.CL
A Stepwise Questioning Expert-Editor Multi-Agent Framework for Long-Document Summarization
针对大语言模型长文档摘要性能挑战，提出专家 - 编辑逐步提问多智能体方法，通过不同方面提问和提供修订线索完善摘要，经实验验证了该方法在长文档科学数据集上的有效性。
2026-07-14 cs.AI cs.CL
Topic-Guided Abstractive Multi-Document Summarization
Harbin Institute of Technology（哈尔滨工业大学）
多文档文摘的一个关键点是了解文档之间的关系。在本文中，我们提出了一种新的抽象MDS模型，在该模型中，我们表示多个文档作为一个异构的图，考虑到不同粒度的语义节点，然后应用图序列框架生成摘要。此外，我们采用神经主题模型来联合发现潜在的主题，这些主题可以作为跨文档的语义单元来桥接不同的文档，并提供全局信息来指导摘要生成。由于主题提取可以被视为一种特殊类型的摘要，它将文本“概括”为更抽象的格式，即，在主题分发方面，我们采用多任务学习策略，对主题和摘要模块进行联合训练，使其相互促进。在Multi-News数据集上的实验结果表明，我们的模型在Rouge指标和人工评价方面都优于以前最先进的MDS模型，同时学习高质量的主题。
2021-10-21 cs.AI cs.CL
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC（Aimesoft股份公司）
提出一种新颖简单的基于黄金摘要缩短文档的分层策略，结合BART模型实现越南语多文档抽象式摘要，在VLSP 2022测试集上达到ROUGE2-F1 0.2468，并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization
Portland State University（波特兰州立大学）
本文研究社会多文档摘要中群体排序导致的位置偏差对公平性的影响，发现输入顺序虽不影响文本质量，但会显著改变不同方言群体的代表性公平程度。
2024-05-03 cs.AI cs.CL
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比，抽象的多文档摘要（MDS）在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer（PHT）。通过结合单词级和段落级的多头注意力，PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档，然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据，进行了全面的评估，以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息，ROUGE和人工评估的结果表明，我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
文本摘要的目的是将文本压缩成简短的摘要，同时保留显著信息。摘要抽取式自动摘要方法以其流畅性和高效性被广泛应用于文本摘要中。然而，大多数现有的提取模型很难捕捉句子间的关系，特别是在长文档。他们还经常忽视主题信息对捕捉重要内容的影响。为了解决这些问题，本文提出了一个基于图神经网络（GNN）的提取摘要模型，使捕捉句子间的关系，有效地通过图结构的文档表示。此外，我们的模型集成了一个联合神经主题模型（NTM），以发现潜在的主题，它可以提供文档级的功能，句子选择。实验结果表明，我们的模型不仅在CNN/DM和NYT数据集上取得了最先进的结果，而且在由更长文档组成的科学论文数据集上的性能也大大优于现有方法，表明其在文档类型和长度方面具有更好的鲁棒性。进一步的讨论表明，主题信息可以帮助模型从整个文档中预选出显著的内容，这解释了它在长文档摘要中的有效性。
2020-10-13 cs.AI cs.CL
Leveraging Word Embeddings for Spoken Document Summarization
Academia Sinica（中央研究院）；National Taiwan Normal University（台湾师范大学）；National Taiwan University（台湾大学）
由于互联网上可获得的多媒体内容的快速增长，提取的口语文档摘要，其目的是从口语文档中自动选择一组代表性的句子，以简明地表达文档的最重要的主题，一直是研究和实验的活跃领域。另一方面，词嵌入由于其在许多自然语言处理（NLP）相关任务中的优异性能而成为一个新的热门研究课题。然而，据我们所知，有相对较少的研究调查其使用提取文本或语音摘要。在摘要过程中利用词嵌入的共同思路是通过对文档（或句子）中出现的词的词嵌入求平均来表示文档（或句子）。然后，直观地，余弦相似性度量可以用来确定一对表示之间的相关度。除了继续努力提高词的表示，本文重点是建立新的和有效的排名模型的基础上，一般的词嵌入方法提取语音摘要。实验结果表明，我们提出的方法的有效性，与现有的国家的最先进的方法相比。
2015-06-14 cs.AI cs.CL
No Reader Left Behind: Multi-Agent Summaries Everyone Can Understand
Department of Computer Science and Engineering, Korea University（韩国大学计算机科学与工程系）；Department of Computer Science and Engineering, Konkuk University（konkuk大学计算机科学与工程系）
提出NRLB多智能体框架，通过模拟三类读者群体并结合模板规划与迭代优化，生成既忠实又易于理解的平实语言摘要。
2026-05-29 cs.AI cs.CL
Key-Element-Informed sLLM Tuning for Document Summarization
针对小规模大语言模型在长文档摘要中关键信息缺失、相关性低的问题，提出关键要素引导的指令调优方法KEITSum，通过识别文档关键要素指导摘要生成，在对话和新闻数据集上取得与专有LLM相当的高质量摘要效果。
2024-11-19 cs.AI cs.CL
Discourse-Driven Evaluation: Unveiling Factual Inconsistency in Long Document Summarization
University of Pittsburgh（匹兹堡大学）
本研究针对长文档摘要事实不一致检测的挑战，通过话语分析揭示错误与话语特征的关联，提出基于话语块分解和信息聚合的框架，在多基准上提升不同模型性能，强调话语特征的重要性。
2025-02-10 cs.AI cs.CL
Information Satisfaction: A Reader-Centered Axis for Summarization Evaluation
St. Edward’s University（圣爱德华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本研究提出以读者的信息满意度作为摘要评估的面向读者的轴，发现主流摘要指标无法衡量该满意度，且与人工判断一致性差。
2026-08-17 cs.CL
Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本研究提出干扰感知答案选择（DAS）方法，通过否定指令和分数调整减少不相关文档干扰，提升开放域问答中零样本阅读器的性能，并展现无需训练的强迁移能力。
2023-11-14 cs.AI cs.CL
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
最近的研究表明，BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器，实现了优异的性能。然而，到目前为止，为越南人做的工作并不多。在本文中，我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明，与其他多语种模型和以往的越南语文本摘要模型相比，单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
Leveraging Long-Context Large Language Models for Multi-Document Understanding and Summarization in Enterprise Applications
TCS（塔塔咨询服务公司）；SAGE University（SAGE大学）
本文探讨长上下文大型语言模型在多文档摘要生成中的应用，通过法律、医疗等案例验证其效率与准确性的提升，并分析技术障碍与伦理考量，提出未来研究方向。
2024-09-27 cs.AI cs.CL
Read Top News First: A Document Reordering Approach for Multi-Document News Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Columbia University（哥伦比亚大学）
提取多文档新闻摘要的常用方法是将所有文档连接为单个元文档，将其重新表示为单文档摘要问题。然而，这种方法忽略了文档的相对重要性。我们提出了一个简单的方法来重新排序的文件，根据它们的相对重要性，然后再连接和总结它们。重新排序使得显著内容更容易通过摘要模型学习。实验表明，我们的方法优于以前的国家的最先进的方法与更复杂的架构。
2022-03-19 cs.CL
Fairness for Whom? Understanding the Reader's Perception of Fairness in Text Summarization
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究学院加尔各答分院）
随着用户生成的文本信息的激增，最近增加了使用摘要算法来提供广泛内容的概述。用于评估这些算法的传统指标（例如ROUGE分数）依赖于将算法摘要与人工生成的摘要进行匹配。然而，已经表明，当文本内容是异质的，例如，当它们来自不同的社会显著群体时，与它们在原始数据中的分布相比，大多数现有的摘要算法非常不同地表示社会群体。为了减轻这种不利影响，一些保持公平性的摘要算法也被提出。所有这些研究都从内容作者的角度考虑了规范性的公平概念，忽略了读者对潜在公平概念的感知。为了弥合这一差距，在这项工作中，我们研究的公平概念之间的相互作用，以及读者如何看待他们在文本摘要。通过我们的实验，我们表明，读者的公平感往往是上下文敏感的。此外，标准的ROUGE评估度量无法量化摘要的感知（不）公平性。为此，我们提出了一个人在环度量和一个自动化的基于图形的方法来量化文本摘要中的感知偏差。我们证明了他们的效用，通过量化的（不）公平的几个摘要的异质社会政治微博数据集。
2021-02-02 cs.CL cs.IR
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
在过去的几十年里，知识感知方法已经推动了一系列自然语言处理应用。近年来，作为自然语言处理应用之一的文档摘要领域，知识的应用越来越受到人们的关注。以前的工作报告说，知识嵌入式文档摘要擅长生成卓越的摘要，特别是在信息量，连贯性和事实的一致性。本文旨在提出第一个系统的调查，为国家的最先进的方法，将知识嵌入到文档摘要。特别是，我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入，特别是深度学习模型。最后，我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学与技术学院）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
目前，神经抽象文摘方法在单文档文摘（SDS）中取得了很大的成功。然而，由于缺乏大规模的多文档摘要，这些方法很难适用于多文档摘要（MDS）。在本文中，我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明，我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
Neural Latent Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
提取式摘要模型需要摘要级标签，其通常是按顺序创建的（例如，使用基于规则的方法），假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的，我们提出了一个潜变量提取模型，其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间，损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明，我们的模型比在近似标签上训练的强提取基线有所改进，并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech（阿赫桑乌拉科技大学）
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而，抽象系统的性能仍然是一个挑战，因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题，我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件，它只需要一个部分的语音（POS）标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集，以评估我们的抽象模型，并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验，并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
The University of Adelaide（阿德莱德大学）
多文档摘要中的一个关键挑战是捕获输入文档之间的关系，以区分单文档摘要（SDS）和多文档摘要（MDS）。现有的MDS工程很少解决这个问题。一种有效的方法是对文档位置信息进行编码，以帮助模型捕获跨文档关系。然而，现有的MDS模型，如基于转换器的模型，只考虑令牌级的位置信息。此外，这些模型无法捕捉句子的语言结构，这不可避免地导致在生成的摘要混乱。因此，在本文中，我们提出了文档感知的位置编码和语言指导的编码，可以融合Transformer架构的MDS。对于文档感知的位置编码，我们引入了一个通用协议来指导文档编码函数的选择。对于语言引导的编码，我们建议将句法依赖关系嵌入到依赖关系掩码中，并使用简单但有效的非线性编码学习器进行特征学习。大量的实验表明，该模型可以生成高质量的摘要。
2022-09-13 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
Multi-document Biography Summarization
在本文中，我们描述了一个传记摘要系统使用句子分类和信息检索的想法。虽然这些技术并不新鲜，但将它们组合并应用于生成多文档传记却是新技术。我们的系统在DUC 2004中进行了评估。它在任务5-以个人问题为重点的简短摘要中表现最好。
2005-01-26 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
A Divide-and-Conquer Approach to the Summarization of Long Documents
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Atypon Hellas
我们提出了一种新的分而治之的方法神经摘要的长文件。我们的方法利用了文档的话语结构，并使用句子相似性将问题分解为一系列较小的摘要问题。特别是，我们将一个长文档及其摘要分解为多个源目标对，这些源目标对用于训练一个模型，该模型学习分别总结文档的每个部分。然后将这些部分摘要合并，以生成最终的完整摘要。通过这种方法，我们可以将长文档摘要问题分解为更小和更简单的问题，降低计算复杂性并创建更多的训练样本，同时与标准方法相比，目标摘要中包含更少的噪声。我们证明了这种方法与不同的摘要模型配对，包括序列到序列RNN和Transformers，可以提高摘要性能。我们最好的模型在两个公开的学术文章数据集中取得了与最先进的结果相当的结果。
2020-09-23 cs.CL
Supervising the Centroid Baseline for Extractive Multi-Document Summarization
Priberam Labs（Priberam实验室）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）
本文通过引入束搜索句子选择和质心估计注意力模型，改进了抽取式多文档摘要的质心基线方法，并在多个数据集及多语言场景中验证了效果提升。
2023-11-29 cs.CL
Detecting (Un)Important Content for Single-Document News Summarization
Redfin Inc.（Redfin公司）；University of Akron（阿克伦大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的方法来检测内在的句子重要性的新闻，通过训练两个语料库的文档摘要对。当用于单文档摘要，我们的方法，结合“文档开头”的启发式，优于一个国家的最先进的摘要和文章的自动和手动评估的基准。这些结果代表了一个重要的进步，因为在没有跨文档重复的情况下，新闻的单文档摘要器无法始终优于强大的文章摘要基线。
2017-02-26 cs.CL
An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
学术文章和商业报告等长文档一直是详细说明需要额外关注的重要问题和复杂主题的标准格式。一个自动摘要系统，可以有效地压缩长文档成简短的文本，封装最重要的信息，因此将是重要的，在帮助读者的理解。最近，随着神经架构的出现，已经做出了重大的研究努力，以推进自动文本摘要系统，并出现了许多研究的挑战，这些系统扩展到长文档域。在这项调查中，我们提供了一个全面的概述长文档摘要的研究和系统的评估，其研究设置的三个主要组成部分：基准数据集，摘要模型和评估指标。对于每一个组成部分，我们组织的文献范围内的长文件摘要，并进行实证分析，以拓宽目前的研究进展的角度。实证分析包括对基准数据集内在特征的研究、对文摘模型的多维分析和对文摘评价指标的回顾。根据总体调查结果，我们最后提出了这个快速发展领域未来探索的可能方向。
2022-07-03 cs.CL
