Leveraging Information Bottleneck for Scientific Document Summarization
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Zhongtukexin Co. Ltd.（中土科信有限公司）
基于信息瓶颈原理，提出了一种无监督的科技长文档抽取方法。以前的工作，使用信息瓶颈原则的句子压缩的启发，我们将其扩展到文档级的摘要与两个单独的步骤。在第一步中，我们使用信号作为查询，从源文档中检索关键内容。然后，预先训练的语言模型进行进一步的句子搜索和编辑，以返回最终提取的摘要。重要的是，我们的工作可以通过不同的信号灵活地扩展到多视图框架。对三个科学文献数据集的自动评估验证了该框架的有效性。进一步的人工评估表明，提取的摘要比以前的系统覆盖更多的内容方面。
2021-10-04 cs.CL
Summ^N: A Multi-Stage Summarization Framework for Long Input Dialogues and Documents
Penn State University（宾夕法尼亚州立大学）；Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
文本摘要可以帮助读者从文档、新闻、采访和会议中捕捉突出的信息。然而，大多数最先进的预训练语言模型（LM）无法有效地处理长文本的许多摘要任务。在本文中，我们提出了Summ $^N$，这是一个简单，灵活，有效的多阶段框架，用于输入文本，这些文本长于典型的预训练LM的最大上下文长度。Summ $^N$首先对数据样本进行分割，并在多个阶段中生成一个粗略的摘要，然后在此基础上生成最终的细粒度摘要。我们的框架可以通过调整阶段的数量来处理任意长度的输入文本，同时保持LM输入大小固定。此外，它可以处理单源文档和对话，它可以使用在不同的骨干抽象摘要模型。据我们所知，Summ $^N$是第一个用于长输入摘要的多级拆分然后汇总框架。我们的实验表明，Summ $^N$通过提高三个长会议摘要数据集AMI，ICSI和QMSum，来自SummScreen的两个长电视连续剧数据集和长文档摘要数据集GovReport的ROUGE分数，优于以前的最先进的方法。我们的数据和代码可在https://github.com/psunlpgroup/Summ-N上获得。
2022-04-13 cs.CL
Controllable Multi-document Summarization: Coverage & Coherence Intuitive Policy with Large Language Model Based Rewards
Institute for Infocomm Research, A*STAR（A*STAR资讯通信研究院）
针对长输入多文档摘要任务的可控性问题，提出结合覆盖度与连贯性直觉策略的可控内容提取方案，搭配被动训练LLM的奖励机制，在ROUGE指标上取得有竞争力结果，人工评估连贯性优于基线。
2023-10-05 cs.CL
Topic-Guided Reinforcement Learning with LLMs for Enhancing Multi-Document Summarization
Department of Computer Science, University of British Columbia（英属哥伦比亚大学计算机科学系）；Salesforce AI Research（Salesforce人工智能研究）
本文提出一种主题引导的强化学习方法，通过在GRPO框架中引入主题奖励以衡量生成摘要与源文档的主题对齐度，有效改进了多文档摘要的内容选择，并在Multi-News等数据集上持续优于强基线。
2025-09-11 cs.CL
A Novel LLM-based Two-stage Summarization Approach for Long Dialogues
National Taiwan Normal University（国立台湾师范大学）；National Taiwan University of Science and Technology（国立台湾科技大学）
针对长文档长度超出主流预训练语言模型输入容量的问题，提出含无监督主题分段、ChatGPT(v3.5)浓缩、生成式摘要微调的分层两阶段框架，可在资源受限场景下高效处理长文档摘要任务。
2024-10-09 cs.CL
A Hierarchical Encoding-Decoding Scheme for Abstractive Multi-document Summarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Hupan Lab（湖畔实验室）
本文提出在编码器和解码器上施加层次结构以增强预训练语言模型处理多文档交互的能力，在10个多文档摘要基准上取得领先或具有竞争力的性能，并在Rouge-L上最高提升3分。
2023-11-01 cs.CL
Cross-Document Event-Keyed Summarization
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）
本研究将事件关键摘要扩展到跨文档场景，构建了SEAMUS数据集并评估多种基线，证明其作为新任务基准的价值。
2024-12-15 cs.CL
Readability Controllable Biomedical Document Summarization
NaCTeM（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）
针对生物医学摘要可读性与用户专业水平不匹配的问题，提出可读性可控生物医学摘要任务，构建对应语料库并基准测试多种可控摘要模型，还提出基于MLM的可读性评估指标，发现现有方法表现仍不理想。
2023-05-01 cs.CL
A Stepwise Questioning Expert-Editor Multi-Agent Framework for Long-Document Summarization
针对大语言模型长文档摘要性能挑战，提出专家 - 编辑逐步提问多智能体方法，通过不同方面提问和提供修订线索完善摘要，经实验验证了该方法在长文档科学数据集上的有效性。
2026-07-14 cs.AI cs.CL
Key-Element-Informed sLLM Tuning for Document Summarization
针对小规模大语言模型在长文档摘要中关键信息缺失、相关性低的问题，提出关键要素引导的指令调优方法KEITSum，通过识别文档关键要素指导摘要生成，在对话和新闻数据集上取得与专有LLM相当的高质量摘要效果。
2024-11-19 cs.AI cs.CL
Document Summarization with Conformal Importance Guarantees
Signal 1 AI；Layer 6 AI
本文提出保形重要性摘要框架，利用保形预测提供无分布覆盖保证，实现关键内容可控的抽取式文档摘要，并验证其理论覆盖率。
2025-09-24 cs.CL cs.LG
Leveraging Long-Context Large Language Models for Multi-Document Understanding and Summarization in Enterprise Applications
TCS（塔塔咨询服务公司）；SAGE University（SAGE大学）
本文探讨长上下文大型语言模型在多文档摘要生成中的应用，通过法律、医疗等案例验证其效率与准确性的提升，并分析技术障碍与伦理考量，提出未来研究方向。
2024-09-27 cs.AI cs.CL
Read Top News First: A Document Reordering Approach for Multi-Document News Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Columbia University（哥伦比亚大学）
提取多文档新闻摘要的常用方法是将所有文档连接为单个元文档，将其重新表示为单文档摘要问题。然而，这种方法忽略了文档的相对重要性。我们提出了一个简单的方法来重新排序的文件，根据它们的相对重要性，然后再连接和总结它们。重新排序使得显著内容更容易通过摘要模型学习。实验表明，我们的方法优于以前的国家的最先进的方法与更复杂的架构。
2022-03-19 cs.CL
Multi-Document Summarization via Discriminative Summary Reranking
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
现有的多文档摘要系统通常依赖于特定的摘要模型（即，具有特定参数设置的摘要方法）来提取具有不同主题的不同文档集的摘要。然而，根据我们的定量分析，没有一个现有的摘要模型可以总是产生高质量的摘要，为不同的文档集，即使是一个摘要模型具有良好的整体性能可能会产生低质量的摘要为某些文档集。相反，基线摘要模型可以为某些文档集生成高质量的摘要。基于上述观察结果，我们把不同摘要模型产生的摘要作为候选摘要，然后探索区分性重排序技术，以从不同文档集的候选摘要中识别出高质量的摘要。我们建议提取一组候选摘要为每个文档集的基础上的ILP框架，然后利用排名SVM摘要重新排名。各种有用的功能已经开发的重排序过程中，包括词级功能，摘要级功能和摘要级功能。在DUC数据集上的测试结果验证了该方法的有效性和鲁棒性。
2015-07-08 cs.CL
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
AQuaMuSe: Automatically Generating Datasets for Query-Based Multi-Document Summarization
Google Research（谷歌研究院）
摘要是将源文档压缩成连贯和简洁的段落的任务。这是一个有价值的工具，可以向用户提供与其查询相关的排名靠前的文档的简洁而准确的草图。基于查询的多文档摘要（Query-based multi-document summarization，qMDS）解决了这一普遍需求，但由于缺乏训练和评估数据集，现有的单文档和多文档摘要数据集在形式和规模上都存在不足，研究受到严重限制。我们提出了一个可扩展的方法，称为ANOMMuSe自动挖掘qMDS的例子，从问答数据集和大型文档语料库。我们的方法是独特的，因为它可以一般的双数据集-提取和抽象的摘要。我们公开发布了一个特定的ANOMMuSe数据集实例，其中包含5，519个基于查询的摘要，每个摘要与从Common Crawl的3.55亿个文档索引中选择的平均6个输入文档相关联。提供了对数据集的广泛评估以及基线摘要模型实验。
2020-10-23 cs.CL
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学与技术学院）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
目前，神经抽象文摘方法在单文档文摘（SDS）中取得了很大的成功。然而，由于缺乏大规模的多文档摘要，这些方法很难适用于多文档摘要（MDS）。在本文中，我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明，我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech（阿赫桑乌拉科技大学）
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而，抽象系统的性能仍然是一个挑战，因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题，我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件，它只需要一个部分的语音（POS）标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集，以评估我们的抽象模型，并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验，并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
The University of Adelaide（阿德莱德大学）
多文档摘要中的一个关键挑战是捕获输入文档之间的关系，以区分单文档摘要（SDS）和多文档摘要（MDS）。现有的MDS工程很少解决这个问题。一种有效的方法是对文档位置信息进行编码，以帮助模型捕获跨文档关系。然而，现有的MDS模型，如基于转换器的模型，只考虑令牌级的位置信息。此外，这些模型无法捕捉句子的语言结构，这不可避免地导致在生成的摘要混乱。因此，在本文中，我们提出了文档感知的位置编码和语言指导的编码，可以融合Transformer架构的MDS。对于文档感知的位置编码，我们引入了一个通用协议来指导文档编码函数的选择。对于语言引导的编码，我们建议将句法依赖关系嵌入到依赖关系掩码中，并使用简单但有效的非线性编码学习器进行特征学习。大量的实验表明，该模型可以生成高质量的摘要。
2022-09-13 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
Multi-document Biography Summarization
在本文中，我们描述了一个传记摘要系统使用句子分类和信息检索的想法。虽然这些技术并不新鲜，但将它们组合并应用于生成多文档传记却是新技术。我们的系统在DUC 2004中进行了评估。它在任务5-以个人问题为重点的简短摘要中表现最好。
2005-01-26 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
A Divide-and-Conquer Approach to the Summarization of Long Documents
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Atypon Hellas
我们提出了一种新的分而治之的方法神经摘要的长文件。我们的方法利用了文档的话语结构，并使用句子相似性将问题分解为一系列较小的摘要问题。特别是，我们将一个长文档及其摘要分解为多个源目标对，这些源目标对用于训练一个模型，该模型学习分别总结文档的每个部分。然后将这些部分摘要合并，以生成最终的完整摘要。通过这种方法，我们可以将长文档摘要问题分解为更小和更简单的问题，降低计算复杂性并创建更多的训练样本，同时与标准方法相比，目标摘要中包含更少的噪声。我们证明了这种方法与不同的摘要模型配对，包括序列到序列RNN和Transformers，可以提高摘要性能。我们最好的模型在两个公开的学术文章数据集中取得了与最先进的结果相当的结果。
2020-09-23 cs.CL
Supervising the Centroid Baseline for Extractive Multi-Document Summarization
Priberam Labs（Priberam实验室）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）
本文通过引入束搜索句子选择和质心估计注意力模型，改进了抽取式多文档摘要的质心基线方法，并在多个数据集及多语言场景中验证了效果提升。
2023-11-29 cs.CL
Detecting (Un)Important Content for Single-Document News Summarization
Redfin Inc.（Redfin公司）；University of Akron（阿克伦大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的方法来检测内在的句子重要性的新闻，通过训练两个语料库的文档摘要对。当用于单文档摘要，我们的方法，结合“文档开头”的启发式，优于一个国家的最先进的摘要和文章的自动和手动评估的基准。这些结果代表了一个重要的进步，因为在没有跨文档重复的情况下，新闻的单文档摘要器无法始终优于强大的文章摘要基线。
2017-02-26 cs.CL
An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
学术文章和商业报告等长文档一直是详细说明需要额外关注的重要问题和复杂主题的标准格式。一个自动摘要系统，可以有效地压缩长文档成简短的文本，封装最重要的信息，因此将是重要的，在帮助读者的理解。最近，随着神经架构的出现，已经做出了重大的研究努力，以推进自动文本摘要系统，并出现了许多研究的挑战，这些系统扩展到长文档域。在这项调查中，我们提供了一个全面的概述长文档摘要的研究和系统的评估，其研究设置的三个主要组成部分：基准数据集，摘要模型和评估指标。对于每一个组成部分，我们组织的文献范围内的长文件摘要，并进行实证分析，以拓宽目前的研究进展的角度。实证分析包括对基准数据集内在特征的研究、对文摘模型的多维分析和对文摘评价指标的回顾。根据总体调查结果，我们最后提出了这个快速发展领域未来探索的可能方向。
2022-07-03 cs.CL
Massive Multi-Document Summarization of Product Reviews with Weak Supervision
Bar-Ilan University（巴伊兰大学）；Amazon（亚马逊）
产品评论摘要是一种多文档摘要（MDS）任务，其中摘要的文档集通常远大于传统MDS（多达数万条评论）。我们强调了这一差异，并创造了术语“大规模多文档摘要”（MMDS）来表示涉及数百个文档或更多文档的MDS任务。以前的产品评论总结工作考虑的是小样本的评论，主要是由于处理大量文档集的困难。我们发现，总结小样本可能会导致重要信息的丢失，并提供误导性的评估结果。我们提出了一个模式，总结了一个标准的总结算法之上的大量评论。由于编写高级神经网络模型所需的大量参考摘要是不切实际的，因此我们的解决方案依赖于弱监督。最后，我们提出了一个评估方案，是基于多个众包的参考摘要，旨在捕捉大量的审查收集。我们表明，我们的模式的初始实施显着提高了几个基线的ROUGE分数，并表现出很强的一致性，在手动语言质量评估。
2020-07-22 cs.CL
Bringing Structure into Summaries: a Faceted Summarization Dataset for Long Scientific Documents
University of Pittsburgh（匹兹堡大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
分面摘要从不同的角度提供文档的简要说明。读者可以在结构化大纲的帮助下快速理解长文档的要点。然而，很少有研究已经在这个问题上进行，部分原因是缺乏大规模的分面摘要数据集。在这项研究中，我们提出FacetSum，一个基于Emerald期刊文章的多方面摘要基准，涵盖了各种领域。与传统的文档摘要对不同，FacetSum提供多个摘要，每个摘要针对长文档的特定部分，包括目的，方法，发现和价值。对我们数据集的分析和实证结果揭示了将结构纳入摘要的重要性。我们相信FacetSum将推动摘要研究的进一步发展，并促进NLP系统的发展，这些系统可以利用长文本和摘要中的结构化信息。
2021-06-23 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Modeling Endorsement for Multi-Document Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
单文档摘要和多文档摘要之间的一个关键区别是显著内容在文档中的表现方式。虽然这些内容可能出现在一份文件的开头，但基本信息经常在与特定主题有关的一组文件中重复，从而产生了增加信息显著性的认可效应。在本文中，我们模型的跨文档背书效应及其利用多文档摘要。我们的方法从每个文档中生成一个概要，它可以作为一个背书者来识别其他文档中的突出内容。强烈认可的文本片段用于丰富神经编码器-解码器模型，以将其合并为抽象摘要。该方法具有很大的潜力，从更少的例子中学习，以确定显着的内容，这表明需要昂贵的重新培训时，一组文件是动态调整。通过对基准多文档摘要数据集的广泛实验，我们证明了我们提出的方法在强发布基线上的有效性。最后，我们阐明了未来的研究方向，并讨论了更广泛的挑战，这项任务使用的案例研究。
2021-10-15 cs.CL
Multi-Document Summarization using Distributed Bag-of-Words Model
IIT Kharagpur（印度理工学院卡拉格普尔分校）；TCS Research（塔塔咨询服务研究中心）
随着网络上文档数量的指数级增长，多文档摘要由于能够在短时间内提供文档集中的主要内容而变得越来越重要。在本文中，我们提出了一个无监督的基于质心的文档级重建框架，使用分布式词袋模型。具体来说，我们的方法选择摘要句子，以尽量减少摘要和文档之间的重建误差。我们应用句子选择和束搜索，以进一步提高我们的模型的性能。在两个不同数据集上的实验结果显示，与最先进的基线相比，性能有了显着的提高。
2018-06-11 cs.CL
Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model
Yale University（耶鲁大学）
随着在线出版物数量的迅速增长，从多篇新闻文章自动生成摘要是一个有价值的工具。由于大数据集的可用性，单文档摘要（SDS）系统受益于神经编码器-解码器模型的进步。然而，新闻文章的多文档摘要（MDS）仅限于几百个例子的数据集。在本文中，我们介绍了多新闻，第一个大规模的MDS新闻数据集。此外，我们提出了一个端到端的模型，该模型将传统的提取摘要模型与标准SDS模型相结合，并在MDS数据集上取得了有竞争力的结果。我们在Multi-News上对几种方法进行了基准测试，并发布了我们的数据和代码，希望这项工作能够促进多文档环境中摘要的进步。
2019-06-19 cs.CL
Centrality Meets Centroid: A Graph-based Approach for Unsupervised Document Summarization
近年来，无监督文档摘要由于其简单性和数据独立性而重新获得了大量关注。在本文中，我们提出了一个基于图的无监督方法提取文档摘要。而不是排名的句子的显着性和提取句子一个接一个，我们的方法工作在一个总结的水平，利用图中心和质心。我们首先从句子图中提取基于中心性的摘要候选作为子图，然后通过匹配到质心来从摘要候选中选择。我们在两个基准摘要数据集上进行了广泛的实验，结果表明，与最先进的基线相比，我们的模型是有效的。
2021-04-22 cs.CL
Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
多文档摘要面临的最重要的障碍包括源描述中的过度冗余和训练数据的迫在眉睫的短缺。这些障碍阻碍了编码器-解码器模型的直接使用，但基于优化的方法，如确定性点过程（DPP），可以很好地处理它们。在本文中，我们试图加强基于DPP的方法提取多文档摘要，提出了一种新的相似性度量胶囊网络的启发。该方法基于句子的表面形式和语义信息来度量句子之间的冗余。我们表明，我们的DPP系统具有改进的相似性度量表现出竞争力，在基准数据集上表现优于强大的汇总基线。我们的研究结果是特别有意义的总结多个作者创建的文档包含冗余但词汇多样的表达。
2019-05-31 cs.CL
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
Revisiting the Centroid-based Method: A Strong Baseline for Multi-Document Summarization
Aylien Ltd.（Aylien有限公司）
用于提取文档摘要的基于质心的模型是一个简单而快速的基线，它根据句子与质心向量的相似性对句子进行排名。在本文中，我们将这种排名应用于可能的摘要而不是句子，并使用一个简单的贪心算法来找到最好的摘要。此外，我们展示了在构建摘要之前从每个文档中选择少量句子来扩展到更大输入文档集合的可能性。在DUC2004数据集上进行了多文档摘要实验。我们观察到比原始模型更高的性能，与更复杂的最先进的方法相当。
2017-08-25 cs.CL
Iterative Document Representation Learning Towards Summarization with Polishing
Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）
在本文中，我们介绍了迭代文本摘要（ITS），这是一种基于迭代的监督提取文本摘要模型，其灵感来自于观察到人类通常需要多次阅读文章才能完全理解和总结其内容。当前的摘要方法只需通读文档一次即可生成文档表示，从而导致表示效果不佳。为了解决这个问题，我们引入了一个模型，迭代抛光的文档表示多次通过文档。作为我们模型的一部分，我们还引入了一个选择性阅读机制，可以更准确地决定模型中每个句子应该更新的程度。在CNN/DailyMail和DUC 2002数据集上的实验结果表明，当由机器和人类评估时，我们的模型显着优于最先进的提取系统。
2019-05-30 cs.CL
Dependency Structure for News Document Summarization
The University of Adelaide（阿德莱德大学）
在这项工作中，我们开发了一个基于神经网络的模型，利用依存句法分析来捕获跨位置的依赖关系和语法结构。在语言信号的帮助下，可以正确地捕获新闻文档之间的层次关系，从而提高新闻文档摘要的性能。实证研究表明，这种简单而有效的方法优于现有的工作在基准数据集上。广泛的分析研究了不同的设置和配置的建议模式，提供了一个很好的参考社会。
2022-02-22 cs.CL
HowSumm: A Multi-Document Summarization Dataset Derived from WikiHow Articles
IBM Research - AI（IBM人工智能研究院）
我们提出了HowSumm，这是一个用于以查询为中心的多文档摘要（qMDS）任务的新型大规模数据集，其目标是从一组源生成可操作指令的用例。此用例与现有多文档摘要（MDS）数据集中涵盖的用例不同，适用于教育和工业场景。我们采用自动方法，并利用现有人工qMDS数据集的统计数据，从wikiHow网站文章及其引用的来源创建HowSumm。我们描述了数据集的创建，并讨论了它与其他摘要语料库的独特功能。对数据集的提取和抽象摘要模型的自动和人工评估表明，还有改进的余地。
2021-10-08 cs.CL
HADES: Homologous Automated Document Exploration and Summarization
Warsaw University of Technology（华沙理工大学）；University of Warsaw（华沙大学）
本文介绍了一种新的结构相似文档自动比较工具HADES。HADES旨在简化处理大量文件的专业人员的工作，如政策文件，法律行为和科学论文。该工具采用多步骤管道，首先使用主题建模，摘要和分析每个主题的最重要的单词来处理PDF文档。该过程最后是一个交互式网络应用程序，具有便于比较文档的可视化效果。HADES有可能大大提高处理大量文件的专业人员的生产力，减少完成与比较文件分析有关的任务所需的时间和精力。我们的软件包在GitHub上可用。
2023-02-25 cs.CL
How "Multi" is Multi-Document Summarization?
Bar Ilan University（巴伊兰大学）
多文档摘要（MDS）的任务旨在模型，给定多个文档作为输入，能够生成一个摘要，结合分散的信息，最初分布在这些文档。因此，预计MDS数据集中的参考摘要以及系统摘要都将确实基于这种分散的信息。在本文中，我们主张量化和评估这种期望。为此，我们提出了一个自动化的措施来评估的程度摘要是“分散”，在这个意义上的源文件的数量需要覆盖其内容。我们应用我们的措施来实证分析几个流行的MDS数据集，关于他们的参考摘要，以及国家的最先进的系统的输出。我们的研究结果表明，某些MDS数据集几乎不需要组合来自多个文档的信息，其中单个文档通常涵盖完整的摘要内容。总的来说，我们提倡使用我们的指标来评估和提高摘要数据集需要组合多文档信息的程度，以及类似的摘要模型实际上如何应对这一挑战。我们的代码可以在https://github.com/ariecattan/multi_mds上找到。
2022-10-23 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
A Mixed-Language Multi-Document News Summarization Dataset and a Graphs-Based Extract-Generate Model
Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology（昆明理工大学云南省人工智能重点实验室）
针对混合语言多文档新闻摘要研究缺乏数据集的问题，本文构建了包含四种语言和10,992个文档摘要对的MLMD-news数据集，并提出基于图的抽取-生成模型进行基准测试，以推动该领域研究。
2024-10-13 cs.CL
AgreeSum: Agreement-Oriented Multi-Document Summarization
Google Research（谷歌研究院）；New York University（纽约大学）
我们的目标是重新关注一个特定的多文档摘要（MDS）的任务，我们称之为EaseSum：面向协议的多文档摘要。给定一组文章，目标是提供抽象摘要，表示所有输入文章的通用和忠实信息。由于缺乏现有的数据集，我们创建了一个数据集为pageSum，并提供注释的文章摘要蕴涵关系的一个子集的集群在数据集中。我们的目标是通过将性能最好的预训练单文档摘要模型PEGASUS应用于PegeSum，利用监督损失的注释聚类和基于T5的蕴涵相关和语言相关损失的未注释聚类，为任务创建强大的基线。与其他基线相比，自动评估和人工评估在生成的摘要中显示出更好的文章摘要和聚类摘要蕴涵。另外，我们希望我们的文章摘要蕴涵注释有助于社区提高抽象摘要的忠实性。
2021-06-04 cs.CL
Artemis: A Novel Annotation Methodology for Indicative Single Document Summarization
Umass Amherst（马萨诸塞大学阿默斯特分校）；Facebook Inc（脸书公司）；Microsoft Corporation（微软公司）
我们描述了Artemis（注释方法丰富，易处理，提取，多域，指示性摘要），一种新的层次注释过程，从多个域的文件产生指示性摘要。目前的摘要评估数据集是单域的，集中在一些自然发生的摘要可以很容易地找到的领域，如新闻和科学文章。这些不足以训练和评估用于文档管理和信息检索系统的摘要模型，这些系统需要处理来自多个域的文档。与相对效用和金字塔等其他注释方法相比，Artemis更易于处理，因为法官在对其中一个句子进行重要性判断时不需要查看文档中的所有句子，同时提供同样丰富的句子重要性注释。我们详细描述了注释过程，并将其与其他类似的评估系统进行了比较。我们还提出了一个样本集的532注释的文档的分析和实验结果。
2020-05-14 cs.CL
Neural Extractive Summarization with Side Information
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
大多数抽取式摘要方法关注于需要从中抽取句子的文档的主体。然而，文档的主旨可能在于辅助信息，例如新闻专线文章中经常提供的标题和图像说明。我们建议在单文档提取摘要的背景下探索边信息。我们开发了一个单文档摘要的框架，由一个分层的文档编码器和一个基于注意力的提取器组成，注意力超过边信息。我们在一个大规模的新闻数据集上评估了我们的模型。我们发现，提取摘要与边信息始终优于其对应的，不使用任何边信息，在信息量和流畅性。
2017-09-10 cs.CL
Adapting the Neural Encoder-Decoder Framework from Single to Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
从一组文档中生成文本摘要仍然是一项具有挑战性的任务。神经编码器-解码器框架最近已被用于总结单个文档，但其成功部分归功于从Web自动获取的大型并行数据的可用性。相比之下，多文档摘要的并行数据是稀缺的，获得成本高。迫切需要调整在单文档摘要数据上训练的编码器-解码器模型，以处理多文档输入。在本文中，我们提出了一个新的适应方法的初步调查。它利用最大边缘相关性方法从多文档输入中选择代表性句子，并利用抽象的编码器-解码器模型将不同的句子融合到抽象摘要中。自适应方法是鲁棒的，并且其本身不需要训练数据。我们的系统相媲美的最先进的提取和抽象的方法判断自动指标和人类评估。
2018-08-28 cs.CL
Abstract Meaning Representation for Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
从文档集合中生成摘要是许多实际应用程序所需要的功能。然而，多文档摘要的抽象方法还没有得到彻底的研究。本文研究了基于语言学理论的自然语言的语义表示--抽象意义表示（AMR）作为内容表示形式的可行性。我们的方法将源文档浓缩为一组遵循AMR形式主义的摘要图。然后，在表面实现步骤中，将摘要图转换为一组摘要句子。该框架是完全数据驱动和灵活的。可以使用小规模的域内训练数据独立地优化每个组件。我们在基准摘要数据集上进行实验，并报告了令人鼓舞的结果。我们还描述了推进这一研究的机遇和挑战。
2018-06-14 cs.CL
Overview of the VLSP 2022 -- Abmusu Shared Task: A Data Challenge for Vietnamese Abstractive Multi-document Summarization
VNU University of Engineering and Technology（越南国立大学工程技术大学）
本文介绍了 VLSP 2022 的越南语生成式多文档摘要共享任务，构建了包含1,839篇文档的人工标注数据集，并使用 ROUGE2-F1 评估模型。
2023-11-27 cs.CL
