HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
学术文章和商业报告等长文档一直是详细说明需要额外关注的重要问题和复杂主题的标准格式。一个自动摘要系统，可以有效地压缩长文档成简短的文本，封装最重要的信息，因此将是重要的，在帮助读者的理解。最近，随着神经架构的出现，已经做出了重大的研究努力，以推进自动文本摘要系统，并出现了许多研究的挑战，这些系统扩展到长文档域。在这项调查中，我们提供了一个全面的概述长文档摘要的研究和系统的评估，其研究设置的三个主要组成部分：基准数据集，摘要模型和评估指标。对于每一个组成部分，我们组织的文献范围内的长文件摘要，并进行实证分析，以拓宽目前的研究进展的角度。实证分析包括对基准数据集内在特征的研究、对文摘模型的多维分析和对文摘评价指标的回顾。根据总体调查结果，我们最后提出了这个快速发展领域未来探索的可能方向。
2022-07-03 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Modeling Endorsement for Multi-Document Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
单文档摘要和多文档摘要之间的一个关键区别是显著内容在文档中的表现方式。虽然这些内容可能出现在一份文件的开头，但基本信息经常在与特定主题有关的一组文件中重复，从而产生了增加信息显著性的认可效应。在本文中，我们模型的跨文档背书效应及其利用多文档摘要。我们的方法从每个文档中生成一个概要，它可以作为一个背书者来识别其他文档中的突出内容。强烈认可的文本片段用于丰富神经编码器-解码器模型，以将其合并为抽象摘要。该方法具有很大的潜力，从更少的例子中学习，以确定显着的内容，这表明需要昂贵的重新培训时，一组文件是动态调整。通过对基准多文档摘要数据集的广泛实验，我们证明了我们提出的方法在强发布基线上的有效性。最后，我们阐明了未来的研究方向，并讨论了更广泛的挑战，这项任务使用的案例研究。
2021-10-15 cs.CL
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
Iterative Document Representation Learning Towards Summarization with Polishing
Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）
在本文中，我们介绍了迭代文本摘要（ITS），这是一种基于迭代的监督提取文本摘要模型，其灵感来自于观察到人类通常需要多次阅读文章才能完全理解和总结其内容。当前的摘要方法只需通读文档一次即可生成文档表示，从而导致表示效果不佳。为了解决这个问题，我们引入了一个模型，迭代抛光的文档表示多次通过文档。作为我们模型的一部分，我们还引入了一个选择性阅读机制，可以更准确地决定模型中每个句子应该更新的程度。在CNN/DailyMail和DUC 2002数据集上的实验结果表明，当由机器和人类评估时，我们的模型显着优于最先进的提取系统。
2019-05-30 cs.CL
Extractive Summarization of Long Documents by Combining Global and Local Context
University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们提出了一种新的神经单文档提取摘要模型的长文档，结合了整个文档的全局上下文和当前主题内的局部上下文。我们在两个科学论文数据集Pubmed和arXiv上评估了该模型，在ROUGE-1，ROUGE-2和METEOR评分上，它优于以前的工作，无论是提取模型还是抽象模型。我们还表明，与我们的目标一致，我们的方法的好处变得更强，因为我们将其应用于较长的文件。令人惊讶的是，一项消融研究表明，我们的模型的好处似乎完全来自于对本地上下文的建模，即使是最长的文档。
2019-09-17 cs.CL
AgreeSum: Agreement-Oriented Multi-Document Summarization
Google Research（谷歌研究院）；New York University（纽约大学）
我们的目标是重新关注一个特定的多文档摘要（MDS）的任务，我们称之为EaseSum：面向协议的多文档摘要。给定一组文章，目标是提供抽象摘要，表示所有输入文章的通用和忠实信息。由于缺乏现有的数据集，我们创建了一个数据集为pageSum，并提供注释的文章摘要蕴涵关系的一个子集的集群在数据集中。我们的目标是通过将性能最好的预训练单文档摘要模型PEGASUS应用于PegeSum，利用监督损失的注释聚类和基于T5的蕴涵相关和语言相关损失的未注释聚类，为任务创建强大的基线。与其他基线相比，自动评估和人工评估在生成的摘要中显示出更好的文章摘要和聚类摘要蕴涵。另外，我们希望我们的文章摘要蕴涵注释有助于社区提高抽象摘要的忠实性。
2021-06-04 cs.CL
Neural Extractive Summarization with Side Information
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（爱丁堡大学信息学院语言、认知与计算研究所）
大多数抽取式摘要方法关注于需要从中抽取句子的文档的主体。然而，文档的主旨可能在于辅助信息，例如新闻专线文章中经常提供的标题和图像说明。我们建议在单文档提取摘要的背景下探索边信息。我们开发了一个单文档摘要的框架，由一个分层的文档编码器和一个基于注意力的提取器组成，注意力超过边信息。我们在一个大规模的新闻数据集上评估了我们的模型。我们发现，提取摘要与边信息始终优于其对应的，不使用任何边信息，在信息量和流畅性。
2017-09-10 cs.CL
GoSum: Extractive Summarization of Long Documents by Reinforcement Learning and Graph Organized discourse state
Charles Sturt University（查尔斯特大学）；Atypon Systems, LLC（Atypon系统有限责任公司）；Fudan University（复旦大学）
从长文档中提取摘要可以看作是利用文档的结构信息进行句子分类。如何使用这样的结构化信息来概括文档是具有挑战性的。在本文中，我们提出了GoSum，一种新的图和强化学习为基础的提取模型的长论文摘要。特别是，GoSum通过为不同话语级别的每个输入文档构建异构图，在强化学习中对句子状态进行编码。图中的边反映了文档的语篇层次结构，用于抑制跨节边界的语义漂移。我们在两个科学文章摘要数据集上评估了GoSum：PubMed和arXiv。实验结果表明，与提取和抽象模型的强基线相比，GoSum实现了最先进的结果。消融研究进一步验证了我们的GoSum的性能受益于话语信息的使用。
2023-01-20 cs.CL
StructSum: Summarization via Structured Representations
School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
摘要文本摘要的目的是将长源文档的信息压缩成重新措辞的、精简的摘要。尽管建模技术取得了进步，但抽象摘要模型仍然面临着几个关键挑战：（i）布局偏差：它们过度适应训练语料库的风格;（ii）有限的抽象性：它们被优化为从源代码复制n-gram，而不是生成新的抽象摘要;（iii）缺乏透明度：它们不可解释。在这项工作中，我们提出了一个基于文档级结构归纳的摘要框架来解决这些挑战。为此，我们建议将源文档中句子之间的潜在和显式依赖关系纳入端到端的单文档摘要模型。我们的框架补充了标准的编码器-解码器摘要模型，通过使用基于隐式学习（潜在）结构和外部派生语言（显式）结构的丰富的结构感知文档表示来增强它们。我们证明了我们的摘要框架，在CNN/DM数据集上训练，提高了源文档中内容的覆盖率，通过生成更多新颖的n-gram生成更抽象的摘要，并结合了可解释的摘要级结构，同时与标准基线保持一致。
2021-02-16 cs.CL
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
Unsupervised Extractive Summarization with Heterogeneous Graph Embeddings for Chinese Document
Tencent（腾讯）
在无监督提取摘要的场景中，学习高质量的句子表示对于从输入文档中选择突出句子至关重要。以往的研究多集中于采用统计方法或预训练语言模型（PLMs）来提取句子嵌入，而忽略了词语和句子之间的异质交互类型所固有的丰富信息。在本文中，我们首次提出了一种无监督的提取摘要方法与异构图嵌入（HGE）的中文文档。构建了一个异构文本图，通过结合图的结构信息来捕获不同粒度的交互。此外，我们提出的图是通用和灵活的，其中可以很容易地集成额外的节点，如关键字。实验结果表明，我们的方法始终优于强基线在三个摘要数据集。
2022-11-09 cs.CL
Computing and Exploiting Document Structure to Improve Unsupervised Extractive Summarization of Legal Case Decisions
University of Pittsburgh（匹兹堡大学）
虽然许多算法可以用来自动总结法律案件的决定，大多数未能纳入领域知识的法律判决中的重要句子如何与其文档结构的表示。例如，对一个法律案例摘要数据集的分析表明，在判决中扮演不同类型论证角色的句子出现在文档的不同部分。在这项工作中，我们提出了一个无监督的基于图的排名模型，使用重新加权算法，利用法律案件的决定的文档结构的属性。我们还探讨了使用不同的方法来计算文档结构的影响。加拿大法律判例法数据集上的结果表明，我们提出的方法优于几个强大的基线。
2022-11-06 cs.CL
Discourse-Aware Unsupervised Summarization of Long Scientific Documents
MILA（MILA研究所）；McGill University（麦吉尔大学）
我们提出了一种无监督的基于图的排序模型，用于长科学文献的提取摘要。我们的方法假设一个两级的层次图表示的源文件，并利用不对称的位置线索，以确定句子的重要性。在PubMed和arXiv数据集上的结果表明，我们的方法在自动度量和人工评估方面远远优于强大的无监督基线。此外，它实现了与许多最先进的监督方法相当的性能，这些方法是在数十万个示例上训练的。这些结果表明，语篇结构中的模式是决定科技文章重要性的一个强有力的信号。
2021-01-13 cs.CL
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
Element AI；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；École Polytechnique de Montréal（蒙特利尔高等理工学院）
我们提出了一种方法，通过神经抽象摘要产生超过几千字的长文档的摘要。在生成摘要之前，我们执行一个简单的提取步骤，然后在生成摘要之前，使用该摘要来根据相关信息调节Transformer语言模型。我们表明，这一提取步骤显着提高摘要结果。我们还表明，这种方法产生更抽象的摘要相比，以前的工作，采用复制机制，同时仍然实现更高的胭脂分数。注意：上面的摘要不是作者写的，它是由本文中提出的一个模型生成的。
2020-04-28 cs.CL
SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents
IBM（国际商业机器公司）
我们提出了SummaRuNNer，一个循环神经网络（RNN）为基础的序列模型的提取摘要的文件，并表明它实现了性能优于或相当于国家的最先进的。我们的模型具有额外的优势是非常可解释的，因为它允许可视化的预测打破了抽象的功能，如信息内容，显着性和新颖性。我们工作的另一个新贡献是我们的提取模型的抽象训练，它可以单独在人类生成的参考摘要上进行训练，从而消除了对重复级别提取标签的需要。
2016-11-14 cs.CL
Extractive Text Summarization using Neural Networks
Indian Institute of Technology Delhi（德里印度理工学院）
文本摘要是一个被广泛研究的问题。传统的文本摘要方法严重依赖于特征工程。与此相反，我们提出了一个完全数据驱动的方法，使用前馈神经网络的单文档摘要。我们训练和评估的标准DUC 2002数据集的模型，显示的结果与最先进的模型。该模型是可扩展的，并能够产生任意大小的文件的摘要，打破了原始文件成固定大小的部分，然后将其递归地馈送到网络。
2018-02-27 cs.CL
SKT5SciSumm -- Revisiting Extractive-Generative Approach for Multi-Document Scientific Summarization
University of Information Technology（信息科技大学）；VNU - HCM（胡志明市国家大学）；Deakin University（迪肯大学）；National Institute of Informatics（情报学研究所）；University of Göttingen（哥廷根大学）；University of Würzburg（维尔茨堡大学）
本文提出SKT5SciSumm混合框架，利用SPECTER编码和k-means聚类进行抽取式摘要，并结合T5模型生成抽象式摘要，在Multi-XScience数据集上达到最先进性能。
2024-09-27 cs.CL
Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks
Amazon Lab126（亚马逊Lab126）；eBay Inc.（eBay公司）；Google（谷歌）
序列到序列（Seq2Seq）学习最近已被用于抽象和提取摘要。在目前的研究中，Seq2Seq模型已被用于eBay产品描述摘要。我们提出了一种新的基于文档上下文的Seq2Seq模型，使用RNN进行抽象和提取摘要。直觉上，这类似于人类在阅读文档之前阅读标题，摘要或任何其他上下文信息。这让人们对文档的内容有了一个高层次的了解。我们使用这个想法，并建议Seq2Seq模型应该在输入的第一个时间步开始使用上下文信息，以获得更好的摘要。通过这种方式，输出摘要更加以文档为中心，而不是通用的，克服了使用生成模型的主要障碍之一。我们从用户行为和卖方提供的信息生成文档上下文。我们在人类提取的黄金总结上训练和评估我们的模型。文档上下文Seq2Seq模型优于标准Seq2Seq模型。此外，生成人类提取的摘要是非常昂贵的规模，因此，我们提出了一种半监督技术，用于提取近似摘要，并使用它来训练Seq2Seq模型的规模。半监督模型对人类提取的摘要进行了评估，并发现具有相似的功效。我们在相同的评估数据集上提供了抽象和提取摘要器（上下文和非上下文）的并排比较。总的来说，我们提供了方法来使用和评估所提出的技术，大型文档摘要。此外，我们发现这些技术非常有效，而现有技术并非如此。
2018-07-29 cs.CL
Topic-Aware Encoding for Extractive Summarization
文档摘要提供了一种更快地理解文本文档集合的工具，并有几个实际应用。随着在线文本数据的增长，近年来提出了许多摘要模型。基于序列到序列（Seq2Seq）的神经摘要模型由于其高性能而在摘要领域中应用最广泛。这是因为在编码时充分考虑了文本中的语义信息和结构信息。然而，现有的抽取式摘要模型很少关注和利用中心主题信息来辅助摘要的生成，导致模型不能保证生成的摘要是在主主题下生成的。一个冗长的文档可以跨越多个主题，而一个摘要无法公正地处理所有主题。因此，生成高质量摘要的关键是确定中心主题，并在此基础上构建摘要，特别是对于长文档。我们提出了一个主题感知编码的文档摘要来处理这个问题。该模型有效地结合了句法级和主题级信息，构建了一个全面的句子表示。具体而言，在基于神经元的文本级表示学习中添加神经元主题模型，以充分考虑用于捕获原始文档中的关键内容的中心主题信息。在三个公共数据集上的实验结果表明，我们的模型优于最先进的模型。
2022-03-31 cs.CL
Toward Unifying Text Segmentation and Long Document Summarization
Tencent AI Lab（腾讯人工智能实验室）；Emory University（埃默里大学）
文本分割对于表示文档的结构很重要。如果不将一个长文档分割成主题连贯的部分，读者就很难理解文本，更不用说找到重要信息了。由于录音/录像记录的文字记录没有分段，这一问题更加严重。在本文中，我们探讨的作用，部分分割书面和口头文件的提取摘要。我们的方法通过同时执行摘要和分割来学习鲁棒的句子表示，并通过基于优化的正则化器进一步增强，以促进对不同摘要句子的选择。我们在从科学文章到口语成绩单的多个数据集上进行实验，以评估模型的性能。我们的研究结果表明，该模型不仅可以实现国家的最先进的性能公开可用的基准，但表现出更好的跨体裁的可移植性时，配备了文本分割。我们进行了一系列的分析，以量化的影响，总结书面和口头文件的长度和复杂性的部分分割。
2022-10-28 cs.CL
CNewSum: A Large-scale Chinese News Summarization Dataset with Human-annotated Adequacy and Deducibility Level
ByteDance（字节跳动）
自动文本摘要旨在为输入文档生成简短但关键的摘要。近年来，抽取和抽象方法在英语数据集上取得了巨大的成功。然而，由于缺乏大规模的数据集，中文文本摘要的研究很少。在本文中，我们提出了一个大规模的中文新闻摘要数据集CNewSum，其中包括304，307个文档和人类撰写的新闻摘要。它有很长的文档和高度抽象的摘要，这可以鼓励文档级的理解和当前摘要模型的生成。CNewSum的另一个显着特征是它的测试集包含摘要的充分性和演绎性注释。充分性水平度量文档所覆盖的摘要信息的程度，演绎性表示模型生成摘要所需的推理能力。这些注释可以帮助研究人员分析和定位他们的模型性能瓶颈。我们研究了CNewSum上最近的方法，并发布了我们的数据集，为中文自动摘要研究提供了一个坚实的测试平台。
2021-10-21 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
A Hybrid Architecture with Efficient Fine Tuning for Abstractive Patent Document Summarization
Informatics Institute of Technology（信息技术学院）
针对专利文档结构复杂、篇幅长导致摘要生成困难的问题，提出结合LexRank抽取算法与LoRA微调BART模型的混合摘要系统，并通过元学习实现跨专利领域的域泛化。
2025-06-14 cs.CL
BASS: Boosting Abstractive Summarization with Unified Semantic Graph
Peking University（北京大学）；Baidu Inc.（百度公司）；Soochow University（苏州大学）
对于Seq 2Seq架构来说，长文档或多文档的抽象摘要仍然具有挑战性，因为Seq 2Seq不擅长分析文本中的长距离关系。在本文中，我们提出了BASS，一种新的框架，用于基于统一的语义图，聚合分布在很长一段时间的上下文中的共指短语，并传达丰富的短语之间的关系，以促进抽象摘要。此外，提出了一种基于图的编码器-解码器模型，通过利用图结构来改进文档表示和摘要生成过程。具体而言，几个图增强方法被设计成编码文本中的显式和隐式关系，而图传播注意力机制是在解码器中开发的，以选择突出的内容到摘要。实验结果表明，所提出的架构带来了实质性的改善，为长文档和多文档摘要任务。
2021-05-25 cs.CL
At Which Level Should We Extract? An Empirical Analysis on Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；Tencent Cloud Xiaowei（腾讯云小微）
摘要抽取方法在自动文摘中已被证明是有效的。以前的作品通过在句子水平上识别信息内容来完成这一任务。然而，目前还不清楚在句子级别执行提取是否是最好的解决方案。在这项工作中，我们表明，不必要的和冗余的问题存在时，提取完整的句子，和提取submartial单位是一个很有前途的选择。具体来说，我们提出了基于选区解析树提取子单元。提出了一种利用潜在信息进行提取的神经抽取模型。大量的实验和分析表明，在自动评价和人工评价的评价下，提取子句单元与提取整句相比具有竞争力。希望本研究能对文摘中基本提取单元的研究提供一定的启示。
2020-10-26 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning（斯里萨提亚赛高等研究院）
本研究基于天城体梵语语料库开发BERT及其变体模型，通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要，并公开发布了相关语料库。
2023-04-04 cs.CL
Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究所加尔各答分校）
法律判决书摘要是法律自然语言处理中的一个难题。然而，没有太多的分析存在如何不同的家庭的摘要模型（例如，提取与抽象）应用于法律案例文档时执行。这个问题特别重要，因为许多最近的基于transformer的抽象摘要模型对输入标记的数量有限制，并且已知法律文档非常长。此外，如何最好地评估法律案例文档摘要系统是一个悬而未决的问题。在本文中，我们进行了广泛的实验，几个提取和抽象的摘要方法（监督和无监督）在三个法律摘要数据集，我们已经开发。我们的分析，包括法律从业者的评价，导致一些有趣的见解，在具体的法律摘要和一般的长文件摘要。
2022-10-14 cs.CL cs.IR
Neighborhood Rough Set based Multi-document Summarization
IIT Delhi（印度理工学院德里分校）
本文提出了一种新的基于邻域粗糙集的有监督多文档文本摘要（MDTS）方法，分析了该方法对MDTS摘要结果的影响。在这里，基于粗糙集的LERS算法进行了改进，使用邻域粗糙集，这本身就是一种新的组合称为邻域LERS进行实验的功效和效率的评估。在本文中，我们将应用和评估建议的邻域LERS多文档摘要，在这里被证明是优于MDTS的基本LERS技术。
2021-05-27 cs.AI cs.CL
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston（休斯顿大学）
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而，这仍然是一个严峻的挑战。在这里，我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率（和F1分数）的经验限制。接下来，我们定义了文档的可压缩性的概念，并提出了一种新的摘要模型，该模型概括了文献中现有的模型，并集成了摘要的几个维度，即，抽象与提取、单文档与多文档以及句法与语义。最后，我们研究了一些新的和现有的单文档摘要算法在一个单一的框架，并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
自从网络出现以来，关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询，并克服信息过载的问题，一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间，而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集，其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中，我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此，它可以发挥重要作用，在文本文档摘要。
2018-11-15 cs.CL cs.IR
Document-Level Abstractive Summarization
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Instituto de Telecomunicações（电信研究所）
自动文本摘要的任务产生一个简洁流畅的文本摘要，同时保留关键信息和整体意义。近年来，通过使用基于Transformer体系结构的模型，文档级摘要的最新方法有了显著的改进。然而，相对于序列长度的二次存储器和时间复杂度使得它们的使用非常昂贵，特别是对于文档级摘要所需的长序列。我们的工作解决了文档级摘要的问题，通过研究如何有效的Transformer技术可以用来提高自动摘要的很长的文本。特别是，我们将使用arXiv数据集（由多篇科学论文和相应的摘要组成）作为这项工作的基线。然后，我们提出了一种新的检索增强方法的基础上的架构，通过处理较小的块，降低了整个文档的摘要生成的成本。结果低于基线，但表明更有效的记忆，消费和诚实。
2022-12-06 cs.CL cs.IR
HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization
Microsoft Research Asia（微软亚洲研究院）
神经提取摘要模型通常采用分层编码器进行文档编码，并使用基于规则的方法创建的分级标签进行训练。用这些\emph{inaccurate}标签训练分层编码器是具有挑战性的。受最近关于预训练Transformer语句编码器\cite{devlin:2018:arxiv}的工作的启发，我们提出了用于文档编码的{ \sc Hibert}（作为{ \bf HI}erachical { \bf B}idirectional { \bf E}ncoder { \bf R} epresentation from { \bf T} transformers的简写）以及使用未标记数据对其进行预训练的方法。我们将预训练的{ \sc Hibert}应用于我们的摘要模型，它在CNN/Dailymail数据集上的性能优于随机初始化的对应模型1.25 ROUGE，在纽约时报数据集上的性能优于随机初始化的对应模型2.0 ROUGE。我们还在这两个数据集上实现了最先进的性能。
2019-05-16 cs.CL cs.LG
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization
York University（约克大学）；Information Retrieval and Knowledge Management Research Lab（信息检索与知识管理研究实验室）；School of Information Technology（信息技术学院）；Department of Electrical Engineering and Computer Science（电子工程与计算机科学系）
在以查询为中心的多文档摘要（QF-MDS）任务中，给出了一组文档和一个查询，目标是根据给定的查询从这些文档生成摘要。然而，这项任务的一个主要挑战是缺乏可用的标记训练数据集。为了克服这个问题，在本文中，我们提出了一种新的弱监督学习方法，通过利用远程监督。特别地，我们使用与目标数据集相似的数据集作为训练数据，其中我们利用预先训练的句子相似性模型来从多文档黄金参考摘要生成文档集中每个单独文档的弱参考摘要。然后，我们在每个单文档上迭代地训练我们的摘要模型，以减轻在多个文档中训练神经摘要模型时发生的计算复杂性问题（即，长序列）。在文档理解会议（DUC）数据集上的实验结果表明，我们提出的方法设置了一个新的国家的最先进的结果在各种评价指标。
2020-11-03 cs.CL cs.IR
A BART-based approach with hierarchical strategy for Vietnamese abstractive multi-document summarization
Aimesoft JSC（Aimesoft股份公司）
提出一种新颖简单的基于黄金摘要缩短文档的分层策略，结合BART模型实现越南语多文档抽象式摘要，在VLSP 2022测试集上达到ROUGE2-F1 0.2468，并利用外部数据增强训练。
2026-06-19 cs.AI cs.CL
Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization
Portland State University（波特兰州立大学）
本文研究社会多文档摘要中群体排序导致的位置偏差对公平性的影响，发现输入顺序虽不影响文本质量，但会显著改变不同方言群体的代表性公平程度。
2024-05-03 cs.AI cs.CL
Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）
文本摘要的目的是将文本压缩成简短的摘要，同时保留显著信息。摘要抽取式自动摘要方法以其流畅性和高效性被广泛应用于文本摘要中。然而，大多数现有的提取模型很难捕捉句子间的关系，特别是在长文档。他们还经常忽视主题信息对捕捉重要内容的影响。为了解决这些问题，本文提出了一个基于图神经网络（GNN）的提取摘要模型，使捕捉句子间的关系，有效地通过图结构的文档表示。此外，我们的模型集成了一个联合神经主题模型（NTM），以发现潜在的主题，它可以提供文档级的功能，句子选择。实验结果表明，我们的模型不仅在CNN/DM和NYT数据集上取得了最先进的结果，而且在由更长文档组成的科学论文数据集上的性能也大大优于现有方法，表明其在文档类型和长度方面具有更好的鲁棒性。进一步的讨论表明，主题信息可以帮助模型从整个文档中预选出显著的内容，这解释了它在长文档摘要中的有效性。
2020-10-13 cs.AI cs.CL
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University（塔比亚特·莫达雷斯大学）
文档自动摘要技术的发展日趋成熟，为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档，向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本，为用户提供有用信息的过程，而多文档摘要是从一组文档中生成摘要，提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具，本文考虑了词汇衔接特征在自动文摘中的作用，并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义，然后构造词汇链，去除得分较低的词汇链，从词汇链中粗略地检测出主题，并根据主题对文本进行分割，选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明，与最先进的摘要方法相比，我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
Improved Spoken Document Summarization with Coverage Modeling Techniques
Academia Sinica（中央研究院）；National Taiwan Normal University（台湾师范大学）
摘要的目的是从源文档中选择一组指示性句子作为摘要，以表达文档的主题。摘要摘要的普遍共识是，相关性和覆盖率都是需要解决的关键问题。设计用于对覆盖率进行建模的现有方法的特征在于，在总结中减少冗余或增加多样性。最大边距相关性（MMR）是一种被广泛引用的方法，因为它在为给定文档生成摘要时考虑了相关性和冗余性。据我们所知，除了MMR之外，只有很少的研究集中在减少冗余或增加口语文档摘要任务的多样性上。出于这些意见，本文提出了两个主要贡献。首先，在MMR，它认为通过减少冗余的覆盖率相比，我们提出了两种新的覆盖率为基础的方法，直接增加多样性。利用所提出的方法，一组代表性的句子，这不仅是相关的给定的文件，但也涵盖了大多数重要的子主题的文件，可以自动选择。其次，我们向前迈进了一步，插件几个文档/句子表示方法到建议的框架，以进一步提高摘要性能。一系列的实证评估证明了我们所提出的方法的有效性。
2016-01-20 cs.CL cs.IR
A Split-then-Join Approach to Abstractive Summarization for Very Long Documents in a Low Resource Setting
Department of Computer Science（计算机科学系）；Universitas Indonesia（印度尼西亚大学）
针对BIGBIRD-PEGASUS仅能处理4,096个token的限制，本文提出先分割后合并的数据增强与微调方法，使超长文档摘要在低资源场景下避免截断并缓解领域偏移与过拟合。
2025-05-11 cs.CL cs.IR
Bottom-Up Abstractive Summarization
School of Engineering and Applied Sciences（工程与应用科学学院）；Harvard University（哈佛大学）
用于抽象摘要的基于神经网络的方法产生比其他技术更流畅的输出，但是其在内容选择方面可能较差。这项工作提出了一个简单的技术来解决这个问题：使用一个数据高效的内容选择器来过度确定源文档中的短语，这些短语应该是摘要的一部分。我们使用这个选择器作为自自底向上的【形】的注意步骤，将模型约束到可能的短语。我们表明，这种方法提高了压缩文本的能力，同时仍然生成流畅的摘要。这个两步过程比其他端到端内容选择模型更简单，性能更高，从而显著改善了CNN-DM和NYT语料库的ROUGE。此外，内容选择器可以用1,000个句子进行训练，从而可以轻松地将经过训练的摘要器转移到新的领域。
2018-10-09 cs.AI cs.CL cs.LG
An Editorial Network for Enhanced Document Summarization
Technion – Israel Institute of Technology（以色列理工学院）；IBM Research（IBM研究院）
我们提出了一个新的想法，编辑网络-一个混合的提取抽象的摘要方法，这是作为一个后处理步骤，在一个给定的序列提取的句子。我们的网络试图模仿人类编辑在摘要过程中的决策过程。在这样一个过程中，每一个提取的句子可以保持不变，重新措辞或完全拒绝。我们进一步提出了一种有效的方法来培训“编辑”的基础上，一种新的软标签的方法。使用CNN/DailyMail数据集，我们证明了我们的方法与最先进的只提取或只抽象的基线方法相比的有效性。
2019-02-27 cs.CL cs.IR
Learning Syntactic and Dynamic Selective Encoding for Document Summarization
AI Labs - Didi Chuxing Co., Ltd.（滴滴出行有限公司AI实验室）；Beijing, China（中国北京（注：此处为地址信息，按要求不应提取，原回答有误，正确应为仅保留AI Labs - Didi Chuxing Co., Ltd.））
摘要的目的是生成一个标题或一个简短的摘要组成的主要信息的源文本。最近的研究采用序列到序列的框架，用神经网络对输入进行编码，并生成抽象摘要。然而，大多数的研究都是以语义词嵌入的方式提供给编码器，而忽略了文本的句法信息。此外，虽然先前的研究提出了选择性门来控制从编码器到解码器的信息流，但它在解码期间是静态的，并且不能基于解码器状态来区分信息。在本文中，我们提出了一种新的神经结构的文档摘要。我们的方法有以下贡献：第一，我们将句法信息，如选区解析树到编码序列中学习的语义和句法信息的文件，从而更准确的摘要;第二，我们提出了一个动态门网络来选择显着的信息的基础上的上下文的解码器状态，这是必不可少的文档摘要。在CNN/Daily Mail摘要数据集上对所提出的模型进行了测试，实验结果表明，所提出的方法优于基线方法。
2020-03-25 cs.CL cs.LG
Selective Attention Encoders by Syntactic Graph Convolutional Networks for Document Summarization
DiDi Chuxing（滴滴出行）；DiDi Research America（美国滴滴研究院）；Peking University（北京大学）
摘要文本摘要是一项具有挑战性的任务，需要设计一种机制来有效地从源文本中提取显著信息，然后生成摘要。源文本的分析过程包含关键的句法或语义结构，这有助于生成更准确的摘要。然而，建模一个解析树的文本摘要是不平凡的，由于其非线性结构，它是很难处理的文档，包括多个句子和它们的解析树。在本文中，我们提出使用图连接的解析树从一个文件中的句子，并利用堆叠图卷积网络（GCN）学习的语法表示的文件。选择性注意力机制用于提取语义和结构方面的显著信息并生成抽象摘要。我们在CNN/Daily Mail文本摘要数据集上评估了我们的方法。实验结果表明，所提出的基于GCN的选择性注意方法优于基线，并在数据集上达到了最先进的性能。
2020-03-18 cs.CL cs.LG
Extractive Summarization for Arabic Documents Using SAraBERT with a Semantic Siamese Similarity Evaluation Metric
American University of Beirut（贝鲁特美国大学）
该研究提出增强版AraBERT（SAraBERT）及语义连体相似度评估指标，通过BLEU、ROUGE等验证，证明SAraBERT在阿拉伯语文档抽取式摘要任务中有效。
2026-08-24 cs.AI cs.CL
Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization
University of Information Technology（信息科技大学）；Vietnam National University（越南国立大学）
最近的研究表明，BERT在广泛的自然语言处理任务中显示出潜力。它被许多先进的自动汇总系统采用作为编码器，实现了优异的性能。然而，到目前为止，为越南人做的工作并不多。在本文中，我们展示了如何BERT可以实现提取文本摘要越南语多文档。我们介绍了不同的多语言和单语言BERT模型之间的一种新的比较。实验结果表明，与其他多语种模型和以往的越南语文本摘要模型相比，单语模型产生了令人满意的结果。
2021-10-16 cs.AI cs.CL
Long document summarization using page specific target text alignment and distilling page importance
本文提出PTS和PTSPI模型，通过页面划分、目标文本对齐和页面重要性权重改进长文档抽象式摘要，在基准数据集上ROUGE-1和ROUGE-2分别超越SOTA 6.32%和8.08%。
2025-09-20 cs.CL cs.IR
DocSum: Domain-Adaptive Pre-training for Document Abstractive Summarization
University of Science and Technology of Hanoi（河内科技大学）；La Rochelle Université（拉罗谢尔大学）
针对行政文档摘要面临的领域术语多、OCR错误多、标注数据少等问题，提出领域自适应生成式摘要框架DocSum，经OCR文本预训练和问答对融合微调，在新定义的下游任务上表现优异，可助力政企提升决策与运营效率。
2024-12-11 cs.CL cs.CV
