Legal Case Document Summarization: Extractive and Abstractive Methods and their Evaluation
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究所加尔各答分校）
法律判决书摘要是法律自然语言处理中的一个难题。然而，没有太多的分析存在如何不同的家庭的摘要模型（例如，提取与抽象）应用于法律案例文档时执行。这个问题特别重要，因为许多最近的基于transformer的抽象摘要模型对输入标记的数量有限制，并且已知法律文档非常长。此外，如何最好地评估法律案例文档摘要系统是一个悬而未决的问题。在本文中，我们进行了广泛的实验，几个提取和抽象的摘要方法（监督和无监督）在三个法律摘要数据集，我们已经开发。我们的分析，包括法律从业者的评价，导致一些有趣的见解，在具体的法律摘要和一般的长文件摘要。
2022-10-14 cs.CL cs.IR
Improving Multi-Document Summarization via Text Classification
The Hong Kong Polytechnic University（香港理工大学）；Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Peking University（北京大学）；Microsoft Research（微软研究院）
由于缺乏足够的训练数据和文档种类的多样性，多文档自动文摘技术发展至今已达到瓶颈。文本分类正好弥补了这些不足。在本文中，我们提出了一种新的摘要系统称为TCSUM，它利用丰富的文本分类数据，以提高多文档摘要的性能。TCSum将文档投影到分布式表示上，作为文本分类和摘要之间的桥梁。它还利用分类结果来生成不同风格的摘要。在DUC通用多文档摘要数据集上进行的大量实验表明，TCSum可以在不使用任何手工特征的情况下实现最先进的性能，并且能够捕捉不同文本类别的摘要风格的变化。
2016-11-28 cs.CL cs.IR
Summarization from Medical Documents: A Survey
目的：对近年来医学文献文摘工作进行综述。背景：在过去的十年中，文档摘要越来越受到人工智能研究界的关注。最近，它也吸引了医学研究界的兴趣，因为通过大量和越来越多的出版期刊、会议记录、万维网上的医学网站和门户网站、电子病历等，医生和医学研究人员可以获得的信息大量增加。本文首先介绍了文献摘要的一般背景，介绍了摘要所依赖的因素，讨论了评价问题，并简要描述了各种类型的摘要技术。然后通过不同类型的医学文档来考察医学领域的特点。最后，介绍并讨论了目前在医学领域中使用的摘要技术，并参考了相应的系统及其特点。讨论与结论：本文深入探讨了医学文献摘要的未来研究方向。它主要集中在扩展到各种语言和不同媒体的大量文档集合的问题，个性化问题，新子域的可移植性，以及实际应用中摘要技术的集成
2005-04-13 cs.CL cs.IR
Incorporating Domain Knowledge for Extractive Summarization of Legal Case Documents
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；L3S Research Center（L3S研究中心）
法律案例文档的自动摘要是一个重要的和实际的挑战。除了许多独立于领域的文本摘要算法可以用于此目的，几个算法已经开发了专门用于总结法律案例文档。然而，大多数现有的算法没有系统地纳入领域知识，指定什么信息应该理想地存在于法律案件文档摘要中。为了解决这一差距，我们提出了一个无监督的摘要算法DELSumm，旨在系统地将法律专家的指导方针纳入优化设置。我们对印度最高法院的案例文件进行了详细的实验。实验表明，我们提出的无监督方法优于几个强基线的ROUGE分数，包括一般的摘要算法和法律特定的。事实上，尽管我们提出的算法是无监督的，但它优于几个经过数千个文档摘要对训练的监督摘要模型。
2021-06-30 cs.CL cs.IR
Extractive Summarization: Limits, Compression, Generalized Model and Heuristics
University of Houston（休斯顿大学）
摘要技术因其在缓解信息过载方面的优势而引起了研究者的广泛关注。然而，这仍然是一个严峻的挑战。在这里，我们首先证明了在单文档和多文档摘要任务的ROUGE评估下DUC数据集上提取摘要器的召回率（和F1分数）的经验限制。接下来，我们定义了文档的可压缩性的概念，并提出了一种新的摘要模型，该模型概括了文献中现有的模型，并集成了摘要的几个维度，即，抽象与提取、单文档与多文档以及句法与语义。最后，我们研究了一些新的和现有的单文档摘要算法在一个单一的框架，并比较与国家的最先进的摘要DUC数据。
2017-04-18 cs.CL cs.IR
Automatic Text Document Summarization using Semantic-based Analysis
Jawaharlal Nehru University（贾瓦哈拉尔·尼赫鲁大学）
自从网络出现以来，关于文的数据量已经增加了数百万倍。近年来产生的Web数据超过了存储多年的数据。一种重要的数据格式是文本。为了回答用户在互联网上的查询，并克服信息过载的问题，一个可能的解决方案是文本文档摘要。这不仅减少了查询访问时间，而且还根据特定用户的要求优化了文档结果。文本摘要可分为摘要式和抽取式两类。大部分工作都是在提取摘要的方向上完成的。摘要提取结果是原始文档的子集，其目标是更多的内容覆盖和减少冗余。我们的工作基于提取方法。在第一种方法中，我们使用一些统计特征和基于语义的特征。将情感作为一个特征是从情感扮演重要角色的观点中缓存的想法。它有效地传递了一个信息。因此，它可以发挥重要作用，在文本文档摘要。
2018-11-15 cs.CL cs.IR
Document-Level Abstractive Summarization
INESC-ID（里斯本系统与计算机工程研究所）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Instituto de Telecomunicações（电信研究所）
自动文本摘要的任务产生一个简洁流畅的文本摘要，同时保留关键信息和整体意义。近年来，通过使用基于Transformer体系结构的模型，文档级摘要的最新方法有了显著的改进。然而，相对于序列长度的二次存储器和时间复杂度使得它们的使用非常昂贵，特别是对于文档级摘要所需的长序列。我们的工作解决了文档级摘要的问题，通过研究如何有效的Transformer技术可以用来提高自动摘要的很长的文本。特别是，我们将使用arXiv数据集（由多篇科学论文和相应的摘要组成）作为这项工作的基线。然后，我们提出了一种新的检索增强方法的基础上的架构，通过处理较小的块，降低了整个文档的摘要生成的成本。结果低于基线，但表明更有效的记忆，消费和诚实。
2022-12-06 cs.CL cs.IR
WSL-DS: Weakly Supervised Learning with Distant Supervision for Query Focused Multi-Document Abstractive Summarization
York University（约克大学）；Information Retrieval and Knowledge Management Research Lab（信息检索与知识管理研究实验室）；School of Information Technology（信息技术学院）；Department of Electrical Engineering and Computer Science（电子工程与计算机科学系）
在以查询为中心的多文档摘要（QF-MDS）任务中，给出了一组文档和一个查询，目标是根据给定的查询从这些文档生成摘要。然而，这项任务的一个主要挑战是缺乏可用的标记训练数据集。为了克服这个问题，在本文中，我们提出了一种新的弱监督学习方法，通过利用远程监督。特别地，我们使用与目标数据集相似的数据集作为训练数据，其中我们利用预先训练的句子相似性模型来从多文档黄金参考摘要生成文档集中每个单独文档的弱参考摘要。然后，我们在每个单文档上迭代地训练我们的摘要模型，以减轻在多个文档中训练神经摘要模型时发生的计算复杂性问题（即，长序列）。在文档理解会议（DUC）数据集上的实验结果表明，我们提出的方法设置了一个新的国家的最先进的结果在各种评价指标。
2020-11-03 cs.CL cs.IR
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中，我们提出了一种新的监督的方法，可以将丰富的句子特征到贝叶斯主题模型的原则性的方式，从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Automated Text Summarization Base on Lexicales Chain and graph Using of WordNet and Wikipedia Knowledge Base
Tarbiat Modares University（塔比亚特·莫达雷斯大学）
文档自动摘要技术的发展日趋成熟，为解决信息过载问题提供了一条新的途径。摘要在信息检索中起着重要的作用。对于大量文档，向用户呈现每个文档的摘要极大地促进了查找所需文档的任务。文档摘要是自动生成文档的压缩版本，为用户提供有用信息的过程，而多文档摘要是从一组文档中生成摘要，提供关于显式或隐式主题的大部分信息内容。文本的词汇衔接结构可以用来确定句子/短语的重要性。词汇链是分析篇章中词汇衔接结构的有效工具，本文考虑了词汇衔接特征在自动文摘中的作用，并提出了一种基于知识库的自动文摘算法。该算法首先找出词的正确词义，然后构造词汇链，去除得分较低的词汇链，从词汇链中粗略地检测出主题，并根据主题对文本进行分割，选出最重要的句子。在DUC 01和DUC 02的开放基准数据集上的实验结果表明，与最先进的摘要方法相比，我们提出的方法可以提高性能。
2012-03-15 cs.CL cs.IR
Improved Spoken Document Summarization with Coverage Modeling Techniques
Academia Sinica（中央研究院）；National Taiwan Normal University（台湾师范大学）
摘要的目的是从源文档中选择一组指示性句子作为摘要，以表达文档的主题。摘要摘要的普遍共识是，相关性和覆盖率都是需要解决的关键问题。设计用于对覆盖率进行建模的现有方法的特征在于，在总结中减少冗余或增加多样性。最大边距相关性（MMR）是一种被广泛引用的方法，因为它在为给定文档生成摘要时考虑了相关性和冗余性。据我们所知，除了MMR之外，只有很少的研究集中在减少冗余或增加口语文档摘要任务的多样性上。出于这些意见，本文提出了两个主要贡献。首先，在MMR，它认为通过减少冗余的覆盖率相比，我们提出了两种新的覆盖率为基础的方法，直接增加多样性。利用所提出的方法，一组代表性的句子，这不仅是相关的给定的文件，但也涵盖了大多数重要的子主题的文件，可以自动选择。其次，我们向前迈进了一步，插件几个文档/句子表示方法到建议的框架，以进一步提高摘要性能。一系列的实证评估证明了我们所提出的方法的有效性。
2016-01-20 cs.CL cs.IR
A Split-then-Join Approach to Abstractive Summarization for Very Long Documents in a Low Resource Setting
Department of Computer Science（计算机科学系）；Universitas Indonesia（印度尼西亚大学）
针对BIGBIRD-PEGASUS仅能处理4,096个token的限制，本文提出先分割后合并的数据增强与微调方法，使超长文档摘要在低资源场景下避免截断并缓解领域偏移与过拟合。
2025-05-11 cs.CL cs.IR
PeerSum: A Peer Review Dataset for Abstractive Multi-document Summarization
我们提出了PeerSum，一个新的MDS数据集，使用科学出版物的同行评审。我们的数据集与现有MDS数据集的不同之处在于，我们的摘要（即，元评论）是高度抽象的并且它们是源文档的真实摘要（即，评论），它还具有源文件之间的分歧。我们发现，目前最先进的MDS模型很难为PeerSum生成高质量的摘要，这提供了新的研究机会。
2022-09-29 cs.CL cs.IR
An Editorial Network for Enhanced Document Summarization
Technion – Israel Institute of Technology（以色列理工学院）；IBM Research（IBM研究院）
我们提出了一个新的想法，编辑网络-一个混合的提取抽象的摘要方法，这是作为一个后处理步骤，在一个给定的序列提取的句子。我们的网络试图模仿人类编辑在摘要过程中的决策过程。在这样一个过程中，每一个提取的句子可以保持不变，重新措辞或完全拒绝。我们进一步提出了一种有效的方法来培训“编辑”的基础上，一种新的软标签的方法。使用CNN/DailyMail数据集，我们证明了我们的方法与最先进的只提取或只抽象的基线方法相比的有效性。
2019-02-27 cs.CL cs.IR
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）；Technische Universität Darmstadt（达姆施塔特工业大学）
我们研究了无监督的多文档摘要评估指标，它既不需要人类编写的参考摘要，也不需要人类注释（例如偏好，评级等）。我们提出了SUPERT，通过测量其与伪参考摘要的语义相似性来评价摘要的质量，即从源文件中选择突出的句子，使用上下文嵌入和软标记对齐技术。与最先进的无监督评估指标相比，SUPERT与人类评分的相关性更高，达到18- 39%。此外，我们使用SUPERT作为奖励来指导基于神经的强化学习摘要器，与最先进的无监督摘要器相比，具有良好的性能。所有源代码都可以在https://github.com/yg211/acl20-ref-free-eval上找到。
2020-05-07 cs.CL cs.IR
Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology（库尔纳工程技术大学）
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中，我们提出了一种新的技术，从一个单一的Web文档，使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重（SW）和主题权重（SuW）的组合函数来确定句子的排序，其中SW是句子中的术语数（t_n）和单词数（w_n）以及语料库中的术语频率（t_f）的函数，SuW是主题中的术语数（t_n）和单词数（w_n）以及语料库中的术语频率（t_f）的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要，并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明，68%的摘要，我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
Long document summarization using page specific target text alignment and distilling page importance
本文提出PTS和PTSPI模型，通过页面划分、目标文本对齐和页面重要性权重改进长文档抽象式摘要，在基准数据集上ROUGE-1和ROUGE-2分别超越SOTA 6.32%和8.08%。
2025-09-20 cs.CL cs.IR
Extending a Single-Document Summarizer to Multi-Document: a Hierarchical Approach
INESC-ID Lisboa（里斯本信息与通信技术研究院）；IST/ULisboa（里斯本大学高等技术学院）；School of Computer Science, CMU（卡内基梅隆大学计算机学院）；ISCTE-IUL（里斯本大学学院）
在线内容的不断增加推动了多文档摘要方法的发展。在这项工作中，我们探索直接的方法来扩展单文档摘要方法，多文档摘要。所提出的方法是基于单文档摘要的层次组合，并取得了最先进的结果。
2015-07-10 cs.CL cs.IR
Read Top News First: A Document Reordering Approach for Multi-Document News Summarization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Columbia University（哥伦比亚大学）
提取多文档新闻摘要的常用方法是将所有文档连接为单个元文档，将其重新表示为单文档摘要问题。然而，这种方法忽略了文档的相对重要性。我们提出了一个简单的方法来重新排序的文件，根据它们的相对重要性，然后再连接和总结它们。重新排序使得显著内容更容易通过摘要模型学习。实验表明，我们的方法优于以前的国家的最先进的方法与更复杂的架构。
2022-03-19 cs.CL
From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
文本摘要是一个研究领域，旨在创建一个简短的和浓缩的版本的原始文件，它传达了文件的主要思想在几个字。这一研究课题已开始引起广大研究者的关注，并被认为是当今最有前途的研究领域之一。一般来说，文本摘要算法的目标是使用纯文本文档作为输入，然后输出摘要。然而，在实际应用中，大多数数据不是纯文本格式。相反，有许多多方面的信息要被概括，诸如基于搜索引擎中的查询的网页的概要、超长文档（例如，本文主要介绍了这些新的摘要任务和方法在实际应用中的应用。
2020-05-10 cs.CL cs.IR
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)（西迪·穆罕默德·本·阿卜杜拉大学）；Faculty of Science Dhar EL Mahraz (FSDM)（达尔·马赫拉兹科学学院）
阿拉伯文文档聚类是一项重要的任务，以获得良好的效果与传统的信息检索（IR）系统，特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响，文档上的有用信息往往伴随着大量的噪声，因此有必要在保留有用信息的同时消除这些噪声，以提高文档聚类的性能。在本文中，我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估，以解决上述问题，使用五个相似性/距离的措施：欧几里德距离，余弦相似性，Jaccard系数，皮尔逊相关系数和平均Kullback-Leibler发散，两次：没有和词干。实验结果表明，该方法有效地解决了噪声信息和文档长度的问题，从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Multi-Document Summarization via Discriminative Summary Reranking
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
现有的多文档摘要系统通常依赖于特定的摘要模型（即，具有特定参数设置的摘要方法）来提取具有不同主题的不同文档集的摘要。然而，根据我们的定量分析，没有一个现有的摘要模型可以总是产生高质量的摘要，为不同的文档集，即使是一个摘要模型具有良好的整体性能可能会产生低质量的摘要为某些文档集。相反，基线摘要模型可以为某些文档集生成高质量的摘要。基于上述观察结果，我们把不同摘要模型产生的摘要作为候选摘要，然后探索区分性重排序技术，以从不同文档集的候选摘要中识别出高质量的摘要。我们建议提取一组候选摘要为每个文档集的基础上的ILP框架，然后利用排名SVM摘要重新排名。各种有用的功能已经开发的重排序过程中，包括词级功能，摘要级功能和摘要级功能。在DUC数据集上的测试结果验证了该方法的有效性和鲁棒性。
2015-07-08 cs.CL
Document Summarization with Text Segmentation
Microsoft AI（微软人工智能）
在本文中，我们利用固有的文档段结构，以改善提取摘要任务。我们建立了两个文本分割模型，并找到了最佳的策略，以介绍他们的输出预测在提取摘要模型。在科技文章语料库上的实验结果表明，提取式摘要得益于使用高精度的分割方法。特别是，大部分的改进是在文档中，最相关的信息不是在开始，因此，我们得出结论，分割有助于减少铅偏见的问题。
2023-01-20 cs.CL
ArgLegalSumm: Improving Abstractive Summarization of Legal Documents with Argument Mining
University of Pittsburgh（匹兹堡大学）
在生成法律文件摘要时，一项具有挑战性的任务是处理其争论性质的能力。我们引入了一个简单的技术来捕捉的论证结构的法律文件，通过整合的参数角色标签的摘要过程。使用预训练的语言模型进行的实验表明，我们提出的方法在强基线上提高了性能
2022-09-20 cs.CL
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑使用句子压缩技术，以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架，并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器，以有效地找到高度可能的压缩。在这个框架下，我们展示了如何整合各种指示性指标，如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善，在几个指标（如8.0%和5.4%的改进ROUGE-2分别）的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Pre-training for Abstractive Document Summarization by Reinstating Source Text
StatNLP Research Group, Singapore University of Technology and Design（新加坡科技设计大学StatNLP研究组）；Microsoft Research Asia, Beijing, China（微软亚洲研究院，北京）
摘要文档摘要通常被建模为序列到序列（Seq 2Seq）学习问题。不幸的是，在有限的监督摘要数据上训练基于Seq 2Seq的大型摘要模型是具有挑战性的。本文提出了三个预训练目标，使我们能够在未标记文本上预训练基于Seq 2Seq的抽象摘要模型。其主要思想是，给定从文档人工构建的输入文本，预先训练模型以恢复原始文档。这些目标包括句子重排、下一句生成和屏蔽文档生成，这些目标与摘要文档摘要任务有着密切的关系。在两个基准摘要数据集上的实验（即，CNN/DailyMail和纽约时报）表明，所有这三个目标都可以提高基线的性能。与在大规模数据（超过160 GB）上预训练的模型相比，我们的方法仅用19 GB的文本进行预训练，就取得了相当的结果，这证明了它的有效性。
2020-10-11 cs.CL
AQuaMuSe: Automatically Generating Datasets for Query-Based Multi-Document Summarization
Google Research（谷歌研究院）
摘要是将源文档压缩成连贯和简洁的段落的任务。这是一个有价值的工具，可以向用户提供与其查询相关的排名靠前的文档的简洁而准确的草图。基于查询的多文档摘要（Query-based multi-document summarization，qMDS）解决了这一普遍需求，但由于缺乏训练和评估数据集，现有的单文档和多文档摘要数据集在形式和规模上都存在不足，研究受到严重限制。我们提出了一个可扩展的方法，称为ANOMMuSe自动挖掘qMDS的例子，从问答数据集和大型文档语料库。我们的方法是独特的，因为它可以一般的双数据集-提取和抽象的摘要。我们公开发布了一个特定的ANOMMuSe数据集实例，其中包含5，519个基于查询的摘要，每个摘要与从Common Crawl的3.55亿个文档索引中选择的平均6个输入文档相关联。提供了对数据集的广泛评估以及基线摘要模型实验。
2020-10-23 cs.CL
Privacy-Preserving Multi-Document Summarization
Carnegie Mellon University（卡内基梅隆大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（葡萄牙系统与计算机工程研究所）
最先进的提取多文档摘要系统通常在设计时不考虑隐私问题，这意味着所有文档都对第三方开放。在本文中，我们提出了一个隐私保护的方法来多文档摘要。我们的方法使其他各方能够获得摘要，而无需了解有关原始文档内容的任何其他信息。我们使用一个散列方案称为安全二进制嵌入转换文档表示包含关键短语和袋的话成位串，允许计算的近似距离，而不是确切的。我们的实验表明，我们的系统在标准的多文档评估数据集上产生类似的结果。
2015-08-06 cs.CL cs.CR cs.IR
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Towards a Neural Network Approach to Abstractive Multi-Document Summarization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学与技术学院）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
目前，神经抽象文摘方法在单文档文摘（SDS）中取得了很大的成功。然而，由于缺乏大规模的多文档摘要，这些方法很难适用于多文档摘要（MDS）。在本文中，我们探讨神经抽象方法MDS适应一个国家的最先进的神经抽象摘要模型SDS。我们提出了一种方法来扩展大规模SDS数据训练的神经抽象模型MDS任务。我们的方法只使用少量的多文档摘要进行微调。在两个基准DUC数据集上的实验结果表明，我们的方法可以优于各种基线神经模型。
2018-04-24 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech（阿赫桑乌拉科技大学）
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而，抽象系统的性能仍然是一个挑战，因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题，我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件，它只需要一个部分的语音（POS）标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集，以评估我们的抽象模型，并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验，并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Document-aware Positional Encoding and Linguistic-guided Encoding for Abstractive Multi-document Summarization
The University of Adelaide（阿德莱德大学）
多文档摘要中的一个关键挑战是捕获输入文档之间的关系，以区分单文档摘要（SDS）和多文档摘要（MDS）。现有的MDS工程很少解决这个问题。一种有效的方法是对文档位置信息进行编码，以帮助模型捕获跨文档关系。然而，现有的MDS模型，如基于转换器的模型，只考虑令牌级的位置信息。此外，这些模型无法捕捉句子的语言结构，这不可避免地导致在生成的摘要混乱。因此，在本文中，我们提出了文档感知的位置编码和语言指导的编码，可以融合Transformer架构的MDS。对于文档感知的位置编码，我们引入了一个通用协议来指导文档编码函数的选择。对于语言引导的编码，我们建议将句法依赖关系嵌入到依赖关系掩码中，并使用简单但有效的非线性编码学习器进行特征学习。大量的实验表明，该模型可以生成高质量的摘要。
2022-09-13 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego（加州大学圣迭戈分校）
我们表明，一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中，我们的掩蔽训练目标产生了一个优于过去无监督方法的系统，并且在人类评估中，超过了最好的监督方法，而无需访问任何地面事实摘要。此外，我们评估不同的词汇中心性的措施，启发过去的工作提取摘要，影响最终的表现。
2022-01-07 cs.CL
A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
神经抽象摘要模型在总结相对较短的文档方面取得了可喜的成果。我们提出了第一个模型，用于对单个较长形式的文档（例如，研究论文）。我们的方法包括一个新的分层编码器，模型的话语结构的文档，和一个细心的话语感知解码器生成的摘要。在两个大规模的科学论文数据集上的实证结果表明，我们的模型显着优于最先进的模型。
2018-05-22 cs.CL
SummPip: Unsupervised Multi-Document Summarization with Sentence Graph Compression
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Shandesitong
获取多文档摘要（MDS）的训练数据是耗时和资源密集型的，所以最近的神经模型只能在有限的领域进行训练。在本文中，我们提出了SummPip：一种用于多文档摘要的无监督方法，在该方法中，我们将原始文档转换为句子图，同时考虑语言和深度表示，然后应用谱聚类来获得多个句子聚类，最后压缩每个聚类以生成最终摘要。在Multi-News和DUC-2004数据集上的实验表明，我们的方法与以前的无监督方法相比具有竞争力，甚至可以与神经监督方法相媲美。此外，人类的评价表明，我们的系统产生一致和完整的摘要相比，人类的书面。
2020-07-20 cs.CL cs.IR cs.LG
Mining both Commonality and Specificity from Multiple Documents for Multi-Document Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多文档摘要任务要求设计的摘要器生成涵盖原始文档重要信息并满足内容多样性的简短文本。提出了一种基于文档层次聚类的多文档文摘方法。该方法利用构建的文档类树，提取反映文档共性的句子和反映文档子类特殊性的句子生成摘要，以满足多文档摘要的覆盖性和多样性要求。在DUC'2002-2004数据集上进行了不同方法的对比实验，证明了挖掘文档的共性和特异性的多文档摘要的有效性。在DUC'2004和Multi-News数据集上的实验表明，与现有的无监督和有监督方法相比，该方法具有很好的性能。
2023-03-05 cs.AI cs.CL
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中，我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子，根据选区分析识别可能的压缩，并使用神经模型对这些压缩进行评分，以生成最终摘要。对于学习，我们构建了Oracle提取压缩摘要，然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明，根据ROUGE的评估，我们的模型实现了强大的性能（与最先进的系统相当）。此外，我们的方法优于现成的压缩模块，人工和手动评估表明，我们的模型的输出通常保持语法。
2019-09-09 cs.CL
A Divide-and-Conquer Approach to the Summarization of Long Documents
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；Atypon Hellas
我们提出了一种新的分而治之的方法神经摘要的长文件。我们的方法利用了文档的话语结构，并使用句子相似性将问题分解为一系列较小的摘要问题。特别是，我们将一个长文档及其摘要分解为多个源目标对，这些源目标对用于训练一个模型，该模型学习分别总结文档的每个部分。然后将这些部分摘要合并，以生成最终的完整摘要。通过这种方法，我们可以将长文档摘要问题分解为更小和更简单的问题，降低计算复杂性并创建更多的训练样本，同时与标准方法相比，目标摘要中包含更少的噪声。我们证明了这种方法与不同的摘要模型配对，包括序列到序列RNN和Transformers，可以提高摘要性能。我们最好的模型在两个公开的学术文章数据集中取得了与最先进的结果相当的结果。
2020-09-23 cs.CL
Supervising the Centroid Baseline for Extractive Multi-Document Summarization
Priberam Labs（Priberam实验室）；Faculdade de Engenharia da Universidade do Porto（波尔图大学工程学院）
本文通过引入束搜索句子选择和质心估计注意力模型，改进了抽取式多文档摘要的质心基线方法，并在多个数据集及多语言场景中验证了效果提升。
2023-11-29 cs.CL
Detecting (Un)Important Content for Single-Document News Summarization
Redfin Inc.（Redfin公司）；University of Akron（阿克伦大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个强大的方法来检测内在的句子重要性的新闻，通过训练两个语料库的文档摘要对。当用于单文档摘要，我们的方法，结合“文档开头”的启发式，优于一个国家的最先进的摘要和文章的自动和手动评估的基准。这些结果代表了一个重要的进步，因为在没有跨文档重复的情况下，新闻的单文档摘要器无法始终优于强大的文章摘要基线。
2017-02-26 cs.CL
ACM -- Attribute Conditioning for Abstractive Multi Document Summarization
UC Berkeley（加州大学伯克利分校）；Stanford（斯坦福大学）
抽象的多文档摘要作为一项任务已经从基本的序列到序列方法发展到基于Transformer和图形的技术。这些方法中的每一种主要集中在多文档信息合成和基于注意力的方法来提取突出信息的问题上。在单文档摘要中并不普遍的多文档摘要中出现的挑战是需要有效地摘要可能具有关于给定主题的冲突极性、情感或主观信息的多个文档。在本文中，我们提出了ACM，属性条件多文档摘要，一个模型，它结合了属性条件模块，以解耦冲突的信息，在输出摘要中的某个属性的条件。这种方法在ROUGE分数上比基线多文档摘要方法有了很大的提高，并且在流畅性、信息量和重复性方面都有了提高，如通过人类注释分析研究所示。
2022-05-09 cs.AI cs.CL
An Empirical Survey on Long Document Summarization: Datasets, Models and Metrics
Monash University（莫纳什大学）；Deakin University（迪肯大学）；Griffith University（格里菲斯大学）
学术文章和商业报告等长文档一直是详细说明需要额外关注的重要问题和复杂主题的标准格式。一个自动摘要系统，可以有效地压缩长文档成简短的文本，封装最重要的信息，因此将是重要的，在帮助读者的理解。最近，随着神经架构的出现，已经做出了重大的研究努力，以推进自动文本摘要系统，并出现了许多研究的挑战，这些系统扩展到长文档域。在这项调查中，我们提供了一个全面的概述长文档摘要的研究和系统的评估，其研究设置的三个主要组成部分：基准数据集，摘要模型和评估指标。对于每一个组成部分，我们组织的文献范围内的长文件摘要，并进行实证分析，以拓宽目前的研究进展的角度。实证分析包括对基准数据集内在特征的研究、对文摘模型的多维分析和对文摘评价指标的回顾。根据总体调查结果，我们最后提出了这个快速发展领域未来探索的可能方向。
2022-07-03 cs.CL
Massive Multi-Document Summarization of Product Reviews with Weak Supervision
Bar-Ilan University（巴伊兰大学）；Amazon（亚马逊）
产品评论摘要是一种多文档摘要（MDS）任务，其中摘要的文档集通常远大于传统MDS（多达数万条评论）。我们强调了这一差异，并创造了术语“大规模多文档摘要”（MMDS）来表示涉及数百个文档或更多文档的MDS任务。以前的产品评论总结工作考虑的是小样本的评论，主要是由于处理大量文档集的困难。我们发现，总结小样本可能会导致重要信息的丢失，并提供误导性的评估结果。我们提出了一个模式，总结了一个标准的总结算法之上的大量评论。由于编写高级神经网络模型所需的大量参考摘要是不切实际的，因此我们的解决方案依赖于弱监督。最后，我们提出了一个评估方案，是基于多个众包的参考摘要，旨在捕捉大量的审查收集。我们表明，我们的模式的初始实施显着提高了几个基线的ROUGE分数，并表现出很强的一致性，在手动语言质量评估。
2020-07-22 cs.CL
Bringing Structure into Summaries: a Faceted Summarization Dataset for Long Scientific Documents
University of Pittsburgh（匹兹堡大学）；McGill University（麦吉尔大学）；Microsoft Research（微软研究院）
分面摘要从不同的角度提供文档的简要说明。读者可以在结构化大纲的帮助下快速理解长文档的要点。然而，很少有研究已经在这个问题上进行，部分原因是缺乏大规模的分面摘要数据集。在这项研究中，我们提出FacetSum，一个基于Emerald期刊文章的多方面摘要基准，涵盖了各种领域。与传统的文档摘要对不同，FacetSum提供多个摘要，每个摘要针对长文档的特定部分，包括目的，方法，发现和价值。对我们数据集的分析和实证结果揭示了将结构纳入摘要的重要性。我们相信FacetSum将推动摘要研究的进一步发展，并促进NLP系统的发展，这些系统可以利用长文本和摘要中的结构化信息。
2021-06-23 cs.CL
Heterogeneous Graph Neural Networks for Extractive Document Summarization
Fudan University（复旦大学）
摘要跨句关系学习是抽取式文档摘要的关键步骤，已有大量的研究成果。一种直观的方法是将它们放入基于图的神经网络中，该网络具有更复杂的结构来捕获句子间的关系。在本文中，我们提出了一个异构的基于图的神经网络提取摘要（HeterSumGraph），其中包含不同粒度的语义节点，除了句子。这些附加节点充当了句子之间的中介，丰富了句子之间的关系。此外，我们的图结构是灵活的自然扩展，从一个单一的文档设置到多个文档，通过引入文档节点。据我们所知，我们是第一个将不同类型的节点引入到基于图的神经网络中进行提取文档摘要的人，并进行了全面的定性分析，以调查它们的好处。代码将在Github上发布
2020-04-26 cs.CL
Modeling Endorsement for Multi-Document Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Robert Bosch LLC（罗伯特·博世有限责任公司）
单文档摘要和多文档摘要之间的一个关键区别是显著内容在文档中的表现方式。虽然这些内容可能出现在一份文件的开头，但基本信息经常在与特定主题有关的一组文件中重复，从而产生了增加信息显著性的认可效应。在本文中，我们模型的跨文档背书效应及其利用多文档摘要。我们的方法从每个文档中生成一个概要，它可以作为一个背书者来识别其他文档中的突出内容。强烈认可的文本片段用于丰富神经编码器-解码器模型，以将其合并为抽象摘要。该方法具有很大的潜力，从更少的例子中学习，以确定显着的内容，这表明需要昂贵的重新培训时，一组文件是动态调整。通过对基准多文档摘要数据集的广泛实验，我们证明了我们提出的方法在强发布基线上的有效性。最后，我们阐明了未来的研究方向，并讨论了更广泛的挑战，这项任务使用的案例研究。
2021-10-15 cs.CL
Multi-Document Summarization using Distributed Bag-of-Words Model
IIT Kharagpur（印度理工学院卡拉格普尔分校）；TCS Research（塔塔咨询服务研究中心）
随着网络上文档数量的指数级增长，多文档摘要由于能够在短时间内提供文档集中的主要内容而变得越来越重要。在本文中，我们提出了一个无监督的基于质心的文档级重建框架，使用分布式词袋模型。具体来说，我们的方法选择摘要句子，以尽量减少摘要和文档之间的重建误差。我们应用句子选择和束搜索，以进一步提高我们的模型的性能。在两个不同数据集上的实验结果显示，与最先进的基线相比，性能有了显着的提高。
2018-06-11 cs.CL
Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model
Yale University（耶鲁大学）
随着在线出版物数量的迅速增长，从多篇新闻文章自动生成摘要是一个有价值的工具。由于大数据集的可用性，单文档摘要（SDS）系统受益于神经编码器-解码器模型的进步。然而，新闻文章的多文档摘要（MDS）仅限于几百个例子的数据集。在本文中，我们介绍了多新闻，第一个大规模的MDS新闻数据集。此外，我们提出了一个端到端的模型，该模型将传统的提取摘要模型与标准SDS模型相结合，并在MDS数据集上取得了有竞争力的结果。我们在Multi-News上对几种方法进行了基准测试，并发布了我们的数据和代码，希望这项工作能够促进多文档环境中摘要的进步。
2019-06-19 cs.CL
Centrality Meets Centroid: A Graph-based Approach for Unsupervised Document Summarization
近年来，无监督文档摘要由于其简单性和数据独立性而重新获得了大量关注。在本文中，我们提出了一个基于图的无监督方法提取文档摘要。而不是排名的句子的显着性和提取句子一个接一个，我们的方法工作在一个总结的水平，利用图中心和质心。我们首先从句子图中提取基于中心性的摘要候选作为子图，然后通过匹配到质心来从摘要候选中选择。我们在两个基准摘要数据集上进行了广泛的实验，结果表明，与最先进的基线相比，我们的模型是有效的。
2021-04-22 cs.CL
Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization
University of Central Florida（中佛罗里达大学）
多文档摘要面临的最重要的障碍包括源描述中的过度冗余和训练数据的迫在眉睫的短缺。这些障碍阻碍了编码器-解码器模型的直接使用，但基于优化的方法，如确定性点过程（DPP），可以很好地处理它们。在本文中，我们试图加强基于DPP的方法提取多文档摘要，提出了一种新的相似性度量胶囊网络的启发。该方法基于句子的表面形式和语义信息来度量句子之间的冗余。我们表明，我们的DPP系统具有改进的相似性度量表现出竞争力，在基准数据集上表现优于强大的汇总基线。我们的研究结果是特别有意义的总结多个作者创建的文档包含冗余但词汇多样的表达。
2019-05-31 cs.CL
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Unsupervised Multi-document Summarization with Holistic Inference
University of California, Davis（加州大学戴维斯分校）；Tencent AI Lab（腾讯人工智能实验室）
本文提出一种用于无监督多文档抽取式摘要的整体框架，结合整体束搜索推断与子集代表性指数（SRI）平衡句子重要性和多样性，在多数据集上显著超越强基线并验证了多样性的关键作用。
2023-09-08 cs.CL
