Bengali text summarization by sentence extraction
Jadavpur University（贾达普大学）
文本摘要是从一个或多个文本中选取重要部分的信息生成摘要或摘要的过程。在自动文本摘要过程中，将文本提供给计算机，计算机返回原始文本的较短的较少冗余的摘录或摘要。已经开发了许多技术来总结英语文本。但是，很少有人尝试孟加拉语文本摘要。本文提出了一种孟加拉语文本摘要的方法，它从孟加拉语文档中提取重要的句子来生成摘要。
2012-01-11 cs.CL cs.IR
Experiments in Extractive Summarization: Integer Linear Programming, Term/Sentence Scoring, and Title-driven Models
University of Houston（休斯顿大学）
在本文中，我们重新审视了具有挑战性的问题，无监督的单文档摘要和研究以下几个方面：基于线性规划（ILP）的算法，参数化规范化的术语和句子的分数，和标题驱动的方法摘要。我们描述了一个新的框架，NewsSumm，其中包括许多现有的和新的方法，包括ILP和标题驱动的方法总结。NewsSumm的灵活性允许无缝结合不同的算法和句子评分方案。我们的结果结合句子评分与ILP和规范化是在对比以前的工作在这个主题上，显示了更广泛的搜索最佳参数的重要性。我们还表明，新的标题驱动的减少的想法导致性能的改善，无论是无监督和监督的方法考虑。
2020-08-01 cs.CL cs.IR
Unsupervised Extractive Summarization using Pointwise Mutual Information
New York University（纽约大学）
提取摘要的无监督方法通常依赖于由句子和文档之间的语义相似性定义的句子重要性的概念。我们提出了新的度量相关性和冗余使用逐点互信息（PMI）之间的句子，这可以很容易地计算出一个预先训练的语言模型。直觉上，一个相关的句子允许读者推断文档内容（高PMI的文档），而一个冗余的句子可以从摘要中推断出来（高PMI的摘要）。然后，我们开发了一个贪婪的句子选择算法，以最大限度地提高相关性和最小化冗余提取的句子。我们表明，我们的方法优于基于相似性的方法在一系列领域的数据集，包括新闻，医学期刊文章和个人轶事。
2021-03-22 cs.CL cs.LG
Exploring Sentence Vector Spaces through Automatic Summarization
Williams College（威廉姆斯学院）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
给定单个单词的向量表示，有必要以组合的方式计算句子的向量表示，通常使用人工神经网络。相对较少的工作已经探讨了这种句子向量的内部结构和属性。在本文中，我们探讨了自动文摘的背景下，句子向量的性质。特别是，我们证明了句子向量和文档向量之间的余弦相似性与句子的重要性密切相关，并且向量语义可以识别和纠正迄今为止所选句子与文档之间的差距。此外，我们还确定了与有效摘要相关的具体维度。据我们所知，这是第一次将句子嵌入的特定维度与句子属性联系起来。我们还比较了不同的句子嵌入方法的特点。这些见解中的许多在句子嵌入的应用远远超出了摘要。
2018-10-16 cs.CL cs.LG stat.ML
Learning Non-Autoregressive Models from Search for Unsupervised Sentence Summarization
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
文本摘要旨在为输入文本生成简短的摘要。在这项工作中，我们提出了一种非自回归无监督汇总（NAUS）方法，该方法不需要并行数据进行训练。我们的NAUS首先执行基于编辑的搜索到一个明确定义的分数，并生成一个摘要作为伪地面实况。然后，我们根据搜索结果训练一个仅编码器的非自回归Transformer。我们还提出了一个动态规划的方法长度控制解码，这是重要的摘要任务。在两个数据集上的实验表明，NAUS实现了最先进的无监督摘要性能，但大大提高了推理效率。此外，我们的算法是能够执行显式的长度传输摘要生成。
2022-05-28 cs.CL cs.LG
Graph-based Neural Multi-Document Summarization
Yale University（耶鲁大学）；The LNM Institute of Information Technology（LNM信息技术学院）
我们提出了一个神经多文档摘要（MDS）系统，结合句子关系图。我们采用一个图卷积网络（GCN）的关系图，句子嵌入从递归神经网络作为输入节点的功能。通过多层传播，GCN生成用于显著性估计的高级隐藏句子特征。然后，我们使用一个贪婪的启发式提取突出的句子，同时避免冗余。在我们对DUC 2004的实验中，我们考虑了三种类型的句子关系图，并证明了将图中的句子关系与深度神经网络的表示能力相结合的优势。我们的模型改进了传统的基于图的提取方法和香草GRU序列模型没有图，它取得了竞争力的结果对其他国家的最先进的多文档摘要系统。
2017-08-23 cs.CL cs.LG
Extractive Text Summarization Using Generalized Additive Models with Interactions for Sentence Selection
São Paulo State University - UNESP（圣保罗州立大学（UNESP））
自动文本摘要（ATS）正变得与文本数据的增长相关;然而，随着公共大规模数据集的普及，最近的一些机器学习方法已经专注于密集的模型和架构，尽管产生了显着的结果，但通常在模型中难以解释。考虑到基于可解释学习的文本摘要背后的挑战及其对ATS领域发展现状的重要性，这项工作研究了两个现代广义加性模型的应用，即可解释的提升机和GAMI-Net，基于语言特征和二进制分类的提取摘要问题。
2022-12-21 cs.CL cs.LG
Selective Encoding for Abstractive Sentence Summarization
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
我们提出了一个选择性编码模型，以扩展抽象句子摘要的序列到序列框架。它包括一个句子编码器，一个选择门网络，和一个注意装备解码器。句子编码器和解码器是用递归神经网络构建的。选择门网络通过控制从编码器到解码器的信息流来构造第二级句子表示。第二层表征是为句子摘要任务量身定制的，这导致了更好的性能。我们评估我们的模型上的英语Gigaword，DUC 2004年和MSR摘要句子摘要数据集。实验结果表明，所提出的选择性编码模型优于最先进的基线模型。
2017-04-24 cs.CL
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；University of Liverpool（利物浦大学）
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子，我们交替它与递归高斯混合，其中每个混合成分对应于一个主题句子的潜在代码，并混合由树结构的主题分布。通过解码每个高斯分量，我们生成具有树形结构的主题指导的句子，其中根句子传达通用内容，叶句子描述特定主题。实验结果表明，所生成的主题句适合作为固执己见的文本的摘要，其比最近的无监督摘要模型（Bražinskas等人，2020年）。此外，我们证明了潜在高斯的方差代表了句子的粒度，类似于高斯词嵌入（Vilnis和McCallum，2015）。
2021-06-15 cs.AI cs.CL cs.LG
Neural Document Summarization by Jointly Learning to Score and Select Sentences
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research（微软研究院）
句子评分和句子选择是抽取式文摘系统的两个主要步骤。然而，以前的作品将它们视为两个独立的子任务。在本文中，我们提出了一种新的端到端的神经网络框架提取文档摘要，通过联合学习评分和选择句子。它首先用分层编码器读取文档句子，获得句子的表示。然后通过逐个提取句子来构建输出摘要。与以往的方法不同，我们的方法将选择策略集成到评分模型中，直接预测先前选择的句子的相对重要性。在CNN/Daily Mail数据集上的实验表明，该框架的性能明显优于最先进的提取摘要模型。
2018-07-06 cs.CL
Neural Summarization by Extracting Sentences and Words
University of Edinburgh（爱丁堡大学）
传统的提取摘要方法在很大程度上依赖于人类工程特征。在这项工作中，我们提出了一个基于神经网络和连续句特征的数据驱动方法。我们开发了一个通用的框架，单文档摘要组成的分层文档编码器和基于注意力的提取器。这种架构允许我们开发不同类别的摘要模型，可以提取句子或单词。我们在包含数十万文档摘要对的大规模语料库上训练我们的模型。在两个摘要数据集上的实验结果表明，我们的模型在没有任何语言注释的情况下获得了与现有技术相当的结果。
2016-07-01 cs.CL
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要，因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中，我们发现了两个缺陷，广泛使用的贪婪标签的方法：它提供次优和确定性的预言。为了缓解这两个问题，我们提出了一个简单而有效的标签算法，创建软，基于期望的句子标签。我们定义了一个新的学习目标提取摘要，它结合了学习信号从多个甲骨文摘要，并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下，所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Facet-Aware Evaluation for Extractive Summarization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
通常采用的提取摘要的指标集中在词汇重叠在令牌级别。在本文中，我们提出了一个方面意识的评估设置，更好地评估提取摘要中的信息覆盖率。具体来说，我们把参考摘要中的每个句子作为一个\textit{facet}，识别文档中表达每个方面语义的句子作为该方面的\textit{support sentences}，并通过比较参考摘要中所有方面的提取句子和支持句子的索引来自动评估提取摘要方法。为了促进这种新的评估设置，我们构建了一个提取版本的CNN/每日邮报数据集，并进行了彻底的定量调查，通过它，我们证明，面感知评估表现出更好的相关性与人类的判断比ROUGE，使细粒度的评估以及比较分析，并揭示了国家的最先进的摘要方法的有价值的见解。数据可在https://github.com/morningmoni/FAR上查阅。
2020-04-30 cs.CL cs.IR
SciBERTSUM: Extractive Summarization for Scientific Documents
Pennsylvania State University（宾夕法尼亚州立大学）
摘要类文献主要研究新闻文章的摘要。CNN-DailyMail中的新闻文章是相对较短的文档，平均每个文档约30个句子。我们介绍了SciBERTSUM，这是我们的摘要框架，专为超过500句的科学论文等长文档的摘要而设计。SciBERTSUM通过以下方式将BERTSUM扩展到长文档：1）添加一个节嵌入层，以将节信息包含在句子向量中; 2）应用稀疏注意力机制，其中每个句子将本地关注附近的句子，并且只有少数句子全局关注所有其他句子。我们使用科学论文作者生成的幻灯片作为参考摘要，因为它们包含论文的技术细节。结果表明，我们的模型在ROUGE分数方面的优越性。
2022-01-21 cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要，而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而，使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少，并且与句子显著性排名的相关性较弱。在本文中，我们提出了两个新的策略，以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标，即来自同一文档的句子比来自不同文档的句子更相似。此外，我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系，其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Query-focused Multi-document Summarization: Combining a Novel Topic Model with Graph-based Semi-supervised Learning
基于图的半监督学习已被证明是一种有效的方法，以查询为中心的多文档摘要。以往的半监督学习存在的问题是在对句子进行排序时没有考虑句子层次以外的更高层次的信息。对一般文摘的研究表明，增加主题层次可以有效地提高文摘质量。在前人研究的启发下，本文提出了一种基于图的两层（句子层和主题层）半监督学习方法。同时，我们提出了一个新的主题模型，充分利用句子和单词之间的依赖关系。在DUC和TAC数据集上的实验结果证明了该方法的有效性。
2013-12-31 cs.CL cs.IR
Analyzing Sentence Fusion in Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）；Amazon Alexa AI（亚马逊 Alexa 人工智能）
虽然最近在抽象摘要方面的工作已经在自动度量中获得了更高的分数，但对这些系统如何结合从多个文档句子中获取的信息却知之甚少。在本文中，我们分析了五个国家的最先进的抽象摘要器的输出，侧重于总结句子，形成句子融合。我们要求评判员对摘要句的语法性、忠实性和融合方法进行评判。我们的分析表明，系统句大多是语法，但往往不能保持忠实于原文。
2019-10-01 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University（海德堡大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Waterloo（滑铁卢大学）
自动句子摘要生成句子的较短版本，同时保留其最重要的信息。一个好的摘要的特点是语言流畅，与源句的信息重叠度高。我们在一个无监督的目标函数，包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外，我们证明，通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中，我们强调，未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
HEGEL: Hypergraph Transformer for Long Document Summarization
University of California, Davis（加州大学戴维斯分校）
由于扩展的结构化输入上下文，长文档的提取摘要具有挑战性。长距离的句子依赖性阻碍了跨句子关系建模，这是抽取式摘要的关键步骤。本文提出了HEGEL，一个超图神经网络长文档摘要捕捉高阶跨句关系。HEGEL使用超图Transformer层更新和学习有效的句子表示，并融合不同类型的句子依赖关系，包括潜在主题，关键字共指和章节结构。我们通过在两个基准数据集上进行广泛的实验来验证HEGEL，实验结果证明了HEGEL的有效性和效率。
2022-10-09 cs.CL
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
信息瓶颈（Tishby et al. 1999）的原理是产生一个信息X的摘要，以预测其他一些相关信息Y。在本文中，我们提出了一种新的无监督句子摘要方法，通过将信息瓶颈原则映射到条件语言建模目标：给定一个句子，我们的方法寻求一个压缩的句子，可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子，同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型，没有直接的监督，我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要（BottleSumEx）的基础上，我们提出了一种新的自监督抽象摘要方法（BottleSumSelf），其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明，我们的提取方法优于其他无监督模型的多个自动度量。此外，我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线（包括我们自己的）。
2019-09-20 cs.CL
Ranking Sentences for Extractive Summarization with Reinforcement Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
单文档摘要是在保留文档主要信息内容的同时生成文档的较短版本的任务。在本文中，我们概念化提取摘要作为一个句子排序任务，并提出了一种新的训练算法，通过强化学习目标全局优化的ROUGE评价指标。我们使用我们的算法在CNN和DailyMail数据集上训练神经摘要模型，并通过实验证明，当自动和人工评估时，它的性能优于最先进的提取和抽象系统。
2018-04-16 cs.CL
Learning to Fuse Sentences with Transformers for Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
摘要系统具有很强的句子融合能力，因为这是生成简洁摘要的必要步骤。然而，到目前为止，总结器可能无法融合句子。他们倾向于通过融合产生很少的摘要句或产生不正确的融合，导致摘要无法保留原始意义。在本文中，我们探讨了Transformers融合句子的能力，并提出了新的算法，以提高他们的能力，通过利用句子之间的对应点的知识来执行句子融合。通过大量的实验，我们研究了不同的设计选择对Transformer性能的影响。我们的研究结果突出了建模点之间的对应有效的句子融合的重要性。
2020-10-08 cs.CL
Scoring Sentence Singletons and Pairs for Abstractive Summarization
University of Central Florida（中佛罗里达大学）；Adobe Research（奥多比研究院）
在撰写摘要时，人类倾向于从一两个句子中选择内容，并将它们合并成一个单一的摘要句子。然而，选择一个或多个源句子背后的机制仍然知之甚少。句子融合假设多句输入;然而句子选择方法仅适用于单个句子，而不是它们的组合。因此，在句子选择和融合之间存在一个关键的差距，以支持通过压缩单句和融合对来进行摘要。本文试图通过在一个统一的空间中将句子的单例和成对排列在一起来弥合这一差距。我们提出的框架试图通过选择单个句子或一对句子来模拟人类方法，然后压缩或融合句子以产生摘要句子。我们在单文档和多文档摘要数据集上进行了广泛的实验，并报告了句子选择和抽象的结果。
2019-05-31 cs.CL
Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
当前的抽象摘要模型要么缺乏清晰的可解释性，要么只突出显示源文档的一部分，从而提供不完整的基本原理。为此，我们提出了总结程序（SP），一个可解释的模块化框架，包括一个（有序）的二叉树列表，每个编码的一步一步的生成过程中的一个抽象的摘要句子从源文件。摘要程序包含每个摘要句子的一个根结点，并且不同的树将每个摘要句子（根结点）连接到从其导出的文档句子（叶节点），其中连接节点包含中间生成的句子。边表示在摘要中涉及的不同模块化操作，例如句子融合、压缩和释义。我们首先提出了一个有效的最佳优先搜索方法，在神经模块，SP-Search，识别SP的人类摘要直接优化ROUGE分数。接下来，使用这些程序作为自动监督，我们提出了seq 2seq模型，生成摘要程序，然后执行这些程序以获得最终摘要。我们证明，SP-Search有效地代表了人类总结背后的生成过程，使用通常忠实于其预期行为的模块。我们还进行了模拟研究，以表明摘要程序提高了摘要模型的可解释性，允许人类更好地模拟模型推理。摘要程序是迈向可解释和模块化抽象摘要的有希望的一步，这是一项复杂的任务，以前主要通过黑盒端到端神经系统来解决。支持代码可在https://github.com/swarnaHub/SummarizationPrograms上获得
2023-02-02 cs.AI cs.CL cs.LG
Small-world networks for summarization of biomedical articles
Medical University of Vienna（维也纳医科大学）
近年来，已经开发了许多方法来识别文本文档的重要部分。摘要工具可以利用这些方法从大量的文本信息中提取摘要。然而，识别文本文档中代表中心思想的概念，并提取最能传达这些概念的信息量最大的句子仍然是摘要方法中的两个关键任务。在本文中，我们介绍了一种基于图的方法来解决这两个挑战的背景下，生物医学文本摘要。我们表明，如何总结可以发现有意义的概念，在生物医学文本文档中使用亥姆霍兹原理。摘要器将有意义的概念视为主要主题，并基于句子共享的主题构建图。摘要器可以通过提取具有较高程度值的句子来生成信息丰富的摘要。我们评估的性能，我们的方法总结的生物医学文章使用召回为导向的替代Gisting评价（ROUGE）工具包。结果表明，程度可以是一个有用的中心性措施，以确定重要的句子，在这种类型的基于图的建模。我们的方法可以提高生物医学文本摘要的性能相比，一些国家的最先进的和公开可用的摘要。结合基于概念的建模策略和基于图形的句子提取方法，我们的摘要器可以产生比较方法中信息量最高的摘要。这项研究工作可以被看作是一个起点，小世界网络的研究在生物医学文本摘要。
2019-03-07 cs.CL cs.IR
Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder
Institute for Computational Linguistics（计算语言学研究所）；Heidelberg University（海德堡大学）
在这项工作中，我们提出了一个无监督的方法来摘要的句子抽象的方式使用变分自编码器（VAE）。已知VAE学习表示高维输入的语义丰富的潜在变量。VAE通过学习从概率潜在变量重建输入来训练。在训练过程中显式地提供关于输出长度的信息会影响VAE不对该信息进行编码，从而可以在推理过程中进行操纵。指示解码器产生更短的输出序列导致用更少的单词表达输入句子。我们在不同的摘要数据集上显示，这些较短的句子不能击败一个简单的基线，但产生更高的ROUGE分数比试图重建整个句子。
2018-09-21 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia（微软亚洲研究院）；Shanghai Qi Zhi institute（上海期智研究院）
无监督提取文档摘要旨在从文档中选择重要句子，而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中，我们发现，Transformer注意力可以用来排名句子的无监督提取摘要。具体来说，我们首先只使用未标记的文档来预训练分层Transformer模型。然后，我们提出了一种方法来排名的句子，使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明，该模型在无监督摘要方面具有最先进的性能。我们还发现，在实验中，我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时，我们获得了更好的结果。
2020-10-16 cs.CL
Text Summarization using Deep Learning and Ridge Regression
Illinois Institute of Technology（伊利诺伊理工学院）
我们开发的模型和提取相关功能的自动文本摘要和DUC 2001数据集上的不同模型的性能进行了研究。开发了两种不同的模型，一种是岭回归器，另一种是多层感知器。超参数是不同的，并记录了它们的性能。我们将摘要任务分为两个主要步骤，第一步是句子排序，第二步是句子选择。在第一步中，给定一个文档，我们根据它们的重要性对句子进行排序，在第二步中，为了获得非冗余的句子，我们剔除与先前选择的句子具有高度相似性的句子。
2017-06-15 cs.CL
Learning to Create Sentence Semantic Relation Graphs for Multi-Document Summarization
Artificial Intelligence Laboratory（人工智能实验室）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
跨文档链接事实是一项具有挑战性的任务，因为用于在句子中表达相同信息的语言可能会有很大的不同，这使得多文档摘要的任务变得复杂。因此，现有的方法严重依赖于手工制作的功能，这是领域相关的，难以手工制作，或额外的注释数据，这是昂贵的收集。为了克服这些限制，我们提出了一种新的方法，它利用两种类型的句子嵌入：通用嵌入，这是在一个大型的不相关的语料库，和特定领域的嵌入，这是在训练过程中学习。为此，我们开发SemSentSum，一个完全数据驱动的模型，能够利用这两种类型的句子嵌入通过建立一个句子语义关系图。SemSentSum在两种类型的摘要上取得了有竞争力的结果，包括665字节和100字。与其他最先进的模型不同，既不需要手工制作的功能，也不需要额外的注释数据，而且该方法很容易适应其他任务。据我们所知，我们是第一个使用多个句子嵌入的任务，多文档摘要。
2019-09-20 cs.CL cs.LG stat.ML
Semantic Sentence Embeddings for Paraphrasing and Text Summarization
Rochester Institute of Technology（罗切斯特理工学院）
本文介绍了一种适用于高级自然语言处理的句子到向量编码框架。我们的潜在表示编码句子与共同的语义信息与类似的矢量表示。向量表示是从一个编码器-解码器模型中提取的，该模型是在句子释义对上训练的。我们展示了两个不同的任务-句子释义和段落摘要的句子表示的应用程序，使其具有吸引力的常用的经常性框架，处理文本。实验结果有助于深入了解矢量表示如何适用于高级语言嵌入。
2018-09-26 cs.AI cs.CL
Extractive Summarization using Deep Learning
Delhi Technological University（德里理工大学）
提出了一种基于深度学习模型的事实报告文本摘要方法。该方法由三个阶段组成：特征提取、特征增强和摘要生成，这三个阶段一起工作以吸收核心信息并生成连贯的、可理解的摘要。我们正在探索各种功能来改进为摘要选择的句子集，并使用受限玻尔兹曼机来增强和抽象这些功能，以提高结果的准确性，而不会丢失任何重要信息。基于这些增强的特征对句子进行评分，并构造提取摘要。在几篇文章上进行的实验证明了所提出的方法的有效性。源代码可在：https://github.com/vagisha-nidhi/TextSummarizer
2019-01-09 cs.CL cs.IR cs.LG
Large-Scale Multi-Document Summarization with Information Extraction and Compression
Northwestern University（西北大学）
我们开发了一个抽象的摘要框架独立的标记数据的多个异构文档。与现有的多文档摘要方法不同，我们的框架处理讲述不同故事的文档，而不是同一主题的文档。我们还增强了现有的句子融合方法与一个单向的语言模型优先融合的句子概率较高，以提高可读性的目标。最后，我们基于CNN/Daily Mail和NewsRoom数据集构建了总共12个数据集变体，其中每个文档组包含大量不同的文档集合，以评估我们的模型与其他基线系统相比的性能。我们的实验表明，我们的框架优于当前国家的最先进的方法，在这个更通用的设置。
2022-05-01 cs.CL cs.IR
OrderSum: Semantic Sentence Ordering for Extractive Summarization
OrderSum提出了一种新颖的抽取式摘要模型，通过将句子顺序融入摘要嵌入并训练模型识别语义空间中更好的顺序，同时提升了句子包含与排序性能，在CNN/DailyMail上以ROUGE-L 30.52超越先前最优模型2.54。
2025-02-22 cs.CL
A Neural Attention Model for Abstractive Sentence Summarization
Facebook AI Research（脸书人工智能研究院）；Harvard SEAS（哈佛大学工程与应用科学学院）
基于文本提取的摘要有其固有的局限性，但是生成式的抽象方法已经证明是具有挑战性的。在这项工作中，我们提出了一个完全数据驱动的方法来抽象句子摘要。我们的方法利用了一个基于局部注意力的模型，该模型根据输入句子生成摘要的每个单词。虽然该模型结构简单，但它可以很容易地进行端到端训练，并扩展到大量的训练数据。与几个强基线相比，该模型显示DUC-2004共享任务的显着性能增益。
2015-09-03 cs.AI cs.CL
Improving Social Media Text Summarization by Learning Sentence Weight Distribution
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）
最近，编码器-解码器模型被广泛用于社交媒体文本摘要。然而，这些模型有时会错误地选择不相关句子中的噪声词作为摘要的一部分，从而降低了性能。为了抑制不相关的句子，集中在关键信息，我们提出了一种有效的方法，通过学习句子的权重分布。在我们的模型中，我们构建了一个多层感知器来预测句子权重。在训练过程中，我们使用ROUGE得分作为估计的句子权重的替代方案，并尝试最小化估计权重和预测权重之间的差距。通过这种方式，我们鼓励我们的模型专注于与摘要具有高度相关性的关键句子。实验结果表明，我们的方法优于基线上的大规模社交媒体语料库。
2017-10-31 cs.CL
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要，称为MEAD，它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术，句子效用和包容的基础上，我们已经应用到单个和多个文件摘要的评估。最后，我们描述了两个用户研究，测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL
Abstractive Dialogue Summarization with Sentence-Gated Modeling Optimized by Dialogue Acts
National Taiwan University（国立台湾大学）
神经摘要的研究越来越多，以前的工作主要集中在总结单说话人的文件（新闻，科学出版物等）。在对话中，说话者之间存在着各种各样的互动，这些互动通常被定义为对话行为。交互式信号可以提供信息提示以更好地概括对话。本文提出在神经摘要模型中显式地利用对话行为，其中设计了一个会话门控机制来建模对话行为和摘要之间的关系。实验表明，我们提出的模型显着提高抽象摘要性能相比，国家的最先进的基线AMI会议语料库，展示了有用的对话行为提供的交互信号。
2018-09-29 cs.CL
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems
University of Cambridge（剑桥大学）
Transformer模型在包括摘要在内的各种NLP任务中取得了最先进的结果。使用大型Transformer模型的训练和推理在计算上可能是昂贵的。以前的工作集中在一个重要的瓶颈，二次自我注意力机制的编码器。改进的编码器架构（如LED或LoBART）使用局部注意模式来解决此问题。与此相反，这项工作的重点是Transformer的编码器-解码器的注意力机制。在需要模型生成历史的推理或训练方法中，这种注意力的成本变得更加重要。首先，我们研究编码器-解码器注意力的复杂性。我们的经验表明，有一个稀疏的句子结构，在文档摘要，可以利用约束的注意力机制的输入句子的子集，同时保持系统的性能。其次，我们提出了一种修改后的架构，该架构选择句子子集来约束编码器-解码器的注意力。在抽象摘要任务上进行了实验，包括CNN/DailyMail，XSum，Spotify Podcast和arXiv。
2021-09-08 cs.CL
ARMAN: Pre-training with Semantically Selecting and Reordering of Sentences for Persian Abstractive Summarization
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究研究所（IPM））
摘要文本摘要是受预训练语言模型出现影响的领域之一。摘要文摘的预训练主要集中在与正文相似词较多的摘要上，而对生成句子与原文的语义相似度关注较少。我们提出了ARMAN，这是一个基于transformer的编码器-解码器模型，它预先训练了三个新的目标来解决这个问题。在ARMAN中，根据修改后的语义得分从文档中选择要掩蔽的显著句子并形成伪摘要。为了更准确地总结和类似于人类的写作模式，我们应用了修改后的句子重排。我们评估了我们提出的模型在六个下游波斯语摘要任务。实验结果表明，我们提出的模型达到了最先进的性能上的所有六个摘要任务测量的ROUGE和BERTScore。我们的模型在文本蕴涵、问题释义和多项选择问答方面也优于先前的工作。最后，我们建立了一个人的评价，并表明使用语义得分显着提高摘要结果。
2021-09-09 cs.CL
AttSum: Joint Learning of Focusing and Summarization with Neural Attention
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
查询相关性排序和句子显著性排序是抽取式查询文摘的两个主要任务。以前的监督摘要系统通常单独执行这两个任务。然而，由于参考摘要是相关性和显着性之间的权衡，使用它们作为监督，这两个排名都不能很好地训练。本文提出了一种新的摘要系统AttSum，它处理这两个任务联合。它自动学习句子和文档集群的分布式表示。同时，它应用注意力机制来模拟人类在给出查询时的注意阅读行为。在DUC查询为中心的摘要基准数据集上进行了广泛的实验。在不使用任何手工制作的功能的情况下，AttSum实现了具有竞争力的性能。它也被观察到，句子识别集中在查询确实满足查询的需要。
2016-09-27 cs.CL cs.IR
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
受人类如何总结长文档的启发，我们提出了一个准确快速的摘要模型，首先选择突出的句子，然后抽象地重写它们（即，压缩和释义）以生成简明的总体概要。我们使用了一种新的策略级策略梯度方法，以分层的方式在这两个神经网络之间架起不可微计算的桥梁，同时保持语言的流畅性。从经验上讲，我们在CNN/Daily Mail数据集上的所有指标（包括人工评估）上都达到了最新水平，而且抽象度得分也显著提高。此外，通过首先在段落级操作，然后在单词级操作，我们实现了神经生成模型的并行解码，这使得推理速度比以前的长段落编码器-解码器模型快得多（10- 20倍），训练收敛速度也快4倍。我们还展示了我们的模型在仅测试DUC-2002数据集上的泛化，在那里我们获得了比最先进的模型更高的分数。
2018-05-28 cs.AI cs.CL cs.LG
Single Document Extractive Summarization using Domination in Hypergraph
SCTR’s Pune Institute of Computer Technology（SCTR浦那计算机技术学院）；Bodoland University（博多兰大学）
本研究提出利用超图支配集进行单文档抽取式摘要，通过构建句子-关键词超图并应用贪心算法寻找支配集，以生成覆盖重要信息的摘要，并与最先进的基于图的方法进行比较。
2026-09-16 cs.CL cs.LG
Proposition-Level Clustering for Multi-Document Summarization
Bar-Ilan University（巴伊兰大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
文本聚类方法传统上被纳入多文档摘要（MDS）作为一种手段，以应付相当大的信息重复。特别是，利用聚类来指示信息的显著性以及避免冗余。这样的现有方法集中于聚类句子，即使紧密相关的句子通常也包含不对齐的部分。在这项工作中，我们重新审视聚类方法，将子系统命题分组在一起，旨在实现更精确的信息对齐。具体来说，我们的方法检测显着的命题，聚类成释义集群，并生成一个代表性的句子，通过文本融合每个集群。我们的摘要方法在DUC 2004和TAC 2011数据集中改进了以前最先进的MDS方法，无论是在自动ROUGE评分还是人类偏好方面。
2022-05-19 cs.CL cs.LG
Simple Unsupervised Summarization by Contextual Matching
Harvard University（哈佛大学）
我们提出了一个无监督的方法，句子摘要只使用语言建模。该方法采用两个语言模型，一个是通用的（即预训练的），另一个是特定于目标域。我们表明，通过使用产品的专家标准，这些都足以保持连续的上下文匹配，同时保持输出流畅性。在抽象和提取句子摘要数据集上的实验表明，我们的方法在不暴露于任何配对数据的情况下取得了令人满意的结果。
2019-07-31 cs.CL cs.LG
Multi-document abstractive summarization using ILP based multi-sentence compression
The Pennsylvania State University（宾夕法尼亚州立大学）；QCRI（卡塔尔计算研究所）；National University of Singapore（新加坡国立大学）
摘要文摘是一种理想的文摘形式，它可以综合多个文档中的信息，生成简洁的信息摘要。在这项工作中，我们的目标是开发一个抽象的摘要。首先，我们提出的方法确定多文档集中最重要的文档。最重要文档中的句子与其他文档中的句子对齐，以生成相似句子的聚类。其次，我们使用词图结构从每个聚类中的句子生成K-最短路径。最后，我们选择句子从所有集群产生的最短路径集采用一种新的整数线性规划（ILP）模型的目标是最大限度地提高信息含量和可读性的最终摘要。我们的ILP模型将最短路径表示为二元变量，并在目标函数中考虑路径的长度、信息分数和语言质量分数。DUC 2004年和2005年的多文档摘要数据集上的实验结果表明，我们提出的方法优于所有的基线和国家的最先进的提取摘要衡量的ROUGE分数。我们的方法也优于最近的抽象摘要技术。在人工评估中，我们的方法也取得了可喜的成果的信息性和可读性。
2016-09-22 cs.CL
A Sentence Compression Based Framework to Query-Focused Multi-Document Summarization
Cornell University（康奈尔大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑使用句子压缩技术，以方便查询为重点的多文档摘要的问题。我们提出了一个基于解析压缩的框架，并设计了一系列基于学习的压缩模型建立在解析树。提出了一种创新的束搜索解码器，以有效地找到高度可能的压缩。在这个框架下，我们展示了如何整合各种指示性指标，如语言动机和查询相关性到压缩过程中推导出一种新的配方的压缩评分函数。我们最好的模型实现了统计上的显着改善，在几个指标（如8.0%和5.4%的改进ROUGE-2分别）的DUC 2006年和2007年的总结任务的最先进的系统。
2016-06-24 cs.CL
Corpus-based Web Document Summarization using Statistical and Linguistic Approach
Khulna University of Engineering & Technology（库尔纳工程技术大学）
单文档摘要通过抽取文档中具有代表性的句子生成摘要。在本文中，我们提出了一种新的技术，从一个单一的Web文档，使用统计和语言分析的参考语料库和Web文档中的文本领域特定的文本摘要。该方法利用句子权重（SW）和主题权重（SuW）的组合函数来确定句子的排序，其中SW是句子中的术语数（t_n）和单词数（w_n）以及语料库中的术语频率（t_f）的函数，SuW是主题中的术语数（t_n）和单词数（w_n）以及语料库中的术语频率（t_f）的函数。30%的排序句子被认为是Web文档的摘要。我们使用我们的技术生成了三个Web文档摘要，并将它们与16个不同人类受试者手动开发的摘要进行了比较。结果表明，68%的摘要，我们的方法产生的满足人工摘要。
2013-04-09 cs.CL cs.IR
AREDSUM: Adaptive Redundancy-Aware Iterative Sentence Ranking for Extractive Document Summarization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Microsoft（微软）；Microsoft Research AI（微软研究院人工智能）
冗余感知提取摘要系统对要包括在摘要中的句子的冗余连同它们的显著性信息一起进行评分，或者作为附加的句子评分步骤单独进行评分。以前的工作显示了联合评分和选择句子与神经序列生成模型的有效性。然而，如果增益是由于更好的编码技术或更好的冗余减少方法，则不太清楚。同样，显著性与多样性成分对所创建的摘要的贡献也没有得到很好的研究。基于最先进的摘要编码方法，我们提出了两个自适应学习模型：在句子选择过程中联合考虑显著性和新颖性的AREDSUM-SEQ;和一个两步AREDSUM-CTX，首先对显著性进行评分，然后学习平衡显著性和冗余，从而能够测量每个方面的影响。在CNN/DailyMail和NYT 50数据集上的实证结果表明，通过在单独的步骤中显式地对多样性进行建模，AREDSUM-CTX实现了比AREDSUM-SEQ以及最先进的提取摘要基线更好的性能。
2021-04-03 cs.CL
Neural Latent Extractive Document Summarization
Microsoft Research Asia（微软亚洲研究院）；University of Edinburgh（爱丁堡大学）
提取式摘要模型需要摘要级标签，其通常是按顺序创建的（例如，使用基于规则的方法），假定大多数摘要数据集仅具有文档-摘要对。由于这些标签可能是次优的，我们提出了一个潜变量提取模型，其中句子被视为潜变量和句子与激活变量被用来推断黄金摘要。在训练期间，损失来自黄金摘要的\emph{directly}。在CNN/Dailymail数据集上的实验表明，我们的模型比在近似标签上训练的强提取基线有所改进，并且与最近的几个模型相比也具有竞争力。
2018-08-28 cs.AI cs.CL cs.LG
Referee: Reference-Free Sentence Summarization with Sharper Controllability through Symbolic Knowledge Distillation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了Reflection，一个新的句子摘要框架，可以训练无参考（即，不需要用于监督的黄金摘要），同时允许对压缩比的直接控制。我们的工作是第一次证明，通过符号知识蒸馏的概念框架，无参考，受控的句子摘要是可行的（韦斯特等人，2022），其中预训练的语言模型中的潜在知识通过从教师模型中采样的显式示例进行提取，并使用三种类型的过滤器进行进一步纯化：长度，保真度和信息瓶颈。此外，我们独特地提出了知识的迭代蒸馏，其中来自上一次迭代蒸馏的学生模型在下一次迭代中充当教师模型。从一组相对温和的GPT 3生成的摘要开始，我们演示了迭代知识蒸馏如何导致相当小的，但更好的摘要具有更清晰的可控性。这种迭代蒸馏过程的一个有用的副产品是具有不同程度压缩比的高质量数据集。实证结果表明，最终的学生模型在压缩比的可控性方面大大优于更大的GPT 3-Instruct模型，而不会影响所得摘要的质量。
2022-10-25 cs.AI cs.CL cs.LG
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出一种基于句子-词二部图的图预训练自编码器，显式建模句内区分性与句间连贯性特征，以获得更优句子表示，从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
A New Sentence Extraction Strategy for Unsupervised Extractive Summarization Methods
Tsinghua University（清华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对监督摘要依赖大规模数据集的问题，本文从信息论角度统一建模无监督抽取式摘要，并提出可增强现有方法的句子抽取策略，实验验证其有效性。
2024-01-24 cs.AI cs.CL
Contrastive Attention Mechanism for Abstractive Sentence Summarization
Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba DAMO Academy（阿里巴巴达摩院）；School of Engineering, Westlake University（西湖大学工学院）
我们提出了一个对比注意力机制，以扩展序列到序列的抽象句子摘要任务，其目的是生成一个简短的摘要给定的源句子的框架。对比注意力机制包含两类注意：一类是注意源句相关部分的常规注意，另一类是注意源句不相关或不太相关部分的对手注意。两种注意力都以相反的方式进行训练，从而通过新的softmax和softmin功能鼓励传统注意力的贡献，并阻止对手注意力的贡献。在基准数据集上的实验表明，与传统的注意力机制相比，本文提出的对比注意力机制更能集中于摘要的相关部分，大大提高了摘要的性能。我们在https://github.com/travel-go/Abstractive-Text-Summarization上发布代码
2019-10-30 cs.AI cs.CL
