Single Document Extractive Summarization using Domination in Hypergraph
SCTR’s Pune Institute of Computer Technology（SCTR浦那计算机技术学院）；Bodoland University（博多兰大学）
本研究提出利用超图支配集进行单文档抽取式摘要，通过构建句子-关键词超图并应用贪心算法寻找支配集，以生成覆盖重要信息的摘要，并与最先进的基于图的方法进行比较。
2026-09-16 cs.CL cs.LG
Hybrid MemNet for Extractive Summarization
IIIT Hyderabad（海得拉巴印度信息技术学院）；Microsoft（微软）
摘要抽取式文本摘要是自然语言理解领域的一个重要研究课题。虽然传统的方法主要依赖于手动编译的功能来生成摘要，但很少尝试开发用于提取摘要的数据驱动系统。为此，我们提出了一个完全数据驱动的端到端深度网络，我们称之为混合MemNet，用于单个文档摘要任务。网络在生成摘要之前学习文档的连续统一表示。它共同捕捉本地和全球的重要信息，以及有价值的概括句子的概念。在两个不同语料库上的实验结果证实，与最先进的基线相比，我们的模型显示出显着的性能增益。
2019-12-25 cs.CL cs.IR cs.LG
Unsupervised Extractive Summarization using Pointwise Mutual Information
New York University（纽约大学）
提取摘要的无监督方法通常依赖于由句子和文档之间的语义相似性定义的句子重要性的概念。我们提出了新的度量相关性和冗余使用逐点互信息（PMI）之间的句子，这可以很容易地计算出一个预先训练的语言模型。直觉上，一个相关的句子允许读者推断文档内容（高PMI的文档），而一个冗余的句子可以从摘要中推断出来（高PMI的摘要）。然后，我们开发了一个贪婪的句子选择算法，以最大限度地提高相关性和最小化冗余提取的句子。我们表明，我们的方法优于基于相似性的方法在一系列领域的数据集，包括新闻，医学期刊文章和个人轶事。
2021-03-22 cs.CL cs.LG
Efficient Extractive Text Summarization for Online News Articles Using Machine Learning
Florida State University（佛罗里达州立大学）；Towson University（托逊大学）；Bangladesh Agricultural University（孟加拉国农业大学）
本文利用BERT嵌入和LSTM网络解决在线新闻的抽取式摘要问题，在Cornell Newsroom数据集上验证其优于基线方法，提升了内容管理效率。
2025-09-19 cs.LG
Leveraging BERT for Extractive Text Summarization on Lectures
Georgia Institute of Technology（佐治亚理工学院）
在过去的二十年里，自动提取的演讲文本摘要已被证明是一个有用的工具，收集关键短语和句子，最好的代表内容。然而，许多当前的方法利用过时的方法，产生低于标准的输出或需要几个小时的手动调整来产生有意义的结果。最近，新的机器学习架构已经通过对来自深度学习模型的输出嵌入进行聚类来提供用于提取摘要的机制。本文报告了一个名为Lecture Summarization Service的项目，这是一个基于Python的RESTful服务，它利用BERT模型进行文本嵌入，并利用KMeans聚类来识别接近摘要选择中心的句子。该服务的目的是为学生提供一个实用程序，可以根据他们想要的句子数量总结讲座内容。除了总结工作，该服务还包括讲座和总结管理，将内容存储在云端，可用于协作。虽然利用BERT进行提取摘要的结果是有希望的，但该模型仍有一些问题，为进一步改进提供了特征研究机会。
2019-06-07 cs.CL cs.LG cs.SD
Continual BERT: Continual Learning for Adaptive Extractive Summarization of COVID-19 Literature
Deerfield Academy（迪尔菲尔德学院）
科学界每天继续发表大量与COVID-19相关的新研究，导致许多文献几乎没有引起关注。为了帮助社区了解快速流动的COVID-19文献，我们提出了一种新颖的BERT架构，为冗长的论文提供简短而原始的摘要。该模型以在线方式不断学习新数据，同时最大限度地减少灾难性遗忘，从而适应社区的需求。基准测试和手动检查其性能表明，该模型提供了一个新的科学文献的声音总结。
2020-09-27 cs.CL cs.LG
LaMSUM: Amplifying Voices Against Harassment through LLM Guided Extractive Summarization of User Incident Reports
Indian Institute of Technology Delhi, India（印度理工学院德里分校）；Delhi Technological University, India（德里技术大学）；Indian Institute of Technology Kharagpur, India（印度理工学院哈里科特分校）；Collaborative Dynamics, Texas, USA（协同动力公司）；Indian Institute of Science Education and Research Kolkata, India（印度科学教育与研究学院科希拉分校）
本文提出LaMSUM框架，结合多级投票方法利用LLM生成用户事件报告的提取式摘要，有效应对多语言数据处理挑战，优于现有方法。
2026-04-17 cs.CL cs.LG
Extractive Summarization using Deep Learning
Delhi Technological University（德里理工大学）
提出了一种基于深度学习模型的事实报告文本摘要方法。该方法由三个阶段组成：特征提取、特征增强和摘要生成，这三个阶段一起工作以吸收核心信息并生成连贯的、可理解的摘要。我们正在探索各种功能来改进为摘要选择的句子集，并使用受限玻尔兹曼机来增强和抽象这些功能，以提高结果的准确性，而不会丢失任何重要信息。基于这些增强的特征对句子进行评分，并构造提取摘要。在几篇文章上进行的实验证明了所提出的方法的有效性。源代码可在：https://github.com/vagisha-nidhi/TextSummarizer
2019-01-09 cs.CL cs.IR cs.LG
Attend to the beginning: A study on using bidirectional attention for extractive summarization
University of Pittsburgh（匹兹堡大学）；Microsoft Research（微软研究院）
论坛讨论数据在结构和属性上都不同于一般形式的文本数据（如新闻）。相反，总结技术应该利用这些差异，并制作可以从讨论数据的结构性中受益的模型。在这项工作中，我们建议参加一个文件的开头，以提高性能的提取摘要模型时，应用于论坛讨论数据。评估表明，在双向注意力机制的帮助下，关注讨论线程中的文档开头（初始评论/帖子）可以持续提高ROUGE分数，并在论坛讨论数据集上引入新的最新技术水平（SOTA）ROUGE分数。此外，我们探讨了这一假设是否可扩展到其他通用形式的文本数据。我们利用在文本早期引入重要信息的趋势，通过关注通用文本数据中的前几句话。评估表明，参加介绍性句子使用双向注意，提高了提取摘要模型的性能，甚至适用于更通用形式的文本数据。
2020-05-09 cs.CL cs.LG
BERT Fine-tuning For Arabic Text Summarization
Department of Electrical and Electronics Engineering（电气与电子工程系）
微调预训练的BERT模型是提取/抽象文本摘要的最先进方法，在本文中，我们展示了如何将这种微调方法应用于阿拉伯语，以构建第一个用于抽象阿拉伯语文本摘要的文档化模型，并展示其在阿拉伯语提取摘要中的性能。我们的模型适用于多语言BERT（因为阿拉伯语没有自己的预训练BERT）。我们首先在英语语料库中展示了它的性能，然后将其应用于阿拉伯语语料库中的提取和抽象任务。
2020-03-29 cs.CL cs.LG
Incremental Extractive Opinion Summarization Using Cover Trees
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
针对增量场景下传统中心性抽取观点摘要方法效率低的问题，提出基于覆盖树的CoverSumm算法，通过索引评论表示与维护候选句池实现高效增量CentroidRank摘要生成，速度最高提升36倍且摘要质量优异。
2024-04-12 cs.CL cs.LG
SEAL: Segment-wise Extractive-Abstractive Long-form Text Summarization
Google Research（谷歌研究院）
由于常见RNN和Transformer架构的计算约束，序列到序列范式中的大多数先前工作都集中在具有数百个令牌的输入序列长度的数据集上。在本文中，我们研究了长格式的抽象文本摘要，序列到序列设置输入序列长度高达100，000令牌和输出序列长度高达768令牌。我们提出了SEAL，一个基于transformer的模型，具有一个新的编码器-解码器的注意力，动态提取/选择输入片段稀疏出席每个输出段。仅使用原始文档和摘要，我们推导出代理标签，该代理标签为提取层提供弱监督，同时从抽象摘要提供常规监督。SEAL模型在现有的长格式摘要任务上实现了最先进的结果，并且在我们引入的新数据集/任务Search 2 Wiki上的性能优于强基线模型，输入文本更长。由于内容选择在SEAL模型中是显式的，因此一个理想的副作用是可以检查选择以增强可解释性。
2020-06-18 cs.CL cs.IR cs.LG
Query-Focused Extractive Summarization for Sentiment Explanation
Croesus Lab Laval, Québec, Canada（魁北克省拉瓦尔市的Croesus实验室）；Software Engineering and IT Dept. École de Technologie Supérieure Montreal, Canada（蒙特利尔大学理工学院软件工程与IT部门）
针对客户反馈分析中查询与源文件语言不一致的问题，提出多偏置框架，结合情感偏置与查询扩展，在真实数据集上优于基线模型。
2025-09-15 cs.CL cs.LG
Unity in Diversity: Learning Distributed Heterogeneous Sentence Representation for Extractive Summarization
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
多文档自动摘要是自然语言理解领域的一个研究热点。这样的提取机制以某种形式计算要被包括到摘要中的句子的价值。虽然传统的方法依赖于人工制作的文档独立的功能来生成摘要，我们开发了一个数据驱动的新的摘要系统称为HNet，它利用各种语义和成分方面潜在的一句话来捕捉文档独立的功能。该网络以一种方式学习句子表示，即显著句子在向量空间中比非显著句子更接近。然后将此语义和组成特征向量与文档相关特征连接起来，以进行句子排名。在DUC基准数据集（DUC-2001，DUC-2002和DUC-2004）上的实验表明，与最先进的基线相比，我们的模型在ROUGE得分方面显示出约1.5-2点的显着性能增益。
2019-12-25 cs.CL cs.IR cs.LG
LexLattice: Multilingual Extractive Summarization via Neural Cellular Automata on Document Hierarchies
The University of Winnipeg（温尼伯大学）
LexLattice通过二维神经细胞自动机整合法律文档层次结构，以1.8M参数实现多语言抽取式摘要的最先进ROUGE，并跨语言近无损迁移。
2026-09-24 cs.CL cs.LG cs.NE
Towards automatic extractive text summarization of A-133 Single Audit reports with machine learning
Harvard Medical School（哈佛医学院）；Elder Research, Inc.（埃尔德研究公司）；Clarkson University（克拉克森大学）
文本数据的快速增长推动了基于机器学习的自动文本摘要策略的发展，这些策略可以简洁地捕捉更大文本中的基本思想。本研究的目的是设计一个提取汇总方法的A-133单一审计，评估联邦补助金的接受者是否符合使用联邦资金的计划要求。目前，这些大量的审计必须由官员手动分析，以进行监督、风险管理和优先排序。自动总结有可能简化这些流程。分析集中在2016-2018年约20，000项单一审计的“发现”部分。在文本预处理和GloVe嵌入之后，执行了分级k均值聚类以按主题划分句子并确定每个句子的重要性。对于每次审计，通过与聚类中心的接近度提取关键摘要句子。通过非专家人工评价对总结进行判断，并使用ROUGE指标与人工生成的总结进行比较。虽然目标是完全自动化A-133审计摘要，但由于审计写作风格、内容和上下文的差异很大，因此在各个阶段都需要人工输入。人工输入的示例包括聚类的数量、基于其内容相关性保留或丢弃某些聚类的选择以及顶句的定义。总体而言，这一方法在自动提取A-133审计摘要方面取得了进展，未来的工作重点是全面自动化和提高摘要的一致性。这项工作突出了在现实世界中的应用程序的自动摘要的固有困难和主观性。
2019-11-08 cs.CL cs.LG stat.ML
Extractive summarization on a CMOS Ising machine
University of Minnesota（明尼苏达大学）
本研究提出在低功耗CMOS伊辛机上实现高效抽取式摘要，通过硬件优化和分解策略提升实时低能耗文本摘要性能。
2026-01-23 cs.ET cs.LG
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Deep Submodular Networks for Extractive Data Summarization
University of Texas, Dallas（得克萨斯大学达拉斯分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
深度模型在摘要问题（例如文档、视频和图像）中越来越普遍，因为它们能够学习复杂的特征交互和表示。然而，它们没有对多样性、表示和覆盖等特征进行建模，这些特征对于摘要任务也非常重要。另一方面，子模函数由于其收益递减属性而自然地模拟这些特征。大多数建模和学习次模函数的方法都依赖于非常简单的模型，例如次模函数的加权混合。不幸的是，这些模型只能学习不同子模块函数的相对重要性（例如多样性，表示或重要性），但不能学习更复杂的特征表示，这通常是最先进的性能所需的。我们提出了深度子模块化网络（DSN），这是一个端到端的学习框架，有助于学习更复杂的功能和更丰富的功能，为更好地建模总结的各个方面而精心制作。DSN框架可用于从头开始学习适合于摘要的功能。我们展示了通用和查询集中的图像收集摘要的DSN的效用，并显示出显着的改进，在国家的最先进的。特别是，我们表明，DSN优于简单的混合模型使用现成的功能。其次，我们还证明了在DSN中使用四个子模块函数进行端到端学习，可以使用手工制作的594个组件来实现最先进的混合模型，并且优于其他图像集合摘要方法。
2020-10-16 cs.CL cs.IR cs.LG
Generating Informative CVE Description From ExploitDB Posts by Extractive Summarization
Australian National University（澳大利亚国立大学）；Tianjin University（天津大学）；Tencent AI Lab（腾讯人工智能实验室）；Data61, CSIRO（联邦科学与工业研究组织Data61研究所）
ExploitDB是重要的公共网站之一，为官方CVE数据库贡献了大量漏洞。这些漏洞中有60%以上具有高度或严重的安全风险。不幸的是，超过73%的漏洞比相应的CVE更早公开出现，大约40%的漏洞甚至没有CVE。为了帮助记录ExploitDB帖子的CVE，我们提出了一种开放信息方法，从冗长和嘈杂的ExploitDB帖子中提取9个关键漏洞方面（易受攻击的产品/版本/组件，漏洞类型，供应商，攻击者类型，根本原因，攻击向量和影响）。从ExploitDB帖子中提取的方面然后根据建议的CVE描述模板组成CVE描述，这是请求新CVE必须提供的信息。通过对13，017个人工标注句子的评估和对3，456个提取方面的统计抽样，我们证实了我们的提取方法的高准确性。与27，230个参考CVE描述相比。我们组合的CVE描述达到了高ROUGH-L（0.38），这是一个用于评估文本摘要方法的基于最长公共子序列的指标。
2021-01-05 cs.IR cs.LG
Text Summarization with Pretrained Encoders
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
来自Transformers的双向编码器表示（BERT）代表了预训练语言模型的最新体现，该预训练语言模型最近推进了广泛的自然语言处理任务。在本文中，我们展示了如何BERT可以有效地应用于文本摘要，并提出了一个通用的框架提取和抽象模型。我们介绍了一种新的文档级编码器的基础上BERT，这是能够表达的文档的语义，并获得其句子的表示。我们的提取模型是建立在这个编码器的顶部，通过堆叠几个句子间的Transformer层。对于抽象摘要，我们提出了一种新的微调时间表，该时间表为编码器和解码器采用不同的优化器，以减轻两者之间的不匹配（前者是预先训练的，而后者不是）。我们还证明了两阶段微调方法可以进一步提高生成的摘要的质量。在三个数据集上的实验表明，我们的模型在提取和抽象设置中都取得了最先进的结果。我们的代码可在https://github.com/nlpyang/PreSumm上获得
2019-09-05 cs.CL cs.LG
CCS Explorer: Relevance Prediction, Extractive Summarization, and Named Entity Recognition from Clinical Cohort Studies
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
临床队列研究（CCS），如随机临床试验，是记录临床研究的重要来源。理想情况下，临床专家检查这些文章进行探索性分析，从药物发现评估现有药物在应对新兴疾病方面的疗效到新开发药物的首次测试。然而，PubMed上每天都有100多篇关于COVID-19等单一流行疾病的文章发表。因此，医生可能需要几天时间才能找到文章并提取相关信息。我们能否开发一个系统，更快地筛选这些文章的长列表，并记录下这些文章中的关键内容？在这项工作中，我们提出了CCS资源管理器，一个端到端的系统，用于句子的相关性预测，提取摘要，患者，结果和干预实体检测CCS。CCS Explorer打包在基于Web的图形用户界面中，用户可以在其中提供任何疾病名称。CCS Explorer然后根据后端自动生成的查询结果，从PubMed上的文章中提取并汇总所有相关信息。对于每项任务，CCS Explorer都会基于具有额外层的Transformers微调预训练的语言表示模型。这些模型使用两个公开的数据集进行评估。CCS Explorer在使用BioBERT进行句子相关性预测时获得了80.2%的召回率、0.843的AUC-ROC和88.3%的准确率，并在使用PubMedBERT进行患者、干预、结果检测（PIO）时获得了77.8%的平均Micro F1分数。因此，CCS Explorer可以可靠地提取相关信息来汇总文章，从而节省$\sim \t…
2022-11-16 cs.AI cs.CL cs.HC
Text Summarization with Oracle Expectation
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提取式摘要通过识别和连接文档中最重要的句子来生成摘要。由于大多数摘要数据集都没有黄金标签来指示文档句子是否值得摘要，因此已经提出了不同的标记算法来外推Oracle提取用于模型训练。在这项工作中，我们发现了两个缺陷，广泛使用的贪婪标签的方法：它提供次优和确定性的预言。为了缓解这两个问题，我们提出了一个简单而有效的标签算法，创建软，基于期望的句子标签。我们定义了一个新的学习目标提取摘要，它结合了学习信号从多个甲骨文摘要，并证明它是等价于估计的甲骨文期望为每个文档句子。在没有任何架构修改的情况下，所提出的标记方案在监督和zero-shot设置下在跨域和语言的各种摘要基准上实现了优异的性能。
2022-09-26 cs.CL cs.LG
Text Summarization as Tree Transduction by Top-Down TreeLSTM
University of Pisa（比萨大学）
抽取压缩是一个具有挑战性的自然语言处理问题。这项工作的贡献，制定神经提取压缩作为一个解析树转导问题，而不是一个序列转导任务。受此启发，我们引入了一个深度神经模型，通过扩展标准的长短期记忆，考虑结构递归中的父子关系，来学习结构到子结构树的转换。所提出的模型可以实现最先进的性能在句子压缩基准，无论是在准确性和压缩率。
2018-09-24 cs.IR cs.LG cs.NE
Extractive approach for text summarisation using graphs
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
自然语言处理是一门重要的学科，其目的是通过数字表示来理解文本，由于我们写作和说话的方式不同，通常不够准确。我们的论文探讨了不同的图相关的算法，可用于解决文本摘要问题，使用提取的方法。我们考虑两个指标：句子重叠和编辑距离测量句子相似性。
2021-06-21 cs.CL cs.LG
