An Unsupervised Masking Objective for Abstractive Multi-Document News Summarization
University of California, San Diego(加州大学圣迭戈分校)
我们表明,一个简单的无监督掩蔽目标可以接近抽象的多文档新闻摘要的监督性能。我们的方法训练了一个最先进的神经摘要模型来预测相对于多文档组具有最高词汇中心性的屏蔽源文档。在Multi-News数据集上的实验中,我们的掩蔽训练目标产生了一个优于过去无监督方法的系统,并且在人类评估中,超过了最好的监督方法,而无需访问任何地面事实摘要。此外,我们评估不同的词汇中心性的措施,启发过去的工作提取摘要,影响最终的表现。
2022-01-07 cs.CL
LexRank: Graph-based Lexical Centrality as Salience in Text Summarization
University of Michigan(密歇根大学);School of Information(信息学院)
介绍了一种基于随机图的文本单元相对重要性计算方法,用于自然语言处理。我们测试的问题上的文本摘要(TS)的技术。提取TS依赖于句子显著性的概念来识别文档或文档集合中最重要的句子。显著性通常根据特定重要词的存在或根据与质心伪句子的相似性来定义。我们考虑一种新的方法,LexRank,用于计算句子的重要性的概念的基础上的特征向量中心的图形表示的句子。该模型采用基于句内余弦相似度的连接矩阵作为句子图形表示的邻接矩阵。我们的系统,基于LexRank排名第一位,在一个以上的任务在最近的DUC 2004年的评估。在本文中,我们提出了一个详细的分析,我们的方法,并将其应用到一个更大的数据集,包括早期DUC评估的数据。我们讨论了几种使用相似图计算中心度的方法。结果表明,在大多数情况下,基于度的方法(包括LexRank)优于基于质心的方法和其他参与DUC的系统。此外,与阈值方法的LexRank优于其他度为基础的技术,包括连续的LexRank。我们还表明,我们的方法是相当不敏感的数据,可能会导致从一个不完美的主题聚类的文件中的噪声。
2011-09-26 cs.CL
Centroid-based summarization of multiple documents: sentence extraction, utility-based evaluation, and user studies
我们提出了一个多文档摘要,称为MEAD,它产生的主题检测和跟踪系统使用集群质心摘要。我们还描述了两种新的技术,句子效用和包容的基础上,我们已经应用到单个和多个文件摘要的评估。最后,我们描述了两个用户研究,测试我们的多文档摘要模型。
2000-05-12 cs.AI cs.CL cs.DL
PerSum: Novel Systems for Document Summarization in Persian
Tandy School of Computer Science, University of Tulsa(塔尔萨大学坦迪计算机科学学院);Computer Science and Engineering, University of Michigan(密歇根大学计算机科学与工程系);Department of Computer Engineering, Borujerd Branch, Islamic Azad University(伊斯兰阿扎德大学博鲁杰尔德分校计算机工程系)
本文从两个不同的角度探讨了波斯语文档摘要的问题。在我们的第一种方法中,我们修改了一个流行的和广泛引用的波斯语文档摘要框架,看看它是如何工作的一个现实的新闻文章语料库。对生成的摘要的人工评价表明,基于图的方法比修改后的系统性能更好。我们在我们的第二种方法中进行了这种直觉,并通过设计几个基于中心性度量的摘要器来深入探讨基于图的系统的本质。使用ROUGE评分对这些汇总器进行的特别评估表明,有一类中心性度量的性能优于三个强大的无监督基线。
2016-06-09 cs.CL
Multi-Document Summarization using Distributed Bag-of-Words Model
IIT Kharagpur(印度理工学院卡拉格普尔分校);TCS Research(塔塔咨询服务研究中心)
随着网络上文档数量的指数级增长,多文档摘要由于能够在短时间内提供文档集中的主要内容而变得越来越重要。在本文中,我们提出了一个无监督的基于质心的文档级重建框架,使用分布式词袋模型。具体来说,我们的方法选择摘要句子,以尽量减少摘要和文档之间的重建误差。我们应用句子选择和束搜索,以进一步提高我们的模型的性能。在两个不同数据集上的实验结果显示,与最先进的基线相比,性能有了显着的提高。
2018-06-11 cs.CL
Centrality-as-Relevance: Support Sets and Similarity as Geometric Proximity
INESC ID Lisboa(里斯本INESC ID研究所)
在自动摘要中,中心性作为相关性意味着信息源或信息源的集合的最重要的内容对应于最中心的段落,考虑这样的概念有意义的表示(图形,空间等)。我们评估的主要范例,并介绍了一个新的基于中心的自动摘要,依赖于使用支持集,以更好地估计相关内容的相关模型。几何接近度用于计算语义相关性。中心性(相关性)是通过考虑整个输入来源(而不仅仅是当地信息),并考虑到要汇总的信息源中存在的次要主题或横向主题来确定的。该方法在于为输入源的每个段落创建仅由语义上最相关的段落组成的支持集。然后,通过选择出现在最大数量的支持集中的段落来实现最相关内容的确定。该模型产生通用的、独立于语言和领域的提取摘要。彻底的自动评估表明,该方法实现了最先进的性能,无论是在书面文本,自动转录的语音摘要,包括当比较相当复杂的方法。
2014-01-16 cs.CL cs.IR
Incremental Extractive Opinion Summarization Using Cover Trees
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
针对增量场景下传统中心性抽取观点摘要方法效率低的问题,提出基于覆盖树的CoverSumm算法,通过索引评论表示与维护候选句池实现高效增量CentroidRank摘要生成,速度最高提升36倍且摘要质量优异。
2024-04-12 cs.CL cs.LG
StrucSum: Graph-Structured Reasoning for Long Document Extractive Summarization with LLMs
ALOHA Lab, University of Hawaii at Manoa(夏威夷大学曼纳亚分校ALOHA实验室);University of Hawaii at Hilo(夏威夷大学希洛分校)
StrucSum通过图结构推理提升基于LLM的长文档提取式摘要质量,有效增强文档结构建模与关键信息识别能力。
2026-01-21 cs.CL
A Semantic Approach to Summarization
IIT Kanpur(印度理工学院坎普尔分校)
基于句子抽取的摘要方法由于没有深入研究文档的语义而具有一定的局限性。此外,它缺乏句子生成的能力,这是人类的直觉。在这里,我们提出了一种新的方法来总结文本文档的过程中使用WordNet和其他资源的语义水平,并使用一种技术的句子生成。我们使用语义角色标注来获得文本的语义表示,并使用分割来形成相关文本片段的聚类。挑选质心和句子生成完成任务。我们评估我们的系统对人类组成的摘要,也提出了一个由人类来衡量我们的摘要的质量属性的评估。
2014-06-04 cs.CL
Multi-Topic Multi-Document Summarizer
Electronics Research Institute(电子研究所);Faculty of Computers and Information, Benha University(班哈大学计算机与信息学院)
现有的多文档文摘系统虽然能够成功地提取摘要语句,但存在覆盖率低、重要语句提取不准确、句子冗余和连贯性差等问题。本研究引入了一个新的概念,质心的方法和报告的新技术提取摘要句子的多文档。在这两种技术中,关键词都被用来衡量句子和文档。第一种摘要技术(Sen-Rich)更喜欢最大丰富度的句子。而第二个(Doc-Rich),更喜欢来自质心文档的句子。为了演示新的摘要系统应用程序提取阿拉伯文文档的摘要,我们进行了两个实验。首先,我们应用Rouge测量来比较在TAC 2011上提出的系统之间的新技术。结果表明,Sen-Rich优于ROUGE-S中的所有系统。第二,将该系统应用于多主题文档的摘要。使用人工评估,结果表明,Doc-Rich是优越的,其中总结句的特点是额外的覆盖范围和更多的衔接。
2014-01-03 cs.CL
Exploring Explainable Selection to Control Abstractive Summarization
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh(爱丁堡大学信息学院语言、认知与计算研究所)
像人类一样,文档摘要模型可以以多种方式解释文档的内容。不幸的是,今天的神经模型在很大程度上是黑盒子,几乎没有解释它们如何或为什么以这种方式生成摘要。因此,为了开始撬开黑匣子,并在最终摘要的实质内容中注入一定程度的控制,我们开发了一个新的选择和生成框架,专注于可解释性。通过揭示潜在的中心性和句子之间的相互作用,以及句子新颖性和相关性的分数,用户可以看到模型正在做出的选择,并有机会将这些选择引导到更理想的方向。一种新颖的成对矩阵捕获句子的相互作用,中心性和属性得分,和一个可调属性阈值的掩码允许用户控制哪些句子可能被包括在提取中。摘要器中的一个临时部署的注意力机制确保最终摘要强调所需的内容。此外,该编码器具有自适应性,支持基于Transformer和基于BERT的配置。在一系列使用ROUGE指标和两次人工评估进行评估的实验中,ESCA在CNN/DailyMail和NYT 50基准数据集上的表现优于八种最先进的模型。
2020-12-14 cs.CL
Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders
Fudan University(复旦大学);Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
自动聊天摘要可以帮助人们从众多的聊天信息中快速掌握重要信息。与传统文档不同,聊天记录通常具有分散和不断变化的主题。此外,这些日志包含大量的省略和疑问句,这使得聊天摘要高度依赖于上下文。在这项工作中,我们提出了一种新的无监督框架RankAE来执行聊天摘要,而无需使用手动标记的数据。RankAE由一个面向主题的排名策略组成,该策略同时根据中心性和多样性选择主题话语,以及一个精心设计的去噪自动编码器,用于根据所选话语生成简洁但上下文信息丰富的摘要。为了评估所提出的方法,我们从客户服务环境中收集了一个大规模的聊天日志数据集,并构建了一个仅用于模型评估的注释集。实验结果表明,RankAE显著优于其他无监督方法,并且能够在相关性和主题覆盖率方面生成高质量的摘要。
2021-06-25 cs.CL
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas(北德克萨斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
关键词和关键短语提取是自然语言处理中的一个重要问题,其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的,很容易在在线系统中采用,但它们是否能从PageRank以外的中心性度量中受益,在很大程度上仍然是开放的。在本文中,我们在单词和名词短语搭配网络上实验了一系列中心性度量,并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好,而且它们更简单(例如,度、强度和邻域大小)。此外,基于中心的方法给出的结果与两个强无监督基线竞争,并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Small-world networks for summarization of biomedical articles
Medical University of Vienna(维也纳医科大学)
近年来,已经开发了许多方法来识别文本文档的重要部分。摘要工具可以利用这些方法从大量的文本信息中提取摘要。然而,识别文本文档中代表中心思想的概念,并提取最能传达这些概念的信息量最大的句子仍然是摘要方法中的两个关键任务。在本文中,我们介绍了一种基于图的方法来解决这两个挑战的背景下,生物医学文本摘要。我们表明,如何总结可以发现有意义的概念,在生物医学文本文档中使用亥姆霍兹原理。摘要器将有意义的概念视为主要主题,并基于句子共享的主题构建图。摘要器可以通过提取具有较高程度值的句子来生成信息丰富的摘要。我们评估的性能,我们的方法总结的生物医学文章使用召回为导向的替代Gisting评价(ROUGE)工具包。结果表明,程度可以是一个有用的中心性措施,以确定重要的句子,在这种类型的基于图的建模。我们的方法可以提高生物医学文本摘要的性能相比,一些国家的最先进的和公开可用的摘要。结合基于概念的建模策略和基于图形的句子提取方法,我们的摘要器可以产生比较方法中信息量最高的摘要。这项研究工作可以被看作是一个起点,小世界网络的研究在生物医学文本摘要。
2019-03-07 cs.CL cs.IR
Leveraging BERT for Extractive Text Summarization on Lectures
Georgia Institute of Technology(佐治亚理工学院)
在过去的二十年里,自动提取的演讲文本摘要已被证明是一个有用的工具,收集关键短语和句子,最好的代表内容。然而,许多当前的方法利用过时的方法,产生低于标准的输出或需要几个小时的手动调整来产生有意义的结果。最近,新的机器学习架构已经通过对来自深度学习模型的输出嵌入进行聚类来提供用于提取摘要的机制。本文报告了一个名为Lecture Summarization Service的项目,这是一个基于Python的RESTful服务,它利用BERT模型进行文本嵌入,并利用KMeans聚类来识别接近摘要选择中心的句子。该服务的目的是为学生提供一个实用程序,可以根据他们想要的句子数量总结讲座内容。除了总结工作,该服务还包括讲座和总结管理,将内容存储在云端,可用于协作。虽然利用BERT进行提取摘要的结果是有希望的,但该模型仍有一些问题,为进一步改进提供了特征研究机会。
2019-06-07 cs.CL cs.LG cs.SD
Learning with fuzzy hypergraphs: a topical approach to query-oriented text summarization
City University of Hong Kong(香港城市大学)
现有的基于图的抽取式文档摘要方法将语料库中的句子表示为图或超图的节点,其中边描述句子之间的词汇相似性关系。当句子表达相似的信息,但共同的词很少,因此在词汇上不相似时,这种方法无法捕捉句子之间的语义相似性。为了克服这个问题,我们建议提取语义相似性的基础上的主题表示的句子。受层次狄利克雷过程的启发,我们提出了一个概率主题模型来推断句子的主题分布。由于每个主题定义了一组句子之间的语义连接,每个句子具有一定程度的隶属关系,我们提出了一个模糊超图模型,其中节点是句子和模糊超边的主题。为了产生一个信息丰富的摘要,我们从语料库中提取一组句子,同时最大限度地提高他们的相关性,用户定义的查询,他们的中心在模糊超图和他们的覆盖面的主题存在于语料库中。我们制定了一个多项式时间算法的理论基础上的次模函数来解决相关的优化问题。与其他基于图的摘要系统进行了深入的比较分析。我们得到的结果表明,我们的方法在内容覆盖的摘要方面的优越性。
2019-06-22 cs.AI cs.CL
Towards automatic extractive text summarization of A-133 Single Audit reports with machine learning
Harvard Medical School(哈佛医学院);Elder Research, Inc.(埃尔德研究公司);Clarkson University(克拉克森大学)
文本数据的快速增长推动了基于机器学习的自动文本摘要策略的发展,这些策略可以简洁地捕捉更大文本中的基本思想。本研究的目的是设计一个提取汇总方法的A-133单一审计,评估联邦补助金的接受者是否符合使用联邦资金的计划要求。目前,这些大量的审计必须由官员手动分析,以进行监督、风险管理和优先排序。自动总结有可能简化这些流程。分析集中在2016-2018年约20,000项单一审计的“发现”部分。在文本预处理和GloVe嵌入之后,执行了分级k均值聚类以按主题划分句子并确定每个句子的重要性。对于每次审计,通过与聚类中心的接近度提取关键摘要句子。通过非专家人工评价对总结进行判断,并使用ROUGE指标与人工生成的总结进行比较。虽然目标是完全自动化A-133审计摘要,但由于审计写作风格、内容和上下文的差异很大,因此在各个阶段都需要人工输入。人工输入的示例包括聚类的数量、基于其内容相关性保留或丢弃某些聚类的选择以及顶句的定义。总体而言,这一方法在自动提取A-133审计摘要方面取得了进展,未来的工作重点是全面自动化和提高摘要的一致性。这项工作突出了在现实世界中的应用程序的自动摘要的固有困难和主观性。
2019-11-08 cs.CL cs.LG stat.ML
Modeling, comprehending and summarizing textual content by graphs
自动摘要技术已经成功地应用于文本摘要和文本内容的提取。通常,摘要是使用文本语料库生成的,这些文本语料库属于将使用摘要的相同领域。尽管如此,也有一些特殊情况,即没有找到足够的文本来源,一种可能的替代方法是从不同的域生成摘要。概括文本的一种方式包括使用图模型。该模型允许对与在摘要文本中发现的目标领域的主要概念相对应的词给予更多的重要性。这使读者对主要的文本概念以及它们之间的关系有一个概述。然而,与人工生成的摘要相比,这种摘要呈现了大量的重复术语。在本文中,我们提出了一种方法来产生图模型提取摘要的文本,满足目标领域的要求,并处理术语重复问题。为了评估这一命题,我们进行了一系列实验,结果表明,所提出的方法在统计上提高了基于图中心性的模型的性能,实现了更好的覆盖率、准确率和召回率。
2018-07-01 cs.CL cs.IR