Unsupervised Keyphrase Extraction with Multipartite Graphs
LS2N, Université de Nantes(LS2N,南特大学)
我们提出了一个无监督的关键词提取模型,编码主题信息的多部图结构。我们的模型表示关键词候选人和主题在一个单一的图,并利用它们相互加强的关系,以提高候选人的排名。我们进一步引入了一种新的机制,将关键词选择偏好的模型。在三个广泛使用的数据集上进行的实验表明,与最先进的基于图的模型相比,该模型有了显着的改进。
2018-04-16 cs.CL cs.IR
KERT: Automatic Extraction and Ranking of Topical Keyphrases from Content-Representative Document Titles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Massachussets Amherst(马萨诸塞大学阿默斯特分校)
我们介绍KERT(关键词提取和排名的主题),主题关键词生成和排名的框架。通过从以单字为中心的传统无监督关键短语提取方法转变为以短语为中心的方法,我们能够直接比较和排名不同长度的短语。我们构建了一个主题关键词排名函数,它实现了代表高质量主题关键词的四个标准(覆盖率,纯度,短语性和完整性)。在计算机科学和物理学领域的两个内容代表性标题集合上证明了我们方法的有效性。
2013-06-03 cs.IR cs.LG
A Review of Keyphrase Extraction
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一项文本信息处理任务,涉及从文档中自动提取表达其内容的所有关键方面的代表性和特征性短语。关键词是对文档的一种简洁的概念性概括,在数字信息管理系统中,关键词对于语义索引、分面搜索、文档聚类和分类等都非常有用。本文介绍了关键词提取,对现有工作进行了结构良好的回顾,对不同的评估方法提供了有趣的见解,突出了开放的问题,并在五个数据集上对流行的无监督技术进行了比较实验研究。
2019-07-30 cs.CL cs.IR
SEAL: Scientific Keyphrase Extraction and Classification
Indian Institute of Technology, Gandhinagar(甘地纳加尔印度理工学院)
自动科学关键词提取是一个具有挑战性的问题,促进一些下游的学术任务,如搜索,推荐和排名。在本文中,我们介绍了SEAL,自动关键词提取和分类的学术工具。关键短语提取模块包括两级神经架构,其由用条件随机场增强的双向长短期记忆细胞组成。分类模块包括随机森林分类器。我们进行了广泛的实验,以展示系统的鲁棒性。我们评估了多个最先进的基线,并显示出显着的改善。目前的系统托管在http://lingo.iitgn.ac.in:5000/。
2020-06-05 cs.CL cs.IR
Extraction of Keyphrases from Text: Evaluation of Four Algorithms
这份报告提出了一个实证评估的四个算法自动提取关键字和关键短语的文件。使用五个不同的文件集合的四种算法进行比较。对于每个文档,我们都有一组目标关键词,这些关键词是手工生成的。目标关键词是为人类读者生成的;它们不是为四种关键词提取算法中的任何一种而定制的。每个算法都通过算法的关键词与手动生成的关键词的匹配程度进行评估。这四种算法是(1)微软Word 97中的自动摘要功能,(2)基于Eric Brill的词性标记器的算法,(3)Verity Search 97中的摘要功能,以及(4)NRC的提取器算法。对于所有五个文档集合,NRC的Extractor会产生与手动生成的关键词的最佳匹配。
2002-12-08 cs.IR cs.LG
Open Domain Web Keyphrase Extraction Beyond Language Modeling
Microsoft AI and Research(微软人工智能与研究院)
本文研究了现实世界中文档来自不同领域并且具有不同内容质量的关键词提取。我们策划并发布了OpenKP,这是一个大规模的开放领域关键词提取数据集,包含近十万个Web文档和专家关键词注释。为了处理域和内容质量的变化,我们开发了BLING-KPE,这是一种神经关键短语提取模型,它使用文档的视觉呈现和搜索查询的弱监督,超越了语言理解。OpenKP上的实验结果证实了BLING-KPE的有效性及其神经结构,视觉特征和搜索日志弱监督的贡献。对DUC-2001的Zero-shot评价表明,与特定领域相比,从开放领域数据学习的泛化能力得到了提高。
2019-11-06 cs.CL cs.IR
Mining the Web for Lexical Knowledge to Improve Keyphrase Extraction: Learning from Labeled and Unlabeled Data
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。通过将其作为一个监督学习问题来处理,在此任务上获得了良好的性能。输入文档被视为一组候选短语,这些短语必须被分类为关键短语或非关键短语。为了将候选短语分类为关键短语,最重要的特征(属性)似乎是候选短语在文档中的频率和位置。最近的工作已经证明,知道候选短语的频率作为针对与给定文档相同的域中的其他文档的手动分配的关键短语(例如,计算机科学的领域)。不幸的是,这个关键词频率特征是特定于域的(必须为每个新域重复学习过程)和训练密集型的(良好的性能需要给定域中相对大量的训练文档,并手动分配关键词)。本文所述工作的目的是消除这些限制。在本文中,我介绍了新的功能,从一个非常大的收集未标记的数据,包括约3.5亿个网页,没有手动分配的关键词挖掘词汇知识。我提出的实验表明,新的功能,改善了关键词提取的结果,虽然他们既不是特定领域的,也不是训练密集型。
2002-12-08 cs.IR cs.LG
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说,大多数输出关键短语可以很好地配合在一起,但是可能存在少数看起来是离群值,与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法,旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明,增强提高了提取的关键词的质量。此外,增强不是特定于域的:当在一个域(计算机科学文档)上训练并在另一个域(物理文档)上测试时,该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
Keyphrase Extraction : Enhancing Lists
National Research Council of Canada(加拿大国家研究委员会);Language Technologies Research Centre(语言技术研究中心)
本文提出了一些适度的改进提取器,一个国家的最先进的关键词提取系统,通过使用TB大小的语料库来估计关键词的信息量和语义相似性。我们提出了两种技术来改善组织和删除关键词列表的离群值。第一种是根据它们在语料库中的出现情况进行简单的排序;第二种是根据语义相似度进行聚类。讨论了评价问题。我们提出了一种新的技术,提取的关键词进行比较的黄金标准,依赖于语义相似性,而不是字符串匹配或评估涉及人类法官。
2012-04-01 cs.CL cs.IR
A Hybrid Approach to Extract Keyphrases from Medical Documents
Jadavpur University(贾达普大学)
关键词是由一个或多个词组成的短语,代表文章中的重要概念。关键词是有用的各种任务,如文本摘要,自动索引,聚类/分类,文本挖掘等。本文提出了一种混合的方法,从医学文档中提取关键词。本文提出的关键词提取方法是两种方法的融合:第一种方法是基于位置、词频、逆文档频率等特征的有效组合来为候选关键词分配权重,第二种方法是使用关于候选关键词与存储器(存储的关键词列表)中的关键词的结构和特征的相似性的一些知识来为候选关键词分配权重。本文还介绍了一种有效的候选关键词识别方法作为建议的关键词提取系统的第一个组成部分。实验结果表明,所提出的混合方法的性能优于一些国家的最先进的关键词提取方法。
2014-01-25 cs.CL cs.IR
Importance Estimation from Multiple Perspectives for Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本文提出KIEMP方法,通过分块、排序和匹配三个模块从句法准确性、信息显著性和概念一致性多视角估计关键词重要性,并在六个基准数据集上超越现有最先进方法。
2023-12-21 cs.CL cs.IR
PromptRank: Unsupervised Keyphrase Extraction Using Prompt
提出无监督关键词抽取方法PromptRank,利用预训练语言模型的编码器-解码器架构和提示设计,在六个基准上超越最先进方法,F1分数相对提升最高达34.18%。
2023-05-15 cs.IR
Enhancing Keyphrase Extraction from Academic Articles with their Reference Information
Nanjing University of Science and Technology(南京理工大学)
随着互联网技术的发展,信息过载现象越来越明显。用户需要花费大量的时间来获取他们需要的信息。然而,高度概括文档信息的关键词有助于用户快速获取和理解文档。对于学术资源,大多数现有的研究通过论文的标题和摘要提取关键词。我们发现参考文献中的标题信息也包含作者指定的关键词。因此,本文利用参考信息,应用两种典型的无监督提取方法(TF*IDF和TextRank)、两种具有代表性的传统监督学习算法(朴素贝叶斯和条件随机场)和一种有监督的深度学习模型(BiLSTM-CRF),分析参考信息在关键词提取中的具体表现。期望从扩展源文本的角度提高关键词识别的质量。实验结果表明,参考信息在一定程度上提高了关键词自动抽取的准确率、召回率和F1。这表明了学术论文关键词抽取参考信息的有用性,为后续的关键词自动抽取研究提供了一种新的思路。
2021-11-30 cs.CL cs.DL cs.IR
Keyphrase Extraction using Sequential Labeling
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
关键字有效地概括了文档的内容,并用于各种文档处理和检索任务。存在用于从文本文档中提取关键词的几种无监督技术和分类器。这些方法中的大多数在短语级别上操作,并且依赖于用于候选短语生成的词性(POS)过滤器。此外,它们不直接处理不同长度的关键词。我们克服了这些建模的缺点,在本文中解决关键词提取作为一个连续的标签任务。我们探索了NLP任务中常用的一组基本特征,以及来自各种无监督方法的预测,以训练我们的标记器。除了一个更自然的建模的关键词提取问题,我们表明,标记模型产生显着的性能优势,现有的国家的最先进的提取方法。
2016-08-03 cs.AI cs.CL cs.IR
Topic Aware Contextualized Embeddings for High Quality Phrase Extraction
从给定文档中提取关键词是自动提取最能描述文档的显著短语的任务。本文提出了一种新的无监督的基于图的排名方法,从给定的文档中提取高质量的短语。我们从预训练的语言模型中获得上下文嵌入,这些语言模型富含来自潜在狄利克雷分配(LDA)的主题向量,以表示候选短语和文档。我们引入了一个评分机制的短语使用上下文嵌入和主题向量获得的信息。使用一个无向图上的排名算法为给定的文件中提取的显着的短语。在无向图中,节点表示短语,短语之间的边表示它们之间的语义相关性,通过从评分机制获得的分数进行加权。为了证明我们提出的方法的有效性,我们在科学领域的开源数据集上进行了几次实验,并观察到我们的新方法优于现有的基于无监督嵌入的关键词提取方法。例如,在SemEval2017数据集上,我们的方法将F1得分从0.2195(EmbedRank)提高到前10个提取的关键词的0.2819。该算法的几个变种进行了研究,以确定其对关键词的质量的影响。我们进一步证明了我们所提出的方法收集额外的高质量的关键词,不存在于文档中的外部知识库,如维基百科丰富的文件与新发现的关键词的能力。我们在一组带注释的文档上评估这一步骤。前10个扩展关键词的F1分数为0.60,表明我们的算法也可以用于使用外部知识的“概念”扩展。
2022-01-17 cs.IR
Keyphrase Extraction from Disaster-related Tweets
Kansas State University(堪萨斯州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
虽然关键词提取近年来受到了相当大的关注,但从Twitter等社交媒体平台提取关键词的研究相对较少,从这些来源提取与灾害相关的关键词的研究更少。在灾难期间,关键词对于过滤相关推文非常有用,可以增强态势感知。此前,针对关键字发现和关键词提取的堆叠递归神经网络的两个不同层的联合训练已被证明在从一般Twitter数据中提取关键词方面是有效的。我们提高了模型的性能,一般的Twitter数据和灾害相关的Twitter数据,将上下文词嵌入,POS标签,语音和音韵特征。此外,我们讨论了经常使用的F1-措施的缺点,用于评估预测的关键词的质量相对于地面实况注释。我们建议使用基于嵌入的指标来更好地捕获预测关键词的正确性,而不是F1度量。此外,我们还提出了一种新的扩展的嵌入为基础的度量。该扩展允许更好地控制地面实况和预测关键词数量差异的惩罚
2019-10-17 cs.CL cs.IR cs.LG
Inflo: News Categorization and Keyphrase Extraction for Implementation in an Aggregation System
Hong Kong University of Science and Technology(香港科技大学)
本文的工作描述了一种用于自动新闻类别和关键短语标记的系统,在我们的动机的上下文中呈现,以提高用户可以在聚合平台内找到相关和有趣的内容的速度。将一组12个离散类别应用于超过50万篇新闻文章,以训练神经网络,用于促进提取最重要关键词的更深入任务。后者使用三种方法:统计,图形和数字,使用预先确定的类别标签,以提高提取的短语的相关性。结果在演示中呈现,其中文章通过News API预先填充,并且在被选择时,类别和关键词标签将通过本文解释的方法计算。
2018-12-10 cs.CL cs.IR
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas(北德克萨斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
关键词和关键短语提取是自然语言处理中的一个重要问题,其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的,很容易在在线系统中采用,但它们是否能从PageRank以外的中心性度量中受益,在很大程度上仍然是开放的。在本文中,我们在单词和名词短语搭配网络上实验了一系列中心性度量,并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好,而且它们更简单(例如,度、强度和邻域大小)。此外,基于中心的方法给出的结果与两个强无监督基线竞争,并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Enhancing Keyphrase Extraction from Microblogs using Human Reading Time
Nanjing University of Science and Technology(南京理工大学)
人工关键词标注的前提是读取标注对象的相应内容。直觉告诉我们,当我们阅读时,更重要的单词会占据更长的阅读时间。因此,通过利用人类的阅读时间,我们可以在相应的内容中找到突出的单词。然而,以往的关键词提取研究忽略了人类的阅读特征。在本文中,我们的目标是利用人类的阅读时间从微博帖子中提取关键词。本研究的主要任务有两个。一个是确定如何测量人类阅读一个单词所花费的时间。我们使用从开源眼动追踪语料库(OSEC)中提取的眼动注视持续时间。此外,我们提出了策略,使眼睛注视时间更有效的关键词提取。另一个任务是确定如何将人类阅读时间整合到关键短语提取模型中。我们提出了两个新的神经网络模型。第一种是将人类阅读时间作为注意力机制的基础事实的模型。在第二个模型中,我们使用人类阅读时间作为外部特征。定量和定性实验表明,我们提出的模型产生更好的性能比基线模型在两个微博数据集。
2020-10-25 cs.CL cs.HC cs.IR
LongKey: Keyphrase Extraction for Long Documents
University of Luxembourg(卢森堡大学);Pontifícia Universidade Católica do Paraná(巴拉那天主教大学)
针对长文档关键短语提取的空白,提出LongKey框架,利用编码器语言模型和最大池化嵌入器,在LDKP及六个未见数据集上超越现有方法。
2024-11-26 cs.AI cs.CL cs.IR
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本文提出双曲匹配模型HyperMatch,将短语和文档嵌入同一双曲空间,用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题,在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
Learning Algorithms for Keyphrase Extraction
许多学术期刊要求作者提供一个包含5到15个关键词的列表,并出现在每篇文章的第一页。由于这些关键词通常是由两个或两个以上的词组成的短语,我们更喜欢称之为关键短语。正如我们在本文中讨论的那样,关键词对各种各样的任务都很有用。我们的方法自动提取关键词的文本作为一个监督学习任务的问题。我们将文档视为一组短语,学习算法必须学习将其分类为关键短语的正面或负面示例。我们的第一组实验将C4.5决策树归纳算法应用于该学习任务。我们评估了九种不同配置的C4.5的性能。第二组实验将GenEx算法应用于任务。我们开发了GenEx算法,专门用于从文本中自动提取关键词。实验结果支持的说法,定制设计的算法(GenEx),结合专门的程序领域的知识,可以产生更好的关键词比通用算法(C4.5)。对Extractor生成的关键词的主观人类评估表明,大约80%的关键词是人类读者可以接受的。这种性能水平对于各种各样的应用应该是令人满意的。
2002-12-10 cs.CL cs.IR cs.LG
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI(伦斯勒理工学院)
关键词提取是在文本文档中找到几个有趣的短语的任务,这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是,一个词在文档中可能有不同的表达形式,也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中,我们利用词嵌入作为背景知识来增强基于图的排序模型,以向词间图添加语义信息。我们的方法进行了评估,建立基准数据集和实证结果表明,词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
Replication of the Keyword Extraction part of the paper "'Without the Clutter of Unimportant Words': Descriptive Keyphrases for Text Visualization"
Stanford University(斯坦福大学)
“关键词提取”是指自动识别自然语言文本中最相关和信息量最大的短语的任务。当我们被大量不同形式和内容的文本数据所淹没时--电子邮件、博客、推文、Facebook帖子、学术论文、新闻文章--通过某种方式将这些文本总结成一个连贯的结构来“理解”所有这些文本的任务变得至关重要。关键词提取--自然语言处理中一个公认的问题--可以在这里帮助我们。在这份报告中,我们构建并测试了三个不同的假设(都与关键词提取任务有关),这些假设使我们更接近于理解如何有意义地识别和提取“描述性”关键词。这里报告的工作是作为复制Chuang等人研究的一部分完成的。[3]。
2019-08-15 cs.CL cs.DL cs.IR
GraphEx: A Graph-based Extraction Method for Advertiser Keyphrase Recommendation
Dept. of Computer Science Pennsylvania State University(计算机科学系宾夕法尼亚州立大学);eBay Advertising eBay Inc.(eBay广告部eBay公司)
提出GraphEx,一种基于图的关键词推荐方法,通过从商品标题提取词元排列生成推荐,并改进评估指标,在eBay上优于生产模型,支持近实时推理和数十亿商品规模。
2025-04-28 cs.CL cs.IR cs.LG
GLEAKE: Global and Local Embedding Automatic Keyphrase Extraction
Georgia State University(佐治亚州立大学)
在过去的几年里,随着科学、新闻、医学和Web文档的增长,大型文本文档语料库的粒度分类的自动化方法变得越来越重要。自动关键词提取(AKE)的目的是从单个文本文档中自动检测一小部分单个或多个单词,这些单词捕获了文档的主要主题。AKE在各种自然语言处理和信息检索任务中起着重要的作用,如文档摘要和分类、全文索引和文章推荐。由于不同文本内容中缺乏足够的人工标记数据,监督学习方法对于从文本主体内容中自动检测关键短语并不理想。随着文本嵌入技术的最新进展,NLP研究人员专注于开发无监督方法,以从原始数据集中获得有意义的见解。在这项工作中,我们介绍了全球和本地嵌入自动关键词提取器(GLEAKE)的任务AKE。GLEAKE使用单个和多个词嵌入技术来探索候选短语的句法和语义方面,然后将它们组合成一系列基于嵌入的图。此外,GLEAKE在每个基于嵌入的图上应用网络分析技术,以将最重要的短语细化为最终的关键短语集。我们通过对来自不同领域和写作风格的五个标准AKE数据集进行评估,并显示其相对于其他最先进方法的优越性,展示了GLEAKE的高性能。
2020-05-19 cs.CL cs.IR
Attention-Seeker: Dynamic Self-Attention Scoring for Unsupervised Keyphrase Extraction
Kyushu University(九州大学);Graduate School of Information Science and Electrical Engineering, Kyushu University(九州大学情报科学与电气工程学院)
本文提出Attention-Seeker,一种利用大语言模型自注意力图动态评分候选短语的无监督关键词提取方法,无需手动调参,在四个公开数据集上多数达到最优性能,尤其擅长长文档。
2024-12-16 cs.CL cs.IR
A new keyphrases extraction method based on suffix tree data structure for arabic documents clustering
Sidi Mohamed Ben Abdellah University(西迪·穆罕默德·本·阿卜杜拉大学)
文档聚类是数据采掘的一个分支,它是一种无监督的分类,用于在未标记的数据集合中找到结构。在使用全文表示时,文档中的有用信息可能伴随着大量的噪声词,因此会对聚类过程的结果产生负面影响。因此,为了提高聚类结果的质量,就需要在保留有用信息的基础上去除噪声词。这个问题发生在不同程度的任何语言,如英语,欧洲,印地语,中文和阿拉伯语。为了克服这个问题,本文提出了一种新的基于后缀树数据结构(KpST)的关键词提取方法,并将提取的关键词用于聚类过程中。所提出的关键词提取方法与语言无关,因此可以应用于任何语言。在这项研究中,我们感兴趣的是处理阿拉伯语,这是最复杂的语言之一。为了评估我们的方法,我们进行了实验研究阿拉伯文文档使用最流行的聚类方法的层次算法:凝聚层次算法与七个链接技术和各种距离函数和相似性措施,以执行阿拉伯文文档聚类任务。实验结果表明,该方法提高了聚类结果的质量。我们还建议研究使用测试数据集的词干聚类它与相同的文档聚类技术和相似性/距离措施的效果。
2014-01-22 cs.CL cs.IR
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法,采用候选短语统计和位置特征与轻量集成模型,不依赖外部知识和预训练模型,在基准测试中准确率优于多数现有模型,兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
Enhancing Keyphrase Extraction from Academic Articles Using Section Structure Information
Nanjing University of Science and Technology(南京理工大学);Soochow University(苏州大学)
针对学术文章关键词抽取中摘要语义受限、全文抽取引入噪声的问题,提出利用章节结构特征与章节文本整合的方法,有效提升了抽取性能,并验证了章节分类质量的影响。
2025-05-20 cs.CL cs.DL cs.IR
Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus
本研究构建了含FFD、FN、TFD特征的CLIS-ET语料库,将眼动特征融入KPE模型,发现FN与TFD组合在Att-BiLSTM+CRF模型上提升了中文学术摘要的关键词抽取性能。
2026-08-12 cs.CL cs.DL cs.HC
Prioritization of COVID-19-related literature via unsupervised keyphrase extraction and document representation learning
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯蒂芬国际研究生院);University of Maribor(马里博尔大学)
COVID-19大流行引发了一波新的科学文献,这些文献不可能在合理的时间范围内手动检查和研究。当前的机器学习方法提供了将此类文献主体投影到向量空间中,其中类似的文档彼此靠近,从而提供了对科学论文和与COVID-19相关的其他知识源的深入探索。然而,要开始搜索,需要对这些文本进行适当的注释,但由于缺乏人力资源,这种情况很少发生。在我们的系统中,使用无监督的关键词提取来注释当前的COVID-19相关文献,从而促进对包含学习的文档嵌入(低维表示)的潜在空间的初始查询。该解决方案是通过一个网络服务器能够交互式搜索,术语排名,并探索潜在的有趣的文献。我们通过药物化学领域的案例研究证明了该方法的实用性。
2021-10-17 cs.CL cs.DL cs.IR
Neural Keyphrase Generation: Analysis and Evaluation
Amazon(亚马逊);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文分析T5、CatSeq-Transformer和ExHiRD在关键词生成中的置信度、校准与位置效应,并提出考虑部分匹配和语义相似性的SoftKeyScore评估框架。
2023-04-27 cs.CL cs.IR
Redefining Absent Keyphrases and their Effect on Retrieval Effectiveness
LS2N, Université de Nantes(南特大学 LS2N)
神经关键词生成模型最近引起了人们的极大兴趣,因为它们能够输出缺失的关键词,即没有出现在源文本中的关键词。在本文中,我们讨论了信息检索(IR)的角度来看,缺席的关键词的有用性,并表明,目前和缺席的关键词之间的共同绘制的区别是不够明确。我们引入了一个更细粒度的分类方案,揭示了更多的影响缺席的关键词对科学文献检索。在此方案下,我们发现,只有一小部分(约20%)的话,使关键词实际上作为文档扩展,但这一小部分的话是背后的大部分收益观察到的检索效率。我们还讨论了该方案如何提供一个新的角度来评估神经关键词生成模型的输出。
2021-04-02 cs.CL cs.IR
Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs
研究利用脑电图(EEG)和眼动追踪信号增强微博关键词抽取(AKE),发现EEG特征带来最大性能提升,两种信号部分互补但存在冗余。
2026-06-26 cs.CL cs.DL cs.HC
DivGraphPointer: A Graph Pointer Network for Extracting Diverse Keyphrases
Peking University(北京大学);Mila-Quebec Institute for Learning Algorithms(魁北克学习算法研究所(Mila));HEC Montréal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学)
从文档中提取关键词对于诸如信息检索和文档摘要等各种应用都是有用的。本文提出了一种端到端的方法,称为DivGraphPointer从文档中提取一组多样化的关键词。DivGraphPointer结合了传统的基于图的排名方法和最近的基于神经网络的方法的优点。具体地,给定文档,基于词接近度从文档构造词图,并且利用图卷积网络对其进行编码,其通过对文档中的词之间的长距离依赖性进行建模并且将相同词的多次出现聚集到一个节点中来有效地捕获文档级词显著性。此外,我们提出了一个多样化的点网络,以产生一组不同的关键词的词图在解码过程中。五个基准数据集上的实验结果表明,我们提出的方法显着优于现有的国家的最先进的方法。
2019-05-19 cs.CL cs.IR
Retrieval-efficiency trade-off of Unsupervised Keyword Extraction
本文提出一种无监督关键词提取方法,通过顺序合并文档部分并利用个性化PageRank,在保持最先进检索性能的同时,速度比现有方法快两个数量级,并能在不到一分钟内处理1400万篇文档。
2022-08-15 cs.IR
Automated Annotation of Scientific Texts for ML-based Keyphrase Extraction and Validation
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);DOE Joint Genome Institute(美国能源部联合基因组研究所)
本文针对环境基因组学等缺乏元数据的科学文本,提出两种自动文本标注方法,分别利用相关数据源关系和领域词表本体,为机器学习生成元数据验证提供标签,实验显示高达44%的标签与机器学习关键词提取算法结果匹配。
2023-11-08 cs.AI cs.IR cs.LG
Ensemble Neural Relation Extraction with Adaptive Boosting
关系抽取是从开放语料库中抽取新的关系事实的一种方法。以往的关系抽取方法都面临着标注错误和数据噪声的问题,这大大降低了模型的性能。在本文中,我们提出了一个集成神经网络模型-自适应Boosting LSTM与注意力,更有效地执行关系抽取。具体来说,我们的模型首先采用递归神经网络LSTM嵌入每个句子。然后,我们将注意力引入LSTM,考虑到句子中的单词对句子的语义意义的贡献并不相等。接下来,通过自适应提升,我们策略性地构建了几个这样的神经分类器。通过将多个这样的LSTM分类器与自适应提升进行集成,我们可以构建一个更有效和鲁棒的基于联合集成的神经网络的关系提取器。在真实数据集上的实验结果表明,该模型的性能优越,与现有模型相比,F1分数提高了约8%。
2018-04-28 cs.IR
Complex Network based Supervised Keyword Extractor
University of Delhi(德里大学)
在本文中,我们提出了一个监督的框架自动提取关键字从单文档。我们将文本建模为复杂网络,通过提取选择节点属性来构造特征集,并利用几个节点属性,通过无监督的、基于图的关键词提取方法来区分关键词和非关键词。我们利用节点属性之间复杂的相互作用来设计一种有监督的关键字提取方法。训练集是从特征集中创建的,方法是根据候选关键字是否被列为黄金标准关键字,为每个候选关键字分配一个标签。由于文档中关键字的数量远远少于非关键字,因此策划的训练集自然是不平衡的。我们训练一个二元分类器来预测关键字后,平衡的训练集。该模型使用来自科学领域的两个公共数据集进行训练,并使用三个看不见的科学语料库和一个新闻语料库进行测试。与最近几种关键词和关键短语提取方法的比较研究结果表明,该方法在大多数情况下表现更好。这证实了我们的说法,图论属性的话是有效的关键字和非关键字之间的鉴别。我们支持我们的论点表明,所提出的方法的改进性能是统计上显着的所有数据集。我们还评估了预训练模型在印地语和阿萨姆语文档上的有效性。我们观察到,该模型对跨语言文本的表现同样出色,即使它只在英语文档上进行训练。这表明,该方法是独立的领域,收集和语言的训练语料库。
2019-09-26 cs.IR cs.LG
Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction
University of Liverpool(利物浦大学)
本文提出了一种结合长短期记忆和卷积神经网络(LSTM-CNN)的模型,利用词嵌入和位置嵌入进行跨句n元关系抽取。该模型结合了LSTM和CNN的特性,同时利用长距离序列信息并捕获最具信息性的特征,这对于跨句子的n元关系抽取至关重要。LSTM-CNN模型在跨句子n元关系抽取的标准数据集上进行评估,其性能显著优于CNN、LSTM以及组合的CNN-LSTM模型等基线。本文还表明,LSTM-CNN模型在跨句子n元关系抽取方面优于当前最先进的方法。
2018-11-02 cs.CL cs.IR
End-to-end neural relation extraction using deep biaffine attention
The University of Melbourne(墨尔本大学)
我们提出了一个神经网络模型的联合提取命名实体和它们之间的关系,没有任何手工制作的功能。我们的模型的主要贡献是扩展了一个基于BiLSTM-CRF的实体识别模型,该模型具有一个深的双仿射注意层,可以对关系分类的潜在特征之间的二阶交互进行建模,特别是关注实体在方向关系中的作用。在基准测试“关系和实体识别”数据集CoNLL 04上,实验结果表明,我们的模型优于以前的模型,产生了新的最先进的性能。
2018-12-29 cs.CL cs.IR
Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
Toyota Technological Institute(丰田工业大学);Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所人工智能研究中心)
句间关系抽取处理的是文档中大量复杂的语义关系,这些关系需要局部、非局部、句法和语义依赖。现有的方法没有充分利用这种依赖性。本文提出了一种新的句间关系抽取模型,该模型在文档级图上建立了一个标记边图卷积神经网络模型。该图使用各种句间和句内依赖关系来构建,以捕获本地和非本地依赖关系信息。为了预测实体对的关系,我们利用双仿射成对评分的多实例学习。实验结果表明,我们的模型在两个生物化学数据集上实现了与最先进的神经模型相当的性能。我们的分析表明,图中的所有类型是有效的句间关系抽取。
2019-06-11 cs.CL cs.IR
Information Extraction with Character-level Neural Networks and Free Noisy Supervision
Bloomberg LP(彭博有限合伙企业);AT&T Labs Research(AT&T实验室研究部)
我们提出了一个架构,信息抽取,从文本中增强了现有的分析器与字符级神经网络。使用提取的数据与现有数据库的一致性度量作为噪声监督的形式来训练网络。我们的架构结合了基于约束的信息抽取系统的能力,可以轻松地将领域知识和约束与深度神经网络的能力结合起来,利用大量数据来学习复杂的特征。该系统提高了现有解析器的精度,大大改进了彭博社用于金融语言文本的成熟和高度调整的基于约束的生产信息抽取系统。
2017-01-24 cs.CL cs.IR cs.LG