Unsupervised Keyphrase Extraction with Multipartite Graphs
LS2N, Université de Nantes(LS2N,南特大学)
我们提出了一个无监督的关键词提取模型,编码主题信息的多部图结构。我们的模型表示关键词候选人和主题在一个单一的图,并利用它们相互加强的关系,以提高候选人的排名。我们进一步引入了一种新的机制,将关键词选择偏好的模型。在三个广泛使用的数据集上进行的实验表明,与最先进的基于图的模型相比,该模型有了显着的改进。
2018-04-16 cs.CL cs.IR
KERT: Automatic Extraction and Ranking of Topical Keyphrases from Content-Representative Document Titles
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Massachussets Amherst(马萨诸塞大学阿默斯特分校)
我们介绍KERT(关键词提取和排名的主题),主题关键词生成和排名的框架。通过从以单字为中心的传统无监督关键短语提取方法转变为以短语为中心的方法,我们能够直接比较和排名不同长度的短语。我们构建了一个主题关键词排名函数,它实现了代表高质量主题关键词的四个标准(覆盖率,纯度,短语性和完整性)。在计算机科学和物理学领域的两个内容代表性标题集合上证明了我们方法的有效性。
2013-06-03 cs.IR cs.LG
A Review of Keyphrase Extraction
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一项文本信息处理任务,涉及从文档中自动提取表达其内容的所有关键方面的代表性和特征性短语。关键词是对文档的一种简洁的概念性概括,在数字信息管理系统中,关键词对于语义索引、分面搜索、文档聚类和分类等都非常有用。本文介绍了关键词提取,对现有工作进行了结构良好的回顾,对不同的评估方法提供了有趣的见解,突出了开放的问题,并在五个数据集上对流行的无监督技术进行了比较实验研究。
2019-07-30 cs.CL cs.IR
SEAL: Scientific Keyphrase Extraction and Classification
Indian Institute of Technology, Gandhinagar(甘地纳加尔印度理工学院)
自动科学关键词提取是一个具有挑战性的问题,促进一些下游的学术任务,如搜索,推荐和排名。在本文中,我们介绍了SEAL,自动关键词提取和分类的学术工具。关键短语提取模块包括两级神经架构,其由用条件随机场增强的双向长短期记忆细胞组成。分类模块包括随机森林分类器。我们进行了广泛的实验,以展示系统的鲁棒性。我们评估了多个最先进的基线,并显示出显着的改善。目前的系统托管在http://lingo.iitgn.ac.in:5000/。
2020-06-05 cs.CL cs.IR
Extraction of Keyphrases from Text: Evaluation of Four Algorithms
这份报告提出了一个实证评估的四个算法自动提取关键字和关键短语的文件。使用五个不同的文件集合的四种算法进行比较。对于每个文档,我们都有一组目标关键词,这些关键词是手工生成的。目标关键词是为人类读者生成的;它们不是为四种关键词提取算法中的任何一种而定制的。每个算法都通过算法的关键词与手动生成的关键词的匹配程度进行评估。这四种算法是(1)微软Word 97中的自动摘要功能,(2)基于Eric Brill的词性标记器的算法,(3)Verity Search 97中的摘要功能,以及(4)NRC的提取器算法。对于所有五个文档集合,NRC的Extractor会产生与手动生成的关键词的最佳匹配。
2002-12-08 cs.IR cs.LG
Open Domain Web Keyphrase Extraction Beyond Language Modeling
Microsoft AI and Research(微软人工智能与研究院)
本文研究了现实世界中文档来自不同领域并且具有不同内容质量的关键词提取。我们策划并发布了OpenKP,这是一个大规模的开放领域关键词提取数据集,包含近十万个Web文档和专家关键词注释。为了处理域和内容质量的变化,我们开发了BLING-KPE,这是一种神经关键短语提取模型,它使用文档的视觉呈现和搜索查询的弱监督,超越了语言理解。OpenKP上的实验结果证实了BLING-KPE的有效性及其神经结构,视觉特征和搜索日志弱监督的贡献。对DUC-2001的Zero-shot评价表明,与特定领域相比,从开放领域数据学习的泛化能力得到了提高。
2019-11-06 cs.CL cs.IR
Mining the Web for Lexical Knowledge to Improve Keyphrase Extraction: Learning from Labeled and Unlabeled Data
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。通过将其作为一个监督学习问题来处理,在此任务上获得了良好的性能。输入文档被视为一组候选短语,这些短语必须被分类为关键短语或非关键短语。为了将候选短语分类为关键短语,最重要的特征(属性)似乎是候选短语在文档中的频率和位置。最近的工作已经证明,知道候选短语的频率作为针对与给定文档相同的域中的其他文档的手动分配的关键短语(例如,计算机科学的领域)。不幸的是,这个关键词频率特征是特定于域的(必须为每个新域重复学习过程)和训练密集型的(良好的性能需要给定域中相对大量的训练文档,并手动分配关键词)。本文所述工作的目的是消除这些限制。在本文中,我介绍了新的功能,从一个非常大的收集未标记的数据,包括约3.5亿个网页,没有手动分配的关键词挖掘词汇知识。我提出的实验表明,新的功能,改善了关键词提取的结果,虽然他们既不是特定领域的,也不是训练密集型。
2002-12-08 cs.IR cs.LG
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说,大多数输出关键短语可以很好地配合在一起,但是可能存在少数看起来是离群值,与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法,旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明,增强提高了提取的关键词的质量。此外,增强不是特定于域的:当在一个域(计算机科学文档)上训练并在另一个域(物理文档)上测试时,该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
Keyphrase Extraction : Enhancing Lists
National Research Council of Canada(加拿大国家研究委员会);Language Technologies Research Centre(语言技术研究中心)
本文提出了一些适度的改进提取器,一个国家的最先进的关键词提取系统,通过使用TB大小的语料库来估计关键词的信息量和语义相似性。我们提出了两种技术来改善组织和删除关键词列表的离群值。第一种是根据它们在语料库中的出现情况进行简单的排序;第二种是根据语义相似度进行聚类。讨论了评价问题。我们提出了一种新的技术,提取的关键词进行比较的黄金标准,依赖于语义相似性,而不是字符串匹配或评估涉及人类法官。
2012-04-01 cs.CL cs.IR
A Hybrid Approach to Extract Keyphrases from Medical Documents
Jadavpur University(贾达普大学)
关键词是由一个或多个词组成的短语,代表文章中的重要概念。关键词是有用的各种任务,如文本摘要,自动索引,聚类/分类,文本挖掘等。本文提出了一种混合的方法,从医学文档中提取关键词。本文提出的关键词提取方法是两种方法的融合:第一种方法是基于位置、词频、逆文档频率等特征的有效组合来为候选关键词分配权重,第二种方法是使用关于候选关键词与存储器(存储的关键词列表)中的关键词的结构和特征的相似性的一些知识来为候选关键词分配权重。本文还介绍了一种有效的候选关键词识别方法作为建议的关键词提取系统的第一个组成部分。实验结果表明,所提出的混合方法的性能优于一些国家的最先进的关键词提取方法。
2014-01-25 cs.CL cs.IR
Importance Estimation from Multiple Perspectives for Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本文提出KIEMP方法,通过分块、排序和匹配三个模块从句法准确性、信息显著性和概念一致性多视角估计关键词重要性,并在六个基准数据集上超越现有最先进方法。
2023-12-21 cs.CL cs.IR
PromptRank: Unsupervised Keyphrase Extraction Using Prompt
提出无监督关键词抽取方法PromptRank,利用预训练语言模型的编码器-解码器架构和提示设计,在六个基准上超越最先进方法,F1分数相对提升最高达34.18%。
2023-05-15 cs.IR
Enhancing Keyphrase Extraction from Academic Articles with their Reference Information
Nanjing University of Science and Technology(南京理工大学)
随着互联网技术的发展,信息过载现象越来越明显。用户需要花费大量的时间来获取他们需要的信息。然而,高度概括文档信息的关键词有助于用户快速获取和理解文档。对于学术资源,大多数现有的研究通过论文的标题和摘要提取关键词。我们发现参考文献中的标题信息也包含作者指定的关键词。因此,本文利用参考信息,应用两种典型的无监督提取方法(TF*IDF和TextRank)、两种具有代表性的传统监督学习算法(朴素贝叶斯和条件随机场)和一种有监督的深度学习模型(BiLSTM-CRF),分析参考信息在关键词提取中的具体表现。期望从扩展源文本的角度提高关键词识别的质量。实验结果表明,参考信息在一定程度上提高了关键词自动抽取的准确率、召回率和F1。这表明了学术论文关键词抽取参考信息的有用性,为后续的关键词自动抽取研究提供了一种新的思路。
2021-11-30 cs.CL cs.DL cs.IR
Keyphrase Extraction using Sequential Labeling
Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
关键字有效地概括了文档的内容,并用于各种文档处理和检索任务。存在用于从文本文档中提取关键词的几种无监督技术和分类器。这些方法中的大多数在短语级别上操作,并且依赖于用于候选短语生成的词性(POS)过滤器。此外,它们不直接处理不同长度的关键词。我们克服了这些建模的缺点,在本文中解决关键词提取作为一个连续的标签任务。我们探索了NLP任务中常用的一组基本特征,以及来自各种无监督方法的预测,以训练我们的标记器。除了一个更自然的建模的关键词提取问题,我们表明,标记模型产生显着的性能优势,现有的国家的最先进的提取方法。
2016-08-03 cs.AI cs.CL cs.IR
Topic Aware Contextualized Embeddings for High Quality Phrase Extraction
从给定文档中提取关键词是自动提取最能描述文档的显著短语的任务。本文提出了一种新的无监督的基于图的排名方法,从给定的文档中提取高质量的短语。我们从预训练的语言模型中获得上下文嵌入,这些语言模型富含来自潜在狄利克雷分配(LDA)的主题向量,以表示候选短语和文档。我们引入了一个评分机制的短语使用上下文嵌入和主题向量获得的信息。使用一个无向图上的排名算法为给定的文件中提取的显着的短语。在无向图中,节点表示短语,短语之间的边表示它们之间的语义相关性,通过从评分机制获得的分数进行加权。为了证明我们提出的方法的有效性,我们在科学领域的开源数据集上进行了几次实验,并观察到我们的新方法优于现有的基于无监督嵌入的关键词提取方法。例如,在SemEval2017数据集上,我们的方法将F1得分从0.2195(EmbedRank)提高到前10个提取的关键词的0.2819。该算法的几个变种进行了研究,以确定其对关键词的质量的影响。我们进一步证明了我们所提出的方法收集额外的高质量的关键词,不存在于文档中的外部知识库,如维基百科丰富的文件与新发现的关键词的能力。我们在一组带注释的文档上评估这一步骤。前10个扩展关键词的F1分数为0.60,表明我们的算法也可以用于使用外部知识的“概念”扩展。
2022-01-17 cs.IR
Keyphrase Extraction from Disaster-related Tweets
Kansas State University(堪萨斯州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
虽然关键词提取近年来受到了相当大的关注,但从Twitter等社交媒体平台提取关键词的研究相对较少,从这些来源提取与灾害相关的关键词的研究更少。在灾难期间,关键词对于过滤相关推文非常有用,可以增强态势感知。此前,针对关键字发现和关键词提取的堆叠递归神经网络的两个不同层的联合训练已被证明在从一般Twitter数据中提取关键词方面是有效的。我们提高了模型的性能,一般的Twitter数据和灾害相关的Twitter数据,将上下文词嵌入,POS标签,语音和音韵特征。此外,我们讨论了经常使用的F1-措施的缺点,用于评估预测的关键词的质量相对于地面实况注释。我们建议使用基于嵌入的指标来更好地捕获预测关键词的正确性,而不是F1度量。此外,我们还提出了一种新的扩展的嵌入为基础的度量。该扩展允许更好地控制地面实况和预测关键词数量差异的惩罚
2019-10-17 cs.CL cs.IR cs.LG
Inflo: News Categorization and Keyphrase Extraction for Implementation in an Aggregation System
Hong Kong University of Science and Technology(香港科技大学)
本文的工作描述了一种用于自动新闻类别和关键短语标记的系统,在我们的动机的上下文中呈现,以提高用户可以在聚合平台内找到相关和有趣的内容的速度。将一组12个离散类别应用于超过50万篇新闻文章,以训练神经网络,用于促进提取最重要关键词的更深入任务。后者使用三种方法:统计,图形和数字,使用预先确定的类别标签,以提高提取的短语的相关性。结果在演示中呈现,其中文章通过News API预先填充,并且在被选择时,类别和关键词标签将通过本文解释的方法计算。
2018-12-10 cs.CL cs.IR
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas(北德克萨斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
关键词和关键短语提取是自然语言处理中的一个重要问题,其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的,很容易在在线系统中采用,但它们是否能从PageRank以外的中心性度量中受益,在很大程度上仍然是开放的。在本文中,我们在单词和名词短语搭配网络上实验了一系列中心性度量,并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好,而且它们更简单(例如,度、强度和邻域大小)。此外,基于中心的方法给出的结果与两个强无监督基线竞争,并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Enhancing Keyphrase Extraction from Microblogs using Human Reading Time
Nanjing University of Science and Technology(南京理工大学)
人工关键词标注的前提是读取标注对象的相应内容。直觉告诉我们,当我们阅读时,更重要的单词会占据更长的阅读时间。因此,通过利用人类的阅读时间,我们可以在相应的内容中找到突出的单词。然而,以往的关键词提取研究忽略了人类的阅读特征。在本文中,我们的目标是利用人类的阅读时间从微博帖子中提取关键词。本研究的主要任务有两个。一个是确定如何测量人类阅读一个单词所花费的时间。我们使用从开源眼动追踪语料库(OSEC)中提取的眼动注视持续时间。此外,我们提出了策略,使眼睛注视时间更有效的关键词提取。另一个任务是确定如何将人类阅读时间整合到关键短语提取模型中。我们提出了两个新的神经网络模型。第一种是将人类阅读时间作为注意力机制的基础事实的模型。在第二个模型中,我们使用人类阅读时间作为外部特征。定量和定性实验表明,我们提出的模型产生更好的性能比基线模型在两个微博数据集。
2020-10-25 cs.CL cs.HC cs.IR
LongKey: Keyphrase Extraction for Long Documents
University of Luxembourg(卢森堡大学);Pontifícia Universidade Católica do Paraná(巴拉那天主教大学)
针对长文档关键短语提取的空白,提出LongKey框架,利用编码器语言模型和最大池化嵌入器,在LDKP及六个未见数据集上超越现有方法。
2024-11-26 cs.AI cs.CL cs.IR
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University(北京交通大学)
本文提出双曲匹配模型HyperMatch,将短语和文档嵌入同一双曲空间,用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题,在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
Learning Algorithms for Keyphrase Extraction
许多学术期刊要求作者提供一个包含5到15个关键词的列表,并出现在每篇文章的第一页。由于这些关键词通常是由两个或两个以上的词组成的短语,我们更喜欢称之为关键短语。正如我们在本文中讨论的那样,关键词对各种各样的任务都很有用。我们的方法自动提取关键词的文本作为一个监督学习任务的问题。我们将文档视为一组短语,学习算法必须学习将其分类为关键短语的正面或负面示例。我们的第一组实验将C4.5决策树归纳算法应用于该学习任务。我们评估了九种不同配置的C4.5的性能。第二组实验将GenEx算法应用于任务。我们开发了GenEx算法,专门用于从文本中自动提取关键词。实验结果支持的说法,定制设计的算法(GenEx),结合专门的程序领域的知识,可以产生更好的关键词比通用算法(C4.5)。对Extractor生成的关键词的主观人类评估表明,大约80%的关键词是人类读者可以接受的。这种性能水平对于各种各样的应用应该是令人满意的。
2002-12-10 cs.CL cs.IR cs.LG
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI(伦斯勒理工学院)
关键词提取是在文本文档中找到几个有趣的短语的任务,这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是,一个词在文档中可能有不同的表达形式,也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中,我们利用词嵌入作为背景知识来增强基于图的排序模型,以向词间图添加语义信息。我们的方法进行了评估,建立基准数据集和实证结果表明,词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
Replication of the Keyword Extraction part of the paper "'Without the Clutter of Unimportant Words': Descriptive Keyphrases for Text Visualization"
Stanford University(斯坦福大学)
“关键词提取”是指自动识别自然语言文本中最相关和信息量最大的短语的任务。当我们被大量不同形式和内容的文本数据所淹没时--电子邮件、博客、推文、Facebook帖子、学术论文、新闻文章--通过某种方式将这些文本总结成一个连贯的结构来“理解”所有这些文本的任务变得至关重要。关键词提取--自然语言处理中一个公认的问题--可以在这里帮助我们。在这份报告中,我们构建并测试了三个不同的假设(都与关键词提取任务有关),这些假设使我们更接近于理解如何有意义地识别和提取“描述性”关键词。这里报告的工作是作为复制Chuang等人研究的一部分完成的。[3]。
2019-08-15 cs.CL cs.DL cs.IR
GraphEx: A Graph-based Extraction Method for Advertiser Keyphrase Recommendation
Dept. of Computer Science Pennsylvania State University(计算机科学系宾夕法尼亚州立大学);eBay Advertising eBay Inc.(eBay广告部eBay公司)
提出GraphEx,一种基于图的关键词推荐方法,通过从商品标题提取词元排列生成推荐,并改进评估指标,在eBay上优于生产模型,支持近实时推理和数十亿商品规模。
2025-04-28 cs.CL cs.IR cs.LG
GLEAKE: Global and Local Embedding Automatic Keyphrase Extraction
Georgia State University(佐治亚州立大学)
在过去的几年里,随着科学、新闻、医学和Web文档的增长,大型文本文档语料库的粒度分类的自动化方法变得越来越重要。自动关键词提取(AKE)的目的是从单个文本文档中自动检测一小部分单个或多个单词,这些单词捕获了文档的主要主题。AKE在各种自然语言处理和信息检索任务中起着重要的作用,如文档摘要和分类、全文索引和文章推荐。由于不同文本内容中缺乏足够的人工标记数据,监督学习方法对于从文本主体内容中自动检测关键短语并不理想。随着文本嵌入技术的最新进展,NLP研究人员专注于开发无监督方法,以从原始数据集中获得有意义的见解。在这项工作中,我们介绍了全球和本地嵌入自动关键词提取器(GLEAKE)的任务AKE。GLEAKE使用单个和多个词嵌入技术来探索候选短语的句法和语义方面,然后将它们组合成一系列基于嵌入的图。此外,GLEAKE在每个基于嵌入的图上应用网络分析技术,以将最重要的短语细化为最终的关键短语集。我们通过对来自不同领域和写作风格的五个标准AKE数据集进行评估,并显示其相对于其他最先进方法的优越性,展示了GLEAKE的高性能。
2020-05-19 cs.CL cs.IR
Attention-Seeker: Dynamic Self-Attention Scoring for Unsupervised Keyphrase Extraction
Kyushu University(九州大学);Graduate School of Information Science and Electrical Engineering, Kyushu University(九州大学情报科学与电气工程学院)
本文提出Attention-Seeker,一种利用大语言模型自注意力图动态评分候选短语的无监督关键词提取方法,无需手动调参,在四个公开数据集上多数达到最优性能,尤其擅长长文档。
2024-12-16 cs.CL cs.IR
A new keyphrases extraction method based on suffix tree data structure for arabic documents clustering
Sidi Mohamed Ben Abdellah University(西迪·穆罕默德·本·阿卜杜拉大学)
文档聚类是数据采掘的一个分支,它是一种无监督的分类,用于在未标记的数据集合中找到结构。在使用全文表示时,文档中的有用信息可能伴随着大量的噪声词,因此会对聚类过程的结果产生负面影响。因此,为了提高聚类结果的质量,就需要在保留有用信息的基础上去除噪声词。这个问题发生在不同程度的任何语言,如英语,欧洲,印地语,中文和阿拉伯语。为了克服这个问题,本文提出了一种新的基于后缀树数据结构(KpST)的关键词提取方法,并将提取的关键词用于聚类过程中。所提出的关键词提取方法与语言无关,因此可以应用于任何语言。在这项研究中,我们感兴趣的是处理阿拉伯语,这是最复杂的语言之一。为了评估我们的方法,我们进行了实验研究阿拉伯文文档使用最流行的聚类方法的层次算法:凝聚层次算法与七个链接技术和各种距离函数和相似性措施,以执行阿拉伯文文档聚类任务。实验结果表明,该方法提高了聚类结果的质量。我们还建议研究使用测试数据集的词干聚类它与相同的文档聚类技术和相似性/距离措施的效果。
2014-01-22 cs.CL cs.IR
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法,采用候选短语统计和位置特征与轻量集成模型,不依赖外部知识和预训练模型,在基准测试中准确率优于多数现有模型,兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
Enhancing Keyphrase Extraction from Academic Articles Using Section Structure Information
Nanjing University of Science and Technology(南京理工大学);Soochow University(苏州大学)
针对学术文章关键词抽取中摘要语义受限、全文抽取引入噪声的问题,提出利用章节结构特征与章节文本整合的方法,有效提升了抽取性能,并验证了章节分类质量的影响。
2025-05-20 cs.CL cs.DL cs.IR
Leveraging Human Reading Behavior for Keyphrase Extraction: A Webcam-based Eye-tracking Corpus
本研究构建了含FFD、FN、TFD特征的CLIS-ET语料库,将眼动特征融入KPE模型,发现FN与TFD组合在Att-BiLSTM+CRF模型上提升了中文学术摘要的关键词抽取性能。
2026-08-12 cs.CL cs.DL cs.HC
Prioritization of COVID-19-related literature via unsupervised keyphrase extraction and document representation learning
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯蒂芬国际研究生院);University of Maribor(马里博尔大学)
COVID-19大流行引发了一波新的科学文献,这些文献不可能在合理的时间范围内手动检查和研究。当前的机器学习方法提供了将此类文献主体投影到向量空间中,其中类似的文档彼此靠近,从而提供了对科学论文和与COVID-19相关的其他知识源的深入探索。然而,要开始搜索,需要对这些文本进行适当的注释,但由于缺乏人力资源,这种情况很少发生。在我们的系统中,使用无监督的关键词提取来注释当前的COVID-19相关文献,从而促进对包含学习的文档嵌入(低维表示)的潜在空间的初始查询。该解决方案是通过一个网络服务器能够交互式搜索,术语排名,并探索潜在的有趣的文献。我们通过药物化学领域的案例研究证明了该方法的实用性。
2021-10-17 cs.CL cs.DL cs.IR
Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs
研究利用脑电图(EEG)和眼动追踪信号增强微博关键词抽取(AKE),发现EEG特征带来最大性能提升,两种信号部分互补但存在冗余。
2026-06-26 cs.CL cs.DL cs.HC
Retrieval-efficiency trade-off of Unsupervised Keyword Extraction
本文提出一种无监督关键词提取方法,通过顺序合并文档部分并利用个性化PageRank,在保持最先进检索性能的同时,速度比现有方法快两个数量级,并能在不到一分钟内处理1400万篇文档。
2022-08-15 cs.IR
Automated Annotation of Scientific Texts for ML-based Keyphrase Extraction and Validation
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);DOE Joint Genome Institute(美国能源部联合基因组研究所)
本文针对环境基因组学等缺乏元数据的科学文本,提出两种自动文本标注方法,分别利用相关数据源关系和领域词表本体,为机器学习生成元数据验证提供标签,实验显示高达44%的标签与机器学习关键词提取算法结果匹配。
2023-11-08 cs.AI cs.IR cs.LG
ConExion: Concept Extraction with Large Language Models
FIZ Karlsruhe – Leibniz Institute for Information Infrastructure(弗里茨-卡拉什夫研究所 – 莱比锡信息基础设施研究所);Karlsruhe Institute of Technology (AIFB)(卡尔斯鲁厄理工学院(AIFB))
本文提出ConExion方法,利用预训练大型语言模型从文档中提取领域相关概念,超越传统关键词提取,在基准数据集上提升F1分数,并支持本体评估与学习。
2025-04-22 cs.CL cs.IR
A Benchmark Suite for Template Detection and Content Extraction
模板检测和内容提取是Web信息检索的两个主要领域。它们对网页的结构和内容进行不同的分析,以提取文档的某些部分。然而,他们的目标是不同的。模板检测识别网页的模板(通常与同一网站的其他网页进行比较),内容提取识别网页的主要内容,丢弃其他部分。因此,它们在某种程度上是互补的,因为主要内容不是模板的一部分。据测量,模板代表了Web上40%到50%的数据。因此,识别模板对于索引任务至关重要,因为模板通常包含不相关的信息,如广告,菜单和横幅。处理和存储这些信息很可能导致资源(存储空间、带宽等)的浪费。类似地,识别主要内容对于许多信息检索任务是必不可少的。在本文中,我们提出了一个基准测试套件来测试不同的模板检测和内容提取方法。该套件是公开的,它包含真正的异构网页,这些网页已经被标记,以便不同的技术可以适合(和自动)进行比较。
2022-07-17 cs.IR