Keyphrase Annotation with Graph Co-Ranking
Université de Nantes（南特大学）
关键词注释是识别表示文档主要内容的文本单元的任务。关键词注释可以通过从文档中提取最重要的短语（关键词提取）或通过从受控的特定领域词汇表中分配条目（关键词分配）来执行。分配方法通常更可靠。它们提供了格式更好的关键短语，以及文档中没有出现的关键短语。但是，与不依赖于手动构建资源的提取方法相反，它们通常是沉默的。本文提出了一种新的方法，执行关键词提取和关键词分配在一个集成和相互加强的方式。在涵盖人文社会科学不同领域的数据集上进行了实验。与关键词提取和关键词分配最先进的方法相比，它们在统计上有显着的改进。
2016-11-07 cs.CL
Theme-driven Keyphrase Extraction to Analyze Social Media Discourse
Dartmouth College（达特茅斯学院）；BUET（孟加拉国工程技术大学）
本文提出面向社交媒体的主题驱动关键短语提取框架，构建首个MOUD-Keyphrase数据集，并验证ChatGPT在该任务上优于无监督模型。
2023-05-28 cs.CL
PerKey: A Persian News Corpus for Keyphrase Extraction and Generation
Sharif University of Technology（沙里夫理工大学）；ICT Research Institute（信息通信技术研究院）
关键词提供了文本的极其密集的摘要。这些信息可以用于许多自然语言处理任务，例如信息检索和文本摘要。由于以前对波斯语关键词或关键短语提取的研究没有公布他们的数据，该领域缺乏人类提取的关键短语数据集。在本文中，我们介绍PerKey，一个语料库的553k新闻文章从六个波斯语新闻网站和机构相对高质量的作者提取的关键词，然后过滤和清洗，以实现更高质量的关键词。将得到的数据进行人工评估，以确保关键词的质量。我们还使用精确度，召回率和F1分数测量了不同监督和无监督技术的性能，例如TFIDF，MultipartiteRank，KEA等。
2020-09-25 cs.CL
Unsupervised Keyphrase Extraction via Interpretable Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Washington（华盛顿大学）
关键词提取的目的是自动提取一个列表的“重要”的短语表示的关键概念，在一个文件。用于无监督关键短语提取的先前方法通过嵌入聚类或图中心性诉诸于短语重要性的启发式概念，需要广泛的领域专业知识。我们的工作提出了一个简单的替代方法，它定义为文档短语的关键词是突出的预测文档的主题。为此，我们提出了检查-一种方法，使用自我解释模型，通过测量输入短语对文档主题分类的下游任务的预测影响来识别文档中有影响力的关键短语。我们证明了这种新方法不仅满足了对ad-hoc关键词提取的需求，而且在两个领域的四个数据集中实现了无监督关键词提取的最新结果：科学出版物和新闻文章。
2023-02-17 cs.CL
Improving Keyphrase Extraction with Data Augmentation and Information Filtering
University of Oregon（俄勒冈大学）；Princeton University（普林斯顿大学）；Adobe Research（Adobe研究院）
关键词提取是自然语言处理中文档理解的重要任务之一。虽然大多数先前的作品都致力于正式的设置，例如，书籍、新闻或网络博客、视频记录等非正式文本的研究较少。为了解决这一限制，在这项工作中，我们提出了一种新的语料库和方法，用于从Behance平台上流式传输的视频的抄本中提取关键短语。更具体地说，在这项工作中，提出了一种新的数据增强，以丰富的模型与背景知识的关键词提取任务从其他领域。在所提出的数据集上进行的大量实验表明了该方法的有效性。
2022-09-11 cs.CL
Keyphrase Extraction with Span-based Feature Representations
Harbin Institute of Technology（哈尔滨工业大学）；Tencent（腾讯）
关键词能够提供表征文档的语义元数据，并生成文档内容的概述。由于关键词抽取能够方便信息的管理、分类和检索，近年来受到了广泛的关注。有三种方法来解决关键短语提取：（i）传统的两步排序方法，（ii）序列标记和（iii）使用神经网络生成。两步排序方法是基于特征工程，这是劳动密集型和领域相关的。序列标记无法处理重叠短语。生成方法（即，序列到序列神经网络模型克服了这些缺点，因此得到了广泛的研究，并获得了最先进的性能。然而，生成方法不能有效地利用上下文信息。在本文中，我们提出了一种新颖的跨度关键词提取模型，提取基于跨度的特征表示的关键词直接从所有的内容令牌。通过这种方式，我们的模型获得了每个关键词的表示，并进一步学习捕获一个文档中关键词之间的交互，以获得更好的排名结果。此外，在令牌的帮助下，我们的模型能够提取重叠的关键词。在基准数据集上的实验结果表明，我们提出的模型比现有的方法有很大的优势。
2020-02-13 cs.CL
Enhancing Phrase Representation by Information Bottleneck Guided Text Diffusion Process for Keyphrase Extraction
OPPO Research Institute（OPPO研究院）
针对关键短语抽取任务中现有方法无法有效利用关键短语信息的问题，提出Diff-KPE方法，利用变分信息瓶颈引导文本扩散过程生成增强的关键短语表示并结合排序网络进行候选短语排序，在多个数据集上优于现有方法。
2024-03-20 cs.CL
Query-Based Keyphrase Extraction from Long Documents
Brno University of Technology（布尔诺理工大学）
自然语言处理中基于转换器的架构强制输入大小限制，当需要处理长文档时，这可能会产生问题。本文克服了这个问题的关键词提取分块的长文档，同时保持一个全局上下文作为一个查询定义的主题，相关的关键词应该被提取。所开发的系统采用了一个预先训练的BERT模型，并适应它来估计一个给定的文本跨度形成一个关键短语的概率。我们在两个流行的数据集Inspec和SemEval以及一个大型的新数据集上使用各种上下文大小进行了实验。所提出的结果表明，一个较短的上下文与查询克服了一个较长的没有查询长文档。
2022-05-11 cs.CL
A Preliminary Empirical Study on Prompt-based Unsupervised Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本研究通过实证调查不同提示在无监督关键词抽取中的效果，发现复杂提示不一定优于简单提示，但面对长文档时复杂提示更有效。
2024-05-26 cs.CL
An Integrated Approach for Keyphrase Generation via Exploring the Power of Retrieval and Extraction
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Alibaba DAMO Academy（阿里巴巴达摩院）
在本文中，我们提出了一种新的集成方法的关键词生成（KG）。与以前的作品是纯粹的提取或生成，我们首先提出了一个新的多任务学习框架，共同学习提取模型和生成模型。除了提取关键词之外，提取模型的输出还用于校正生成模型的复制概率分布，使得生成模型可以更好地从给定文档中识别重要内容。此外，我们从训练数据中检索与给定文档相似的文档，并使用其相关的关键词作为生成模型的外部知识，以产生更准确的关键词。为了进一步利用提取和检索的能力，我们提出了一个基于神经的合并模块，以结合和重新排序的预测关键词从增强的生成模型，提取模型，检索到的关键词。在五个KG基准上的实验表明，我们的综合方法优于最先进的方法。
2019-04-06 cs.CL
Simple Unsupervised Keyphrase Extraction using Sentence Embeddings
Swisscom AG（瑞士电信公司）；EPFL（洛桑联邦理工学院）
关键词提取是自动选择一个最能描述给定自由文本文档的短语的小集合的任务。有监督的关键短语提取需要大量的标记的训练数据，并且在训练数据的域之外的推广非常差。同时，无监督系统的准确性较差，并且通常不能很好地泛化，因为它们需要输入文档属于也作为输入给出的更大的语料库。为了解决这些缺点，在本文中，我们使用EmbedRank来解决从单个文档中提取关键词的问题：EmbedRank是一种新型的无监督方法，它利用了句子嵌入。EmbedRank在标准数据集上比基于图的最新系统获得了更高的F-scores，并且适合实时处理大量Web数据。使用EmbedRank，我们还通过为新短语引入基于嵌入的最大边际相关性（MMR）来显式增加所选关键短语的覆盖率和多样性。一项包含超过200个投票的用户研究表明，尽管减少短语的语义重叠不会导致F分数的增加，但我们的高多样性选择是人类的首选。
2018-09-05 cs.CL
Persian Keyphrase Generation Using Sequence-to-Sequence Models
Sharif University of Technology（谢里夫理工大学）；ICT Research Institute（信息通信技术研究院）
关键词是输入文本的简短摘要，提供文本中讨论的主要主题。关键短语提取是有用的上游任务，并且可以用于各种自然语言处理问题，例如，文本摘要和信息检索，仅举几例。然而，并不是所有的关键词都在正文中明确提到。在现实世界的例子中，总是有一些主题被隐含地讨论。提取这样的关键词需要一个生成的方法，这是采用在这里。在本文中，我们试图解决问题的关键词生成和提取新闻文章使用深序列到序列模型。这些模型在关键词提取任务中的性能明显优于传统的方法，如Topic Rank，KPMiner和KEA。
2020-09-25 cs.CL
Capturing Global Informativeness in Open Domain Keyphrase Extraction
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Microsoft Research（微软研究院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Department of Computer Science and Technology, Northeastern University（东北大学计算机科学与技术系）
开放域关键短语提取（KPE）旨在从文档中提取关键短语，而没有域或质量限制，例如，具有不同域和质量的网页。最近，神经方法在许多KPE任务中表现出了良好的效果，这是由于它们对给定文档的上下文语义建模的强大能力。然而，我们的经验表明，大多数神经KPE方法更喜欢提取具有良好短语性的关键短语，如短的和实体风格的n元语法，而不是从开放域文档中提取全局信息的关键短语。本文提出了JointKPE，这是一个基于预训练语言模型的开放域KPE架构，它可以在提取关键短语时捕获局部短语性和全局信息性。JointKPE通过估计关键短语在整个文档中的信息量来学习对关键短语进行排名，并在关键短语分块任务上进行联合训练，以保证关键短语候选者的短语性。在OpenKP和KP20k两个不同领域的大型KPE数据集上进行的实验证明了JointKPE在开放领域场景中对不同预训练变体的有效性。进一步的分析揭示了JointKPE在预测长和非实体关键词方面的显着优势，这对于以前的神经KPE方法来说是具有挑战性的。我们的代码可在https://github.com/thunlp/BERT-KPE上公开获取。
2021-09-17 cs.CL
Evaluating the Homogeneity of Keyphrase Prediction Models
本文提出评估关键词预测模型同质性的方法，发现生成缺失关键词的能力可能降低模型同质性，而关键词提取方法与生成模型表现相当。
2026-02-13 cs.CL
MAPEX: A Multi-Agent Pipeline for Keyphrase Extraction
TMCC, College of Computer Science, Nankai University, Tianjin, China（天津大学计算机学院）
针对现有LLM无监督关键短语提取方法单阶段统一提示的不足，提出首个多智能体协作框架MAPEX，通过双路径策略适应文档长度，在六个基准上平均F1@5超越最先进无监督方法2.44%。
2025-09-24 cs.CL
WikiRank: Improving Keyphrase Extraction Based on Background Knowledge
University of Texas at Dallas（德克萨斯大学达拉斯分校）
关键词是文档主要思想的有效表示。虽然背景知识可以提供关于文档的有价值的信息，但是它们很少被结合在关键短语提取方法中。在本文中，我们提出了WikiRank，一个无监督的方法提取关键词的基础上，从维基百科的背景知识。首先，我们为文档构建一个语义图。然后将关键词提取问题转化为图上的优化问题。最后，我们得到最佳的关键词集作为输出。我们的方法比其他最先进的模型在F1分数上获得了超过2%的改进。
2018-03-23 cs.CL cs.IR
Unsupervised Keyphrase Extraction with Multipartite Graphs
LS2N, Université de Nantes（LS2N，南特大学）
我们提出了一个无监督的关键词提取模型，编码主题信息的多部图结构。我们的模型表示关键词候选人和主题在一个单一的图，并利用它们相互加强的关系，以提高候选人的排名。我们进一步引入了一种新的机制，将关键词选择偏好的模型。在三个广泛使用的数据集上进行的实验表明，与最先进的基于图的模型相比，该模型有了显着的改进。
2018-04-16 cs.CL cs.IR
Keyphrase Extraction from Scholarly Articles as Sequence Labeling using Contextualized Embeddings
NUS（新加坡国立大学）；Bloomberg（彭博）；MIDAS-IIIT-Delhi（德里印德拉普拉斯塔信息技术学院MIDAS）
在本文中，我们制定了从学术文章中提取关键词作为一个序列标签任务解决使用BiLSTM-CRF，在输入文本中的单词表示使用深上下文嵌入。我们在三个不同的基准数据集（Inspec，SemEval 2010，SemEval 2017）上使用上下文化和固定的词嵌入模型来评估所提出的架构，并与现有流行的无监督和监督技术进行比较。我们的研究结果量化的好处（a）使用语境化的嵌入（例如BERT）固定的词嵌入（例如手套）;（b）使用BiLSTM-CRF架构与语境化的词嵌入直接微调的语境化的词嵌入模型，（c）使用特定体裁的语境化的嵌入（SciBERT）。通过错误分析，我们还提供了一些关于为什么特定模型比其他模型更好的见解。最后，我们提出了一个案例研究，我们分析了两个最好的模型（BERT和SciBERT）的不同的自我注意层，以更好地理解每个关键词提取任务的预测。
2019-10-19 cs.CL
A Review of Keyphrase Extraction
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
关键词提取是一项文本信息处理任务，涉及从文档中自动提取表达其内容的所有关键方面的代表性和特征性短语。关键词是对文档的一种简洁的概念性概括，在数字信息管理系统中，关键词对于语义索引、分面搜索、文档聚类和分类等都非常有用。本文介绍了关键词提取，对现有工作进行了结构良好的回顾，对不同的评估方法提供了有趣的见解，突出了开放的问题，并在五个数据集上对流行的无监督技术进行了比较实验研究。
2019-07-30 cs.CL cs.IR
SEAL: Scientific Keyphrase Extraction and Classification
Indian Institute of Technology, Gandhinagar（甘地纳加尔印度理工学院）
自动科学关键词提取是一个具有挑战性的问题，促进一些下游的学术任务，如搜索，推荐和排名。在本文中，我们介绍了SEAL，自动关键词提取和分类的学术工具。关键短语提取模块包括两级神经架构，其由用条件随机场增强的双向长短期记忆细胞组成。分类模块包括随机森林分类器。我们进行了广泛的实验，以展示系统的鲁棒性。我们评估了多个最先进的基线，并显示出显着的改善。目前的系统托管在http://lingo.iitgn.ac.in:5000/。
2020-06-05 cs.CL cs.IR
Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
Beijing Key Lab of Traffic Data Analysis and Mining（北京交通数据分析与挖掘重点实验室）；Beijing Jiaotong University（北京交通大学）
本研究探索直接提示ChatGPT构建零样本关键短语提取模型，实验表明其性能相比现有最先进无监督和监督模型仍有较大提升空间。
2024-01-10 cs.CL
Open Domain Web Keyphrase Extraction Beyond Language Modeling
Microsoft AI and Research（微软人工智能与研究院）
本文研究了现实世界中文档来自不同领域并且具有不同内容质量的关键词提取。我们策划并发布了OpenKP，这是一个大规模的开放领域关键词提取数据集，包含近十万个Web文档和专家关键词注释。为了处理域和内容质量的变化，我们开发了BLING-KPE，这是一种神经关键短语提取模型，它使用文档的视觉呈现和搜索查询的弱监督，超越了语言理解。OpenKP上的实验结果证实了BLING-KPE的有效性及其神经结构，视觉特征和搜索日志弱监督的贡献。对DUC-2001的Zero-shot评价表明，与特定领域相比，从开放领域数据学习的泛化能力得到了提高。
2019-11-06 cs.CL cs.IR
Learning Feature Representations for Keyphrase Extraction
在关键短语提取的监督方法中，候选短语用一组手工制作的特征编码，并且机器学习算法被训练以区分关键短语和非关键短语。虽然手动设计的功能已被证明在实践中工作得很好，功能工程是一个困难的过程，需要专业知识，通常不能很好地推广。在本文中，我们提出了SurfKE，一个功能学习框架，利用文本本身自动发现的模式，关键词展示。我们的模型将文档表示为图，并自动学习短语的特征表示。该模型在强基线上获得了显着的性能改善。
2018-01-05 cs.AI cs.CL
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途，包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说，大多数输出关键短语可以很好地配合在一起，但是可能存在少数看起来是离群值，与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法，旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明，增强提高了提取的关键词的质量。此外，增强不是特定于域的：当在一个域（计算机科学文档）上训练并在另一个域（物理文档）上测试时，该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
PatternRank: Leveraging Pretrained Language Models and Part of Speech for Unsupervised Keyphrase Extraction
Technical University of Munich（慕尼黑工业大学）
关键词提取是从给定文本中自动选择一小组最相关短语的过程。有监督的关键短语提取方法需要大量标记的训练数据，并且在训练数据的域之外表现不佳。在本文中，我们提出了PatternRank，它利用预训练的语言模型和词性，从单个文档中进行无监督的关键短语提取。我们的实验表明，PatternRank实现了更高的精度，召回率和F1分数比以前的国家的最先进的方法。此外，我们提出了KeyphraseVectorizers包，它允许容易修改的部分语音模式的候选关键词选择，因此适应我们的方法到任何领域。
2022-10-12 cs.AI cs.CL
Keyphrase Extraction : Enhancing Lists
National Research Council of Canada（加拿大国家研究委员会）；Language Technologies Research Centre（语言技术研究中心）
本文提出了一些适度的改进提取器，一个国家的最先进的关键词提取系统，通过使用TB大小的语料库来估计关键词的信息量和语义相似性。我们提出了两种技术来改善组织和删除关键词列表的离群值。第一种是根据它们在语料库中的出现情况进行简单的排序;第二种是根据语义相似度进行聚类。讨论了评价问题。我们提出了一种新的技术，提取的关键词进行比较的黄金标准，依赖于语义相似性，而不是字符串匹配或评估涉及人类法官。
2012-04-01 cs.CL cs.IR
A Hybrid Approach to Extract Keyphrases from Medical Documents
Jadavpur University（贾达普大学）
关键词是由一个或多个词组成的短语，代表文章中的重要概念。关键词是有用的各种任务，如文本摘要，自动索引，聚类/分类，文本挖掘等。本文提出了一种混合的方法，从医学文档中提取关键词。本文提出的关键词提取方法是两种方法的融合：第一种方法是基于位置、词频、逆文档频率等特征的有效组合来为候选关键词分配权重，第二种方法是使用关于候选关键词与存储器（存储的关键词列表）中的关键词的结构和特征的相似性的一些知识来为候选关键词分配权重。本文还介绍了一种有效的候选关键词识别方法作为建议的关键词提取系统的第一个组成部分。实验结果表明，所提出的混合方法的性能优于一些国家的最先进的关键词提取方法。
2014-01-25 cs.CL cs.IR
Importance Estimation from Multiple Perspectives for Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本文提出KIEMP方法，通过分块、排序和匹配三个模块从句法准确性、信息显著性和概念一致性多视角估计关键词重要性，并在六个基准数据集上超越现有最先进方法。
2023-12-21 cs.CL cs.IR
W2KPE: Keyphrase Extraction with Word-Word Relation
Nanjing University（南京大学）
本文介绍了我们提交给ICASSP 2023 MUG挑战轨道4，关键词提取，旨在从会议材料中提取与会议主题最相关的关键词。我们将挑战建模为单类命名实体识别任务，并开发了更好的挑战性能的技术：对于数据预处理，我们在分词后对拆分的关键词进行编码。此外，我们通过将多个预处理的句子融合到一个片段中来增加模型一次可以接受的输入信息量。我们用多类焦点损失代替损失函数来解决关键词的稀疏性。此外，我们对关键词的每次出现进行评分，并添加一个额外的输出层来适应关键词的评分。执行详尽的评估以找到分词工具、预训练的嵌入模型和相应的超参数的最佳组合。有了这些建议，我们在最终测试集上获得了45.04分。
2023-03-22 cs.CL eess.AS
Unsupervised Keyphrase Extraction by Jointly Modeling Local and Global Context
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Tencent Cloud Xiaowei（腾讯云小微）
基于嵌入的方法被广泛用于无监督关键短语提取（UKE）任务。一般而言，这些方法只是简单地计算短语嵌入和文档嵌入之间的相似度，这不足以捕获不同的上下文以获得更有效的UKE模型。在本文中，我们提出了一种新的方法UKE，其中局部和全局上下文联合建模。从全局的角度，我们计算之间的相似度的某个短语和整个文档在向量空间中的过渡嵌入模型做。在局部视图方面，我们首先建立一个基于文档的图结构，其中短语被视为顶点，边是顶点之间的相似性。然后，我们提出了一种新的中心度计算方法来捕获局部显着信息的基础上的图结构。最后，我们进一步结合全局和局部上下文的建模进行排名。我们评估我们的模型在三个公共基准（Inspec，DUC 2001年，SemEval 2010年），并与现有的国家的最先进的模型进行比较。实验结果表明，该模型在不同领域和不同长度的输入文档上都有较好的泛化能力。进一步的消融研究表明，局部和全局信息对于无监督关键短语提取任务至关重要。
2021-09-15 cs.CL
Improving Joint Layer RNN based Keyphrase Extraction by Using Syntactical Features
School of Electrical Engineering and Informatics Institut Teknologi Bandung（万隆理工学院电气工程与信息学院）
关键词提取作为从文本中识别重要单词或短语的任务，是在分析来自社交媒体平台的文本时识别主要主题的关键过程。在我们的研究中，我们专注于从Twitter上获取的印度尼西亚语文本。与原始的联合层递归神经网络（JRNN）只输出一个关键词序列，只使用词嵌入不同，本文提出修改JRNN的输入层，通过附加的句法特征信息，即词性、命名实体类型和依赖结构，提取多个关键词序列。由于JRNN通常需要大量数据作为训练样本，并且创建这些样本的成本很高，因此我们使用数据增强方法来增加训练样本的数量。实验结果表明，该方法的性能优于基线方法。我们的方法在精度上达到了.9597，在F1上达到了.7691。
2020-09-15 cs.CL
Enhancing Keyphrase Extraction from Academic Articles with their Reference Information
Nanjing University of Science and Technology（南京理工大学）
随着互联网技术的发展，信息过载现象越来越明显。用户需要花费大量的时间来获取他们需要的信息。然而，高度概括文档信息的关键词有助于用户快速获取和理解文档。对于学术资源，大多数现有的研究通过论文的标题和摘要提取关键词。我们发现参考文献中的标题信息也包含作者指定的关键词。因此，本文利用参考信息，应用两种典型的无监督提取方法（TF*IDF和TextRank）、两种具有代表性的传统监督学习算法（朴素贝叶斯和条件随机场）和一种有监督的深度学习模型（BiLSTM-CRF），分析参考信息在关键词提取中的具体表现。期望从扩展源文本的角度提高关键词识别的质量。实验结果表明，参考信息在一定程度上提高了关键词自动抽取的准确率、召回率和F1。这表明了学术论文关键词抽取参考信息的有用性，为后续的关键词自动抽取研究提供了一种新的思路。
2021-11-30 cs.CL cs.DL cs.IR
Finding Black Cat in a Coal Cellar -- Keyphrase Extraction & Keyphrase-Rubric Relationship Classification from Complex Assignments
内容和开放式问题的多样性是在线研究生课程复杂任务所固有的。这些计划的自然规模在同行和专家反馈（包括流氓评论）中提出了各种挑战。虽然确定相关内容并将其与预定义的规则相关联将简化和改进评分过程，但迄今为止的研究仍处于初期阶段。因此，在本文中，我们的目标是量化的有效性的监督和无监督的方法的任务，关键词提取和通用/特定的关键词-标题关系提取。通过这项研究，我们发现，（i）无监督MultiPartiteRank产生最好的关键词提取结果（ii）有监督的SVM分类器与BERT功能，提供最好的性能为通用和特定的关键词-标题关系分类。最后，我们提出了一个全面的分析，并得出有益的意见，为那些有兴趣在这些任务的未来。源代码在\url{https://github.com/manikandan-ravikiran/cs6460-proj}中发布。
2020-04-24 cs.CL cs.CY cs.LG
Keyphrase Extraction using Sequential Labeling
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
关键字有效地概括了文档的内容，并用于各种文档处理和检索任务。存在用于从文本文档中提取关键词的几种无监督技术和分类器。这些方法中的大多数在短语级别上操作，并且依赖于用于候选短语生成的词性（POS）过滤器。此外，它们不直接处理不同长度的关键词。我们克服了这些建模的缺点，在本文中解决关键词提取作为一个连续的标签任务。我们探索了NLP任务中常用的一组基本特征，以及来自各种无监督方法的预测，以训练我们的标记器。除了一个更自然的建模的关键词提取问题，我们表明，标记模型产生显着的性能优势，现有的国家的最先进的提取方法。
2016-08-03 cs.AI cs.CL cs.IR
Arabic Keyphrase Extraction using Linguistic knowledge and Machine Learning Techniques
University of Benha（本哈大学）；Faculty of Engineering (Shoubra)（（舒布拉）工程学院）
本文提出了一种监督学习技术，用于抽取阿拉伯文文档的关键短语。提取器提供的语言知识，以提高其效率，而不是仅仅依赖于统计信息，如词频和距离。在分析过程中，注释的阿拉伯语语料库被用来提取所需的文档词的词汇特征。该知识还包括基于词性标签和允许的词序列的句法规则，以提取候选关键短语。在这项工作中，阿拉伯语单词的抽象形式，而不是其干的形式来代表候选人的条款。抽象形式隐藏了阿拉伯语单词中的大部分屈折变化。本文介绍了基于语言学知识的关键词的新特征，以捕获文档的标题和字幕。一个简单的方差分析测试是用来评估选定的功能的有效性。然后，使用LDA（线性判别分析）和训练文档构建学习模型。虽然，所提出的系统是使用在IT领域的文件进行训练，进行的实验表明，它有一个显着更好的性能比现有的阿拉伯语提取器系统，其中精度和召回值达到两倍，特别是在其他系统中的相应值冗长和非科学的文章。
2012-03-20 cs.CL
A Joint Learning Approach based on Self-Distillation for Keyphrase Extraction from Scientific Documents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
关键词提取是提取最能描述文档的一小部分短语的任务。用于该任务的大多数现有基准数据集通常具有有限数量的注释文档，这使得训练日益复杂的神经网络具有挑战性。相比之下，数字图书馆在线存储了数百万篇科学文章，涵盖了广泛的主题。虽然这些文章中有很大一部分包含作者提供的关键词，但大多数其他文章缺乏这种注释。因此，为了有效地利用这些大量的未标记的文章，我们提出了一个简单而有效的联合学习方法的思想的基础上的自蒸馏。实验结果表明，我们的方法始终提高了关键词提取的基线模型的性能。此外，我们的最佳模型优于以前的任务方法，在两个公共基准测试中获得了最新的结果：Inspec和SemEval-2017。
2020-10-22 cs.CL cs.LG
KPDrop: Improving Absent Keyphrase Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）
关键短语生成是生成短语（关键短语）的任务，这些短语总结了给定文档的主要主题。关键字可以在给定文档中出现或不出现。虽然目前的关键词的提取在过去已经受到了很大的关注，只是最近一个更强的重点已经放在缺席的关键词的生成。然而，生成缺少的关键词是具有挑战性的;即使是最好的方法也只能取得一定程度的成功。在本文中，我们提出了一种与模型无关的方法，称为关键短语dropout（或KPDrop），以改进缺失关键短语的生成。在这种方法中，我们随机地从文档中删除当前关键词，并在训练过程中将它们转换为人工缺失的关键词。我们广泛地测试了我们的方法，并表明它始终提高了监督和资源受限的半监督设置中强基线的缺席性能。
2022-10-24 cs.CL
Keyphrase Extraction with Dynamic Graph Convolutional Networks and Diversified Inference
Alibaba Group（阿里巴巴集团）；State Key Laboratory of High Performance Computing, National University of Defense Technology（国防科技大学高性能计算国家重点实验室）
关键词提取（KE）的目的是总结一组短语，准确地表达一个概念或主题涵盖在一个给定的文档。近年来，基于序列到序列（Seq2Seq）的生成框架被广泛应用于知识工程任务中，并在各种基准测试中获得了有竞争力的性能。Seq2Seq方法的主要挑战在于获取信息丰富的潜在文档表示和更好地建模目标关键词集的组合性，这将直接影响生成的关键词的质量。本文提出采用动态图卷积网络（DGCN）同时解决上述两个问题。具体地说，我们探索将依赖树与GCN结合起来进行潜在的表示学习。此外，在我们的模型中的图结构是动态修改的学习过程中，根据生成的关键词。为此，我们的方法是能够明确地学习关键词集合内的关系，并保证编码器和解码器之间的信息交换在两个方向上。在各种KE基准数据集上的实验证明了该方法的有效性。
2020-10-24 cs.AI cs.CL
Keyphrase Extraction from Disaster-related Tweets
Kansas State University（堪萨斯州立大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
虽然关键词提取近年来受到了相当大的关注，但从Twitter等社交媒体平台提取关键词的研究相对较少，从这些来源提取与灾害相关的关键词的研究更少。在灾难期间，关键词对于过滤相关推文非常有用，可以增强态势感知。此前，针对关键字发现和关键词提取的堆叠递归神经网络的两个不同层的联合训练已被证明在从一般Twitter数据中提取关键词方面是有效的。我们提高了模型的性能，一般的Twitter数据和灾害相关的Twitter数据，将上下文词嵌入，POS标签，语音和音韵特征。此外，我们讨论了经常使用的F1-措施的缺点，用于评估预测的关键词的质量相对于地面实况注释。我们建议使用基于嵌入的指标来更好地捕获预测关键词的正确性，而不是F1度量。此外，我们还提出了一种新的扩展的嵌入为基础的度量。该扩展允许更好地控制地面实况和预测关键词数量差异的惩罚
2019-10-17 cs.CL cs.IR cs.LG
Combining keyphrase extraction and lexical diversity to characterize ideas in publication titles
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
除了文献计量学，人们还对科学论文中思想数量的演变特征感兴趣。调查这一问题的一种常见方法是分析出版物的标题，以检测词汇随时间的变化。在短语或更具体地关键短语表示概念的概念下，词汇多样性度量被应用于标题的短语版本。因此，词汇多样性的变化被视为研究的转移和可能的扩展的指标。因此，优化关键词的检测是这个过程的一个重要方面。而不是只有一个，我们建议使用多个短语检测模型的目标是从源语料库中产生一个更全面的关键短语集。这种方法的另一个潜在优点是，这些集合的并集和差可以提供用于识别和省略非特定短语的自动化技术。我们比较了几个短语检测模型的性能，分析每个输出的关键短语集，并计算词汇多样性的语料库变体，将关键短语从每个模型，使用四个常见的词汇多样性指标。
2022-08-30 cs.CL cs.DL
Inflo: News Categorization and Keyphrase Extraction for Implementation in an Aggregation System
Hong Kong University of Science and Technology（香港科技大学）
本文的工作描述了一种用于自动新闻类别和关键短语标记的系统，在我们的动机的上下文中呈现，以提高用户可以在聚合平台内找到相关和有趣的内容的速度。将一组12个离散类别应用于超过50万篇新闻文章，以训练神经网络，用于促进提取最重要关键词的更深入任务。后者使用三种方法：统计，图形和数字，使用预先确定的类别标签，以提高提取的短语的相关性。结果在演示中呈现，其中文章通过News API预先填充，并且在被选择时，类别和关键词标签将通过本文解释的方法计算。
2018-12-10 cs.CL cs.IR
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas（北德克萨斯大学）；Pennsylvania State University（宾夕法尼亚州立大学）
关键词和关键短语提取是自然语言处理中的一个重要问题，其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的，很容易在在线系统中采用，但它们是否能从PageRank以外的中心性度量中受益，在很大程度上仍然是开放的。在本文中，我们在单词和名词短语搭配网络上实验了一系列中心性度量，并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好，而且它们更简单（例如，度、强度和邻域大小）。此外，基于中心的方法给出的结果与两个强无监督基线竞争，并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Applying Transformer-based Text Summarization for Keyphrase Generation
University of Tyumen（秋明大学）；Novosibirsk State University（新西伯利亚国立大学）
本文在四个关键短语提取基准数据集上评估基于Transformer的生成式摘要模型，发现其在F1和BERTScore上表现有效但在ROUGE-1上较差，并证明目标关键短语的排序策略会影响生成性能。
2022-10-06 cs.AI cs.CL cs.LG
Enhancing Keyphrase Extraction from Microblogs using Human Reading Time
Nanjing University of Science and Technology（南京理工大学）
人工关键词标注的前提是读取标注对象的相应内容。直觉告诉我们，当我们阅读时，更重要的单词会占据更长的阅读时间。因此，通过利用人类的阅读时间，我们可以在相应的内容中找到突出的单词。然而，以往的关键词提取研究忽略了人类的阅读特征。在本文中，我们的目标是利用人类的阅读时间从微博帖子中提取关键词。本研究的主要任务有两个。一个是确定如何测量人类阅读一个单词所花费的时间。我们使用从开源眼动追踪语料库（OSEC）中提取的眼动注视持续时间。此外，我们提出了策略，使眼睛注视时间更有效的关键词提取。另一个任务是确定如何将人类阅读时间整合到关键短语提取模型中。我们提出了两个新的神经网络模型。第一种是将人类阅读时间作为注意力机制的基础事实的模型。在第二个模型中，我们使用人类阅读时间作为外部特征。定量和定性实验表明，我们提出的模型产生更好的性能比基线模型在两个微博数据集。
2020-10-25 cs.CL cs.HC cs.IR
LongKey: Keyphrase Extraction for Long Documents
University of Luxembourg（卢森堡大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
针对长文档关键短语提取的空白，提出LongKey框架，利用编码器语言模型和最大池化嵌入器，在LDKP及六个未见数据集上超越现有方法。
2024-11-26 cs.AI cs.CL cs.IR
Hyperbolic Relevance Matching for Neural Keyphrase Extraction
Beijing Jiaotong University（北京交通大学）
本文提出双曲匹配模型HyperMatch，将短语和文档嵌入同一双曲空间，用庞加莱距离估计相关性以解决关键词抽取中的信息表示与重要性判别问题，在六个基准上超越现有最优方法。
2023-12-21 cs.CL cs.IR
Learning Algorithms for Keyphrase Extraction
许多学术期刊要求作者提供一个包含5到15个关键词的列表，并出现在每篇文章的第一页。由于这些关键词通常是由两个或两个以上的词组成的短语，我们更喜欢称之为关键短语。正如我们在本文中讨论的那样，关键词对各种各样的任务都很有用。我们的方法自动提取关键词的文本作为一个监督学习任务的问题。我们将文档视为一组短语，学习算法必须学习将其分类为关键短语的正面或负面示例。我们的第一组实验将C4.5决策树归纳算法应用于该学习任务。我们评估了九种不同配置的C4.5的性能。第二组实验将GenEx算法应用于任务。我们开发了GenEx算法，专门用于从文本中自动提取关键词。实验结果支持的说法，定制设计的算法（GenEx），结合专门的程序领域的知识，可以产生更好的关键词比通用算法（C4.5）。对Extractor生成的关键词的主观人类评估表明，大约80%的关键词是人类读者可以接受的。这种性能水平对于各种各样的应用应该是令人满意的。
2002-12-10 cs.CL cs.IR cs.LG
Enhancing Keyphrase Extraction from Long Scientific Documents using Graph Embeddings
Comillas Pontifical University（科米亚斯宗座大学）；Bloomberg（彭博社）
本研究提出一种图增强序列标注架构，通过图卷积网络生成的图嵌入来增强预训练语言模型的上下文表示，显著提升了长科学文档中关键短语抽取的F1分数。
2023-05-16 cs.AI cs.CL
Deep Keyphrase Generation
University of Pittsburgh（匹兹堡大学）
关键词提供了高度浓缩的信息，可以有效地用于理解，组织和检索文本内容。虽然以前的研究已经提供了许多可行的解决方案，自动提取关键词，他们通常分为多个文本块，然后排名和选择最有意义的内容。这些方法既不能识别文本中没有出现的关键词，也不能捕捉文本背后的真实语义。我们提出了一个生成式的关键词预测模型，它可以有效地克服上述缺点。我们将其命名为深度关键词生成，因为它试图用深度学习方法捕获内容的深层语义含义。在六个数据集上的实证分析表明，我们提出的模型不仅在提取出现在源文本中的关键词方面取得了显着的性能提升，而且还可以基于文本的语义生成缺失的关键词。代码和数据集可在https://github.com/memray/OpenNMT-kpg-release上获得。
2021-05-31 cs.CL
Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文通过三领域大规模实验系统比较了预训练与非预训练关键词生成方法，揭示了领域内PLMs、参数预算分配和任务形式化等关键设计选择的影响，并在科学领域取得最先进性能。
2024-02-23 cs.CL
Topic-Aware Neural Keyphrase Generation for Social Media Language
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
每天都有大量的用户生成内容在社交媒体上产生。为了促进自动语言理解，我们研究了关键短语预测，从大量帖子中提取突出信息。虽然大多数现有的方法从源帖子中提取单词来形成关键词，但我们提出了一个基于序列到序列（seq2seq）的神经关键词生成框架，可以创建缺失的关键词。此外，我们的模型，是主题感知，允许联合建模的语料库级别的潜在主题表示，这有助于缓解数据稀疏，广泛表现在社会媒体语言。在英文和中文社交媒体平台上收集的三个数据集上的实验表明，我们的模型明显优于不利用潜在主题的提取和生成模型。进一步的讨论表明，我们的模型学习有意义的主题，这解释了它在社交媒体关键词生成的优越性。
2019-06-10 cs.CL
Semi-Supervised Learning for Neural Keyphrase Generation
Northeastern University（东北大学）
我们研究的问题，生成的关键词，总结了一个给定的文档的关键点。虽然序列到序列（seq2seq）模型在该任务上已经取得了显著的性能（Meng等人，2017），模型训练通常依赖于大量的标记数据，这只适用于资源丰富的领域。在本文中，我们提出了半监督关键词生成方法，利用标记数据和大规模未标记样本进行学习。提出了两个战略。首先，未标记的文档首先用从无监督关键短语提取方法或自学习算法获得的合成关键短语标记，然后与标记的样本组合用于训练。此外，我们研究了一个多任务学习框架，共同学习生成关键词以及文章的标题。实验结果表明，我们的半监督学习为基础的方法优于一个国家的最先进的模型训练的标记数据。
2019-09-06 cs.CL
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
Replication of the Keyword Extraction part of the paper "'Without the Clutter of Unimportant Words': Descriptive Keyphrases for Text Visualization"
Stanford University（斯坦福大学）
“关键词提取”是指自动识别自然语言文本中最相关和信息量最大的短语的任务。当我们被大量不同形式和内容的文本数据所淹没时--电子邮件、博客、推文、Facebook帖子、学术论文、新闻文章--通过某种方式将这些文本总结成一个连贯的结构来“理解”所有这些文本的任务变得至关重要。关键词提取--自然语言处理中一个公认的问题--可以在这里帮助我们。在这份报告中，我们构建并测试了三个不同的假设（都与关键词提取任务有关），这些假设使我们更接近于理解如何有意义地识别和提取“描述性”关键词。这里报告的工作是作为复制Chuang等人研究的一部分完成的。[3]。
2019-08-15 cs.CL cs.DL cs.IR
