Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI（伦斯勒理工学院）
关键词提取是在文本文档中找到几个有趣的短语的任务，这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是，一个词在文档中可能有不同的表达形式，也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中，我们利用词嵌入作为背景知识来增强基于图的排序模型，以向词间图添加语义信息。我们的方法进行了评估，建立基准数据集和实证结果表明，词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
GraphEx: A Graph-based Extraction Method for Advertiser Keyphrase Recommendation
Dept. of Computer Science Pennsylvania State University（计算机科学系宾夕法尼亚州立大学）；eBay Advertising eBay Inc.（eBay广告部eBay公司）
提出GraphEx，一种基于图的关键词推荐方法，通过从商品标题提取词元排列生成推荐，并改进评估指标，在eBay上优于生产模型，支持近实时推理和数十亿商品规模。
2025-04-28 cs.CL cs.IR cs.LG
Finding Black Cat in a Coal Cellar -- Keyphrase Extraction & Keyphrase-Rubric Relationship Classification from Complex Assignments
内容和开放式问题的多样性是在线研究生课程复杂任务所固有的。这些计划的自然规模在同行和专家反馈（包括流氓评论）中提出了各种挑战。虽然确定相关内容并将其与预定义的规则相关联将简化和改进评分过程，但迄今为止的研究仍处于初期阶段。因此，在本文中，我们的目标是量化的有效性的监督和无监督的方法的任务，关键词提取和通用/特定的关键词-标题关系提取。通过这项研究，我们发现，（i）无监督MultiPartiteRank产生最好的关键词提取结果（ii）有监督的SVM分类器与BERT功能，提供最好的性能为通用和特定的关键词-标题关系分类。最后，我们提出了一个全面的分析，并得出有益的意见，为那些有兴趣在这些任务的未来。源代码在\url{https://github.com/manikandan-ravikiran/cs6460-proj}中发布。
2020-04-24 cs.CL cs.CY cs.LG
An efficient domain-independent approach for supervised keyphrase extraction and ranking
本研究提出一种领域无关的有监督关键短语提取排序方法，采用候选短语统计和位置特征与轻量集成模型，不依赖外部知识和预训练模型，在基准测试中准确率优于多数现有模型，兼具无监督方法优势。
2024-03-24 cs.CL cs.IR cs.LG
A Joint Learning Approach based on Self-Distillation for Keyphrase Extraction from Scientific Documents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
关键词提取是提取最能描述文档的一小部分短语的任务。用于该任务的大多数现有基准数据集通常具有有限数量的注释文档，这使得训练日益复杂的神经网络具有挑战性。相比之下，数字图书馆在线存储了数百万篇科学文章，涵盖了广泛的主题。虽然这些文章中有很大一部分包含作者提供的关键词，但大多数其他文章缺乏这种注释。因此，为了有效地利用这些大量的未标记的文章，我们提出了一个简单而有效的联合学习方法的思想的基础上的自蒸馏。实验结果表明，我们的方法始终提高了关键词提取的基线模型的性能。此外，我们的最佳模型优于以前的任务方法，在两个公共基准测试中获得了最新的结果：Inspec和SemEval-2017。
2020-10-22 cs.CL cs.LG
Applying Transformer-based Text Summarization for Keyphrase Generation
University of Tyumen（秋明大学）；Novosibirsk State University（新西伯利亚国立大学）
本文在四个关键短语提取基准数据集上评估基于Transformer的生成式摘要模型，发现其在F1和BERTScore上表现有效但在ROUGE-1上较差，并证明目标关键短语的排序策略会影响生成性能。
2022-10-06 cs.AI cs.CL cs.LG
Learning Rich Representation of Keyphrases from Text
Bloomberg（彭博）；Moody’s Analytics（穆迪分析）
在这项工作中，我们将探讨如何训练任务特定的语言模型，旨在学习丰富的关键词表示文本文档。我们在区分和生成设置中对预训练Transformer语言模型（LM）进行了不同的掩蔽策略实验。在区分设置中，我们引入了一个新的预训练目标-关键词边界填充替换（KBIR），当使用KBIR预训练的LM针对关键词提取任务进行微调时，其性能优于SOTA（F1中高达8.16分）。在生成设置中，我们为BART引入了一个新的预训练设置-KeyBART，它以CatSeq格式再现与输入文本相关的关键短语，而不是去噪的原始输入。这也导致了关键短语生成的性能优于SOTA（在F1@M中高达4.33分）。此外，我们还微调了命名实体识别（NER），问答（QA），关系抽取（RE），抽象摘要的预训练语言模型，并实现了与SOTA相当的性能，这表明学习关键短语的丰富表示确实有利于许多其他基本的NLP任务。
2022-07-10 cs.CL cs.IR cs.LG
Learning to Extract Keyphrases from Text
许多学术期刊会要求作者提供一个包含5到15个关键词的列表，出现在每篇文章的首页。由于这些关键词通常是由两个或两个以上的词组成的短语，我们更喜欢称之为关键短语。正如我们在本文中讨论的那样，关键词对各种各样的任务都很有用。最近的商业软件，如微软的Word 97和Verity的Search 97，包括自动从文档中提取关键词的算法。在本文中，我们将自动提取关键词的问题作为一个监督学习任务。我们将文档视为一组短语，学习算法必须学习将其分类为关键短语的正面或负面示例。我们的第一组实验将C4.5决策树归纳算法应用于此学习任务。第二组实验将GenEx算法应用于任务。我们专门为此任务开发了GenEx算法。第三组实验研究的性能GenEx的元数据生成的任务，相对于微软的Word 97的性能。第四组也是最后一组实验研究了GenEx在突出显示任务上的性能，相对于Verity的Search 97。实验结果支持这样的说法，即专门的学习算法（GenEx）可以生成比通用学习算法（C4.5）和商业软件（Word 97和Search 97）中使用的非学习算法更好的关键词。
2002-12-08 cs.IR cs.LG
EntropyRank: Unsupervised Keyphrase Extraction via Side-Information Optimization for Language Model-based Text Compression
Reichman University（赖希曼大学）；Microsoft（微软）
提出无监督方法EntropyRank，利用预训练语言模型和香农信息最大化提取高条件熵短语作为侧信息，实现文本压缩并达到与常用方法相当的基准性能。
2023-08-29 cs.CL cs.IT cs.LG
Graphite: A Graph-based Extreme Multi-Label Short Text Classifier for Keyphrase Recommendation
University（大学）
提出基于图的轻量级分类器Graphite，解决广告电商中实时关键短语推荐问题，无需GPU即可在超大规模数据集上训练，性能媲美标准模型且更具可解释性。
2024-07-29 cs.IR cs.LG
Detecting Relevant Information in High-Volume Chat Logs: Keyphrase Extraction for Grooming and Drug Dealing Forensic Analysis
Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Polícia Científica do Paraná (PCPR)（巴拉那科学警察局）
本文提出有监督关键短语提取方法JointKPE++，通过改进长文本处理能力，在诱导犯罪与毒品交易聊天记录中高效检测相关信息，辅助取证分析。
2023-09-15 cs.AI cs.CL cs.LG
Keyphrase Generation: A Text Summarization Struggle
Institute of Formal and Applied Linguistics, Charles University（查尔斯大学形式与应用语言学研究所）
分配给科学文章的作者关键词对于识别内容和主题方面至关重要。大多数提出的监督和无监督的关键词生成方法都无法生成有价值但不出现在文本中的术语。在本文中，我们探讨的可能性，考虑关键短语串作为一个抽象的摘要的标题和摘要。首先，我们收集、处理和发布一个包含220万条记录的大型科学论文元数据数据集。然后，我们使用流行的文本摘要神经架构进行实验。尽管使用了先进的深度学习模型，大量的数据和许多天的计算，我们对四个测试数据集的系统评估表明，所探索的文本摘要方法无法产生比简单的无监督方法或现有的监督方法更好的关键词。
2019-04-03 cs.CL cs.IR cs.LG
Cross-Domain Robustness of Transformer-based Keyphrase Generation
University of Tyumen（秋明大学）；The Institute for Information Transmission Problems (Kharkevich Institute)（信息传输问题研究所（哈尔凯维奇研究所））；Novosibirsk State University（新西伯利亚国立大学）
本文研究基于BART的关键短语生成模型在跨领域场景下的鲁棒性，通过在六个基准语料库上的评估发现零样本性能显著下降，并证明在样本有限时利用领域外语料库进行预微调可有效提升模型表现。
2023-12-17 cs.AI cs.CL cs.LG
Personalized Keyphrase Detection using Speaker and Environment Information
Google LLC（谷歌有限责任公司）
在本文中，我们介绍了一个流关键短语检测系统，可以很容易地定制，以准确地检测任何短语组成的单词从一个大的词汇。该系统实现了一个端到端的训练自动语音识别（ASR）模型和文本无关的说话人验证模型。为了解决在各种噪声条件下检测这些关键词的挑战，将说话人分离模型添加到说话人验证模型的特征前端，并包括自适应噪声消除（ANC）算法以利用跨麦克风噪声相干性。我们的实验表明，文本无关的说话人确认模型大大降低了错误触发率的关键词检测，而说话人分离模型和自适应噪声消除大大减少了错误拒绝。
2021-06-15 cs.LG cs.SD eess.AS
SimCKP: Simple Contrastive Learning of Keyphrase Representations
Naver Webtoon AI（Naver Webtoon人工智能）；KAIST AI（韩国科学技术院人工智能）
提出SimCKP对比学习框架，通过两阶段提取与重排序关键短语表示，显著超越现有最先进模型。
2023-10-12 cs.AI cs.CL cs.LG
Automated Annotation of Scientific Texts for ML-based Keyphrase Extraction and Validation
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；DOE Joint Genome Institute（美国能源部联合基因组研究所）
本文针对环境基因组学等缺乏元数据的科学文本，提出两种自动文本标注方法，分别利用相关数据源关系和领域词表本体，为机器学习生成元数据验证提供标签，实验显示高达44%的标签与机器学习关键词提取算法结果匹配。
2023-11-08 cs.AI cs.IR cs.LG
Exploring Fine-tuned Generative Models for Keyphrase Selection: A Case Study for Russian
University of Tyumen（塔戈茨克大学）；Novosibirsk State University（新西伯利亚国立大学）
本文研究俄语文科学文本的关键词选择，微调并比较 ruT5、ruGPT、mT5、mBART，发现 mBART 在领域内显著优于三种抽取基线，跨领域亦有潜力。
2024-09-18 cs.AI cs.CL cs.LG
Complex Network based Supervised Keyword Extractor
University of Delhi（德里大学）
在本文中，我们提出了一个监督的框架自动提取关键字从单文档。我们将文本建模为复杂网络，通过提取选择节点属性来构造特征集，并利用几个节点属性，通过无监督的、基于图的关键词提取方法来区分关键词和非关键词。我们利用节点属性之间复杂的相互作用来设计一种有监督的关键字提取方法。训练集是从特征集中创建的，方法是根据候选关键字是否被列为黄金标准关键字，为每个候选关键字分配一个标签。由于文档中关键字的数量远远少于非关键字，因此策划的训练集自然是不平衡的。我们训练一个二元分类器来预测关键字后，平衡的训练集。该模型使用来自科学领域的两个公共数据集进行训练，并使用三个看不见的科学语料库和一个新闻语料库进行测试。与最近几种关键词和关键短语提取方法的比较研究结果表明，该方法在大多数情况下表现更好。这证实了我们的说法，图论属性的话是有效的关键字和非关键字之间的鉴别。我们支持我们的论点表明，所提出的方法的改进性能是统计上显着的所有数据集。我们还评估了预训练模型在印地语和阿萨姆语文档上的有效性。我们观察到，该模型对跨语言文本的表现同样出色，即使它只在英语文档上进行训练。这表明，该方法是独立的领域，收集和语言的训练语料库。
2019-09-26 cs.IR cs.LG
Nested and Balanced Entity Recognition using Multi-Task Learning
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
文本中的实体识别（ER）是自然语言处理中的一项基本练习，可以实现进一步的相关任务，如知识提取，文本摘要或关键词提取。一个实体由单个单词或连续的术语序列组成，构成了通信的基本构建块。主流的ER方法主要局限于平面结构，集中于最外层的实体，而忽略了内部的实体。本文介绍了一个部分分层的网络架构，处理重叠和嵌套的情况下的复杂性。所提出的架构由两部分组成：（1）一个共享的序列层和（2）一个堆叠的组件与多个标记层。采用这种架构的优点是可以防止对特定字长的过拟合，从而保持较长实体的性能，尽管它们的频率较低。为了验证所提出的架构的有效性，我们训练和评估这个架构，以识别两种实体-概念（CR）和命名实体（NER）。我们的方法实现了最先进的NER性能，同时它优于以前的CR方法。考虑到这些有希望的结果，我们看到了发展其他情况下，如提取事件或检测有争议的组件的架构的可能性。
2021-06-11 cs.CL cs.IR cs.LG
Terminology-based Text Embedding for Computing Document Similarities on Technical Content
Skopai（Skopai公司）；Univ. Grenoble Alps/CNRS（格勒诺布尔阿尔卑斯大学/法国国家科学研究中心）
在本文中，我们提出了一种新的，混合文档嵌入方法，以解决文件的相似性方面的技术内容的问题。为此，我们采用了最先进的图形技术，首先提取文档的关键词（复合关键词），然后使用它们对句子进行评分。使用排名的句子，我们提出了两种方法来嵌入文档，并显示其性能相对于两个基线。领域专家注释，我们说明了所提出的方法可以找到更多的相关文件，并优于基线高达27%的NDCG。
2019-07-01 cs.CL cs.LG stat.ML
Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
Tohoku University（东北大学）；RIKEN AIP（理化学研究所人工智能研究中心）
设计了用于远程监督关系抽取的双编码器架构，以利用在文本和知识图谱（KG）中发现的互补信息。然而，当前架构具有两个缺点。它们要么根本不允许文本编码器和KG编码器之间的任何共享，要么在具有KG到文本注意力的模型的情况下，只在一个方向上共享信息。在这里，我们介绍了十字绣双编码器，它允许通过十字绣机制在文本编码器和KG编码器之间进行充分的交互。交叉缝合机制允许在任何层的两个编码器之间共享和更新表示，共享量通过基于交叉注意的门动态控制。在两个不同领域的两个关系抽取基准测试上的实验结果表明，在两个编码器之间实现充分的交互会产生很大的改进。
2022-11-02 cs.CL cs.LG
BERT-based knowledge extraction method of unstructured domain text
University of Chinese Academy of Sciences（中国科学院大学）
随着知识图的发展和商业应用，从非结构化领域文档中提取知识图谱的实体和关系的需求越来越大。这使得领域文本的自动知识抽取具有重要意义。提出一种基于BERT的知识抽取方法，用于从非结构化的特定领域文本（如保险行业的保险条款）中自动抽取知识点，以节省构建知识图谱的人力。与常用的基于规则、模板或实体抽取模型的方法不同，本文将领域知识点转化为问题和答案对，并以文档中答案周围的文本作为上下文。该方法采用了一个基于BERT的模型，类似于BERT的SQuAD阅读理解任务。该模型是微调。并用于从更多的保险条款中直接提取知识点。根据测试结果，该模型性能良好。
2021-03-01 cs.CL cs.LG
Parser Extraction of Triples in Unstructured Text
Wipro Limited（威普罗有限公司）
网络包含大量非结构化文本的存储库。我们调查的机会，建立一个知识图谱从这些文本源。我们生成了一组三元组，可用于知识收集和集成。我们定义了一个语言编译器的架构，使用OpenNLP解析器处理主谓宾三元组。我们实现了一个深度优先的搜索遍历的POS标记的语法树附加谓词和对象的信息。解析器能够更高精度和更高召回率地提取跨连接边界的句法关系。我们能够提取ReVerb正确提取的2-2.5倍。这些抽取被用于各种语义Web应用和问答中。我们验证了在CtrudeWeb数据集上提取50，000个三元组。
2018-11-06 cs.AI cs.CL cs.LG
What are the attackers doing now? Automating cyber threat intelligence extraction from text on pace with the changing threat landscape: A survey
North Carolina State University（北卡罗来纳州立大学）
本文综述了从文本中自动提取网络威胁情报（CTI）的相关研究，提出了CTI提取流水线，总结了提取目的、数据源与NLP及机器学习技术，并指出了数据挑战，倡导助力主动决策。
2021-09-14 cs.CL cs.CR cs.LG
Inter-sentence Relation Extraction for Associating Biological Context with Events in Biomedical Texts
The University of Arizona（亚利桑那大学）
我们提出了一个分析的问题，确定生物背景，并将其与生物医学文本中的生物化学事件。这构成了一个非平凡的、跨领域的关系抽取任务。我们专注于生物背景的物种，组织类型和细胞类型，与生化事件的描述。我们描述的上下文-事件关系的注释语料库的属性，并提出和评估几个分类上下文-事件关联训练的句法，距离和频率特征。
2018-12-14 cs.CL cs.LG stat.ML
