Keyword Extraction in Scientific Documents
ETH Zurich(苏黎世联邦理工学院);SUPSI(瑞士南部应用科学与艺术大学);HE-Arc(阿尔高等工程学院);Dalle Molle Institute for Artificial Intelligence USI-SUPSI(USI-SUPSI达尔·莫勒人工智能研究所)
科学出版物的产量呈指数级增长。因此,跟踪趋势和变化越来越具有挑战性。理解科学文献是知识图谱构建、文本挖掘和学科分类等下游任务的重要步骤。在这个研讨会中,我们提供了一个更好的理解关键字和关键短语提取从摘要的科学出版物。
2022-07-07 cs.CL
Unsupervised Keyword Extraction from Polish Legal Texts
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw(华沙大学跨学科数学与计算建模中心);Faculty of Electronics and Information Technology, Warsaw University of Technology(华沙理工大学电子与信息技术学院)
在这项工作中,我们提出了一个应用程序,最近提出的无监督的关键字提取算法RAKE波兰法律文本的语料库,从公共采购领域。RAKE本质上是一种独立于语言和领域的方法。它唯一的语言特定输入是包含一组非内容词的非索引字列表。该方法的性能在很大程度上取决于这样一个非索引字表的选择,这应该是域采用。因此,我们补充RAKE算法的自动方法来选择非内容词,这是基于术语分布的统计特性。
2014-11-03 cs.CL
Extra Global Attention Designation Using Keyword Detection in Sparse Transformer Architectures
Michigan Technological University(密歇根理工大学)
本文提出扩展Longformer Encoder-Decoder架构,通过在转录文本前缀添加关键词并对其编码全局注意力,有效改善了长程上下文编码,并在多个基准数据集的生成式摘要任务中提升了zero-shot、few-shot和fine-tuned性能。
2024-10-11 cs.CL
Novel Keyword Extraction and Language Detection Approaches
Cloudflare
模糊字符串匹配和语言分类是自然语言处理流水线中的重要工具,本文介绍了这两个领域的进展。我们提出了一种快速的新方法,字符串标记模糊语言匹配和实验表明,减少了83.6%的处理时间,估计提高召回率为3.1%,在成本的2.6%,精度下降。这种方法即使在关键字被细分为多个单词的情况下也能够工作,而不需要逐字符扫描。到目前为止,很少有工作考虑使用元数据来增强语言分类算法。我们提供了观察数据,发现Accept-Language头与分类匹配的可能性比IP地址高14%。
2020-09-24 cs.CL
TNT-KID: Transformer-based Neural Tagger for Keyword Identification
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯蒂芬国际研究生院)
随着可用文本数据量的增加,开发能够自动分析、分类和汇总这些数据的算法已成为必要。在这项研究中,我们提出了一种新的算法的关键字识别,即,提取代表给定文档关键方面的一个或多个单词短语,称为基于转换器的关键词识别神经标记器(TNT-KID)。通过使Transformer架构适应手头的特定任务并利用领域特定语料库上的语言模型预训练,该模型能够通过在各种不同的数据集上提供有竞争力和鲁棒的性能,同时仅需要最佳性能系统所需的一小部分手动标记数据,来克服关键字提取的有监督和无监督的最先进方法的不足。这项研究还提供了彻底的错误分析,对模型的内部工作有价值的见解,以及测量关键字识别工作流程的特定组件对整体性能的影响的消融研究。
2021-11-30 cs.CL
Extending Neural Keyword Extraction with TF-IDF tagset matching
Jožef Stefan Institute(约热夫·斯特凡研究所);Jožef Stefan IPS(约热夫·斯特凡研究所(IPS));Jamova 39, Ljubljana(Jamova 39, 卢布尔雅那)
关键词提取是识别最能描述给定文档的单词(或多词表达)的任务,并在新闻门户网站中用于链接类似主题的文章。在这项工作中,我们开发和评估我们的方法在四个新的数据集,涵盖较少代表性,形态丰富的语言在欧洲新闻媒体行业(克罗地亚语,爱沙尼亚语,拉脱维亚语和俄语)。首先,我们对两种基于监督神经变换器的方法(TNT-KID和BERT+BiLSTM CRF)进行了评估,并将其与基于基线TF-IDF的无监督方法进行了比较。接下来,我们表明,通过结合神经Transformer为基础的方法检索的关键字和扩展的最终一组关键字与无监督的TF-IDF为基础的技术,我们可以大大提高系统的召回,使其适合作为一个推荐系统中的媒体之家的环境。
2022-02-14 cs.CL
Keyword Extraction for Identifying Social Actors
Universitas Sumatera Utara(北苏门答腊大学);Universiti Kebangsaan Malaysia(马来西亚国民大学)
识别社会行动者已成为人工智能的任务之一,其中提取关键字从网页片段依赖于使用的Web是稳步获得地面在这项研究中。因此,我们开发了一种基于重叠原则的方法,利用收集的功能在网页摘要,使用关键字将消除不相关的网页。
2012-12-13 cs.CL cs.IR
KSW: Khmer Stop Word based Dictionary for Keyword Extraction
Institute of Technology of Cambodia(柬埔寨理工学院);University of Cologne(科隆大学)
本文提出KSW,一种基于定制停用词词典的高棉语关键词提取方法,通过预处理移除停用词,显著提升提取准确性和相关性,并公开资源。
2024-05-27 cs.CL cs.IR
How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing
European Commission Joint Research Centre(欧洲委员会联合研究中心)
在分类任务中,处理文本片段和元数据通常需要处理多模态方法。当这些元数据是文本的时候,为了利用模型内部编码的语义信息,很容易将它们与预先训练的Transformer一起使用。本文描述了如何通过将危机事件类型添加到要分类的每个推文来改进人道主义分类任务。基于模型权重和行为的附加实验,它识别了所提出的神经网络方法如何部分地过度拟合危机基准的特殊性,以更好地突出模型如何毫无疑问地学习使用和利用元数据的文本语义。
2021-11-07 cs.CL
Progress Notes Classification and Keyword Extraction using Attention-based Deep Learning Models with BERT
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校);Carmel High School(卡梅尔高中);DePauw University(德堡大学)
各种深度学习算法已经被开发出来用于分析不同类型的临床数据,包括临床文本分类和从“自由文本”中提取信息等,但是从临床笔记中自动提取关键词仍然是一个挑战。挑战包括处理包含各种缩写、可能的错别字和非结构化句子的嘈杂临床笔记。本研究的目的是研究基于注意力的深度学习模型,以分类从现实世界的电子病历系统中提取的去识别的临床进展记录。基于注意力的深度学习模型可以用于解释模型并理解驱动临床进展笔记的正确或不正确分类的关键词。本研究中的基于注意力的模型能够提供人类可理解的文本分类模型。实验结果表明,加入注意层的微调BERT分类模型可以达到97.6%的高分类准确率,高于基线微调BERT分类模型。在这项研究中,我们还证明了基于注意力的模型可以识别与临床进展记录类别密切相关的相关关键词。
2019-10-24 cs.CL
Keyword Extraction for Improved Document Retrieval in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近的研究表明,基于用户和计算机之间的交互来澄清和改进查询的混合主动会话搜索提供了巨大的优势。尽管如此,合并用户从对话中提供的附加信息提出了一些挑战。事实上,进一步的交互可能会使系统感到困惑,因为用户可能会使用与信息需求无关的词语,但在多轮对话的背景下,这些词语对于正确的句子构建至关重要。为此,在本文中,我们收集了两个会话关键字提取数据集,并提出了一个端到端的文档检索管道,将它们结合起来。此外,我们研究了两个神经关键词提取模型,即BERT和序列到序列,在提取精度和人类注释方面的性能。最后,我们研究了关键词提取对端到端神经IR性能的影响,并表明我们的方法击败了最先进的IR模型。我们公开这两个数据集,以促进这一领域的研究。
2021-09-22 cs.CL cs.IR
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka(里耶卡大学)
本文分析了在关键词自动抽取任务中,从复杂网络中计算出的选择性测度。从不同的网络资源(门户网站,论坛)收集的文本,表示为有向和加权的词的共现复杂网络。词是节点,如果它们在句子中直接共现,则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后,我们提出了一种方法,使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
Keyword-optimized Template Insertion for Clinical Information Extraction via Prompt-based Learning
Mount Sinai(西奈山);Hasso Plattner Institute for Digital Health at Mount Sinai(西奈山哈索·普拉特纳数字健康研究所);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Institute for Personalized Medicine(个性化医学研究所)
本文提出关键词优化的模板插入方法KOTI,通过优化提示模板在临床笔记中的位置,在零样本和少样本设置下提升多个临床文本分类任务的性能。
2023-10-31 cs.CL
Query Generation for Patent Retrieval with Keyword Extraction based on Syntactic Features
Amsterdam Business School, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹商学院);European Patent Office(欧洲专利局);Institute of Informatics, University of Amsterdam(阿姆斯特丹大学信息学院)
本文介绍了一种从专利权利要求中提取相关关键词的新方法,作为检索具有类似权利要求的其他专利(检索现有技术)任务的一部分。该方法结合了定性分析的写作风格的权利要求与自然语言处理方法来解析文本,以表示一个法律文本作为一个专业化的术语树状结构。在这种情况下,提取的关键字集合产生的搜索结果比使用传统方法(如tf-idf)提取的关键字更好。性能是在由提取的关键字组成的查询的搜索结果上测量的。
2019-06-18 cs.CL cs.IR
Toward Selectivity Based Keyword Extraction for Croatian News
University of Rijeka(里耶卡大学)
克罗地亚语基于网络的关键词提取的初步报告是一种从复杂网络中提取关键词的无监督方法。我们建立了一个新的网络测量节点的选择性,基于图的中心性方法的研究的动机,我们的方法。节点选择性被定义为单个节点的链路上的平均权重分布。我们根据选择性值提取节点(关键字候选)。此外,我们扩展提取的节点,以字元组排名最高的进/出选择性值。基于选择性的抽取不需要语言学知识,而纯粹是从源文本中包含的统计和结构信息中得到的,这些信息反映在网络的结构中。在手动注释的关键字上评估获得的集合:对于提取的关键字候选集合,平均F1分数为24,63%,平均F2分数为21,19%;对于提取的单词元组候选,平均F1分数为25,9%,平均F2分数为24,47%。
2014-07-17 cs.CL cs.IR cs.SI
Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract
Department of Information Management, Nanjing University of Science and Technology(南京理工大学信息管理学院)
本文通过整合摘要与高亮内容提升学术论文的无监督关键词提取,实验表明结合两者能显著提高提取性能,同时探讨了摘要与高亮内容在关键词覆盖和内容上的差异及其对提取结果的影响。
2026-04-21 cs.CL cs.DL cs.IR
Replication of the Keyword Extraction part of the paper "'Without the Clutter of Unimportant Words': Descriptive Keyphrases for Text Visualization"
Stanford University(斯坦福大学)
“关键词提取”是指自动识别自然语言文本中最相关和信息量最大的短语的任务。当我们被大量不同形式和内容的文本数据所淹没时--电子邮件、博客、推文、Facebook帖子、学术论文、新闻文章--通过某种方式将这些文本总结成一个连贯的结构来“理解”所有这些文本的任务变得至关重要。关键词提取--自然语言处理中一个公认的问题--可以在这里帮助我们。在这份报告中,我们构建并测试了三个不同的假设(都与关键词提取任务有关),这些假设使我们更接近于理解如何有意义地识别和提取“描述性”关键词。这里报告的工作是作为复制Chuang等人研究的一部分完成的。[3]。
2019-08-15 cs.CL cs.DL cs.IR
An evaluation of keyword extraction from online communication for the characterisation of social relations
Technische Universität München(慕尼黑工业大学)
社交网络服务或类似在线社区上的人际关系集通常是高度异质的。领带强度的概念只抓住了这种异质性的一个方面。由于非结构化的文本内容的在线通信文物是一个显着的社会关系的信息来源,我们调查的实用程序的关键字提取的消息体作为一个代表的关系的特点所反映的会话主题。使用标准自然语言处理方法执行关键字提取。通过自定义应用程序从Facebook用户获得通信数据和对提取的关键字的人工评估。总体积极的质量评估提供了证据,表明关键词确实传达了关于关系的相关信息。
2014-02-11 cs.CL cs.IR cs.SI
Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention
Technical University of Denmark(丹麦技术大学);Demant A/S(丹麦德玛特公司);KU Leuven(鲁汶大学)
多头自注意形成了Transformer网络的核心。然而,它们相对于输入序列长度的二次增长的复杂性阻碍了它们在资源受限的边缘设备上的部署。我们通过提出一种动态修剪方法来解决这一挑战,该方法利用令牌之间数据的时间稳定性来降低推理成本。基于阈值的方法仅保留后续令牌之间的显著差异,有效地减少了乘法累积的数量以及内部张量数据大小。在Google Speech Commands Dataset上对该方法进行了关键字识别评估,并将其性能与基线关键字Transformer进行了比较。我们的实验表明,我们可以减少约80%的操作,同时保持原来的98.4%的准确率。此外,当仅降低1- 4%的准确性时,可以实现约87-94%的操作减少,从而将多头自注意推理加速约7.5-16倍。
2022-03-20 cs.CL cs.LG
Keywords lie far from the mean of all words in local vector space
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一个重要的文档处理过程,其目的是找到一个小的术语集,简洁地描述文档的主题。最流行的最先进的无监督方法属于基于图的方法家族,该方法构建单词图并使用各种中心性度量来对节点(候选关键字)进行评分。在这项工作中,我们遵循不同的路径来检测的关键字从文本文档建模的主要分布的文档的话,使用本地词向量表示。然后,我们根据候选人在文本中的位置以及相应的局部向量与主分布中心之间的距离对候选人进行排名。我们通过一项扩展的实验研究,调查本地表示的属性,与强基线和最先进的无监督关键字提取方法相比,我们的方法具有高性能。
2020-08-21 cs.CL
SEKE: Specialised Experts for Keyword Extraction
Jožef Stefan Institute(乔泽夫·斯蒂芬研究所)
本文提出 SEKE,一种基于混合专家技术的监督式关键词提取方法,通过将 DeBERTa 与 BiLSTM 集成,使专家专注于每个 token,在多个英文数据集上取得最先进性能,并增强了模型的可解释性。
2025-10-10 cs.AI cs.CL
Keyword Transformer: A Self-Attention Model for Keyword Spotting
Arm ML Research Lab(Arm机器学习研究实验室);Lund University(隆德大学)
Transformer架构在许多领域都取得了成功,包括自然语言处理、计算机视觉和语音识别。在关键字识别中,自注意主要用于卷积或递归编码器之上。我们研究了一系列使Transformer架构适应关键字定位的方法,并引入了关键字Transformer(KWT),这是一种完全自我注意的架构,在没有任何预训练或额外数据的情况下,它在多个任务中的性能超过了最先进的水平。令人惊讶的是,这种简单的架构优于混合卷积层、递归层和注意层的更复杂的模型。KWT可以作为这些模型的替代品,在Google Speech Commands数据集上创造了两个新的基准记录,分别在12和35个命令任务上的准确率分别为98.6%和97.7%。
2021-06-15 cs.CL cs.LG cs.SD
Cross-Domain Keyword Extraction with Keyness Patterns
Wuhan Textile University(武汉纺织大学);Huazhong University of Science and Technology(华中科技大学)
本文提出一种基于关键度模式的有监督关键词排序抽取方法,利用独立与依赖特征及双卷积神经网络模型结合自举采样策略,有效克服领域依赖与标注主观性,在多个数据集上实现了最先进且稳健的跨领域性能。
2024-09-27 cs.CL cs.IR cs.NE
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas(北德克萨斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
关键词和关键短语提取是自然语言处理中的一个重要问题,其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的,很容易在在线系统中采用,但它们是否能从PageRank以外的中心性度量中受益,在很大程度上仍然是开放的。在本文中,我们在单词和名词短语搭配网络上实验了一系列中心性度量,并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好,而且它们更简单(例如,度、强度和邻域大小)。此外,基于中心的方法给出的结果与两个强无监督基线竞争,并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Usher Institute, Medical School, University of Edinburgh(爱丁堡大学医学院厄舍研究所)
关键词提取用于概括文档的内容,并支持高效的文档检索,因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性,适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点(现有顶点的聚合)和系统的冗余过滤器,所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的,可解释的,也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock(阿肯色大学小石城分校);Infosys Ltd.(印孚瑟斯有限公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院);National University of Singapore(新加坡国立大学)
关键词提取是自然语言处理中的一项基本任务,它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中,我们提出了一种无监督的技术,使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集,该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的,包括短摘要(Inspec)和长科学论文(SemEval 2010),并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
Unsupervised Keyword Extraction for Full-sentence VQA
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在大多数现有的可视化问答(VQA)研究中,答案由简短的,通常是单个单词组成,根据在数据集构建期间给注释者的指示。这项研究设想了一个VQA任务的自然情况下,答案更有可能是句子,而不是单个单词。为了弥补这种自然VQA和现有VQA方法之间的差距,提出了一种新的无监督关键字提取方法。该方法基于这样的原理:整句回答可以被分解为两个部分:一个部分包含回答问题的新信息(即,关键字),以及一个包含问题中已经包含的信息。判别解码器的设计,以实现这种分解,并在VQA数据集上包含整句答案的方法进行了实验。实验结果表明,该模型可以准确地提取关键词,而不需要给出明确的注释来描述它们。
2020-10-12 cs.CL cs.CV cs.LG
FRAKE: Fusional Real-time Automatic Keyword Extraction
Computerized Intelligence Systems Laboratory, Department of Computer Engineering, University of Tabriz(计算机工程系计算机智能系统实验室,大不里士大学);Department of Computer Engineering, University of Tabriz(计算机工程系,大不里士大学)
关键词提取是尽最大努力识别表达文本主要概念的单词或短语的过程。电子基础设施每天都在创造大量的文本。由于文件数量庞大,人力资源几乎不可能对其进行研究和管理。尽管如此,在许多方面显然需要高效率和有效地查阅这些文件。博客,新闻文章或技术说明被认为是相对较长的文本,因为读者的目的是根据关键字或主题来学习主题。我们的方法包括两个模型的组合:图中心特征和纹理特征。该方法利用度、介数、特征向量、贴近度中心度等图中心度和大小写、词位、词频归一化、词异句、词性标注等文本中心度的最佳组合,从候选关键词中提取最佳关键词。也有人尝试将关键词与候选短语区分开来,并将它们考虑在单独的关键词上。为了评估所提出的方法,使用了七个数据集:Semeval 2010、SemEval 2017、Inspec、fao 30、Thesis 100、pak 2018和Wikinews,结果报告为精度、召回率和F-测量。与文献中的方法相比,我们提出的方法在所有审查数据集的评估指标方面表现得更好。F-score指标增加了约16.9%,而英语数据集的Inspec和放弃语言的WikiNews的增幅更大。
2021-10-01 cs.AI cs.CL
Comparative Study of Domain Driven Terms Extraction Using Large Language Models
University of South Dakota(南达科他大学)
本文比较Llama2-7B、GPT-3.5和Falcon-7B在Inspec与PubMed数据集上的领域术语抽取表现,并分析提示工程、幻觉及资源优化等挑战。
2024-04-02 cs.AI cs.CL
Automatic Keyword Extraction from Spoken Text. A Comparison of two Lexical Resources: the EDR and WordNet
词汇资源,如WordNet和EDR电子词典已被用于几个NLP任务。也许,部分原因是EDR不是免费提供的,WordNet的使用频率远远超过EDR。我们在同一任务中使用了这两种资源,以便进行比较。该任务是自动分配关键字到多方对话片段(即口语文本的主题连贯延伸)。我们表明,在这样的任务中使用的词汇资源的结果比使用一个纯粹的基于统计的方法略高的性能。
2004-10-25 cs.CL cs.DL cs.IR
DeKeyNLU: Enhancing Natural Language to SQL Generation through Task Decomposition and Keyword Extraction
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));HSBC(汇丰银行);South China University of Technology(华南理工大学);Harvard University(哈佛大学);Chicago University(芝加哥大学)
DeKeyNLU通过任务分解和关键词提取提升NL2SQL生成精度,提出DeKeySQL流程并验证其在BIRD和Spider数据集上的有效性。
2026-01-13 cs.AI cs.CL
PerkwE_COQA: Enhanced Persian Conversational Question Answering by combining contextual keyword extraction with Large Language Models
Isfahan University of Technology(伊斯法罕理工大学)
针对大语言模型在波斯语会话式问答中难捕捉语境细节的问题,提出结合上下文关键词提取与大语言模型的PerkwE_COQA方法,性能较现有方法和纯大语言模型基线最高提升8%。
2024-04-15 cs.AI cs.CL
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而,在音频任务中,由于音频波形的序列长度非常大,所以它们不能进行训练,或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中,我们引入了一种架构Audiomer,在该架构中,我们将1D残差网络与表演者注意力相结合,以实现原始音频波形关键字定位的最佳性能,优于所有以前的方法,同时计算成本更低,参数效率更高。此外,我们的模型具有语音处理的实际优势,如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
Keyword Extraction, and Aspect Classification in Sinhala, English, and Code-Mixed Content
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院)
针对传统NLP模型处理僧伽罗语-英语等低资源语言混合代码文本时存在的分类错误、忽略及缺乏领域知识问题,本研究提出混合NLP方法,在关键词提取、内容过滤和方面分类上取得较高准确率,为混合代码及低资源银行环境的品牌声誉监测提供准确可扩展方案。
2025-04-14 cs.AI cs.CL cs.LG
Solar cell patent classification method based on keyword extraction and deep neural network
随着ESG对企业的影响越来越大,与可再生能源相关的研究受到了极大的关注。太阳能电池就是其中之一,因此,可以说太阳能电池专利分析的研究价值非常高。专利文献具有很高的研究价值。能够准确地分析和分类专利文件可以揭示几个重要的技术关系。它还可以描述该技术的业务趋势。而在投资方面,也会激发并提出新的工业解决方案来做出重要决策。因此,我们必须仔细分析专利文件,利用专利的价值。针对太阳能电池专利分类问题,提出了关键词提取方法和基于深度神经网络的太阳能电池专利分类方法。首先,对太阳能电池专利进行预处理分析。然后使用KeyBERT算法从专利摘要中提取关键词和关键短语,构建词汇词典。基于深度神经网络构建了太阳能电池专利分类模型。最后,我们使用基于深度神经网络的太阳能电池专利分类模型对电力专利进行分类,训练准确率大于95%。验证准确率约为87.5%。可见,深度神经网络方法不仅可以实现对复杂、困难的太阳能电池专利的分类,而且分类效果良好。
2021-12-09 cs.CL cs.IR
Letting the Data Speak: Extracting Keywords from Crowdsourced Collections with AI
该研究以二战数字收藏为案例,评估三种自然语言处理方法用于众包集合关键词提取,涵盖多种人工智能技术。结果显示各方法有潜力但无完整方案,模型影响结果,还指出自动提取关键词有管理责任,开放式模型较优,生成式人工智能有风险。
2026-07-13 cs.AI cs.CL cs.DL
Thematic context vector association based on event uncertainty for Twitter
College of Engineering, Pune(浦那工程学院)
针对Twitter非正式语言下关键词提取的挑战,提出基于事件不确定性和数据关联的主题上下文向量提取方法,在COVID-19数据集上聚类轮廓系数较TF和TF-IDF提升0.5%。
2023-04-04 cs.CL
Bangla Key2Text: Text Generation from Keywords for a Low Resource Language
Ahsanullah University of Science and Technology(阿萨努拉大学科学与技术学院);University of California - Riverside(加州大学河滨分校)
本文提出Bangla Key2Text数据集,用于低资源语言的关键词驱动文本生成。通过BERT基模型提取关键词,生成260万对孟加拉语关键词-文本对,评估mT5和BanglaT5模型,显示任务特定微调显著提升生成效果。
2026-04-21 cs.CL
Improving Joint Layer RNN based Keyphrase Extraction by Using Syntactical Features
School of Electrical Engineering and Informatics Institut Teknologi Bandung(万隆理工学院电气工程与信息学院)
关键词提取作为从文本中识别重要单词或短语的任务,是在分析来自社交媒体平台的文本时识别主要主题的关键过程。在我们的研究中,我们专注于从Twitter上获取的印度尼西亚语文本。与原始的联合层递归神经网络(JRNN)只输出一个关键词序列,只使用词嵌入不同,本文提出修改JRNN的输入层,通过附加的句法特征信息,即词性、命名实体类型和依赖结构,提取多个关键词序列。由于JRNN通常需要大量数据作为训练样本,并且创建这些样本的成本很高,因此我们使用数据增强方法来增加训练样本的数量。实验结果表明,该方法的性能优于基线方法。我们的方法在精度上达到了.9597,在F1上达到了.7691。
2020-09-15 cs.CL
Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz(大不里士大学);Ayvansaray University(艾万萨雷大学)
背景:关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而,以前的关键词提取方法都利用了文本和图形特征,缺乏能够正确学习和以最佳方式组合这些特征的模型。方法:在本文中,我们开发了一个多模态的关键短语提取方法,即Phraseformer,使用Transformer和图形嵌入技术。在Phraseformer中,每个关键词候选都由一个向量表示,该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究,如BERT和ExEm的优点,以保持这两种表示。此外,Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果:我们通过F1-score分析了Phraseformer在Inspec,SemEval 2010和SemEval 2017三个数据集上的性能。此外,我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外,随机森林分类器在所有分类器中获得最高的F1分数。结论:BERT和ExEm的结合更有意义,更能表征词语的语义。因此,Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction
Tencent Cloud(腾讯云)
在文档级事件抽取(DEE)任务中,事件论元通常分散在句子中(跨句子问题),多个事件可能位于一个文档中(多事件问题)。在本文中,我们认为,事件参数的关系信息是解决上述两个问题的重要意义,并提出了一个新的DEE框架,它可以建模的关系依赖,称为扩展文档级事件提取(ReDEE)。更具体地说,这个框架的特点是一个新的和定制的Transformer,命名为增强注意力的Transformer(RAAT)。RAAT是可扩展的,以捕获多尺度和多数量的参数关系。为了进一步利用关系信息,我们引入了一个单独的事件关系预测任务,并采用多任务学习方法来显式地提高事件提取性能。大量的实验表明,该方法的有效性,它可以实现最先进的性能在两个公共数据集。我们的代码可以在https://github上找到。com/YoutuResearch/RAAT.
2022-06-07 cs.CL
VisualTextRank: Unsupervised Graph-based Content Extraction for Automating Ad Text to Image Search
Yahoo Research(雅虎研究院)
许多在线库存图像库提供高质量但版权免费的图像用于营销活动。为了帮助广告客户在导航这样的第三方图书馆,我们研究的问题,自动获取相关的广告图像的广告文本(通过一个简短的文本查询图像)。出于我们的观察记录的数据上的广告图像搜索查询(给定的广告文本),我们制定了一个关键字提取问题,从广告文本(或其增强版本)中提取的关键字作为广告图像查询。在这种情况下,我们提出了VisualTextRank:一种无监督的方法,(i)使用语义相似的广告来增强输入广告文本,以及(ii)从增强的广告文本中提取图像查询。VisualTextRank建立在基于图的上下文提取(特别是有偏见的TextRank)的先前工作基础上,通过利用类似广告的文本和图像来更好地提取关键字,并使用广告商类别特定的偏见与BERCE-BERT嵌入。使用从Verizon Media Native(Yahoo Gemini)广告平台的库存图像搜索功能为入职广告客户收集的数据,我们证明了VisualTextRank与竞争性关键字提取基线相比的优越性(包括$11\%$准确性提升超过有偏见的TextRank)。对于股票图像库仅限于英语查询的情况下,我们显示了VisualTextRank对多语言广告(翻译为英语)的有效性,同时利用语义相似的英语广告。使用简化版本的VisualTextRank进行的在线测试导致库存图片搜索的使用量增加了28.7%,Ver…
2021-08-05 cs.CL cs.CV
Out of Thin Air: Is Zero-Shot Cross-Lingual Keyword Detection Better Than Unsupervised?
关键词提取是检索对给定文档的内容至关重要的词的任务。研究人员提出了各种方法来解决这个问题。在最高层,方法分为需要训练的方法(监督)和不需要训练的方法(无监督)。在这项研究中,我们感兴趣的设置,其中的语言正在调查,没有训练数据。更具体地说,我们探讨是否可以采用预训练的多语言模型的zero-shot跨语言关键字提取低资源的语言有限或没有可用的标记训练数据,以及他们是否优于国家的最先进的无监督关键字提取器。比较是在六个新闻文章数据集上进行的,涵盖了两种高资源语言,英语和俄语,以及四种低资源语言,克罗地亚语,爱沙尼亚语,拉脱维亚语和斯洛文尼亚语。我们发现,在多语言语料库上微调的预训练模型涵盖了测试集中没有出现的语言(即在zero-shot设置中),在所有六种语言中始终超过无监督模型。
2022-02-14 cs.CL cs.LG
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
依赖于大型预训练语言模型,例如来自Transformers的双向编码器表示(BERT)进行编码并添加简单的预测层,在许多临床自然语言处理(NLP)任务中取得了令人印象深刻的性能。在这项工作中,我们提出了一种新的扩展的Transformer架构,将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明,该架构是优于三个信息抽取任务中的两个,与基线模型。最后,我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
KeyXtract Twitter Model - An Essential Keywords Extraction Model for Twitter Designed using NLP Tools
University of Kelaniya(凯拉尼亚大学)
由于一条推文被限制在140个字符以内,传统的自然语言处理(NLP)工具很难分析。本研究提出了KeyXtract,它增强了基于机器学习的Stanford CoreNLP词性(POS)标记器与Twitter模型,从推文中提取关键词。该系统是使用基于规则的解析器和两个语料库。该研究的数据来自一家电信公司的Twitter简介。该系统的开发包括两个阶段。在初始阶段,在分析推文之后编译特定领域的语料库。POS标记器提取名词短语和动词短语,而解析器去除噪声并提取POS标记器遗漏的任何其他关键字。使用图灵测试对系统进行了评估。在与Stanford CoreNLP进行测试和比较后,开发了系统的第二阶段,解决了第一阶段的缺点。它使用命名实体识别和词形化进行了增强。第二阶段也使用图灵测试进行测试,其通过率从50.00%提高到83.33%。使用F1评分测量最终系统输出的性能。斯坦福大学CoreNLP与Twitter模型的平均F1为0.69,而改进后的系统的F1为0.77。通过使用完整的领域特定语料库,可以提高系统的准确性。由于该系统使用了句子的语言特征,因此可以应用于其他NLP工具。
2017-08-09 cs.CL cs.IR
Transformer-Based Temporal Information Extraction and Application: A Review
Intel Labs(英特尔实验室);University of Arizona(亚利桑那大学)
本文系统综述了基于Transformer的时间信息抽取研究,梳理其在医疗、新闻和情报等领域的应用,并展望未来研究方向。
2025-04-10 cs.CL
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
Cornell University(康奈尔大学)
我们重新审视经典的问题,文档级的角色填充实体提取(REE)模板填充。我们认为,文本级的方法是不适合的任务,并引入了一个生成的基于转换器的编码器-解码器框架(GRIT),其目的是在文档级的上下文建模:它可以跨句子边界提取决策,是隐含地知道名词短语的共指结构,并有能力尊重模板结构中的跨角色依赖关系。我们在MUC-4数据集上评估了我们的方法,并表明我们的模型比以前的工作表现得更好。我们还表明,我们的建模选择有助于模型性能,例如,通过隐式地捕获语言知识,例如识别共指实体提及。
2021-01-28 cs.CL
Improving Performance of Automatic Keyword Extraction (AKE) Methods Using PoS-Tagging and Enhanced Semantic-Awareness
Institute of Cyber Security for Society (iCSS) & School of Computing(社会网络安全研究所(iCSS)及计算机学院);University of Kent(肯特大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种基于后处理的通用方法,通过结合词性标注、专业术语库和Wikipedia命名实体增强语义感知,显著提升了五种最先进AKE方法在17个数据集上的F1分数(平均提升25.8%)。
2025-01-23 cs.CL cs.IR
RTHN: A RNN-Transformer Hierarchical Network for Emotion Cause Extraction
Nanjing University of Science and Technology(南京理工大学)
情感原因提取(ECE)任务旨在发现文档中特定情感表达背后的潜在原因。已经提出了包括基于规则的方法、传统的机器学习方法和深度神经网络的技术来解决这个任务。然而,大多数以前的工作认为ECE作为一组独立的条款分类问题,忽略了多个条款之间的关系,在一个文件。在这项工作中,我们提出了一个联合的情感原因提取框架,命名为RNN-Transformer分层网络(RTHN),同步编码和分类多个子句。RTHN由一个基于RNN的低层词级编码器和一个基于Transformer的上层子句级编码器组成,前者用于对每个子句中的多个词进行编码,后者用于学习文档中多个子句之间的相关性。此外,我们还提出了将相对位置和全局谓词信息编码到Transformer中的方法,该方法可以捕获子句之间的因果关系,从而使RTHN更有效。在12个比较系统中,我们最终取得了最好的性能,并将最先进的F1分数从72.69%提高到76.77%。
2019-06-04 cs.CL
An Empirical Study of Pre-trained Transformers for Arabic Information Extraction
Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
多语言预训练的Transformers,例如mBERT(Devlin等人,2019)和XLM-RoBERTa(Conneau等人,2020 a)已经显示出能够实现有效的跨语言zero-shot转移。然而,阿拉伯语信息抽取(IE)任务的性能不是很好的研究。在本文中,我们预训练了一个定制的双语BERT,称为GigaBERT BERT,专门为阿拉伯语NLP和英语到阿拉伯语zero-shot迁移学习设计。我们研究了GigaBERT在四个IE任务上的零短转移的有效性:命名实体识别,词性标注,参数角色标注和关系抽取。我们的最佳模型显著优于mBERT、XLM-RoBERTa和AraBERT(Antoun等人,2020)在监督和zero-shot传输设置中。我们已经在https://github.com/lanwuwei/GigaBERT上公开了我们的预训练模型。
2020-11-07 cs.CL
Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers
Universitat Pompeu Fabra(庞培法布拉大学);Idiap Research Institute(Idiap研究所);EPFL(洛桑联邦理工学院);ICREA(加泰罗尼亚研究与高等教育学院);Cardiff University(卡迪夫大学);AMPLYFI(AMPLYFI公司)
在语境中识别和分类词汇搭配对语言学习、词典编纂和后续的自然语言处理都有重要意义。然而,由于词汇搭配所表现出的冻结程度不同,这是一项具有挑战性的任务。在本文中,我们提出了一个序列标记的BERT为基础的模型增强了图形感知的Transformer架构,我们评估的任务上的搭配识别上下文。我们的研究结果表明,明确编码句法依赖的模型架构是有帮助的,并提供洞察力的差异,在英语,西班牙语和法语的搭配类型化。
2022-05-23 cs.CL
Contextual Clarity: Generating Sentences with Transformer Models using Context-Reverso Data
本文提出利用Context-Reverso数据训练T5模型,为关键词生成无歧义且简短的上下文句子,以提升信息检索与生成应用的效率。
2024-03-14 cs.AI cs.CL
Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI
本文提出基于Transformer的大语言模型,结合XAI方法,实现数学实体关系提取,达到高准确率并提升模型可解释性,为自动问题解决和知识图谱构建提供有效框架。
2026-03-06 cs.CL
BERT-GT: Cross-sentence n-ary relation extraction with BERT and Graph Transformer
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国家生物技术信息中心(NCBI)、美国国家医学图书馆(NLM)、美国国立卫生研究院(NIH))
生物医学关系陈述通常用多个句子表示,并且由许多概念组成,包括基因、疾病、化学和突变。为了从生物医学文献中自动提取信息,现有的生物医学文本挖掘方法通常将问题表述为跨句子的n元关系提取任务,该任务检测跨多个句子的n个实体之间的关系,并使用具有长短期记忆(LSTM)的图神经网络(GNN)或注意力机制。最近,Transformer在许多自然语言处理(NLP)任务上的表现优于LSTM。在这项工作中,我们提出了一种新的架构,结合双向编码器表示从Transformers与图形Transformer(BERT-GT),通过集成邻居注意力机制到BERT架构。与原始的Transformer架构不同,它利用整个句子来计算当前标记的注意力,我们的方法中的邻居-注意力机制仅利用其邻居标记来计算其注意力。因此,每个令牌可以关注其邻居信息而几乎没有噪声。我们表明,这是至关重要的,当文本是很长的,在跨句子或抽象层次的关系提取任务。我们的基准测试结果显示,在n-ary和化学蛋白质关系数据集上,准确率和F1度量分别提高了5.44%和3.89%,这表明BERT-GT是一种适用于其他生物医学关系抽取任务或数据集的鲁棒方法。
2021-01-11 cs.CL