Unsupervised Keyword Extraction from Polish Legal Texts
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw（华沙大学跨学科数学与计算建模中心）；Faculty of Electronics and Information Technology, Warsaw University of Technology（华沙理工大学电子与信息技术学院）
在这项工作中，我们提出了一个应用程序，最近提出的无监督的关键字提取算法RAKE波兰法律文本的语料库，从公共采购领域。RAKE本质上是一种独立于语言和领域的方法。它唯一的语言特定输入是包含一组非内容词的非索引字列表。该方法的性能在很大程度上取决于这样一个非索引字表的选择，这应该是域采用。因此，我们补充RAKE算法的自动方法来选择非内容词，这是基于术语分布的统计特性。
2014-11-03 cs.CL
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka（里耶卡大学）
本文分析了在关键词自动抽取任务中，从复杂网络中计算出的选择性测度。从不同的网络资源（门户网站，论坛）收集的文本，表示为有向和加权的词的共现复杂网络。词是节点，如果它们在句子中直接共现，则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后，我们提出了一种方法，使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
Improving Synthetic Data Training for Contextual Biasing Models with a Keyword-Aware Cost Function
College of Computing and Data Science（计算与数据科学学院）；College of Computing（计算学院）
针对上下文偏置模型在合成数据训练中的过拟合问题，提出关键词感知损失函数，增强TCPGen方法，将Whisper适配10小时合成数据后，词错误率从29.71%降至11.81%。
2025-09-11 cs.AI cs.CL
Automatic Keyword Extraction from Spoken Text. A Comparison of two Lexical Resources: the EDR and WordNet
词汇资源，如WordNet和EDR电子词典已被用于几个NLP任务。也许，部分原因是EDR不是免费提供的，WordNet的使用频率远远超过EDR。我们在同一任务中使用了这两种资源，以便进行比较。该任务是自动分配关键字到多方对话片段（即口语文本的主题连贯延伸）。我们表明，在这样的任务中使用的词汇资源的结果比使用一个纯粹的基于统计的方法略高的性能。
2004-10-25 cs.CL cs.DL cs.IR
Unsupervised extraction of local and global keywords from a single text
Alikhanyan National Laboratory（阿里哈尼扬国家实验室）
本研究提出一种无监督、不依赖语料库和语言的单文本关键词提取方法，基于词语空间分布与随机置换响应，可提取局部和全局关键词、挖掘文本主题，在长文本上效果优于现有方法，经人工和非人工指标验证有效，并揭示了关键词与章节划分的关联。
2024-06-14 cs.CL cs.DL
Measuring Economic Policy Uncertainty Using an Unsupervised Word Embedding-based Method
Yazd University（亚兹德大学）
经济政策不确定性（EPU）是经济研究中的一个重要指标，它可以用来预测经济衰退。在更高的不确定性下，企业所有者削减了投资，这导致了更长的衰退后复苏。EPU指数是通过统计包含与政策制定和经济相关的预定义关键词并传达不确定性的新闻文章来计算的。不幸的是，这种方法对原始关键字集，其丰富性和新闻报道敏感。因此，在不同国家复制其结果具有挑战性。在本文中，我们提出了一种无监督的文本挖掘方法，使用词嵌入表示空间来选择相关的关键字。该方法对应用于词嵌入向量的语义相似度阈值不严格敏感，并且不需要预定义的字典。我们的实验使用了大量的波斯语新闻库表明，EPU系列计算所提出的方法精确地遵循影响伊朗经济的重大事件，并与伊朗的世界不确定性指数（WUI）兼容。
2021-05-10 cs.CL
Detecting New Word Meanings: A Comparison of Word Embedding Models in Spanish
Laboratoire Informatique d’Avignon（阿维尼翁计算机实验室）；Polytechnique Montréal（蒙特利尔综合理工学院）
语义新词是指在保持原有形式的同时获得新的词义的词。鉴于这类新词的性质，识别这些新词含义的任务目前由新词观测站的专家手动执行。为了以半自动的方式检测SN，我们开发了一个系统，该系统实现了以下策略的组合：主题建模，关键字提取和词义消歧。主题建模的作用是检测输入文本中处理的主题。文本中的主题提供了关于所用单词的特定含义的线索，例如：viral在计算机科学（CS）的上下文中有一个含义，而在谈论健康时有另一个含义。为了提取关键字，我们使用了带有POS标签过滤的TextRank。通过这种方法，我们可以获得已经是西班牙语词汇的一部分的相关单词。我们使用一个深度学习模型来确定一个给定的关键字是否有新的含义。与所有已知含义（或主题）不同的嵌入表示单词可能是有效的SN候选。在这项研究中，我们研究了以下词嵌入模型：Word2Vec，Sense2Vec和FastText。使用西班牙语维基百科作为语料库，使用等效参数对模型进行训练。然后，我们使用一个单词列表及其索引（从我们的新词数据库中获得）来显示每个模型产生的不同嵌入。最后，我们将这些结果与每个单词的一致性进行比较，以显示我们如何确定一个单词是否可以作为SN的有效候选。
2020-01-12 cs.CL
Replication of the Keyword Extraction part of the paper "'Without the Clutter of Unimportant Words': Descriptive Keyphrases for Text Visualization"
Stanford University（斯坦福大学）
“关键词提取”是指自动识别自然语言文本中最相关和信息量最大的短语的任务。当我们被大量不同形式和内容的文本数据所淹没时--电子邮件、博客、推文、Facebook帖子、学术论文、新闻文章--通过某种方式将这些文本总结成一个连贯的结构来“理解”所有这些文本的任务变得至关重要。关键词提取--自然语言处理中一个公认的问题--可以在这里帮助我们。在这份报告中，我们构建并测试了三个不同的假设（都与关键词提取任务有关），这些假设使我们更接近于理解如何有意义地识别和提取“描述性”关键词。这里报告的工作是作为复制Chuang等人研究的一部分完成的。[3]。
2019-08-15 cs.CL cs.DL cs.IR
Extending Neural Keyword Extraction with TF-IDF tagset matching
Jožef Stefan Institute（约热夫·斯特凡研究所）；Jožef Stefan IPS（约热夫·斯特凡研究所（IPS））；Jamova 39, Ljubljana（Jamova 39, 卢布尔雅那）
关键词提取是识别最能描述给定文档的单词（或多词表达）的任务，并在新闻门户网站中用于链接类似主题的文章。在这项工作中，我们开发和评估我们的方法在四个新的数据集，涵盖较少代表性，形态丰富的语言在欧洲新闻媒体行业（克罗地亚语，爱沙尼亚语，拉脱维亚语和俄语）。首先，我们对两种基于监督神经变换器的方法（TNT-KID和BERT+BiLSTM CRF）进行了评估，并将其与基于基线TF-IDF的无监督方法进行了比较。接下来，我们表明，通过结合神经Transformer为基础的方法检索的关键字和扩展的最终一组关键字与无监督的TF-IDF为基础的技术，我们可以大大提高系统的召回，使其适合作为一个推荐系统中的媒体之家的环境。
2022-02-14 cs.CL
Spell my name: keyword boosted speech recognition
Naver Corporation（NAVER公司）
识别不常见的单词，如名称和技术术语，对于理解上下文中的对话非常重要。然而，在现代自动语音识别（ASR）系统中，识别这样的单词的能力仍然是一个挑战。在本文中，我们提出了一种简单但功能强大的ASR解码方法，可以更好地识别这些不常见的关键字，从而使结果具有更好的可读性。该方法基于声学模型预测提高了束搜索中给定关键字的概率。该方法不需要事先进行任何训练。我们证明了我们的方法的有效性LibriSpeeech测试集和内部数据的真实世界的对话。我们的方法显着提高了测试集上的关键字准确性，同时保持了其他单词的准确性，并提供了显着的定性改进。该方法适用于其他任务，例如机器翻译，或者在束搜索中需要识别看不见的和困难的关键字的任何地方。
2021-10-06 cs.CL cs.SD eess.AS
BoK: Introducing Bag-of-Keywords Loss for Interpretable Dialogue Response Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
针对标准语言建模损失不足以支撑对话建模的问题，提出关键词袋（BoK）辅助损失，通过预测下轮话语关键词增强回复生成的质量与可解释性，在两类架构及多个数据集上验证了有效性与指标潜力。
2025-01-17 cs.CL
Statistical keyword detection in literary corpora
理解人类语言的复杂性需要对文本中单词的统计分布进行适当的分析。我们考虑通过涉及词的“空间”使用的统计信息来检测文本的相关词并对其进行排名的信息检索问题。香农信息熵被用作自动关键词提取的工具。通过使用查尔斯·达尔文的《物种起源》作为代表性文本样本，我们展示了我们的检测器的性能，并将其与文献中的其他建议进行了比较。随机混洗文本作为校准排名指数的工具受到特别关注。
2008-05-30 cs.CL cs.IR physics.soc-ph
Using virtual edges to extract keywords from texts modeled as complex networks
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）；Universidade Católica de Brasília（巴西利亚天主教大学）
文本中关键词的检测对于文本挖掘的许多应用都是非常重要的。基于图的方法已被广泛用于自动发现文本中的关键概念，然而，嵌入提供的相关信息还没有被广泛用于丰富图结构。在这里，我们建立了文本共现网络模型，其中节点是单词，边是通过上下文或语义相似性建立的。我们比较了两种嵌入方法--Word 2 vec和BERT --以检查通过词嵌入创建的边缘是否可以提高关键字提取方法的质量。我们发现，实际上，虚拟边的使用可以提高共现网络的可分辨性。当我们考虑添加虚拟（嵌入）边缘的百分比较低时，获得了最佳性能。结构和动态网络指标的比较分析表明，度，PageRank和可访问性是在虚拟边缘丰富的模型中显示最佳性能的指标。
2022-05-04 cs.CL cs.SI
Visually grounded learning of keyword prediction from untranscribed speech
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
在语言习得过程中，婴儿有视觉线索的好处，以地面口语。机器人同样可以使用音频和视觉传感器。最近的工作表明，图像和口头字幕可以映射到一个有意义的共同空间，允许图像检索使用语音，反之亦然。在这种设置的图像与未转录的口头字幕配对，我们考虑是否可以使用计算机视觉系统来获得语音的文本标签。具体地说，我们使用一个图像到文字的多标签视觉分类器标记图像与软文本标签，然后训练一个神经网络映射到这些软目标的语音。我们表明，由此产生的语音系统是能够预测哪些词出现在一个话语-作为一个口头的词袋分类-没有看到任何平行的语音和文本。我们发现，该模型经常混淆语义相关的词，例如“人”和“人”，使其更有效的语义关键字spotter。
2017-05-25 cs.CL cs.CV
Event detection in Twitter: A keyword volume approach
University of Adelaide（阿德莱德大学）
使用社交媒体流的事件检测需要一组具有强信号的信息特征，这些特征需要最少的预处理并且与感兴趣的事件高度相关。将这些信息特征识别为Twitter的关键字是一项挑战，因为人们使用非正式语言来表达他们的想法和感受。这种非正式性包括首字母缩略词、拼写错误的单词、同义词、音译和模棱两可的术语。在本文中，我们提出了一种有效的方法来选择Twitter中经常使用的关键字，这些关键字大多与抗议等感兴趣的事件相关。这些关键词的量被实时的跟踪以在二元分类方案中识别感兴趣的事件。我们使用词对中的关键词来捕捉上下文。该方法首先对每个词对的每日计数向量进行二值化，然后使用Jaccard度量度量每个词对的二值向量与描述事件发生的二值向量的相似性。前n个词对被用作将任何一天分类为事件或非事件日的特征。使用多个分类器，如朴素贝叶斯，支持向量机，逻辑回归，KNN和决策树测试所选择的功能。它们的AUC ROC评分均高达0.91，F1评分均高达0.79。该实验在墨尔本、悉尼和布里斯班等多个城市使用英语进行，在雅加达使用印度尼西亚语进行。这两个实验，包括不同的语言和地点，产生了类似的结果。
2019-01-03 cs.CL cs.LG cs.SI
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA（美国西门子医疗解决方案公司）
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示，在紧凑的欧几里得空间中保持它们的相似性。然而，这些空间的尺寸并没有提供任何明确的解释。在这项研究中，我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明，该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此，它们的行为类似于字典特征，同时具有连续值输出的优点。此外，这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外，相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中，我们已经证明，使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性，通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
Novel Keyword Extraction and Language Detection Approaches
Cloudflare
模糊字符串匹配和语言分类是自然语言处理流水线中的重要工具，本文介绍了这两个领域的进展。我们提出了一种快速的新方法，字符串标记模糊语言匹配和实验表明，减少了83.6%的处理时间，估计提高召回率为3.1%，在成本的2.6%，精度下降。这种方法即使在关键字被细分为多个单词的情况下也能够工作，而不需要逐字符扫描。到目前为止，很少有工作考虑使用元数据来增强语言分类算法。我们提供了观察数据，发现Accept-Language头与分类匹配的可能性比IP地址高14%。
2020-09-24 cs.CL
Towards localisation of keywords in speech using weak supervision
Stellenbosch University（斯泰伦博斯大学）
弱监督和自监督模型的发展可以使语音技术在低资源环境中，完全transmittance不可用。我们考虑是否关键字本地化是可能的，使用两种形式的弱监督的位置信息没有明确提供。在第一种情况下，仅指示单词的存在或不存在，即词袋（BoW）标记。在第二种情况下，视觉上下文以与未标记的话语配对的图像的形式提供;然后需要使用配对的数据以自监督的方式训练模型。对于关键字本地化，我们采用了通常用于视觉领域的基于显着性的方法。我们将其与现有的技术进行比较，该技术将本地化作为网络架构的一部分。虽然基于显着性的方法更灵活（它可以在没有架构限制的情况下应用），但我们在使用它进行关键字本地化时发现了一个关键限制。在这两种形式的监督中，视觉训练模型的表现比BoW训练模型差。我们定性地表明，视觉训练模型有时会定位语义相关的单词，但这并不一致。虽然我们的研究结果表明，有一些信号允许本地化，但它也要求其他本地化方法更好地匹配这些形式的弱监管。
2020-12-14 cs.CL eess.AS
Semi-automatic System for Title Construction
University of Delhi（德里大学）
在本文中，我们提出了一个半自动系统的标题建设从科技摘要。该系统从文本中提取并推荐有影响力的单词，作者可以创造性地使用这些单词来为手稿构建合适的标题。这项工作是基于这样的假设，即关键字是很好的候选人的标题建设。我们从文档中提取重要的话，通过诱导一个监督的关键词提取模型。该模型在从文档的文本图表示中提取的新特征上进行训练。我们的经验表明，这些基于图形的功能是能够区分关键字从非关键字。我们进一步建立经验，所提出的方法可以适用于任何文本，无论训练域和语料库。我们评估所提出的系统，通过计算提取的关键字和标题词的文档列表之间的重叠，我们观察到82%的宏观平均精度。
2019-05-01 cs.CL cs.IR
Topic Modeling based on Keywords and Context
University of Liechtenstein（列支敦士登大学）；IBM Research Zurich（IBM苏黎世研究院）
目前的主题模型往往受到发现的主题不匹配人类的直觉，不自然的切换文档中的主题和高计算需求。我们解决这些问题，提出了一个主题模型和推理算法的基础上自动识别特征关键字的主题。关键词影响邻近词的主题分配。我们的算法学习（关键）词主题得分，并自我调节主题的数量。推理是简单和容易并行化。定性分析得出的结果与最先进的模型（如LDA），但具有不同的优势和劣势。使用9个数据集的定量分析显示，在分类准确性，PMI得分，计算性能和文档中主题分配的一致性方面有所提高，而大多数情况下使用较少的主题。
2018-02-03 cs.CL cs.IR cs.LG
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
Toward Selectivity Based Keyword Extraction for Croatian News
University of Rijeka（里耶卡大学）
克罗地亚语基于网络的关键词提取的初步报告是一种从复杂网络中提取关键词的无监督方法。我们建立了一个新的网络测量节点的选择性，基于图的中心性方法的研究的动机，我们的方法。节点选择性被定义为单个节点的链路上的平均权重分布。我们根据选择性值提取节点（关键字候选）。此外，我们扩展提取的节点，以字元组排名最高的进/出选择性值。基于选择性的抽取不需要语言学知识，而纯粹是从源文本中包含的统计和结构信息中得到的，这些信息反映在网络的结构中。在手动注释的关键字上评估获得的集合：对于提取的关键字候选集合，平均F1分数为24，63%，平均F2分数为21，19%;对于提取的单词元组候选，平均F1分数为25，9%，平均F2分数为24，47%。
2014-07-17 cs.CL cs.IR cs.SI
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock（阿肯色大学小石城分校）；Infosys Ltd.（印孚瑟斯有限公司）；IIIT-Delhi（德里英迪拉·甘地信息技术学院）；National University of Singapore（新加坡国立大学）
关键词提取是自然语言处理中的一项基本任务，它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中，我们提出了一种无监督的技术，使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集，该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的，包括短摘要（Inspec）和长科学论文（SemEval 2010），并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models
Keido Labs（Keido实验室）
本文提出AIPsy-Affect，一种480项的临床刺激电池，通过叙事情境引发Plutchik的八种基本情绪，消除关键词混淆，支持情绪机制的可解释性研究。
2026-04-28 cs.AI cs.CL
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas（北德克萨斯大学）；Pennsylvania State University（宾夕法尼亚州立大学）
关键词和关键短语提取是自然语言处理中的一个重要问题，其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的，很容易在在线系统中采用，但它们是否能从PageRank以外的中心性度量中受益，在很大程度上仍然是开放的。在本文中，我们在单词和名词短语搭配网络上实验了一系列中心性度量，并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好，而且它们更简单（例如，度、强度和邻域大小）。此外，基于中心的方法给出的结果与两个强无监督基线竞争，并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding
Politehnica Bucharest（布加勒斯特理工大学）；Stellenbosch University（斯坦陵布什大学）；Trinity College Dublin（都柏林圣三一学院）
本研究针对低资源场景下的语音数据构建问题，提出一种基于自监督语音表示的对齐方法，可从视觉 grounding 数据中直接学习跨语言词到语音的映射，效果优于以往的注意力模型。
2026-08-28 cs.CL eess.AS
Context-Sensitive Malicious Spelling Error Correction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
恶意拼写错误的单词通过改变特定的关键字来工作，旨在阻止现有的网络环境控制自动化应用程序，如互联网上的骚扰内容检测和垃圾邮件检测。在本文中，我们专注于恶意拼写纠正，这需要一种方法，依赖于上下文和目标关键字的表面形式。在两个应用程序的背景下-亵渎检测和垃圾邮件检测-我们表明，恶意拼写错误严重降低其性能。然后，我们提出了一个上下文敏感的恶意拼写校正方法，使用词嵌入，并证明其优越的性能相比，国家的最先进的拼写检查。
2019-01-23 cs.CL
Semantic Word Clouds with Background Corpus Normalization and t-distributed Stochastic Neighbor Embedding
Heidelberg University（海德堡大学）；LMU Munich（慕尼黑大学）
许多单词云不提供单词放置的语义，而是使用仅出于美学目的而优化的随机布局。我们提出了一种新的方法来模型的词的重要性和词的亲和力在一个文件中，并在一个大型的背景语料库相比。我们证明了它的有用性，生成更有意义的词云作为一个给定的文档的视觉摘要。然后，我们根据关键词的重要性选择关键词，并根据派生的亲和力构建词云。基于修改的t分布随机邻居嵌入（t-SNE），我们生成语义词放置。对于共现显着的话，我们包括边缘，并根据它们的共现聚类的话。为此，我们设计了一个可扩展的和内存高效的基于草图的方法，可用于商品硬件聚合所需的语料库统计数据进行规范化，并确定关键字以及显着的cooccupancy。我们经验验证我们的方法使用大型维基百科语料库。
2017-08-11 cs.CL cs.IR
Unsupervised Keyword Extraction for Full-sentence VQA
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在大多数现有的可视化问答（VQA）研究中，答案由简短的，通常是单个单词组成，根据在数据集构建期间给注释者的指示。这项研究设想了一个VQA任务的自然情况下，答案更有可能是句子，而不是单个单词。为了弥补这种自然VQA和现有VQA方法之间的差距，提出了一种新的无监督关键字提取方法。该方法基于这样的原理：整句回答可以被分解为两个部分：一个部分包含回答问题的新信息（即，关键字），以及一个包含问题中已经包含的信息。判别解码器的设计，以实现这种分解，并在VQA数据集上包含整句答案的方法进行了实验。实验结果表明，该模型可以准确地提取关键词，而不需要给出明确的注释来描述它们。
2020-10-12 cs.CL cs.CV cs.LG
Keyword Aware Influential Community Search in Large Attributed Graphs
BUET（孟加拉国工程技术大学）；Swinburne University of Technology（斯威本科技大学）；Melbourne University（墨尔本大学）
我们介绍了一种新的关键字感知的有影响力的社区查询KICQ，发现最有影响力的社区从属性图，其中一个有影响力的社区被定义为一个紧密连接的顶点组，具有一定的优势，超过其他组的顶点与专业知识（一组关键字）匹配的查询条件（单词或短语）。我们首先设计的KICQ，方便用户发出一个有影响力的CS查询直观地使用一组查询条件，和谓词（与或）。在这种情况下，我们提出了一种新的基于词嵌入的相似度模型，使语义社区搜索，这大大扩展了精确的关键字为基础的社区搜索的局限性。接下来，我们提出了一个新的社区的影响力的措施，考虑了社区的凝聚力和影响力，并消除了需要指定的网络的内部参数的值。最后，我们提出了两个有效的算法搜索有影响力的社区在大型属性图。我们提出了详细的实验和案例研究，以证明所提出的方法的有效性和效率。
2019-12-04 cs.CL cs.SI
Geological Inference from Textual Data using Word Embeddings
CMKL University（CMKL大学）；The University of Edinburgh（爱丁堡大学）
本文提出利用GloVe词嵌入与多种降维技术从地质文本中提取语义关系，以城市为地理线索定位工业矿物资源，并通过与已知矿山位置的邻近度验证方法有效性。
2025-04-10 cs.CL stat.ME
InterBiasing: Boost Unseen Word Recognition through Biasing Intermediate Predictions
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER云公司）
针对端到端语音识别对未登录词识别不准的问题，提出基于Self-conditioned CTC的无参数方法InterBiasing，通过替换中间CTC预测为校正标签提升识别准确率，日语实验验证了未知词F1值的提升效果。
2024-06-21 cs.CL eess.AS
TNT-KID: Transformer-based Neural Tagger for Keyword Identification
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）
随着可用文本数据量的增加，开发能够自动分析、分类和汇总这些数据的算法已成为必要。在这项研究中，我们提出了一种新的算法的关键字识别，即，提取代表给定文档关键方面的一个或多个单词短语，称为基于转换器的关键词识别神经标记器（TNT-KID）。通过使Transformer架构适应手头的特定任务并利用领域特定语料库上的语言模型预训练，该模型能够通过在各种不同的数据集上提供有竞争力和鲁棒的性能，同时仅需要最佳性能系统所需的一小部分手动标记数据，来克服关键字提取的有监督和无监督的最先进方法的不足。这项研究还提供了彻底的错误分析，对模型的内部工作有价值的见解，以及测量关键字识别工作流程的特定组件对整体性能的影响的消融研究。
2021-11-30 cs.CL
Subword RNNLM Approximations for Out-Of-Vocabulary Keyword Search
Aalto University（阿尔托大学）；Helsinki University（赫尔辛基大学）；Inscripta（Inscripta公司）
在口语关键字搜索中，查询可能包含在训练语音识别系统时未观察到的词汇表外（OOV）单词。在第一遍识别中使用子词语言模型（LM）使得识别OOV词成为可能，但即使是子词n-gram LM也遭受数据稀疏。递归神经网络（RNN）LM缓解了稀疏性问题，但不适合首次识别。解决这个问题的一种方法是通过退避n-gram模型来近似RNNLM。在本文中，我们建议插值传统的n-gram模型和RNNLM近似更好地识别OOV。此外，我们开发了一种新的RNNLM近似方法，适用于子词单元：它产生可变阶的n-gram，以包括长跨度近似，并考虑在训练语料库中最初没有观察到的n-gram。为了在OOV上评估这些模型，我们设置了阿拉伯语和芬兰语的关键词搜索任务，只集中在OOV单词上。在这些任务中，内插基线RNNLM近似和常规LM在单字符子字的最大项加权值方面优于常规LM。此外，用所提出的方法代替基线近似，在多字符和单字符子字上都实现了最佳性能。
2020-09-10 cs.CL cs.SD eess.AS
Leveraging Just a Few Keywords for Fine-Grained Aspect Detection Through Weakly Supervised Co-Training
Columbia University（哥伦比亚大学）
用户生成的评论可以被分解成细粒度的片段（例如，句子，子句），每个评估主体实体的不同方面（例如，价格、质量、外观）。自动检测这些方面对于用户和下游意见挖掘应用程序都是有用的。目前用于学习方面分类器的监督方法需要许多细粒度的方面标签，这是劳动密集型的获得。不幸的是，无监督的主题模型往往无法捕捉到感兴趣的方面。在这项工作中，我们考虑了用于训练方面分类器的弱监督方法，这些方法只需要用户提供一小组种子词（即，弱阳性指标）。首先，我们表明，目前的弱监督方法不能有效地利用种子词的预测能力进行方面检测。接下来，我们提出了一种学生-教师方法，该方法有效地利用了词袋分类器（教师）中的种子词;反过来，我们使用教师来训练第二个模型（学生），该模型可能更强大（例如，使用预训练的词嵌入的神经网络）。最后，我们证明了迭代协同训练可以用来处理有噪声的种子词，从而改进教师和学生模型。我们提出的方法在六个不同的产品评论领域和六个多语言餐厅评论数据集中始终优于以前的弱监督方法（平均14.1个绝对F1点）。
2019-09-01 cs.CL cs.LG stat.ML
Multi-Hop Question Generation via Dual-Perspective Keyword Guidance
School of Computer Science and Technology, Soochow University, China（苏州大学计算机科学与技术学院）；Institute for Infocomm Research, A*STAR, Singapore（新加坡*STAR信息通信研究所）
本文提出双视角关键词引导框架DPKG，通过区分问题关键词与文档关键词并分别建模，有效提升多跳问题生成中关键信息定位的准确性。
2025-06-03 cs.CL
Towards hate speech detection in low-resource languages: Comparing ASR to acoustic word embeddings on Wolof and Swahili
Stellenbosch University（斯泰伦博斯大学）；Universitat Pompeu Fabra（庞培法布拉大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；University of Cape Town（开普敦大学）；VoxCroft Analytics（VoxCroft分析公司）
本文比较低资源语言仇恨言论关键词识别中的 ASR 与多语言 AWE，发现同域小样本 ASR 更优，而真实广播场景下 AWE 更稳健。
2023-06-01 cs.CL cs.SD eess.AS
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.（Preferred Elements公司）
本文提出一种基于LLM的ASR系统，通过在文本提示中提供关键词作为先验信息进行上下文化，利用Whisper编码器和PLaMo-100B解码器，在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
Stick to Facts: Towards Fidelity-oriented Product Description Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Alibaba Group（阿里巴巴集团）
本文针对产品描述生成中的保真度问题，提出 FPDG 模型，利用实体标签引导的 ELSTM 解码器和关键词记忆机制，显著提升了生成描述的忠实度。
2025-03-12 cs.CL
Federated Learning for Keyword Spotting
Snips（Snips公司）
我们提出了一种基于联邦学习的实用方法，以解决连续运行的嵌入式基于语音的模型（如唤醒词检测器）的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集，模仿联邦唤醒词用户。我们的经验表明，使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数，以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB，这在智能家居语音助理的背景下是合理的。此外，用于这些实验的数据集正在开源，旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level Neural State Classification in Semantic Inference Reading Comprehension
Brown University（布朗大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Yale University（耶鲁大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；National Central University（国立中央大学）
本研究首次利用LLM知识，联合分析EEG和眼动数据，在词级水平上分类语义推理阅读中的神经状态，验证准确率超60%，为阅读辅助技术提供指导。
2023-10-17 cs.AI cs.CL
WordNet-Based Information Retrieval Using Common Hypernyms and Combined Features
HCMC University of Technology（胡志明市理工大学）；John von Neumann Institute（约翰·冯·诺依曼研究所）
基于关键词词汇匹配的文本搜索由于词的多义和同义而不能令人满意。一般来说，利用单词含义的语义搜索提高了搜索性能。在本文中，我们调查基于WordNet的信息检索系统，它采用了词义消歧的方法来处理查询和文档。问题是，在许多情况下，一个词有不止一个可能的直接意义，只选择其中一个可能会给这个词一个错误的意义。此外，以前的系统只使用词的形式来表示词义及其上位词。我们提出了一种新的方法，使用最具体的共同上位词的剩余未消歧的多个意义的一个词，以及组合WordNet功能来表示词义。在一个基准数据集上的实验表明，在MAP度量方面，我们的搜索引擎比词法搜索好17.7%，比使用WordNet的所有调查搜索系统至少好9.4%。本体，词义消歧，语义标注，语义搜索。
2018-07-15 cs.CL cs.IR
What Words Do We Use to Lie?: Word Choice in Deceptive Messages
Cornell University（康奈尔大学）
文本消息是计算机媒介通信（CMC）中使用最广泛的形式。先前的研究表明，语言因素可以可靠地表明信息具有欺骗性。例如，用户花更长的时间和更多的话来制作欺骗性的信息，而不是真实的信息。现有的研究还研究了学生身份和性别等因素如何影响欺骗性信息中的欺骗率和词汇选择。然而，这项研究受到样本量小的限制，并得出了相互矛盾的结果。本文旨在通过使用Android消息传递应用程序从大量不同参与者收集的文本消息数据集来解决这些问题。研究结果表明，男女被试在词汇选择和欺骗性信息使用频率上存在显著差异，学生和非学生被试在词汇选择和欺骗性信息使用频率上也存在显著差异。
2022-08-01 cs.CL
Academic Resource Text Level Multi-label Classification based on Attention
Beijing University of Posts and Telecommunications（北京邮电大学）
层次多标签学术文本分类（HMTC）是将学术文本分配到一个层次结构化的标签系统中。提出了一种基于注意力的学术文本层次多标签分类算法（AHMCA），该算法综合了文本、关键词和层次结构等特征，将学术文档分类到最相关的类别中。我们利用word 2 vec和BiLSTM来获得文本、关键字和层次结构的嵌入和潜在向量表示。我们使用层次注意力机制来捕获关键字、标签层次和文本词向量之间的关联，以生成特定于层次的文档嵌入向量来替换HMCN-F中的原始文本嵌入。在学术文本数据集上的实验结果证明了该算法的有效性。
2022-03-21 cs.AI cs.CL
Keyword Assisted Embedded Topic Model
University of California, Los Angeles（加州大学洛杉矶分校）
通过阐明文本语料库中的潜在结构，主题模型是对大量文档进行分类、总结和探索的重要工具。概率主题模型，如潜在狄利克雷分配（LDA），描述了文档中的单词如何通过一组称为主题的潜在分布生成。最近，嵌入式主题模型（ETM）扩展了LDA，利用词嵌入中的语义信息来生成语义更丰富的主题。由于LDA及其扩展是无监督模型，因此它们的定义不能有效地利用用户对该领域的先验知识。为此，我们提出了关键词辅助嵌入式主题模型（KeyETM），它配备ETM的能力，将用户知识的形式信息的主题级先验的词汇。使用定量指标和人类的反应主题入侵任务，我们证明了KeyETM产生更好的主题比其他指导，生成模型在文献中。
2021-11-22 cs.CL cs.IR cs.LG
Efficient and Effective Single-Document Summarizations and A Word-Embedding Measurement of Quality
University of Massachusetts（马萨诸塞大学）
我们的任务是生成一个有效的摘要为特定的实时要求的给定文件。我们使用softplus函数来增强关键字排名，以支持重要的句子，在此基础上，我们提出了一些摘要算法，使用各种关键字提取和主题聚类方法。我们表明，我们的算法满足实时要求，并产生最好的ROUGE召回分数DUC-02在所有以前已知的算法。我们表明，我们的算法满足实时要求，并产生最好的ROUGE召回分数DUC-02在所有以前已知的算法。为了在没有人工生成基准的情况下评估摘要的质量，我们定义了一个基于Word Mover距离的词嵌入的度量，称为WESM。我们表明，我们的算法的ROUGE和WESM分数的排序是高度可比的，这表明WESM可以作为一个可行的替代方法来衡量总结的质量。
2017-10-01 cs.CL cs.IR
Concept-based indexing in text information retrieval
Mouloud Mammeri University of Tizi-Ouzou（穆卢德·马姆里蒂齐乌祖大学）
传统的信息检索系统依赖于关键字来索引文档和查询。在这样的系统中，基于与查询共享的关键字的数量来检索文档。当使用不同的关键字来描述文档和查询时，这种以词汇为中心的检索会导致不准确和不完整的结果。以语义为中心的检索方法试图通过依赖于概念而不是关键字来索引和检索来克服这个问题。目标是检索与给定用户查询语义相关的文档。本文针对这一问题提出了一个解决方案，在索引级。更确切地说，我们提出了一种新的方法，语义索引的基础上确定的概念，从语言资源。特别是，我们的方法依赖于WordNet和WordNetDomains词汇数据库的概念识别的联合使用。此外，我们提出了一个基于语义的概念加权方案，依赖于一个新的概念中心的定义。在TIME测试集合上评估生成的系统。实验结果表明，我们的命题比传统的IR方法的有效性。
2013-03-07 cs.CL cs.IR
Keyword Extraction for Improved Document Retrieval in Conversational Search
University of Amsterdam（阿姆斯特丹大学）
最近的研究表明，基于用户和计算机之间的交互来澄清和改进查询的混合主动会话搜索提供了巨大的优势。尽管如此，合并用户从对话中提供的附加信息提出了一些挑战。事实上，进一步的交互可能会使系统感到困惑，因为用户可能会使用与信息需求无关的词语，但在多轮对话的背景下，这些词语对于正确的句子构建至关重要。为此，在本文中，我们收集了两个会话关键字提取数据集，并提出了一个端到端的文档检索管道，将它们结合起来。此外，我们研究了两个神经关键词提取模型，即BERT和序列到序列，在提取精度和人类注释方面的性能。最后，我们研究了关键词提取对端到端神经IR性能的影响，并表明我们的方法击败了最先进的IR模型。我们公开这两个数据集，以促进这一领域的研究。
2021-09-22 cs.CL cs.IR
Out of Thin Air: Is Zero-Shot Cross-Lingual Keyword Detection Better Than Unsupervised?
关键词提取是检索对给定文档的内容至关重要的词的任务。研究人员提出了各种方法来解决这个问题。在最高层，方法分为需要训练的方法（监督）和不需要训练的方法（无监督）。在这项研究中，我们感兴趣的设置，其中的语言正在调查，没有训练数据。更具体地说，我们探讨是否可以采用预训练的多语言模型的zero-shot跨语言关键字提取低资源的语言有限或没有可用的标记训练数据，以及他们是否优于国家的最先进的无监督关键字提取器。比较是在六个新闻文章数据集上进行的，涵盖了两种高资源语言，英语和俄语，以及四种低资源语言，克罗地亚语，爱沙尼亚语，拉脱维亚语和斯洛文尼亚语。我们发现，在多语言语料库上微调的预训练模型涵盖了测试集中没有出现的语言（即在zero-shot设置中），在所有六种语言中始终超过无监督模型。
2022-02-14 cs.CL cs.LG
Enhancing keyword correlation for event detection in social networks using SVD and k-means: Twitter case study
Data to Decisions Cooperative Research Centre（数据决策合作研究中心）
从推文中提取文本特征是一个具有挑战性的过程，因为内容的噪声性质和大多数单词的微弱信号。在本文中，我们提出使用奇异值分解（SVD）与聚类，以增强在推文的文本特征的信号，以提高与事件的相关性。所提出的技术将SVD应用于每个特征的时间序列向量，以分解特征/天数计数的矩阵，以确保特征向量的独立性。然后，应用k-means聚类来构建一个查找表，该查找表将每个聚类的成员映射到聚类质心。利用查找表将原始数据中的每个特征映射到其聚类的质心，然后计算每个聚类中所有特征的词频向量之和到聚类质心的词频向量。为了测试该技术，我们计算了聚类中心与黄金标准记录（GSR）矢量的相关性之前和之后的聚类成员的矢量的质心矢量。该方法适用于多重相关技术，包括皮尔逊，斯皮尔曼，距离相关和肯德尔道。实验还考虑了不同的词形式和长度的特征，包括关键字，n-gram，skip-gram和bags-of-words。随着最高相关性分数从0.3增加到0.6，并且平均相关性分数从0.3增加到0.4，相关性结果显著增强。
2018-07-25 cs.CL cs.LG cs.SI
LGDE: Local Graph-based Dictionary Expansion
Department of Surgery & Cancer, Imperial College London, United Kingdom（伦敦帝国学院外科与癌症系）；Weizenbaum Institute Berlin, Germany（柏林Weizenbaum研究所）；Institute for Media and Communication Studies, Free University of Berlin, Germany（柏林自由大学媒体与传播研究所）；Institute for Research on Far Right Extremism, University of Tübingen, Germany（图宾根大学右翼极端主义研究所）
本文提出 LGDE，通过词嵌入几何构建局部相似度图并利用图扩散检测语义社区，以数据驱动方式扩展关键词词典，在英语语料和传播学真实任务中优于直接相似度与共现方法。
2025-08-28 cs.CL cs.SI physics.soc-ph
Cross-lingual keyword assignment
本文提出了一种独立于语言的方法来控制词汇的关键字分配使用EUROVOC词库。由于EUROVOC的多语言特性，以一种语言编写的文档的关键字可以以所有11种欧盟官方语言显示。此外，将不同语文的文件映射到同一多语文术语词库还可进行跨语文文件比较。受控词汇词库描述符的分配是通过应用统计方法来实现的，该统计方法使用手动索引的文档的集合来为每个词库描述符识别与该描述符统计关联的大量词元。然后，在分配过程中使用这些关联的词来确定最有可能成为给定文档的好关键词的那些EUROVOC术语的排名列表。本文还介绍了这项任务的挑战，并讨论了实现的结果的全功能原型。
2006-09-12 cs.CL cs.IR
Documents Are People and Words Are Items: A Psychometric Approach to Textual Data with Contextual Embeddings
Faculty of Education, University of Hong Kong（香港大学教育学院）
本文提出一种基于上下文嵌入的心理测量方法，用于分析文本数据，通过将文档视为个体和词语视为项目，揭示文本中的潜在知识维度。
2025-09-10 cs.CL stat.AP stat.ME
Searching for Discriminative Words in Multidimensional Continuous Feature Space
Slovak University of Technology in Bratislava（布拉迪斯拉发斯洛伐克工业大学）；Faculty of Informatics and Information Technologies（信息与信息技术学院）
单词特征向量已被证明可以改善许多NLP任务。随着这些特征向量的无监督学习的最新进展，可以用更多的数据来训练它，这也导致了更好的学习特征质量。由于它学习单词潜在特征的联合概率，因此它的优点是我们可以训练它，而无需任何关于我们想要解决的目标任务的先验知识。我们的目标是评估特征向量的普遍适用性，这已经被证明适用于许多标准的NLP任务，如词性标注或句法分析。在我们的例子中，我们希望了解文本文档的主题焦点，并设计一个有效的表示适合区分不同的主题。在文本分类任务中，可以充分评估区分度。我们提出了一种新的方法来提取判别关键字的文件。我们利用词的特征向量来更好地理解词之间的关系，也理解文本中讨论的潜在主题，而不是直接提到，但逻辑推理。我们还提出了一种简单的方法来计算文档特征向量提取的歧视性的话。我们在四个最流行的文本分类数据集上评估了我们的方法。我们展示了不同的判别指标如何影响整体结果。我们证明了我们的方法的有效性，通过实现国家的最先进的文本分类任务的结果，只使用少量的提取的关键字。我们证明了词特征向量可以大大提高文档意义的主题推理。我们的结论是，分布式表示的话，可以用来建立更高层次的抽象，我们证明和建立文档的特征向量。
2022-11-26 cs.AI cs.CL cs.IR
