Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
词义消歧是自动识别句子中多义词的过程，是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上，在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源，有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究，并提出了一些值得关注的问题。
2013-10-05 cs.CL
A Decision Tree of Bigrams is an Accurate Predictor of Word Sense
本文提出了一种基于语料库的词义消歧方法，其中决策树根据出现在附近的二元组为歧义词分配一个意义。使用1998年SENSEVAL词义消歧练习中的词义标记语料库对这种方法进行了评估。它比36个单词中30个单词的平均结果更准确，比36个单词中19个单词的最佳结果更准确。
2001-03-29 cs.CL
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室）
在这篇文章中，我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题，通过利用意义之间的语义关系，如同义关系，上位关系和下位关系，以压缩普林斯顿WordNet的意义词汇，从而减少必须观察到的不同的意义标签的数量，以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法，大大减少了神经WSD模型的大小，其好处是提高其覆盖率，而无需额外的训练数据，并且不会影响其精度。除了我们的方法，我们提出了一个WSD系统，它依赖于预先训练的BERT词向量，以实现的结果，显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Word sense extension
University of Toronto（多伦多大学）
针对自然语言处理中词义扩展研究不足的问题，提出词义扩展范式与结合链式认知模型和嵌入空间变换学习方案的框架，在7500余英语单词新义预测及罕见词义预测上表现更优。
2023-06-09 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University（北京大学）
由于无监督学习方法对上下文变化过于敏感，因此多义词的无监督学习表示产生了大量的伪多义。在本文中，我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法，称为前RPCA，旨在检测伪多感官和真正的多感官。与Ex-RPCA，我们的经验表明，伪多感官系统产生的无监督的方法。此外，多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度（SCWS）数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Making Sense of Word Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）；Moscow State University（莫斯科国立大学）
我们提出了一个简单而有效的方法来学习词义嵌入。与现有的直接从语料库中学习语义表征或依赖于词汇资源中的语义库存的技术相比，我们的方法可以通过聚类相关词的自我网络从现有的词嵌入中诱导出一个语义库存。一个集成的WSD机制，使标签的单词在上下文中学习的意义向量，这引起了下游的应用程序。实验表明，我们的方法的性能是最先进的无监督的WSD系统相媲美。
2017-08-10 cs.CL
AutoSense Model for Word Sense Induction
Yonsei University（延世大学）
词义归纳（WSI），或自动发现一个词的多个意义或含义的任务，有三个主要的挑战：领域适应性，新的意义检测，意义粒度的灵活性。虽然目前的潜变量模型已知可以解决前两个挑战，但它们对不同的词义粒度不灵活，这些词义粒度在单词之间差异很大，从具有一种意义的土豚到具有超过50种意义的土豚。目前的模型要么需要超参数调整或非参数感应的感官数量，我们发现这两个是无效的。因此，我们的目标是通过提出AutoSense来消除这些要求并解决意义粒度问题，AutoSense是一种基于两个观察的潜在变量模型：（1）意义表示为主题上的分布，以及（2）意义在目标词及其相邻词之间生成配对。这些观察通过（a）抛出垃圾意义和（b）额外诱导细粒度词义来缓解问题。结果表明，在流行的WSI数据集上的最先进的模型有很大的改进。我们还表明，AutoSense能够学习一个词的适当的意义粒度。最后，我们将AutoSense应用于无监督作者姓名消歧任务，其中意义粒度问题更加明显，并显示AutoSense明显优于竞争模型。我们在这里分享我们的数据和代码：https://github.com/rktamplayo/AutoSense。
2018-11-22 cs.CL
Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation
LIAAD - INESC TEC（LIAAD——INESC TEC（葡萄牙系统与计算机工程研究所技术与科学中心））；Faculty of Sciences - University of Porto（波尔图大学理学院）
上下文嵌入代表了从神经语言建模（NLM）中学习到的新一代语义表示，其解决了阻碍传统词嵌入的意义合并问题。在这项工作中，我们表明，上下文嵌入可以用来实现前所未有的增益在词义消歧（WSD）的任务。我们的方法专注于创建具有WordNet全覆盖的感觉级嵌入，而不依赖于感觉分布或特定任务建模的明确知识。因此，使用我们的表示的简单最近邻（k-NN）方法能够始终超过使用强大的神经排序模型的先前系统的性能。我们还分析了我们的方法的鲁棒性时，忽略部分的语音和引理功能，需要消除歧义对全意义库存，并揭示有待改进的缺点。最后，我们探讨了我们的意义嵌入的概念层面的分析上下文嵌入和各自的NLM的应用。
2019-06-24 cs.CL
A Mixture Model for Learning Multi-Sense Word Embeddings
Saarland University（萨尔兰大学）；Macquarie University（麦考瑞大学）
词嵌入现在是用于归纳词的含义表示的标准技术。为了得到好的表示，重要的是要考虑到一个词的不同含义。在本文中，我们提出了一个混合模型学习多义词嵌入。我们的模型概括了以前的作品，因为它允许诱导不同的权重不同的意义的一个词。实验结果表明，我们的模型优于以前的标准评估任务的模型。
2017-06-15 cs.CL
xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks
National Taiwan University（国立台湾大学）
尽管在各种自然语言处理任务上取得了成功，但由于密集的向量表示，词嵌入难以解释。本文着重于解释嵌入的各个方面，包括意义分离的向量维和定义生成。具体来说，给定一个上下文和一个目标词，该算法首先将目标词嵌入投影到一个高维稀疏向量上，并通过编码的上下文信息选择最能解释目标词语义的维度，从而间接推断出目标词的意义。最后，我们的算法应用RNN以人类可读的形式生成目标词的文本定义，这使得能够直接解释相应的词嵌入。本文还介绍了一个大的，高质量的上下文定义数据集，包括意义定义连同多个例句每个多义词，这是一个有价值的资源定义建模和词义消歧。所进行的实验表明，在BLEU评分和人类评价测试的优越性能。
2018-09-10 cs.CL
Don't Neglect the Obvious: On the Role of Unambiguous Words in Word Sense Disambiguation
LIAAD - INESC TEC；University of Porto（波尔图大学）；School of Computer Science and Informatics（计算机科学与信息学院）；Cardiff University（卡迪夫大学）
用于词义消歧（WSD）的最先进的方法结合了两个不同的特征：预训练的语言模型的能力和用于扩展这种模型的覆盖范围的传播方法。这种传播是必要的，因为当前的意义注释语料库缺乏对底层意义清单（通常是WordNet）中许多实例的覆盖。与此同时，无歧义的词占WordNet中所有词的很大一部分，而在现有的意义注释语料库中覆盖得很差。在本文中，我们提出了一个简单的方法来提供注释的最明确的话在一个大型语料库。我们介绍了UWA（Unambient Word Annotations）数据集，并展示了最先进的基于传播的模型如何使用它来显著扩展其词义嵌入的覆盖范围和质量，从而改善其在WSD上的原始结果。
2020-10-23 cs.CL
Multi-sense Definition Modeling using Word Sense Decompositions
Northwestern University（西北大学）；Mahidol University（玛希隆大学）
词嵌入捕获关于词的句法和语义信息。定义建模旨在通过基于嵌入输出自然语言定义，使每个嵌入中的语义内容显式化。然而，现有的定义模型在为同一个词的不同含义生成准确定义的能力方面是有限的。在本文中，我们介绍了一种新的方法，使多个感官的定义建模。我们展示了Gumble-Softmax方法如何在训练过程中将特定意义的嵌入与定义相匹配时优于基线。在实验中，我们的多意义定义模型比最先进的单意义定义模型提高了三倍的召回率，而不影响精度。
2019-09-19 cs.CL
Persian-WSD-Corpus: A Sense Annotated Corpus for Persian All-words Word Sense Disambiguation
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Tehran（德黑兰大学）；Johns Hopkis University（约翰斯·霍普金斯大学）
词义消歧（WSD）是自然语言处理（NLP）中的一项长期任务，旨在自动识别给定上下文中单词的最相关含义。开发标准的WSD测试集可以被认为是开发和评估不同WSD系统的重要先决条件。尽管已经为各种语言开发了许多WSD测试集合，但没有标准的全词WSD基准可用于波斯语。在本文中，我们通过引入SBU-WSD-Corpus作为波斯语全词WSD任务的第一个标准测试集来解决波斯语的这一不足。SBU-WSD-语料库是用波斯语词汇网（FarsNet）的词义清单手动注释的。为此，三个注释器使用SAMP（一种基于FarsNet词汇图的意义注释工具）来执行注释任务。SBU-WSD-Corpus包含了19篇波斯语文献，涉及体育、科学、艺术等不同领域，其中包含5892个波斯语文本实义词和3371个人工标注词（2073个名词、566个动词、610个形容词和122个副词）。为未来的波斯语全词WSD任务的研究提供基线，我们评估了几个WSD模型SBU-WSD语料库。该语料库可在https://github.com/hrouhizadeh/SBU-WSD-Corpus上公开获得。
2021-07-04 cs.CL
Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）
理解上下文相关的词义变化是词汇支持的人类语言理解的一个关键方面。词典资源（例如，WordNet）仅捕获这种依赖于上下文的变化中的一部分;例如，它们通常不编码意义或离散词义彼此之间的相关程度。我们的工作调查了NLP的最新进展，特别是语境化的词嵌入，是否捕捉到了英语词义之间的人类特征，如一词多义和同音异义。我们收集数据的行为，基于网络的实验中，参与者提供一个词的多个WordNet意义的相关性的判断在一个二维的空间安排任务。我们发现，被试对感觉之间的相关性的判断与BERT嵌入空间中感觉之间的距离相关。Homeland sense（Homeland sense）作为哺乳动物的蝙蝠对作为运动器材的蝙蝠）在嵌入空间中比多义的（例如，鸡是动物，鸡是肉。我们的研究结果指向意义的连续空间表征的潜在效用。
2020-10-25 cs.CL
Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）
词义消歧（WSD）的一个主要障碍是词义不是均匀分布的，导致现有模型在训练过程中对罕见或不可见的词义表现不佳。我们提出了一个双编码器模型，它独立地嵌入（1）目标词及其周围的上下文和（2）每个意义的字典定义或注释。编码器在相同的表示空间中联合优化，使得可以通过为每个目标词嵌入找到最近的意义嵌入来执行意义消歧。我们的系统在英语全词WSD上的表现优于以前最先进的模型;这些收益主要来自于稀有感官的性能提高，导致在较不频繁的感官上的错误减少了31.1%。这表明，罕见的意义可以更有效地消除歧义，通过建模他们的定义。
2020-06-02 cs.CL
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University（西湖大学）
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的，潜在的信息被集成到词的表示中，这可以帮助建模多义。然而，上下文敏感性也会导致表征的变化，这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中，每个词义的上下文嵌入在上下文中的变化程度。结果表明，语境化的嵌入可以高度一致的上下文。此外，词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是，我们发现单词表征是有位置偏见的，不同语境中的第一个单词往往更相似。我们分析了这种现象，并提出了一种简单的方法来减轻这种偏见，在基于距离的词义消歧设置。
2022-08-20 cs.CL
Russian word sense induction by clustering averaged word embeddings
University of Oslo（奥斯陆大学）
本文报告了我们参与俄语词义归纳和消歧的共同任务（RUSSE-2018）。在所有19名参与者中，我们的团队在wiki-wiki数据集（主要包含同音异义词）中排名第二，在bts-tags和active-dict数据集（主要包含多义词）中排名第五。我们采用的方法是非常幼稚的。它意味着使用现成的预训练分布模型将歧义词的上下文表示为平均词嵌入向量。然后，这些向量表示聚类与主流的聚类技术，从而产生组对应的歧义词义。作为一个附带的结果，我们表明，在小而平衡的语料库上训练的词嵌入模型可以优于在大而嘈杂的数据上训练的模型-不仅在内在评估方面，而且在词义归纳等下游任务中。
2018-05-06 cs.CL
A Simple and Efficient Method To Generate Word Sense Representations
University of Gothenburg（哥德堡大学）
单词的分布式表示提高了许多自然语言处理任务的性能。然而，通常每个单词只获得一个表示，不承认某些单词具有多种含义的事实。这对单个单词表示和作为整体的语言模型具有负面影响。在本文中，我们提出了一个简单的模型，使最近的技术建设词向量代表不同的意义上的多义词。在我们对这个模型的评估中，我们表明它能够有效地区分单词的含义，并且以计算效率高的方式这样做。
2014-12-19 cs.CL
Decomposing Word Embedding with the Capsule Network
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）
词义消歧试图在给定的上下文中学习歧义词的适当含义。现有的预训练语言方法和基于词多嵌入的方法没有充分挖掘无监督词嵌入的能力。在本文中，我们讨论了胶囊网络为基础的方法，利用胶囊的潜力，识别高度重叠的功能和处理分割。我们提出了一种基于Capsule网络的方法，将歧义词的无监督词嵌入分解为上下文特定的意义嵌入，称为CapsDecE 2S。在该方法中，无监督的歧义嵌入被送入胶囊网络，以产生其多个语素类向量，这些向量被定义为基本的语义语言单位的意义。通过注意操作，CapsDecE 2S将单词上下文整合到上下文特定的意义嵌入中，以重建多个语素类向量。为了训练CapsDecE 2S，提出了一种感知匹配训练方法。在该方法中，我们将意义学习转化为一个二元分类，通过匹配和不匹配的标签来明确地学习意义之间的关系。在两个感觉学习任务上对CapsDecE 2S进行了实验评估，即，词在上下文和词义消歧。在Word-in-Context和英语全词词义消歧两个公共语料库上的实验结果表明，CapsDecE 2S模型在上下文词义消歧和词义消歧方面取得了新的进展。
2020-06-30 cs.CL
Using BERT for Word Sense Disambiguation
Tsinghua University（清华大学）
词义消歧是自然语言处理中的一个长期难题，其目的是确定一个多义词的正确词义。在本文中，我们提出了使用BERT提取更好的多义词表示的词义消歧和探索的几种方式结合BERT和分类器。我们还利用意义定义训练一个统一的分类器的所有的话，这使得模型，以消除歧义看不见的多义词。实验表明，该模型在标准英语全词词义消歧评价上取得了较好的效果。
2019-09-18 cs.CL
Word Sense Disambiguation using Knowledge-based Word Similarity
在自然语言处理中，词义消歧（WSD）是一个悬而未决的问题，它涉及到在特定的上下文中识别单词的正确含义。为了解决这个问题，我们介绍了一种新的基于知识的WSD系统。我们建议在我们的系统中采用两种方法。首先，我们提出了一种新的方法来编码的词向量表示，考虑从词汇知识库的图形语义关系。其次，我们提出了一种方法，从文本中提取的上下文单词分析一个歧义词的词向量表示的相似性的基础上。为了验证我们的词义消歧系统的有效性，我们在五个基准英语词义消歧语料库（Senseval-02，Senseval-03，SemEval-07，SemEval-13和SemEval-15）上进行了实验。实验结果表明，所提出的方法显著提高了WSD的性能。此外，我们的系统优于现有的知识为基础的水务署系统，并表现出性能相媲美的最先进的监督水务署系统。
2020-06-22 cs.CL
One Representation per Word - Does it make Sense for Composition?
University of Sussex（萨塞克斯大学）
在本文中，我们调查是否一个先验的词义消歧是严格必要的，或者是否一个词在上下文中的意义可以通过单独的组合消歧。我们评估了现成的单向量和多意义向量模型在基准短语相似性任务和一个新的词义判别任务上的性能。我们发现，单感矢量模型的表现以及或更好的多感矢量模型，尽管可以说是不干净的基本表示。我们的研究结果还表明，简单的组合函数，如逐点加法能够恢复感特定的信息，从一个单一的意义向量模型非常好。
2017-02-22 cs.CL
Large Scale Substitution-based Word Sense Induction
Allen Institute for AI（艾伦人工智能研究所）；Bar Ilan University（巴伊兰大学）
本文提出了一种基于预训练的屏蔽语言模型（MLMs）的词义归纳方法，该方法可以低成本地扩展到大词汇量和大语料库。其结果是一个语料库，这是根据语料库派生的意义库存的意义标记，其中每个意义与指示词。使用我们的方法进行感官标记的英文维基百科上的评估表明，即使与WSD方法（如Babelfy）相比，诱导的感官和每个实例的感官分配也具有高质量。此外，通过在语义标注语料库上训练静态词嵌入算法，我们获得了高质量的静态语义嵌入。这些方法在WiC数据集和我们开发的新离群值检测数据集上的性能优于现有的有意义嵌入方法。该算法的数据驱动的性质，可以诱导语料库特定的意义，这可能不会出现在标准的感觉库存，因为我们证明使用的案例研究的科学领域。
2022-03-21 cs.CL
Hinting Semantic Parsing with Statistical Word Sense Disambiguation
University of Rochester（罗切斯特大学）
语义解析的任务可以近似为将话语转换为逻辑形式图，其中边表示语义角色，节点表示词义。所得到的表示应该捕获话语的含义并且适合于推理。词义和语义角色是相互依存的，词义分配错误会导致语义角色分配错误，反之亦然。虽然统计方法的词义消歧优于逻辑，基于规则的语义解析器的原始词义分配，这些统计词义消歧系统不产生丰富的角色结构或详细的语义表示的输入。在这项工作中，我们提供了一个统计的WSD系统的提示，以指导逻辑语义解析器产生更好的语义类型分配，同时保持所产生的逻辑形式的合理性。我们观察到F分数提高了10.5%，但是我们发现这种提高是以语法分析的结构完整性为代价的
2020-07-06 cs.CL
Non-Parametric Few-Shot Learning for Word Sense Disambiguation
Princeton University（普林斯顿大学）
词义消歧是自然语言处理中一个长期存在的问题。监督式全词词义消歧中的一个重要挑战是对处于长尾分布中的大多数词的意义进行分类。例如，84%的注释单词在SemCor训练数据中的示例少于10个。这一问题在词和义的分布不平衡时更为突出。在这项工作中，我们提出了MetricWSD，一个非参数的少样本学习方法，以减轻这种数据不平衡的问题。通过情景训练学习计算给定单词的意义之间的距离，MetricWSD将知识（学习的度量空间）从高频单词转移到不频繁的单词。MetricWSD构建了针对单词频率的训练集，并明确解决了偏斜分布的问题，而不是将以前工作中使用参数模型训练的所有单词混合在一起。在不诉诸任何词汇资源的情况下，MetricWSD获得了与参数替代方案相比的强大性能，在统一的WSD评估基准上获得了75.1 F1分数（Raganato等人，2017年b）。我们的分析进一步验证了不常用词和不常用义有显著的改善。
2021-04-27 cs.CL
Word sense disambiguation criteria: a systematic study
本文介绍了对词义消歧标准进行系统深入研究的结果。我们的研究是基于60个目标词：20个名词，20个形容词和20个动词。我们的研究结果并不总是与该领域的一些实践相一致。例如，我们表明，省略非内容的话会降低性能，双元产生更好的结果比一元。
2005-10-05 cs.CL
An Approach to Speed-up the Word Sense Disambiguation Procedure through Sense Filtering
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University（贾达普大学）
在本文中，我们将集中在加快词义消歧过程中过滤相关的意义，通过一个歧义词的词性标注。首先，该方法在使用二元语法近似的消歧过程之前执行词性标注操作。结果，在特定文本实例处的歧义词的确切词性被导出。在下一阶段，仅从在线词典中检索那些与特定词性相关联的词典定义（注释），以消除歧义词的确切含义。在训练阶段，我们使用布朗语料库进行词性标注，并使用WordNet作为在线词典。所提出的方法将执行时间减少到正常执行时间的一半（大约），包含大约200个句子的文本。不仅如此，我们还发现了几个例子，在消歧过程之前使用词性标注可以找到歧义词的正确含义。
2015-11-19 cs.CL
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex（andex）
上下文中词义的消歧对人类来说很容易，但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而，（i）给定单词的监督训练实例的固有Zipfian分布和/或（ii）语言知识表示的质量激发了完全无监督和无知识的词义消歧（WSD）方法的发展。它们对于资源不足的语言特别有用，这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中，我们提出了一种方法，作为输入的标准预训练的词嵌入模型，并诱导一个完全成熟的词义库存，可用于在上下文消歧。我们使用这种方法在Grave et al.（2018）原始预训练的fastText词嵌入的基础上，为158种语言归纳了一系列意义清单，从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
Word Sense Induction with Knowledge Distillation from BERT
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出两阶段知识蒸馏方法，从 BERT 提取词义分布并训练注意力消歧机制，再迁移至 skip-gram 式多义词嵌入，在相似度、词义归纳及 ETM 下游任务中表现优异。
2023-04-20 cs.CL
Is Word Sense Disambiguation just one more NLP task?
本文比较了词性标注和词义标注或消歧的任务，认为这两种任务之间并不存在粒度或类似的关系，而是两种截然不同的任务，尤其是因为词性标注中没有与词义新颖性相对应的任务。本文还提出了重新整合的子任务，正在分离的评价
1999-02-25 cs.CL
Systematic word meta-sense extension
University of Toronto（多伦多大学）
本文提出了系统性词语元义延伸（SWORME）任务以测试并提升语言模型推导非字面词义的能力，发现模型擅长渐进式语义延伸而难以预测隐喻，并提出基于类比的方法有效提升了模型延伸能力及在修辞语言理解基准上的表现。
2023-11-21 cs.CL
Embedding Words and Senses Together via Joint Knowledge-Enhanced Training
Sapienza University of Rome（罗马大学）
词嵌入技术在自然语言处理中得到了广泛的应用，主要是因为它能从大量语料中获取语义信息。然而，它们的创建过程不允许一个词的不同含义自动分离，因为它将它们合并为一个向量。我们解决这个问题，提出了一个新的模型，学习词和意义嵌入联合。我们的模型利用大型语料库和语义网络的知识，以产生一个统一的向量空间的词和意义嵌入。我们在各种任务中定性和定量地评估了我们方法的主要特征，突出了所提出的方法与最先进的基于词和意义的模型相比的优势。
2017-06-21 cs.CL
Semi-supervised Word Sense Disambiguation with Neural Models
Google（谷歌）
确定文本中单词的预期意义--词义消歧（WSD）--是自然语言处理中的一个长期存在的问题。最近，研究人员已经显示出有前途的结果，使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而，文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中，我们使用序列学习神经网络LSTM来研究WSD，以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题，我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果，特别是在动词上。
2016-11-05 cs.CL
What do Language Models know about word senses? Zero-Shot WSD with Language Models and Domain Inventories
HiTZ Basque Center for Language Technologies（HiTZ巴斯克语言技术中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
语言模型是当今几乎所有自然语言处理系统的核心。它们的特殊性之一是它们的语境化表征，当有必要消除词义之间的歧义时，这是一个改变游戏规则的特征。在本文中，我们的目的是探讨在何种程度上语言模型能够辨别感官推理时间。我们通过提示常用的语言模型（如BERT或RoBERTa）执行词义消歧（WSD）任务来执行此分析。我们利用词义和领域之间的关系，并铸造词义消歧作为一个文本蕴涵问题，其中不同的假设是指词义的领域。我们的研究结果表明，这种方法确实是有效的，接近监督系统。
2023-02-07 cs.CL
Integrating Weakly Supervised Word Sense Disambiguation into Neural Machine Translation
Nuance Communications（Nuance通讯公司）；Idiap Research Institute（Idiap研究所）；HEIG-VD / HES-SO（瑞士西部高等专业学院沃州管理与工程学院/瑞士西部高等专业学院）
本文表明，词义消歧（WSD）可以改善神经机器翻译（NMT），通过扩大源上下文时考虑建模潜在的歧义词的意义。我们首先介绍了三个自适应聚类算法的WSD，基于k-means，中国餐馆的过程，和随机游走，然后将其应用到大的单词上下文表示在一个低秩空间和SemEval共享任务数据进行评估。然后，我们在最先进的NMT系统中学习词向量和由我们最好的WSD方法定义的意义向量。我们表明，这些向量的串联，并使用一个意义上的选择机制的基础上加权平均的意义向量，优于几个基线，包括意义感知的。这是通过五种语言对的翻译来证明的。这些改进在强大的NMT基线上超过一个BLEU点，在所有模糊名词和动词上的准确率为+4%，或者在几个具有挑战性的单词上手动评分时为+20%。
2018-10-05 cs.CL
The Role of Conceptual Relations in Word Sense Disambiguation
我们探讨了许多方法，使用概念距离的措施，在词义消歧，开始与Agirre-Rigau概念密度措施。我们使用这种措施的广义形式，引入了许多（参数化）的改进，并执行所有有意义的组合的详尽评估。我们最终获得了42%的改进，比原来的算法，并表明，概念距离的措施是不是更糟糕的指标意义消歧比措施的基础上的词coocurrence（举例说明Lesk算法）。然而，我们的研究结果强化了这样一种观点，即只有不同知识来源的组合才可能最终导致准确的词义消歧。
2001-07-03 cs.CL
Sense Embedding Learning for Word Sense Induction
University of Rochester（罗切斯特大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
传统的词义归纳（WSI）方法通常用离散的语言特征或共现特征来表示每个实例，并为每个多义词单独训练模型。在这项工作中，我们建议学习的WSI任务的意义嵌入。在训练阶段，我们的方法诱导几个意义中心（嵌入）为每个多义词。在测试阶段，我们的方法将每个实例表示为上下文向量，并通过在嵌入空间中找到最近的意义质心来归纳其意义。该方法的优点在于：（1）采用分布式意义向量作为知识表示，并进行区分性训练，通常比传统的基于计数的分布式模型具有更好的性能;（2）在多任务学习框架下，联合训练整个词汇的通用模型，以诱导意义中心。在SemEval-2010 WSI数据集上进行评估，我们的方法优于所有参与者和大多数最新的最先进的方法。我们通过与精心设计的基线进行比较，进一步验证了这两个优势。
2016-06-22 cs.CL
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）
词义消歧是自然语言处理的一项重要任务，它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注，当前的词义消歧系统通过将监督学习与词汇知识相结合，在英语中取得了令人印象深刻的性能。然而，这样的成功是很难被复制在其他语言中，我们只有有限的annotations.In本文中，基于多语种词典BabelNet描述跨语言的同一组概念，我们提出了建立知识和监督为基础的多语种词义消歧（MWSD）系统。我们为多种语言建立统一的意义表示，并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示，可以联合训练来自多种语言的注释，以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo（奥斯陆大学）；University of Trento（特伦托大学）
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点，我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后，在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明，虽然词形还原对英语来说确实没有必要，但对俄语来说情况就不同了。看起来，对于富形态语言，使用词形化的训练和测试数据会产生小但一致的改进：至少在词义消歧方面。这意味着在训练ELMo之前，关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University（复旦大学）
词义消歧（WSD）的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明，将光泽（意义定义）到神经网络的词义消歧的有效性。然而，与传统的词专家监督方法相比，它们并没有取得太大的改进。在本文中，我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对，并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调，在多个英文全词WSD基准数据集上的实验结果表明，该方法的性能优于现有的系统。
2020-01-05 cs.CL
Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation
Sapienza University of Rome（罗马大学）
我们向社区发布了六个大规模的多语言词义标注数据集，为监督式多语言词义消歧铺平了道路。我们的数据集涵盖了英语WordNet中的所有名词及其在其他语言中的翻译，总共有数百万个带有意义标签的句子。实验证明，这些语料库可以有效地用作监督式WSD系统的训练集，超越了低资源语言的最新技术水平，并为英语提供了有竞争力的结果，其中手动注释的训练集是可访问的。这些数据可在trainomatic. org上查阅。
2018-05-12 cs.CL
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
诸如由ELMo提供的上下文化词嵌入（CWE）（Peters等人，2018），Flair NLP（Akbik et al.，2018）或BERT（Devlin et al.，2019）是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来，例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化，因此它们隐含地提供了词义消歧（WSD）的模型。我们介绍了一个简单而有效的方法，WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能，并报告了两个标准WSD基准数据集的改进情况。我们进一步表明，预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中，而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
RuDSI: graph-based word sense induction dataset for Russian
University of Oslo（奥斯陆大学）
我们提出了RuDSI，一个新的基准词的意义归纳（WSI）在俄罗斯。该数据集是使用手动注释和半自动聚类的词使用图（WUG）。与之前的俄语WSI数据集不同，RuDSI完全是数据驱动的（基于俄罗斯国家语料库的文本），没有外部词义强加给注释者。根据图聚类的参数，可以从原始注释产生不同的衍生数据集。我们报告的性能，几个基线WSI方法获得RuDSI和讨论提高这些分数的可能性。
2022-09-28 cs.CL
Improved Word Sense Disambiguation Using Pre-Trained Contextualized Word Representations
National University of Singapore（新加坡国立大学）
上下文化的词表示能够在不同的上下文中对同一个词给出不同的表示，并且它们已经被证明在下游自然语言处理任务中是有效的，例如问答、命名实体识别和情感分析。然而，在先前的工作中的词义消歧（WSD）的评估表明，使用上下文的词表示并没有优于最先进的方法，利用非上下文的词嵌入。在本文中，我们探索了不同的策略来整合预先训练的上下文化单词表示，我们的最佳策略在多个基准WSD数据集上实现了超过先前最佳发布准确度的准确度。我们在https://github.com/nusnlp/contextemb-wsd上提供源代码。
2019-12-28 cs.CL
Together We Make Sense -- Learning Meta-Sense Embeddings from Pretrained Static Sense Embeddings
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
本文提出首个元词义嵌入方法，通过组合多个独立训练的源词义嵌入并保持词义邻域结构，解决现有词义嵌入覆盖不均衡的问题，在WSD和WiC任务上优于多个基线。
2023-05-30 cs.CL
Word Sense Disambiguation with LSTM: Do We Really Need 100 Billion Words?
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
最近，Yuan等人（2016）已经证明了使用长短期记忆（LSTM）进行词义消歧（WSD）的有效性。他们提出的技术在几个基准测试中表现优于以前的最先进技术，但训练数据和源代码都没有发布。本文介绍了仅使用公开可用的数据集（GigaWord，SemCore，OMSTI）和软件（TensorFlow）对该技术进行再现研究的结果。从他们身上可以看出，可以用比Yuan等人暗示的少得多的数据获得最先进的结果。所有代码和训练模型都是免费提供的。
2017-12-16 cs.CL
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University（德拉萨大学）；Samsung R&D Institute Philippines（三星菲律宾研发院）
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法，并应用于 Filipino 文本，实证表明30%归纳词义有效、40%归纳同义词集有效（含20%新颖集），助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
D-Bees: A Novel Method Inspired by Bee Colony Optimization for Solving Word Sense Disambiguation
词义消歧是计算语言学领域的一个问题，它是指在一定的语境中，找到一个词（或一组词）的预期意义。词义消歧最近被认为是一个组合优化问题，其目标是找到一个最大化目标词之间语义相关性的意义序列。在这篇文章中，一种新的算法来解决的WSD问题称为D-Bees提出的启发，蜂群优化（BCO）人工蜜蜂代理合作解决问题。在标准数据集（SemEval 2007粗粒度英语全词任务语料库）上评估D-Bees算法，并将其与模拟退火、遗传算法和两种蚁群优化技术（ACO）进行比较。可以看出，BCO和ACO的方法是相同的。
2014-05-06 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts（马萨诸塞大学）；Lexalytics（Lexalytics公司）
词义归纳（WSI）通过无监督地发现多个词义来解决一词多义问题，解决了下游NLP任务的歧义问题，也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法，该方法构建了一个全局非负向量嵌入基（可解释性类似主题），并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型，我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤，而不牺牲感簇的质量。在三个数据集上的实验表明，与以前的最先进的方法相比，我们提出的方法产生了类似或更好的意义聚类和嵌入，同时效率显着提高。
2018-05-29 cs.CL
An Unsupervised Word Sense Disambiguation System for Under-Resourced Languages
University of Mannheim（曼海姆大学）；Ural Federal University（乌拉尔联邦大学）
在本文中，我们提出了Watasense，一个无监督的词义消歧系统。给定一个句子，系统根据给定句子与构成目标词意义的同义词集之间的语义相似性来选择每个输入词最相关的意义。Watasense有两种操作模式。稀疏模式使用传统的向量空间模型来估计与其上下文相对应的最相似的词义。相反，密集模式使用同义词集嵌入来处理稀疏问题。我们描述了本系统的体系结构，并进行了三个不同的俄语词汇语义资源的评价。我们发现，密集模式大大优于稀疏的所有数据集上，根据调整后的兰德指数。
2018-04-27 cs.CL
Training Bi-Encoders for Word Sense Disambiguation
Compass, Inc.（Compass公司）
现代基于transformer的神经架构几乎在每一个NLP任务中都产生了令人印象深刻的结果，词义消歧，即在给定上下文中识别单词的正确含义的问题，也不例外。今天WSD中最先进的方法利用词汇信息以及来自这些模型的预训练嵌入，以实现与标准评估基准上的人类注释者间协议相当的结果。同样，我们尝试了几种策略来优化这个特定任务的双编码器，并提出了向我们的模型呈现词汇信息的替代方法。通过我们的多阶段预训练和微调管道，我们进一步发展了词义消歧的最新技术。
2021-05-21 cs.CL
Interpretable Word Sense Representations via Definition Generation: The Case of Semantic Change Analysis
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）
本研究提出用专门的Flan-T5模型生成语境化词汇用法的自然语言定义作为可解释词义表示，选取簇内原型定义为义项标签，提升了语义变化分析的可解释性，且在语境词语义相似度任务上优于传统嵌入，为NLP提供了新型词汇表示方案。
2023-07-25 cs.CL
Sense Embeddings are also Biased--Evaluating Social Biases in Static and Contextualised Sense Embeddings
University of Liverpool（利物浦大学）；Tokyo Institute of Technology（东京工业大学）；Amazon（亚马逊）
意义嵌入学习方法为歧义词的不同意义学习不同的嵌入。一个歧义词的一个意义可能是社会偏见，而它的其他意义保持公正。与许多先前评估预训练词嵌入中的社会偏见的工作相比，意义嵌入中的偏见相对研究不足。我们创建了一个基准数据集，用于评估意义嵌入中的社会偏见，并提出了新的意义特定的偏见评估措施。我们进行了广泛的评估多个静态和语境化的意义嵌入的各种类型的社会偏见，使用所提出的措施。我们的实验结果表明，即使在没有发现偏见的情况下，在词汇层面上，仍然存在令人担忧的社会偏见的水平，这往往是被忽视的词汇层面的偏见评估措施。
2022-03-16 cs.CL
