To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo（奥斯陆大学）；University of Trento（特伦托大学）
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点，我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后，在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明，虽然词形还原对英语来说确实没有必要，但对俄语来说情况就不同了。看起来，对于富形态语言，使用词形化的训练和测试数据会产生小但一致的改进：至少在词义消歧方面。这意味着在训练ELMo之前，关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
A Simple Approach to Building Ensembles of Naive Bayesian Classifiers for Word Sense Disambiguation
本文提出了一种基于语料库的词义消歧方法，该方法建立了一个朴素贝叶斯分类器的集合，每个分类器都基于词汇特征，这些特征代表了不同大小的上下文窗口中的共现词。尽管这种方法很简单，但消除广泛研究的名词行和兴趣的实证结果表明，这样的合奏达到了与以前发表的最佳结果相媲美的准确性。
2000-05-07 cs.CL
Word Sense Disambiguation with LSTM: Do We Really Need 100 Billion Words?
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
最近，Yuan等人（2016）已经证明了使用长短期记忆（LSTM）进行词义消歧（WSD）的有效性。他们提出的技术在几个基准测试中表现优于以前的最先进技术，但训练数据和源代码都没有发布。本文介绍了仅使用公开可用的数据集（GigaWord，SemCore，OMSTI）和软件（TensorFlow）对该技术进行再现研究的结果。从他们身上可以看出，可以用比Yuan等人暗示的少得多的数据获得最先进的结果。所有代码和训练模型都是免费提供的。
2017-12-16 cs.CL
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex（andex）
上下文中词义的消歧对人类来说很容易，但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而，（i）给定单词的监督训练实例的固有Zipfian分布和/或（ii）语言知识表示的质量激发了完全无监督和无知识的词义消歧（WSD）方法的发展。它们对于资源不足的语言特别有用，这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中，我们提出了一种方法，作为输入的标准预训练的词嵌入模型，并诱导一个完全成熟的词义库存，可用于在上下文消歧。我们使用这种方法在Grave et al.（2018）原始预训练的fastText词嵌入的基础上，为158种语言归纳了一系列意义清单，从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
Word Sense Disambiguation using WSD specific Wordnet of Polysemy Words
Tribhuvan University（特里布万大学）；GBS
本文提出了一种基于线索词的多义词正确词义排歧的WordNet模型。一词多义或单义词的每个义项的相关词称为线索词。传统的WordNet将名词、动词、形容词和副词组织在一起，形成一组同义词，称为synset，每个synset表达不同的概念。与WordNet的结构相比，我们开发了一个新的WordNet模型，它组织多义词的不同意义以及基于线索词的单义词。这些用于多义词的每个含义以及单义词的线索词用于使用基于知识的词义消歧（WSD）算法来消除给定上下文中多义词的正确含义的歧义。提示词可以是名词、动词、形容词或副词。
2014-09-10 cs.CL
Evaluating the word-expert approach for Named-Entity Disambiguation
Stanford University（斯坦福大学）；University of the Basque Country（巴斯克大学）
命名实体消歧（NED）是将命名实体提及链接到知识库（通常是维基百科）中的实例的任务。这个任务是密切相关的词义消歧（WSD），其中监督词专家的方法已经占了上风。在这项工作中，我们提出了NED的单词专家方法的结果，其中一个分类器是为每个目标实体提到字符串。构建系统所需的资源，一个字典和一组训练实例，都是从维基百科自动获得的。我们提供了经验证据的价值，这种方法，以及WSD和NED之间的差异，包括歧义和同义统计的研究。
2016-03-15 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
词义消歧是自动识别句子中多义词的过程，是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上，在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源，有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究，并提出了一些值得关注的问题。
2013-10-05 cs.CL
Improved Word Sense Disambiguation Using Pre-Trained Contextualized Word Representations
National University of Singapore（新加坡国立大学）
上下文化的词表示能够在不同的上下文中对同一个词给出不同的表示，并且它们已经被证明在下游自然语言处理任务中是有效的，例如问答、命名实体识别和情感分析。然而，在先前的工作中的词义消歧（WSD）的评估表明，使用上下文的词表示并没有优于最先进的方法，利用非上下文的词嵌入。在本文中，我们探索了不同的策略来整合预先训练的上下文化单词表示，我们的最佳策略在多个基准WSD数据集上实现了超过先前最佳发布准确度的准确度。我们在https://github.com/nusnlp/contextemb-wsd上提供源代码。
2019-12-28 cs.CL
Training Bi-Encoders for Word Sense Disambiguation
Compass, Inc.（Compass公司）
现代基于transformer的神经架构几乎在每一个NLP任务中都产生了令人印象深刻的结果，词义消歧，即在给定上下文中识别单词的正确含义的问题，也不例外。今天WSD中最先进的方法利用词汇信息以及来自这些模型的预训练嵌入，以实现与标准评估基准上的人类注释者间协议相当的结果。同样，我们尝试了几种策略来优化这个特定任务的双编码器，并提出了向我们的模型呈现词汇信息的替代方法。通过我们的多阶段预训练和微调管道，我们进一步发展了词义消歧的最新技术。
2021-05-21 cs.CL
Semi-supervised Word Sense Disambiguation with Neural Models
Google（谷歌）
确定文本中单词的预期意义--词义消歧（WSD）--是自然语言处理中的一个长期存在的问题。最近，研究人员已经显示出有前途的结果，使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而，文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中，我们使用序列学习神经网络LSTM来研究WSD，以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题，我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果，特别是在动词上。
2016-11-05 cs.CL
A Novel Word Sense Disambiguation Approach Using WordNet Knowledge Graph
Lakehead University（湖首大学）；Université Laval（拉瓦尔大学）
计算语言学和人工智能中的各种应用依赖于高性能的词义消歧技术来解决具有挑战性的任务，例如信息检索、机器翻译、问答和文档聚类。虽然文本理解对人类来说是直观的，但机器在处理和解释人类的自然语言方面面临着巨大的挑战。本文提出了一种新的基于知识的词义消歧算法，即顺序上下文相似矩阵乘法（SCSMM）。SCSMM算法结合了语义相似性、启发式知识和文档上下文，分别利用连续术语之间的局部上下文、人类关于术语的知识和文档的主要主题的优点来消除术语的歧义。与其他算法不同的是，SCSMM算法保证捕获最大的句子上下文，同时保持语句中的术语顺序。所提出的算法优于所有其他算法时，消除歧义的组合金标准数据集上的名词，同时表现出可比的结果，以目前最先进的词义消歧系统时，分别处理每个数据集。此外，本文还讨论了粒度水平，歧义率，句子大小，和部分的语音分布的性能的影响所提出的算法。
2021-01-08 cs.CL
Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation
Sapienza University of Rome（罗马大学）
我们向社区发布了六个大规模的多语言词义标注数据集，为监督式多语言词义消歧铺平了道路。我们的数据集涵盖了英语WordNet中的所有名词及其在其他语言中的翻译，总共有数百万个带有意义标签的句子。实验证明，这些语料库可以有效地用作监督式WSD系统的训练集，超越了低资源语言的最新技术水平，并为英语提供了有竞争力的结果，其中手动注释的训练集是可访问的。这些数据可在trainomatic. org上查阅。
2018-05-12 cs.CL
Combining Knowledge- and Corpus-based Word-Sense-Disambiguation Methods
University of Alicante（阿利坎特大学）；Basque Country University（巴斯克大学）
在本文中，我们专注于解决词汇歧义时出现的一个给定的词有几个不同的含义。这个特定的任务通常被称为词义消歧（WSD）。WSD的任务包括使用电子词典作为单词定义的来源，为单词分配正确的含义。我们提出了两个词义消歧方法的基础上，在这一研究领域的两个主要方法论的方法：基于知识的方法和基于语料库的方法。我们的假设是，词义消歧需要几个知识源，以解决语义的歧义的话。这些来源可以是不同的种类-例如，组合，聚合或统计信息。我们的方法结合了各种知识来源，通过结合上述两种WSD方法。本文主要研究如何将这些方法和信息源结合起来，以达到较好的消歧效果。最后，本文提出了一个全面的研究和实验工作的评价方法及其组合。
2011-09-09 cs.CL
Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation
LIAAD - INESC TEC（LIAAD——INESC TEC（葡萄牙系统与计算机工程研究所技术与科学中心））；Faculty of Sciences - University of Porto（波尔图大学理学院）
上下文嵌入代表了从神经语言建模（NLM）中学习到的新一代语义表示，其解决了阻碍传统词嵌入的意义合并问题。在这项工作中，我们表明，上下文嵌入可以用来实现前所未有的增益在词义消歧（WSD）的任务。我们的方法专注于创建具有WordNet全覆盖的感觉级嵌入，而不依赖于感觉分布或特定任务建模的明确知识。因此，使用我们的表示的简单最近邻（k-NN）方法能够始终超过使用强大的神经排序模型的先前系统的性能。我们还分析了我们的方法的鲁棒性时，忽略部分的语音和引理功能，需要消除歧义对全意义库存，并揭示有待改进的缺点。最后，我们探讨了我们的意义嵌入的概念层面的分析上下文嵌入和各自的NLM的应用。
2019-06-24 cs.CL
An Approach to Speed-up the Word Sense Disambiguation Procedure through Sense Filtering
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University（贾达普大学）
在本文中，我们将集中在加快词义消歧过程中过滤相关的意义，通过一个歧义词的词性标注。首先，该方法在使用二元语法近似的消歧过程之前执行词性标注操作。结果，在特定文本实例处的歧义词的确切词性被导出。在下一阶段，仅从在线词典中检索那些与特定词性相关联的词典定义（注释），以消除歧义词的确切含义。在训练阶段，我们使用布朗语料库进行词性标注，并使用WordNet作为在线词典。所提出的方法将执行时间减少到正常执行时间的一半（大约），包含大约200个句子的文本。不仅如此，我们还发现了几个例子，在消歧过程之前使用词性标注可以找到歧义词的正确含义。
2015-11-19 cs.CL
Hinting Semantic Parsing with Statistical Word Sense Disambiguation
University of Rochester（罗切斯特大学）
语义解析的任务可以近似为将话语转换为逻辑形式图，其中边表示语义角色，节点表示词义。所得到的表示应该捕获话语的含义并且适合于推理。词义和语义角色是相互依存的，词义分配错误会导致语义角色分配错误，反之亦然。虽然统计方法的词义消歧优于逻辑，基于规则的语义解析器的原始词义分配，这些统计词义消歧系统不产生丰富的角色结构或详细的语义表示的输入。在这项工作中，我们提供了一个统计的WSD系统的提示，以指导逻辑语义解析器产生更好的语义类型分配，同时保持所产生的逻辑形式的合理性。我们观察到F分数提高了10.5%，但是我们发现这种提高是以语法分析的结构完整性为代价的
2020-07-06 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University（乌普萨拉大学）
跨语言词义消歧（WSD）解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的，并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中，从而产生语义和句法结合的词嵌入，本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明，句法嵌入的高维性对分类任务构成了障碍，需要在未来的研究中进一步解决。
2020-12-09 cs.CL
Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）
词义消歧（WSD）的一个主要障碍是词义不是均匀分布的，导致现有模型在训练过程中对罕见或不可见的词义表现不佳。我们提出了一个双编码器模型，它独立地嵌入（1）目标词及其周围的上下文和（2）每个意义的字典定义或注释。编码器在相同的表示空间中联合优化，使得可以通过为每个目标词嵌入找到最近的意义嵌入来执行意义消歧。我们的系统在英语全词WSD上的表现优于以前最先进的模型;这些收益主要来自于稀有感官的性能提高，导致在较不频繁的感官上的错误减少了31.1%。这表明，罕见的意义可以更有效地消除歧义，通过建模他们的定义。
2020-06-02 cs.CL
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute（国家信息处理研究所）
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统，在 SemEval 2023 多语言任务中获第三名，并在波斯语赛道夺冠。
2023-04-14 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University（复旦大学）
词义消歧（WSD）的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明，将光泽（意义定义）到神经网络的词义消歧的有效性。然而，与传统的词专家监督方法相比，它们并没有取得太大的改进。在本文中，我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对，并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调，在多个英文全词WSD基准数据集上的实验结果表明，该方法的性能优于现有的系统。
2020-01-05 cs.CL
How big is big enough? Unsupervised word sense disambiguation using a very large corpus
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；National Centre for Text Mining, University of Manchester（曼彻斯特大学国家文本挖掘中心）
在本文中，消除歧义的波兰语目标词的问题是通过搜索相关的词与已知的含义。这些亲属被用来建立一个训练语料库从未注释的文本。该技术通过提出新的丰富的替换源来改进，这些替换源用基于词网关系的语义学来替代传统的单义性要求。朴素贝叶斯分类器已被修改，以考虑未知的感官分布。由NEKST搜索引擎收集的6亿个Web文档（5940亿个令牌）的语料库允许我们评估训练集大小和消歧准确性之间的关系。使用wordnet基线和语料库对分类器进行评估，语料库中有17，314个手动注释的54个歧义词。
2017-10-22 cs.CL
Word sense disambiguation: a survey
Jadavpur University（贾达普大学）
本文对词义消歧技术进行了综述。世界上几乎所有的主要语言都对词义消歧进行了不同程度的研究。在本文中，我们已经通过了一个调查，在不同的研究工作中采用的不同方法，在这一领域的表现，在不同的印度语言，最后在孟加拉语的调查最近的作品的艺术状态。我们对这一领域的各种比赛以及从这些比赛中获得的基准结果进行了调查。
2015-08-06 cs.CL
Don't Neglect the Obvious: On the Role of Unambiguous Words in Word Sense Disambiguation
LIAAD - INESC TEC；University of Porto（波尔图大学）；School of Computer Science and Informatics（计算机科学与信息学院）；Cardiff University（卡迪夫大学）
用于词义消歧（WSD）的最先进的方法结合了两个不同的特征：预训练的语言模型的能力和用于扩展这种模型的覆盖范围的传播方法。这种传播是必要的，因为当前的意义注释语料库缺乏对底层意义清单（通常是WordNet）中许多实例的覆盖。与此同时，无歧义的词占WordNet中所有词的很大一部分，而在现有的意义注释语料库中覆盖得很差。在本文中，我们提出了一个简单的方法来提供注释的最明确的话在一个大型语料库。我们介绍了UWA（Unambient Word Annotations）数据集，并展示了最先进的基于传播的模型如何使用它来显著扩展其词义嵌入的覆盖范围和质量，从而改善其在WSD上的原始结果。
2020-10-23 cs.CL
Unsupervised, Knowledge-Free, and Interpretable Word Sense Disambiguation
Institute of Natural Sciences and Mathematics, Ural Federal University, Russia（乌拉尔联邦大学自然科学与数学系）；Language Technology Group, Department of Informatics, Universität Hamburg, Germany（汉堡大学信息学系语言技术组）；Web and Data Science Group, Department of Informatics, Universität Mannheim, Germany（曼海姆大学信息学系网络与数据科学组）
预测模型的可解释性是一个强大的功能，可以获得用户对预测正确性的信任。在词义消歧（WSD）中，基于知识的系统往往比无知识的系统更容易解释，因为它们依赖于大量的表示词义的手动编码元素，如上位词、用法示例和图像。我们提出了一个WSD系统，弥合这两个迄今为止断开的方法组之间的差距。也就是说，我们的系统，提供访问几个国家的最先进的WSD模型，旨在解释为一个基于知识的系统，而它仍然是完全无监督和知识自由。所提出的工具具有一个Web界面，所有字消歧的文本，使人类可读的意义预测，通过提供可解释的词义库存，意义表示，和消歧的结果。我们提供了一个公共API，实现了无缝集成。
2017-07-21 cs.CL
An Unsupervised Word Sense Disambiguation System for Under-Resourced Languages
University of Mannheim（曼海姆大学）；Ural Federal University（乌拉尔联邦大学）
在本文中，我们提出了Watasense，一个无监督的词义消歧系统。给定一个句子，系统根据给定句子与构成目标词意义的同义词集之间的语义相似性来选择每个输入词最相关的意义。Watasense有两种操作模式。稀疏模式使用传统的向量空间模型来估计与其上下文相对应的最相似的词义。相反，密集模式使用同义词集嵌入来处理稀疏问题。我们描述了本系统的体系结构，并进行了三个不同的俄语词汇语义资源的评价。我们发现，密集模式大大优于稀疏的所有数据集上，根据调整后的兰德指数。
2018-04-27 cs.CL
D-Bees: A Novel Method Inspired by Bee Colony Optimization for Solving Word Sense Disambiguation
词义消歧是计算语言学领域的一个问题，它是指在一定的语境中，找到一个词（或一组词）的预期意义。词义消歧最近被认为是一个组合优化问题，其目标是找到一个最大化目标词之间语义相关性的意义序列。在这篇文章中，一种新的算法来解决的WSD问题称为D-Bees提出的启发，蜂群优化（BCO）人工蜜蜂代理合作解决问题。在标准数据集（SemEval 2007粗粒度英语全词任务语料库）上评估D-Bees算法，并将其与模拟退火、遗传算法和两种蚁群优化技术（ACO）进行比较。可以看出，BCO和ACO的方法是相同的。
2014-05-06 cs.CL
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG（格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室）
在这篇文章中，我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题，通过利用意义之间的语义关系，如同义关系，上位关系和下位关系，以压缩普林斯顿WordNet的意义词汇，从而减少必须观察到的不同的意义标签的数量，以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法，大大减少了神经WSD模型的大小，其好处是提高其覆盖率，而无需额外的训练数据，并且不会影响其精度。除了我们的方法，我们提出了一个WSD系统，它依赖于预先训练的BERT词向量，以实现的结果，显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Word Sense Disambiguation using Knowledge-based Word Similarity
在自然语言处理中，词义消歧（WSD）是一个悬而未决的问题，它涉及到在特定的上下文中识别单词的正确含义。为了解决这个问题，我们介绍了一种新的基于知识的WSD系统。我们建议在我们的系统中采用两种方法。首先，我们提出了一种新的方法来编码的词向量表示，考虑从词汇知识库的图形语义关系。其次，我们提出了一种方法，从文本中提取的上下文单词分析一个歧义词的词向量表示的相似性的基础上。为了验证我们的词义消歧系统的有效性，我们在五个基准英语词义消歧语料库（Senseval-02，Senseval-03，SemEval-07，SemEval-13和SemEval-15）上进行了实验。实验结果表明，所提出的方法显著提高了WSD的性能。此外，我们的系统优于现有的知识为基础的水务署系统，并表现出性能相媲美的最先进的监督水务署系统。
2020-06-22 cs.CL
A Hybrid Approach to Word Sense Disambiguation Combining Supervised and Unsupervised Learning
College of Engineering and Management（工程与管理学院）；Kuang-Chi Institute of Advanced Technology（光启高等理工研究院）；Innovation Research Lab（创新研究实验室）
在本文中，我们将根据不同的情况找到单词的含义。词义消歧用于使用有监督和无监督方法基于实时上下文找到单词的含义。无监督方法使用在线词典进行学习，而有监督方法使用手动学习集。手工标记的数据被填充，这可能对学习程序无效且不足。这种信息的局限性是监督方法的主要缺陷。我们所提出的方法的重点是克服使用学习集，这是丰富的动态方式维护新的数据的限制。采用简单的滤波方法获得合适的训练数据。我们介绍了一种混合的方法，有修改的Lesk方法和袋的话丰富袋使用学习方法。我们的方法建立在实验的基础上比个人修改Lesk和袋的话的方法的优越性。
2015-11-19 cs.CL
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）
词义消歧是自然语言处理的一项重要任务，它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注，当前的词义消歧系统通过将监督学习与词汇知识相结合，在英语中取得了令人印象深刻的性能。然而，这样的成功是很难被复制在其他语言中，我们只有有限的annotations.In本文中，基于多语种词典BabelNet描述跨语言的同一组概念，我们提出了建立知识和监督为基础的多语种词义消歧（MWSD）系统。我们为多种语言建立统一的意义表示，并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示，可以联合训练来自多种语言的注释，以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
Selective Sampling for Example-based Word Sense Disambiguation
提出了一种基于实例的词义消歧系统中的实例采样方法。为了构建实际大小的数据库，需要相当大的用于手动意义消歧的开销（用于监督的开销）。此外，搜索大型数据库的时间复杂度造成了相当大的问题（搜索开销）。为了解决这些问题，我们的方法选择性地从一个给定的例子集用于词义消歧的样本较小的有效子集。我们的方法的特点是依赖于训练效用的概念：在何种程度上，每个例子是为未来的例子采样时，用于系统的训练信息。该系统通过选择具有最大效用的示例来逐步收集示例。本文通过对一千多个句子的实验，证明了该方法的有效性。与其他示例采样方法的实验相比，我们的方法既减少了监督开销，又减少了搜索开销，而不会降低系统的性能。
1999-10-23 cs.CL
Exploring automatic word sense disambiguation with decision lists and the Web
由于知识获取的瓶颈，监督学习是词义消歧的最有效的范例。在本文中，我们采取了两个公开可用的语料库和一个额外的语料库自动从Web上获得的决策列表的性能进行了深入的研究，使用细粒度的高度多义的意义在WordNet。决策列表显示了一个多功能的国家的最先进的技术。实验表明，除其他事实外，SemCor可以是一个可接受的（0.7精度多义词）的起点，为所有的词系统。在DSO语料库上的结果表明，对于一些高度多义词，0.7的精确度似乎是目前最先进的限制。另一方面，独立构建的手写标记语料库是不相互有用的，从Web上自动获取的语料库是失败的。
2000-10-17 cs.CL
Context-Aware Semantic Similarity Measurement for Unsupervised Word Sense Disambiguation
Software Competence Center Hagenberg（哈根贝格软件能力中心）
针对无监督词义消歧任务，提出一种将上下文信息融入语义相似度计算的新方法，在基准数据集上的表现优于现有多种最优技术，验证了上下文信息对无监督词义消歧的重要作用。
2023-12-13 cs.AI cs.CL
Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships
在词义消歧（WSD）中，主要的方法通常涉及在词义标注语料库上训练的监督系统。然而，这种语料库的数量有限，限制了这些系统的覆盖范围和性能。在这篇文章中，我们提出了一种新的方法，解决了这些问题，利用WordNet中存在的知识，特别是同义词之间的上位和下位关系，以减少不同的意义标签的数量是必要的消除歧义的词汇数据库中的所有单词。我们的方法在大多数WSD评估任务上都得到了最先进的结果，同时提高了监督系统的覆盖率，减少了训练时间和模型的大小，而无需额外的训练数据。此外，当我们的方法与集成技术相结合并添加WordNet Gloss Tagged作为训练语料库时，我们展示了显着优于最先进技术的结果。
2018-11-02 cs.CL
Incorporating Glosses into Neural Word Sense Disambiguation
Peking University（北京大学）
词义消歧旨在确定多义词在特定语境中的正确词义。WordNet等词汇资源在基于知识的方法中对词义消歧有很大的帮助。然而，以前的神经网络的词义消歧总是依赖于大量的标记数据（上下文），忽略了词汇资源，如注释（意义定义）。在本文中，我们将上下文和注释的目标词到一个统一的框架，以充分利用标记数据和词汇知识。因此，我们提出了GAS：一个注释增强的WSD神经网络，它联合编码目标词的上下文和注释。GAS在一个改进的记忆网络框架中对上下文和注释之间的语义关系进行建模，打破了以往有监督方法和基于知识的方法的障碍。我们通过WordNet中的语义关系进一步扩展了原有的词义注释，丰富了注释信息。实验结果表明，我们的模型在几个英语全词WSD数据集上的性能优于现有的系统。
2018-07-16 cs.CL
A Survey on Lexical Ambiguity Detection and Word Sense Disambiguation
Informatics Institute of Technology（信息学技术学院）；Swansea University（斯旺西大学）
本文综述了自然语言处理中的词义消歧技术，涵盖深度学习与知识图谱方法，介绍了词义扩展等前沿技术及其在生物医学等领域的应用，并指出了语料稀缺等挑战与未来发展方向。
2024-03-24 cs.CL
Improve Lexicon-based Word Embeddings By Word Sense Disambiguation
Keio University（庆应义塾大学）
已经有一些工作是结合语料库学习词典来提高词嵌入。然而，他们要么单独建模的词典，但更新神经网络的语料库和词典由相同的可能性，或最小化之间的距离在所有的同义词对的词典。这些方法没有考虑语料库和词典的相关性和差异性，可能不是最佳的。在本文中，我们提出了一种新的方法，考虑语料库和词典的相关性和差异。它通过学习语料库来训练词嵌入，同时在上下文下对一个词及其对应的同义词进行谓语。对于多义词，我们使用词义消歧过滤器来消除上下文中具有不同含义的同义词。为了评估所提出的方法，我们比较了我们提出的模型训练的词嵌入的性能，没有过滤器或词典的对照组，以及在词相似性任务和文本分类任务中的先前工作。实验结果表明，该模型能更好地嵌入多义词，提高文本分类性能。
2017-07-24 cs.CL
Non-Parametric Few-Shot Learning for Word Sense Disambiguation
Princeton University（普林斯顿大学）
词义消歧是自然语言处理中一个长期存在的问题。监督式全词词义消歧中的一个重要挑战是对处于长尾分布中的大多数词的意义进行分类。例如，84%的注释单词在SemCor训练数据中的示例少于10个。这一问题在词和义的分布不平衡时更为突出。在这项工作中，我们提出了MetricWSD，一个非参数的少样本学习方法，以减轻这种数据不平衡的问题。通过情景训练学习计算给定单词的意义之间的距离，MetricWSD将知识（学习的度量空间）从高频单词转移到不频繁的单词。MetricWSD构建了针对单词频率的训练集，并明确解决了偏斜分布的问题，而不是将以前工作中使用参数模型训练的所有单词混合在一起。在不诉诸任何词汇资源的情况下，MetricWSD获得了与参数替代方案相比的强大性能，在统一的WSD评估基准上获得了75.1 F1分数（Raganato等人，2017年b）。我们的分析进一步验证了不常用词和不常用义有显著的改善。
2021-04-27 cs.CL
A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation
National University of Singapore（新加坡国立大学）；NUS Interactive and Digital Media Institute（新加坡国立大学互动与数字媒体研究所）
词嵌入是自然语言处理中普遍存在的词表示形式。词嵌入在英语单语词义消歧中已有应用，但比较研究较少。本文试图弥合这一差距，通过检查流行的嵌入任务的单语英语词义消歧。我们的简化方法无需昂贵的再培训即可获得可比的最先进性能。跨语言WSD -其中源语言e中的单词的词义来自单独的目标翻译语言f -也可以帮助语言学习;例如，当为学习者提供目标词汇的翻译时。因此，我们还将词嵌入应用于中文跨语言词义消歧的新任务，并提供了一个公共数据集，以供进一步基准测试。我们还尝试了在LSTM网络中使用词嵌入，令人惊讶地发现基本的LSTM网络并不能很好地工作。我们讨论了这一结果的后果。
2017-04-09 cs.CL
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation
University of Amsterdam（阿姆斯特丹大学）；Amberscript
有监督词义消歧（WSD）面临的一个关键挑战是缺乏足够覆盖词义多样性的大型注释数据集。这启发了最近使用元学习对Few-Shot WSD的研究。虽然这项工作已经成功地应用元学习从很少的例子中学习新的词义，但它的性能仍然落后于完全监督的同类产品。为了进一步缩小这一差距，我们提出了一个语义记忆的元学习环境中的词义消歧模型。语义记忆封装了在模型的整个生命周期中看到的先前经验，这有助于在有限的数据设置中更好地泛化。我们的模型是基于分层变分推理，并通过超网络采用了自适应的内存更新规则。我们展示了我们的模型在Few-Shot WSD中的先进性，支持在极其缺乏数据（例如一次性）的情况下进行有效的学习，并产生捕获不同单词的相似意义的意义原型。
2021-06-05 cs.CL
LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
FSTM - University of Luxembourg（卢森堡大学FSTM分校）；Luxembourg Institute of Science and Technology（卢森堡科学与技术研究所）；Brown University（布朗大学）
针对神经语言模型易过拟合全局句子表征、难以捕捉局部语义细节的问题，提出对抗训练策略LANE，通过生成选择性标记替换词的负样本提升词义区分能力，在相关基准上性能优于对比学习基线，且模型无关可集成。
2025-11-14 cs.CL
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
诸如由ELMo提供的上下文化词嵌入（CWE）（Peters等人，2018），Flair NLP（Akbik et al.，2018）或BERT（Devlin et al.，2019）是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来，例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化，因此它们隐含地提供了词义消歧（WSD）的模型。我们介绍了一个简单而有效的方法，WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能，并报告了两个标准WSD基准数据集的改进情况。我们进一步表明，预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中，而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
Persian-WSD-Corpus: A Sense Annotated Corpus for Persian All-words Word Sense Disambiguation
Shahid Beheshti University（沙希德·贝赫什提大学）；University of Tehran（德黑兰大学）；Johns Hopkis University（约翰斯·霍普金斯大学）
词义消歧（WSD）是自然语言处理（NLP）中的一项长期任务，旨在自动识别给定上下文中单词的最相关含义。开发标准的WSD测试集可以被认为是开发和评估不同WSD系统的重要先决条件。尽管已经为各种语言开发了许多WSD测试集合，但没有标准的全词WSD基准可用于波斯语。在本文中，我们通过引入SBU-WSD-Corpus作为波斯语全词WSD任务的第一个标准测试集来解决波斯语的这一不足。SBU-WSD-语料库是用波斯语词汇网（FarsNet）的词义清单手动注释的。为此，三个注释器使用SAMP（一种基于FarsNet词汇图的意义注释工具）来执行注释任务。SBU-WSD-Corpus包含了19篇波斯语文献，涉及体育、科学、艺术等不同领域，其中包含5892个波斯语文本实义词和3371个人工标注词（2073个名词、566个动词、610个形容词和122个副词）。为未来的波斯语全词WSD任务的研究提供基线，我们评估了几个WSD模型SBU-WSD语料库。该语料库可在https://github.com/hrouhizadeh/SBU-WSD-Corpus上公开获得。
2021-07-04 cs.CL
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia（IBM澳大利亚研究院）
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现，需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响，从而影响消歧性能。在这项工作中，我们已经评估了几种类型的功能来自上下文的歧义词，我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明，词嵌入提高了更多传统特征的性能，并允许使用基于长短期记忆（LSTM）节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
Word Sense Disambiguation using Optimised Combinations of Knowledge Sources
除少数例外，词义消歧算法仅使用一个词汇知识源。我们描述了一个系统，它执行不受限制的词义消歧（在自由文本中的所有内容词）结合不同的知识来源：语义偏好，词典定义和主题/域代码以及部分的语音标签。这些来源的有用性通过学习算法进行优化。我们还描述了通过结合现有资源创建一个新的意义标记语料库。我们的方法在这个语料库上的测试准确率超过92%，证明了全词消歧的可行性，而不是局限于一个小样本。
1998-06-22 cmp-lg cs.CL
Metaphorical Polysemy Detection: Conventional Metaphor meets Word Sense Disambiguation
University of Cambridge（剑桥大学）
语言学家区分了新的和传统的隐喻，NLP中的隐喻检测任务没有考虑到这一区别。相反，隐喻性被公式化为句子中标记的属性，而不管隐喻类型。在本文中，我们探讨了传统的隐喻，以这种方式处理的局限性，并提倡一种替代方案，我们命名为“隐喻多义词检测”（MPD）。在MPD中，只处理常规隐喻性，它是制定为一个词汇的意义属性。我们开发了第一个MPD模型，它学习识别英语WordNet中的传统隐喻。为了训练它，我们提出了一个新的训练过程，结合隐喻检测和词义消歧（WSD）。为了评估，我们手动注释WordNet的两个子集中的隐喻。我们的模型显著优于基于最先进的隐喻检测模型的强大基线，在其中一组上获得了0.78的ROC-AUC得分（与0.65相比）。此外，当与WSD模型配对时，我们的方法在识别文本中的传统隐喻方面优于最先进的隐喻检测模型（.659 F1与.626相比）。
2022-12-16 cs.CL
ShotgunWSD: An unsupervised algorithm for global word sense disambiguation inspired by DNA sequencing
University of Bucharest（布加勒斯特大学）
在本文中，我们提出了一种新的无监督算法的词义消歧（WSD）在文档级。我们的算法受到遗传学领域广泛使用的全基因组测序方法的启发，该方法被称为Shotgun测序技术。所提出的WSD算法基于三个主要步骤。首先，将蛮力WSD算法应用于从文档中选择的短上下文窗口（最多10个单词），以便为每个窗口生成可能的感测配置的短列表。在第二步中，这些局部意义配置组装成更长的复合配置的基础上后缀和前缀匹配。结果配置按其长度排序，每个单词的意义是基于投票方案选择的，该方案只考虑单词出现的前k个配置。我们比较我们的算法与其他国家的最先进的无监督WSD算法，并表现出更好的性能，有时是一个非常大的利润。我们还表明，我们的算法可以产生更好的性能比最常见的常识（MCS）基线上的一个数据集。此外，我们的算法具有非常少的参数，对参数调整具有鲁棒性，并且与其他生物启发方法不同，它给出了确定性解决方案（不涉及随机选择）。
2017-07-25 cs.CL
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
2017-02-27 cs.CL
Comparison of Global Algorithms in Word Sense Disambiguation
Univ. Grenoble Alpes（格勒诺布尔-阿尔卑斯大学）
本文从评分器调用次数（局部算法）和由金标准评分器确定的F1分数两个方面比较了四种用于词义消歧（WSD）的概率算法（全局算法）。两种算法来自现有技术，模拟退火算法（SAA）和遗传算法（GA），以及我们首先从WSD适应的两种算法，它们是现有技术的概率搜索算法，即布谷鸟搜索算法（CSA）和蝙蝠搜索算法（BS）。由于WSD需要以指数方式评估许多词义组合（分支因子高达6或更多），概率算法允许通过对搜索空间进行采样来在易于处理的时间内找到近似解。我们发现，CSA，GA和SA最终都收敛到类似的结果（0.98 F1得分），但CSA到达那里更快（在更少的记分员调用），并达到0.95 F1之前SA在更少的记分员调用。在BA中，严格的收敛准则防止其达到0.89 F1以上。
2017-04-07 cs.CL
Fine-Grained Word Sense Disambiguation Based on Parallel Corpora, Word Alignment, Word Clustering and Aligned Wordnets
提出了一种基于平行语料库的词义消歧方法。该方法利用词对齐和词聚类的最新进展，基于自动提取的翻译等价物，并支持在语料库中的语言可用对齐的词网。根据EuroWordNet建立的原则，这些WordNet与普林斯顿Wordnet保持一致。WSD系统的评估，实施本文所述的方法显示出非常令人鼓舞的结果。在验证模式中使用的相同系统可用于检查和发现多语言对齐的词网（如EQUIPaNet和EuroWordNet）中的对齐错误。
2005-03-10 cs.AI cs.CL
FEWS: Large-Scale, Low-Shot Word Sense Disambiguation with the Dictionary
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Facebook AI Research（脸书人工智能研究院）
当前的词义消歧（WSD）模型很难消除罕见的意义，尽管在全球WSD指标上达到了人类的表现。这是因为缺乏数据来建模和评估现有WSD数据集中的稀有感官。在本文中，我们介绍FEWS（Few-Shot Examples of Word Senses），一个新的低镜头WSD数据集自动提取的例子在Wiktionary的句子。FEWS在不同的自然语言领域具有高的意义覆盖率，并提供：（1）一个比以前的数据集覆盖更多意义的大型训练集，以及（2）一个包含各种意义的少量和zero-shot示例的综合评估集。我们使用基于知识和神经的WSD方法在FEWS上建立了基线，并提出了迁移学习实验，证明使用FEWS训练的模型可以更好地捕捉现有WSD数据集中的稀有感官。最后，我们发现人类在FEWS上的表现优于最佳基线模型，这表明FEWS将支持未来在低拍摄WSD上的重要工作。
2021-02-16 cs.CL
Unsupervised Visual Sense Disambiguation for Verbs using Multimodal Embeddings
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们引入了一个新的任务，动词的视觉意义消歧：给定一个图像和一个动词，分配动词的正确意义，即，描述图像中所描绘的动作的那个。就像文本词义消歧对各种NLP任务都很有用一样，视觉词义消歧对图像检索、图像描述和文本说明等多模态任务也很有用。我们引入了VerSe，这是一个新的数据集，它用意义标签增强了现有的多模态数据集（COCO和TUHOI）。我们提出了一个无监督的算法Lesk的基础上进行视觉意义消歧使用文本，视觉，或多模态嵌入。我们发现，当黄金标准的文本注释（对象标签和图像描述）可用时，文本嵌入表现良好，而多模态嵌入在未注释的图像上表现良好。我们还验证了我们的研究结果，使用文本和多模态嵌入作为特征，在监督设置和分析的性能的视觉意义消歧任务。VerSe是公开的，可以在https://github.com/spandanagella/verse下载。
2016-03-30 cs.CL cs.CV
A Morphology-aware Network for Morphological Disambiguation
Huawei Turkey Research and Development Center（华为土耳其研发中心）
由于词的复杂形态，诸如土耳其语、芬兰语和匈牙利语的黏着语在进一步处理之前需要形态消歧。一个形态消歧器是用来选择正确的形态分析的一个词。词法消歧是自然语言处理的第一步，其性能影响后续的分析，因此词法消歧非常重要。在本文中，我们提出了一个系统，使用深度学习技术的形态消歧。计算机视觉、语音识别和自然语言处理领域的许多最新成果都是通过深度学习模型获得的。然而，将深度学习技术应用于形态丰富的语言并没有得到很好的研究。在这项工作中，虽然我们专注于土耳其形态消歧，我们也提出了结果，法语和德语，以表明，所提出的架构实现了高精度，没有特定语言的功能工程或额外的资源。在实验中，我们达到了84.12，88.35和93.78的歧义词之间的土耳其语，德语和法语的形态消歧准确率分别。
2017-02-13 cs.CL
Semantic Relatedness for Keyword Disambiguation: Exploiting Different Embeddings
everis / NTT Data（埃维里斯/恩梯梯数据）；Universitat Politècnica de València（瓦伦西亚理工大学）；University of Zaragoza（萨拉戈萨大学）；Aragon Institute of Engineering Research (I3A)（阿拉贡工程研究所）
理解单词的含义对于许多涉及人机交互的任务至关重要。这已经通过自然语言处理（NLP）领域中的词义消歧（WSD）的研究来解决。最近，WSD和许多其他NLP任务已经利用了基于嵌入的单词，句子和文档表示。然而，当涉及到词义消歧时，大多数嵌入模型都存在歧义，因为它们不能捕捉单词的不同可能含义。即使他们这样做了，一个词的可能含义列表（意义清单）也必须在训练时提前知道，才能包含在嵌入空间中。不幸的是，存在这样的感测库存事先不知道的情况（例如，在运行时选择的本体），或者其随时间演变并且其状态与训练时的状态不同。这阻碍了嵌入模型在WSD中的使用。此外，传统的词义消歧技术在可用语言信息非常稀缺的情况下表现不佳，例如基于关键字的查询。在本文中，我们提出了一种方法，关键字消歧的理由是由外部库存（本体），这是不知道在训练时提供的词和意义之间的语义相关性。在以前的工作的基础上，我们提出了一个语义相关性的措施，使用词嵌入，并探讨不同的消歧算法，也利用单词和句子表示。实验结果表明，该方法实现的结果与最先进的应用于词义消歧，没有一个特定的领域的培训。
2020-02-25 cs.CL
