Un-Doubling Diffusion: LLM-guided Disambiguation of Homonym Duplication
针对扩散模型同时生成同形异义词多重含义的问题,本文提出重复率度量与VLM自动评估,并通过LLM提示词扩展减少翻译导致的英语中心偏见重复。
2025-09-28 cs.CL
Exploring the Word Sense Disambiguation Capabilities of Large Language Models
University of Bari Aldo Moro(巴里·阿尔多·莫罗大学);University of Pisa(比萨大学)
本文通过扩展XL-WSD基准评估大型语言模型的词义消歧能力,发现其在零样本下表现良好但不及最先进方法,而中等参数量微调模型可超越所有模型。
2025-03-11 cs.AI cs.CL
ARPA: A Novel Hybrid Model for Advancing Visual Word Disambiguation Using Large Language Models and Transformers
National Technical University of Athens(雅典国立技术大学);School of Electrical and Computer Engineering(电气与计算机工程学院)
针对视觉词义消歧任务,提出融合大语言模型、Transformer与定制GNN层的ARPA混合架构,结合数据增强与多模态训练技术,树立新基准,为多模态交互提供通用框架。
2024-08-12 cs.CL cs.CV
Towards Effective Disambiguation for Machine Translation with Large Language Models
University of Edinburgh(爱丁堡大学)
本文研究大语言模型翻译歧义句子的能力,提出通过上下文学习和在精选数据集上微调来提升消歧能力,实验证明该方法在多数语言方向上优于DeepL和NLLB等先进系统。
2023-10-21 cs.CL
Homonym Sense Disambiguation in the Georgian Language
I. Javakhishvili Tbilisi State University(第比利斯国立大学)
本文针对格鲁吉亚语同音异义词消歧难题,提出基于过滤 Common Crawls 语料微调预训练大语言模型的方法,并结合 LSTM 实验,在超过 7500 句人工标注数据上取得 95% 的准确率。
2024-04-24 cs.CL cs.LG
Word sense disambiguation criteria: a systematic study
本文介绍了对词义消歧标准进行系统深入研究的结果。我们的研究是基于60个目标词:20个名词,20个形容词和20个动词。我们的研究结果并不总是与该领域的一些实践相一致。例如,我们表明,省略非内容的话会降低性能,双元产生更好的结果比一元。
2005-10-05 cs.CL
The Role of Conceptual Relations in Word Sense Disambiguation
我们探讨了许多方法,使用概念距离的措施,在词义消歧,开始与Agirre-Rigau概念密度措施。我们使用这种措施的广义形式,引入了许多(参数化)的改进,并执行所有有意义的组合的详尽评估。我们最终获得了42%的改进,比原来的算法,并表明,概念距离的措施是不是更糟糕的指标意义消歧比措施的基础上的词coocurrence(举例说明Lesk算法)。然而,我们的研究结果强化了这样一种观点,即只有不同知识来源的组合才可能最终导致准确的词义消歧。
2001-07-03 cs.CL
A chain dictionary method for Word Sense Disambiguation and applications
University "Babes-Bolyai"(巴贝什-博利亚伊大学)
基于词典的词义消歧算法是词义消歧的一大类无监督算法。各种算法都以Lesk算法为基础,它直接利用字典中的义项定义。我们的方法使用的词汇库WordNet的一个新的算法起源于Lesk的,即“链算法消歧的所有单词”,CHAD。我们将展示如何从一种语言翻译成另一种语言,也可以通过这种消歧来完成文本蕴涵验证。
2008-06-16 cs.CL
Is Word Sense Disambiguation just one more NLP task?
本文比较了词性标注和词义标注或消歧的任务,认为这两种任务之间并不存在粒度或类似的关系,而是两种截然不同的任务,尤其是因为词性标注中没有与词义新颖性相对应的任务。本文还提出了重新整合的子任务,正在分离的评价
1999-02-25 cs.CL
Detecting Word Sense Disambiguation Biases in Machine Translation for Model-Agnostic Adversarial Attacks
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
词义消歧是英语翻译中常见的翻译错误之一。我们认为,一些不正确的消歧选择是由于模型过度依赖训练数据中的数据集工件,特别是表面的单词共现,而不是对源文本的更深入理解。我们介绍了一种基于统计数据属性的预测消歧错误的方法,证明了它在多个领域和模型类型中的有效性。此外,我们开发了一个简单的对抗攻击策略,最小限度地干扰句子,以引起消歧错误,以进一步探讨翻译模型的鲁棒性。我们的研究结果表明,消歧鲁棒性在不同领域之间存在很大差异,并且在相同数据上训练的不同模型容易受到不同的攻击。
2020-11-03 cs.CL
Using BERT for Word Sense Disambiguation
Tsinghua University(清华大学)
词义消歧是自然语言处理中的一个长期难题,其目的是确定一个多义词的正确词义。在本文中,我们提出了使用BERT提取更好的多义词表示的词义消歧和探索的几种方式结合BERT和分类器。我们还利用意义定义训练一个统一的分类器的所有的话,这使得模型,以消除歧义看不见的多义词。实验表明,该模型在标准英语全词词义消歧评价上取得了较好的效果。
2019-09-18 cs.CL
LU-BZU at SemEval-2021 Task 2: Word2Vec and Lemma2Vec performance in Arabic Word-in-Context disambiguation
Lebanese University(黎巴嫩大学);Birzeit University(比尔宰特大学)
本文提出了一组实验,以评估和比较使用CBOW Word 2 Vec和Lemma 2 Vec模型的阿拉伯语词在上下文(WiC)消歧,而不使用意义库存或意义嵌入的性能。作为SemEval-2021关于WiC消歧的共享任务2的一部分,我们使用dev.ar-ar数据集(2k个句子对)来确定给定句子对中的两个单词是否具有相同的含义。我们使用了两个Word 2 Vec模型:Wiki-CBOW,一个是在阿拉伯语维基百科上预先训练的模型,另一个是我们在大约30亿个令牌的大型阿拉伯语语料库上训练的模型。基于这两个Word 2 Vec模型,还构造了两个Lemma 2 Vec模型。然后将四个模型中的每一个用于WiC消歧任务,然后在SemEval-2021 test.ar-ar数据集上进行评估。最后,我们报告了不同模型的性能,并比较了基于词元和基于词元的模型。
2021-04-16 cs.CL
To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo(奥斯陆大学);University of Trento(特伦托大学)
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点,我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后,在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明,虽然词形还原对英语来说确实没有必要,但对俄语来说情况就不同了。看起来,对于富形态语言,使用词形化的训练和测试数据会产生小但一致的改进:至少在词义消歧方面。这意味着在训练ELMo之前,关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
A Simple Approach to Building Ensembles of Naive Bayesian Classifiers for Word Sense Disambiguation
本文提出了一种基于语料库的词义消歧方法,该方法建立了一个朴素贝叶斯分类器的集合,每个分类器都基于词汇特征,这些特征代表了不同大小的上下文窗口中的共现词。尽管这种方法很简单,但消除广泛研究的名词行和兴趣的实证结果表明,这样的合奏达到了与以前发表的最佳结果相媲美的准确性。
2000-05-07 cs.CL
Word Sense Disambiguation with LSTM: Do We Really Need 100 Billion Words?
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
最近,Yuan等人(2016)已经证明了使用长短期记忆(LSTM)进行词义消歧(WSD)的有效性。他们提出的技术在几个基准测试中表现优于以前的最先进技术,但训练数据和源代码都没有发布。本文介绍了仅使用公开可用的数据集(GigaWord,SemCore,OMSTI)和软件(TensorFlow)对该技术进行再现研究的结果。从他们身上可以看出,可以用比Yuan等人暗示的少得多的数据获得最先进的结果。所有代码和训练模型都是免费提供的。
2017-12-16 cs.CL
Word Sense Disambiguation for 158 Languages using Word Embeddings Only
Yandex(andex)
上下文中词义的消歧对人类来说很容易,但对自动方法来说是一个重大挑战。开发了复杂的监督和基于知识的模型来解决这一任务。然而,(i)给定单词的监督训练实例的固有Zipfian分布和/或(ii)语言知识表示的质量激发了完全无监督和无知识的词义消歧(WSD)方法的发展。它们对于资源不足的语言特别有用,这些语言没有任何资源来构建监督和/或基于知识的模型。在本文中,我们提出了一种方法,作为输入的标准预训练的词嵌入模型,并诱导一个完全成熟的词义库存,可用于在上下文消歧。我们使用这种方法在Grave et al.(2018)原始预训练的fastText词嵌入的基础上,为158种语言归纳了一系列意义清单,从而在这些语言中实现了WSD。模型和系统可在线获得。
2020-03-14 cs.CL
Word Sense Disambiguation using WSD specific Wordnet of Polysemy Words
Tribhuvan University(特里布万大学);GBS
本文提出了一种基于线索词的多义词正确词义排歧的WordNet模型。一词多义或单义词的每个义项的相关词称为线索词。传统的WordNet将名词、动词、形容词和副词组织在一起,形成一组同义词,称为synset,每个synset表达不同的概念。与WordNet的结构相比,我们开发了一个新的WordNet模型,它组织多义词的不同意义以及基于线索词的单义词。这些用于多义词的每个含义以及单义词的线索词用于使用基于知识的词义消歧(WSD)算法来消除给定上下文中多义词的正确含义的歧义。提示词可以是名词、动词、形容词或副词。
2014-09-10 cs.CL
Evaluating the word-expert approach for Named-Entity Disambiguation
Stanford University(斯坦福大学);University of the Basque Country(巴斯克大学)
命名实体消歧(NED)是将命名实体提及链接到知识库(通常是维基百科)中的实例的任务。这个任务是密切相关的词义消歧(WSD),其中监督词专家的方法已经占了上风。在这项工作中,我们提出了NED的单词专家方法的结果,其中一个分类器是为每个目标实体提到字符串。构建系统所需的资源,一个字典和一组训练实例,都是从维基百科自动获得的。我们提供了经验证据的价值,这种方法,以及WSD和NED之间的差异,包括歧义和同义统计的研究。
2016-03-15 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词义消歧是自动识别句子中多义词的过程,是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上,在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源,有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究,并提出了一些值得关注的问题。
2013-10-05 cs.CL
Improved Word Sense Disambiguation Using Pre-Trained Contextualized Word Representations
National University of Singapore(新加坡国立大学)
上下文化的词表示能够在不同的上下文中对同一个词给出不同的表示,并且它们已经被证明在下游自然语言处理任务中是有效的,例如问答、命名实体识别和情感分析。然而,在先前的工作中的词义消歧(WSD)的评估表明,使用上下文的词表示并没有优于最先进的方法,利用非上下文的词嵌入。在本文中,我们探索了不同的策略来整合预先训练的上下文化单词表示,我们的最佳策略在多个基准WSD数据集上实现了超过先前最佳发布准确度的准确度。我们在https://github.com/nusnlp/contextemb-wsd上提供源代码。
2019-12-28 cs.CL
Training Bi-Encoders for Word Sense Disambiguation
Compass, Inc.(Compass公司)
现代基于transformer的神经架构几乎在每一个NLP任务中都产生了令人印象深刻的结果,词义消歧,即在给定上下文中识别单词的正确含义的问题,也不例外。今天WSD中最先进的方法利用词汇信息以及来自这些模型的预训练嵌入,以实现与标准评估基准上的人类注释者间协议相当的结果。同样,我们尝试了几种策略来优化这个特定任务的双编码器,并提出了向我们的模型呈现词汇信息的替代方法。通过我们的多阶段预训练和微调管道,我们进一步发展了词义消歧的最新技术。
2021-05-21 cs.CL
Semi-supervised Word Sense Disambiguation with Neural Models
Google(谷歌)
确定文本中单词的预期意义--词义消歧(WSD)--是自然语言处理中的一个长期存在的问题。最近,研究人员已经显示出有前途的结果,使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而,文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中,我们使用序列学习神经网络LSTM来研究WSD,以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题,我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果,特别是在动词上。
2016-11-05 cs.CL
A Novel Word Sense Disambiguation Approach Using WordNet Knowledge Graph
Lakehead University(湖首大学);Université Laval(拉瓦尔大学)
计算语言学和人工智能中的各种应用依赖于高性能的词义消歧技术来解决具有挑战性的任务,例如信息检索、机器翻译、问答和文档聚类。虽然文本理解对人类来说是直观的,但机器在处理和解释人类的自然语言方面面临着巨大的挑战。本文提出了一种新的基于知识的词义消歧算法,即顺序上下文相似矩阵乘法(SCSMM)。SCSMM算法结合了语义相似性、启发式知识和文档上下文,分别利用连续术语之间的局部上下文、人类关于术语的知识和文档的主要主题的优点来消除术语的歧义。与其他算法不同的是,SCSMM算法保证捕获最大的句子上下文,同时保持语句中的术语顺序。所提出的算法优于所有其他算法时,消除歧义的组合金标准数据集上的名词,同时表现出可比的结果,以目前最先进的词义消歧系统时,分别处理每个数据集。此外,本文还讨论了粒度水平,歧义率,句子大小,和部分的语音分布的性能的影响所提出的算法。
2021-01-08 cs.CL
Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation
Sapienza University of Rome(罗马大学)
我们向社区发布了六个大规模的多语言词义标注数据集,为监督式多语言词义消歧铺平了道路。我们的数据集涵盖了英语WordNet中的所有名词及其在其他语言中的翻译,总共有数百万个带有意义标签的句子。实验证明,这些语料库可以有效地用作监督式WSD系统的训练集,超越了低资源语言的最新技术水平,并为英语提供了有竞争力的结果,其中手动注释的训练集是可访问的。这些数据可在trainomatic. org上查阅。
2018-05-12 cs.CL
Combining Knowledge- and Corpus-based Word-Sense-Disambiguation Methods
University of Alicante(阿利坎特大学);Basque Country University(巴斯克大学)
在本文中,我们专注于解决词汇歧义时出现的一个给定的词有几个不同的含义。这个特定的任务通常被称为词义消歧(WSD)。WSD的任务包括使用电子词典作为单词定义的来源,为单词分配正确的含义。我们提出了两个词义消歧方法的基础上,在这一研究领域的两个主要方法论的方法:基于知识的方法和基于语料库的方法。我们的假设是,词义消歧需要几个知识源,以解决语义的歧义的话。这些来源可以是不同的种类-例如,组合,聚合或统计信息。我们的方法结合了各种知识来源,通过结合上述两种WSD方法。本文主要研究如何将这些方法和信息源结合起来,以达到较好的消歧效果。最后,本文提出了一个全面的研究和实验工作的评价方法及其组合。
2011-09-09 cs.CL
Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation
LIAAD - INESC TEC(LIAAD——INESC TEC(葡萄牙系统与计算机工程研究所技术与科学中心));Faculty of Sciences - University of Porto(波尔图大学理学院)
上下文嵌入代表了从神经语言建模(NLM)中学习到的新一代语义表示,其解决了阻碍传统词嵌入的意义合并问题。在这项工作中,我们表明,上下文嵌入可以用来实现前所未有的增益在词义消歧(WSD)的任务。我们的方法专注于创建具有WordNet全覆盖的感觉级嵌入,而不依赖于感觉分布或特定任务建模的明确知识。因此,使用我们的表示的简单最近邻(k-NN)方法能够始终超过使用强大的神经排序模型的先前系统的性能。我们还分析了我们的方法的鲁棒性时,忽略部分的语音和引理功能,需要消除歧义对全意义库存,并揭示有待改进的缺点。最后,我们探讨了我们的意义嵌入的概念层面的分析上下文嵌入和各自的NLM的应用。
2019-06-24 cs.CL
An Approach to Speed-up the Word Sense Disambiguation Procedure through Sense Filtering
College of Engineering and Management, Kolaghat(科拉加特工程与管理学院);Jadavpur University(贾达普大学)
在本文中,我们将集中在加快词义消歧过程中过滤相关的意义,通过一个歧义词的词性标注。首先,该方法在使用二元语法近似的消歧过程之前执行词性标注操作。结果,在特定文本实例处的歧义词的确切词性被导出。在下一阶段,仅从在线词典中检索那些与特定词性相关联的词典定义(注释),以消除歧义词的确切含义。在训练阶段,我们使用布朗语料库进行词性标注,并使用WordNet作为在线词典。所提出的方法将执行时间减少到正常执行时间的一半(大约),包含大约200个句子的文本。不仅如此,我们还发现了几个例子,在消歧过程之前使用词性标注可以找到歧义词的正确含义。
2015-11-19 cs.CL
Hinting Semantic Parsing with Statistical Word Sense Disambiguation
University of Rochester(罗切斯特大学)
语义解析的任务可以近似为将话语转换为逻辑形式图,其中边表示语义角色,节点表示词义。所得到的表示应该捕获话语的含义并且适合于推理。词义和语义角色是相互依存的,词义分配错误会导致语义角色分配错误,反之亦然。虽然统计方法的词义消歧优于逻辑,基于规则的语义解析器的原始词义分配,这些统计词义消歧系统不产生丰富的角色结构或详细的语义表示的输入。在这项工作中,我们提供了一个统计的WSD系统的提示,以指导逻辑语义解析器产生更好的语义类型分配,同时保持所产生的逻辑形式的合理性。我们观察到F分数提高了10.5%,但是我们发现这种提高是以语法分析的结构完整性为代价的
2020-07-06 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University(乌普萨拉大学)
跨语言词义消歧(WSD)解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的,并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中,从而产生语义和句法结合的词嵌入,本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明,句法嵌入的高维性对分类任务构成了障碍,需要在未来的研究中进一步解决。
2020-12-09 cs.CL
Moving Down the Long Tail of Word Sense Disambiguation with Gloss-Informed Biencoders
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Facebook AI Research(脸书人工智能研究院)
词义消歧(WSD)的一个主要障碍是词义不是均匀分布的,导致现有模型在训练过程中对罕见或不可见的词义表现不佳。我们提出了一个双编码器模型,它独立地嵌入(1)目标词及其周围的上下文和(2)每个意义的字典定义或注释。编码器在相同的表示空间中联合优化,使得可以通过为每个目标词嵌入找到最近的意义嵌入来执行意义消歧。我们的系统在英语全词WSD上的表现优于以前最先进的模型;这些收益主要来自于稀有感官的性能提高,导致在较不频繁的感官上的错误减少了31.1%。这表明,罕见的意义可以更有效地消除歧义,通过建模他们的定义。
2020-06-02 cs.CL
OPI at SemEval 2023 Task 1: Image-Text Embeddings and Multimodal Information Retrieval for Visual Word Sense Disambiguation
National Information Processing Institute(国家信息处理研究所)
本文提出一种融合 CLIP 多模态嵌入、排序学习与知识库检索的视觉词义消歧系统,在 SemEval 2023 多语言任务中获第三名,并在波斯语赛道夺冠。
2023-04-14 cs.CL
GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge
Fudan University(复旦大学)
词义消歧(WSD)的目的是找出一个歧义词在特定语境中的确切含义。传统的有监督方法很少考虑WordNet等在基于知识的方法中被广泛使用的词汇资源。最近的研究表明,将光泽(意义定义)到神经网络的词义消歧的有效性。然而,与传统的词专家监督方法相比,它们并没有取得太大的改进。在本文中,我们专注于如何更好地利用光泽知识的监督神经词义消歧系统。我们构建上下文光泽对,并提出了三个基于BERT的模型的词义消歧。我们在SemCor3. 0训练语料库上对预训练好的BERT模型进行了微调,在多个英文全词WSD基准数据集上的实验结果表明,该方法的性能优于现有的系统。
2020-01-05 cs.CL
How big is big enough? Unsupervised word sense disambiguation using a very large corpus
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);National Centre for Text Mining, University of Manchester(曼彻斯特大学国家文本挖掘中心)
在本文中,消除歧义的波兰语目标词的问题是通过搜索相关的词与已知的含义。这些亲属被用来建立一个训练语料库从未注释的文本。该技术通过提出新的丰富的替换源来改进,这些替换源用基于词网关系的语义学来替代传统的单义性要求。朴素贝叶斯分类器已被修改,以考虑未知的感官分布。由NEKST搜索引擎收集的6亿个Web文档(5940亿个令牌)的语料库允许我们评估训练集大小和消歧准确性之间的关系。使用wordnet基线和语料库对分类器进行评估,语料库中有17,314个手动注释的54个歧义词。
2017-10-22 cs.CL
Word sense disambiguation: a survey
Jadavpur University(贾达普大学)
本文对词义消歧技术进行了综述。世界上几乎所有的主要语言都对词义消歧进行了不同程度的研究。在本文中,我们已经通过了一个调查,在不同的研究工作中采用的不同方法,在这一领域的表现,在不同的印度语言,最后在孟加拉语的调查最近的作品的艺术状态。我们对这一领域的各种比赛以及从这些比赛中获得的基准结果进行了调查。
2015-08-06 cs.CL
Don't Neglect the Obvious: On the Role of Unambiguous Words in Word Sense Disambiguation
LIAAD - INESC TEC;University of Porto(波尔图大学);School of Computer Science and Informatics(计算机科学与信息学院);Cardiff University(卡迪夫大学)
用于词义消歧(WSD)的最先进的方法结合了两个不同的特征:预训练的语言模型的能力和用于扩展这种模型的覆盖范围的传播方法。这种传播是必要的,因为当前的意义注释语料库缺乏对底层意义清单(通常是WordNet)中许多实例的覆盖。与此同时,无歧义的词占WordNet中所有词的很大一部分,而在现有的意义注释语料库中覆盖得很差。在本文中,我们提出了一个简单的方法来提供注释的最明确的话在一个大型语料库。我们介绍了UWA(Unambient Word Annotations)数据集,并展示了最先进的基于传播的模型如何使用它来显著扩展其词义嵌入的覆盖范围和质量,从而改善其在WSD上的原始结果。
2020-10-23 cs.CL
D-Bees: A Novel Method Inspired by Bee Colony Optimization for Solving Word Sense Disambiguation
词义消歧是计算语言学领域的一个问题,它是指在一定的语境中,找到一个词(或一组词)的预期意义。词义消歧最近被认为是一个组合优化问题,其目标是找到一个最大化目标词之间语义相关性的意义序列。在这篇文章中,一种新的算法来解决的WSD问题称为D-Bees提出的启发,蜂群优化(BCO)人工蜜蜂代理合作解决问题。在标准数据集(SemEval 2007粗粒度英语全词任务语料库)上评估D-Bees算法,并将其与模拟退火、遗传算法和两种蚁群优化技术(ACO)进行比较。可以看出,BCO和ACO的方法是相同的。
2014-05-06 cs.CL
Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation
Univ. Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔大学、法国国家科学研究中心、格勒诺布尔工业大学、信息与信号处理实验室)
在这篇文章中,我们解决了有限数量的手动意义标注语料库的词义消歧任务的问题,通过利用意义之间的语义关系,如同义关系,上位关系和下位关系,以压缩普林斯顿WordNet的意义词汇,从而减少必须观察到的不同的意义标签的数量,以消除词汇数据库中的所有单词的歧义。我们提出了两种不同的方法,大大减少了神经WSD模型的大小,其好处是提高其覆盖率,而无需额外的训练数据,并且不会影响其精度。除了我们的方法,我们提出了一个WSD系统,它依赖于预先训练的BERT词向量,以实现的结果,显着优于所有WSD评估任务的最先进的。
2019-08-27 cs.CL
Word Sense Disambiguation using Knowledge-based Word Similarity
在自然语言处理中,词义消歧(WSD)是一个悬而未决的问题,它涉及到在特定的上下文中识别单词的正确含义。为了解决这个问题,我们介绍了一种新的基于知识的WSD系统。我们建议在我们的系统中采用两种方法。首先,我们提出了一种新的方法来编码的词向量表示,考虑从词汇知识库的图形语义关系。其次,我们提出了一种方法,从文本中提取的上下文单词分析一个歧义词的词向量表示的相似性的基础上。为了验证我们的词义消歧系统的有效性,我们在五个基准英语词义消歧语料库(Senseval-02,Senseval-03,SemEval-07,SemEval-13和SemEval-15)上进行了实验。实验结果表明,所提出的方法显著提高了WSD的性能。此外,我们的系统优于现有的知识为基础的水务署系统,并表现出性能相媲美的最先进的监督水务署系统。
2020-06-22 cs.CL
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST(香港科技大学);Tencent AI lab(腾讯人工智能实验室)
词义消歧是自然语言处理的一项重要任务,它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注,当前的词义消歧系统通过将监督学习与词汇知识相结合,在英语中取得了令人印象深刻的性能。然而,这样的成功是很难被复制在其他语言中,我们只有有限的annotations.In本文中,基于多语种词典BabelNet描述跨语言的同一组概念,我们提出了建立知识和监督为基础的多语种词义消歧(MWSD)系统。我们为多种语言建立统一的意义表示,并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示,可以联合训练来自多种语言的注释,以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
Unsupervised, Knowledge-Free, and Interpretable Word Sense Disambiguation
Institute of Natural Sciences and Mathematics, Ural Federal University, Russia(乌拉尔联邦大学自然科学与数学系);Language Technology Group, Department of Informatics, Universität Hamburg, Germany(汉堡大学信息学系语言技术组);Web and Data Science Group, Department of Informatics, Universität Mannheim, Germany(曼海姆大学信息学系网络与数据科学组)
预测模型的可解释性是一个强大的功能,可以获得用户对预测正确性的信任。在词义消歧(WSD)中,基于知识的系统往往比无知识的系统更容易解释,因为它们依赖于大量的表示词义的手动编码元素,如上位词、用法示例和图像。我们提出了一个WSD系统,弥合这两个迄今为止断开的方法组之间的差距。也就是说,我们的系统,提供访问几个国家的最先进的WSD模型,旨在解释为一个基于知识的系统,而它仍然是完全无监督和知识自由。所提出的工具具有一个Web界面,所有字消歧的文本,使人类可读的意义预测,通过提供可解释的词义库存,意义表示,和消歧的结果。我们提供了一个公共API,实现了无缝集成。
2017-07-21 cs.CL
Selective Sampling for Example-based Word Sense Disambiguation
提出了一种基于实例的词义消歧系统中的实例采样方法。为了构建实际大小的数据库,需要相当大的用于手动意义消歧的开销(用于监督的开销)。此外,搜索大型数据库的时间复杂度造成了相当大的问题(搜索开销)。为了解决这些问题,我们的方法选择性地从一个给定的例子集用于词义消歧的样本较小的有效子集。我们的方法的特点是依赖于训练效用的概念:在何种程度上,每个例子是为未来的例子采样时,用于系统的训练信息。该系统通过选择具有最大效用的示例来逐步收集示例。本文通过对一千多个句子的实验,证明了该方法的有效性。与其他示例采样方法的实验相比,我们的方法既减少了监督开销,又减少了搜索开销,而不会降低系统的性能。
1999-10-23 cs.CL
Exploring automatic word sense disambiguation with decision lists and the Web
由于知识获取的瓶颈,监督学习是词义消歧的最有效的范例。在本文中,我们采取了两个公开可用的语料库和一个额外的语料库自动从Web上获得的决策列表的性能进行了深入的研究,使用细粒度的高度多义的意义在WordNet。决策列表显示了一个多功能的国家的最先进的技术。实验表明,除其他事实外,SemCor可以是一个可接受的(0.7精度多义词)的起点,为所有的词系统。在DSO语料库上的结果表明,对于一些高度多义词,0.7的精确度似乎是目前最先进的限制。另一方面,独立构建的手写标记语料库是不相互有用的,从Web上自动获取的语料库是失败的。
2000-10-17 cs.CL
Unsupervised Abbreviation Disambiguation Contextual disambiguation using word embeddings
Aarhus University(奥胡斯大学);UNSILO A/S
缩略语通常有几个不同的含义,经常使它们在文本中的使用模棱两可。将它们扩展到它们在上下文中的预期含义对于诸如文档搜索、推荐和问答之类的机器阅读任务是重要的。现有的方法主要依赖于手动标记的缩写示例及其正确的长形式。创建此类数据集的成本很高,并导致训练模型的适用性和灵活性有限。重要的是,大多数当前的方法必须进行全面的经验评估,以了解其局限性,这在实践中是繁琐的。在本文中,我们提出了一个完全无监督的缩写消歧方法(称为UAD),拿起缩写定义的非结构化文本。创建不同的令牌每个含义,我们学习上下文表示为词向量。我们演示了如何通过使用额外的非结构化文本获得更好的上下文表示来进一步提高缩写消歧性能。我们的方法是第一个具有透明模型的缩写消歧方法,该模型允许在不需要全面评估的情况下进行性能分析,使其与现实世界的部署高度相关。在我们全面的实证评估中,UAD在来自不同领域的大型真实世界数据集上实现了高性能,并且优于基线和最先进的方法。UAD可扩展性很好,在单个模型中支持数千个具有多种不同含义的缩写。为了刺激更多的研究缩写消歧,我们发布了一个新的数据集,我们也在我们的实验中使用。
2019-05-22 cs.CL
An Unsupervised Word Sense Disambiguation System for Under-Resourced Languages
University of Mannheim(曼海姆大学);Ural Federal University(乌拉尔联邦大学)
在本文中,我们提出了Watasense,一个无监督的词义消歧系统。给定一个句子,系统根据给定句子与构成目标词意义的同义词集之间的语义相似性来选择每个输入词最相关的意义。Watasense有两种操作模式。稀疏模式使用传统的向量空间模型来估计与其上下文相对应的最相似的词义。相反,密集模式使用同义词集嵌入来处理稀疏问题。我们描述了本系统的体系结构,并进行了三个不同的俄语词汇语义资源的评价。我们发现,密集模式大大优于稀疏的所有数据集上,根据调整后的兰德指数。
2018-04-27 cs.CL
Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships
在词义消歧(WSD)中,主要的方法通常涉及在词义标注语料库上训练的监督系统。然而,这种语料库的数量有限,限制了这些系统的覆盖范围和性能。在这篇文章中,我们提出了一种新的方法,解决了这些问题,利用WordNet中存在的知识,特别是同义词之间的上位和下位关系,以减少不同的意义标签的数量是必要的消除歧义的词汇数据库中的所有单词。我们的方法在大多数WSD评估任务上都得到了最先进的结果,同时提高了监督系统的覆盖率,减少了训练时间和模型的大小,而无需额外的训练数据。此外,当我们的方法与集成技术相结合并添加WordNet Gloss Tagged作为训练语料库时,我们展示了显着优于最先进技术的结果。
2018-11-02 cs.CL
Incorporating Glosses into Neural Word Sense Disambiguation
Peking University(北京大学)
词义消歧旨在确定多义词在特定语境中的正确词义。WordNet等词汇资源在基于知识的方法中对词义消歧有很大的帮助。然而,以前的神经网络的词义消歧总是依赖于大量的标记数据(上下文),忽略了词汇资源,如注释(意义定义)。在本文中,我们将上下文和注释的目标词到一个统一的框架,以充分利用标记数据和词汇知识。因此,我们提出了GAS:一个注释增强的WSD神经网络,它联合编码目标词的上下文和注释。GAS在一个改进的记忆网络框架中对上下文和注释之间的语义关系进行建模,打破了以往有监督方法和基于知识的方法的障碍。我们通过WordNet中的语义关系进一步扩展了原有的词义注释,丰富了注释信息。实验结果表明,我们的模型在几个英语全词WSD数据集上的性能优于现有的系统。
2018-07-16 cs.CL
A Survey on Lexical Ambiguity Detection and Word Sense Disambiguation
Informatics Institute of Technology(信息学技术学院);Swansea University(斯旺西大学)
本文综述了自然语言处理中的词义消歧技术,涵盖深度学习与知识图谱方法,介绍了词义扩展等前沿技术及其在生物医学等领域的应用,并指出了语料稀缺等挑战与未来发展方向。
2024-03-24 cs.CL
Improve Lexicon-based Word Embeddings By Word Sense Disambiguation
Keio University(庆应义塾大学)
已经有一些工作是结合语料库学习词典来提高词嵌入。然而,他们要么单独建模的词典,但更新神经网络的语料库和词典由相同的可能性,或最小化之间的距离在所有的同义词对的词典。这些方法没有考虑语料库和词典的相关性和差异性,可能不是最佳的。在本文中,我们提出了一种新的方法,考虑语料库和词典的相关性和差异。它通过学习语料库来训练词嵌入,同时在上下文下对一个词及其对应的同义词进行谓语。对于多义词,我们使用词义消歧过滤器来消除上下文中具有不同含义的同义词。为了评估所提出的方法,我们比较了我们提出的模型训练的词嵌入的性能,没有过滤器或词典的对照组,以及在词相似性任务和文本分类任务中的先前工作。实验结果表明,该模型能更好地嵌入多义词,提高文本分类性能。
2017-07-24 cs.CL
Non-Parametric Few-Shot Learning for Word Sense Disambiguation
Princeton University(普林斯顿大学)
词义消歧是自然语言处理中一个长期存在的问题。监督式全词词义消歧中的一个重要挑战是对处于长尾分布中的大多数词的意义进行分类。例如,84%的注释单词在SemCor训练数据中的示例少于10个。这一问题在词和义的分布不平衡时更为突出。在这项工作中,我们提出了MetricWSD,一个非参数的少样本学习方法,以减轻这种数据不平衡的问题。通过情景训练学习计算给定单词的意义之间的距离,MetricWSD将知识(学习的度量空间)从高频单词转移到不频繁的单词。MetricWSD构建了针对单词频率的训练集,并明确解决了偏斜分布的问题,而不是将以前工作中使用参数模型训练的所有单词混合在一起。在不诉诸任何词汇资源的情况下,MetricWSD获得了与参数替代方案相比的强大性能,在统一的WSD评估基准上获得了75.1 F1分数(Raganato等人,2017年b)。我们的分析进一步验证了不常用词和不常用义有显著的改善。
2021-04-27 cs.CL
Integrating Weakly Supervised Word Sense Disambiguation into Neural Machine Translation
Nuance Communications(Nuance通讯公司);Idiap Research Institute(Idiap研究所);HEIG-VD / HES-SO(瑞士西部高等专业学院沃州管理与工程学院/瑞士西部高等专业学院)
本文表明,词义消歧(WSD)可以改善神经机器翻译(NMT),通过扩大源上下文时考虑建模潜在的歧义词的意义。我们首先介绍了三个自适应聚类算法的WSD,基于k-means,中国餐馆的过程,和随机游走,然后将其应用到大的单词上下文表示在一个低秩空间和SemEval共享任务数据进行评估。然后,我们在最先进的NMT系统中学习词向量和由我们最好的WSD方法定义的意义向量。我们表明,这些向量的串联,并使用一个意义上的选择机制的基础上加权平均的意义向量,优于几个基线,包括意义感知的。这是通过五种语言对的翻译来证明的。这些改进在强大的NMT基线上超过一个BLEU点,在所有模糊名词和动词上的准确率为+4%,或者在几个具有挑战性的单词上手动评分时为+20%。
2018-10-05 cs.CL
A Hybrid Approach to Word Sense Disambiguation Combining Supervised and Unsupervised Learning
College of Engineering and Management(工程与管理学院);Kuang-Chi Institute of Advanced Technology(光启高等理工研究院);Innovation Research Lab(创新研究实验室)
在本文中,我们将根据不同的情况找到单词的含义。词义消歧用于使用有监督和无监督方法基于实时上下文找到单词的含义。无监督方法使用在线词典进行学习,而有监督方法使用手动学习集。手工标记的数据被填充,这可能对学习程序无效且不足。这种信息的局限性是监督方法的主要缺陷。我们所提出的方法的重点是克服使用学习集,这是丰富的动态方式维护新的数据的限制。采用简单的滤波方法获得合适的训练数据。我们介绍了一种混合的方法,有修改的Lesk方法和袋的话丰富袋使用学习方法。我们的方法建立在实验的基础上比个人修改Lesk和袋的话的方法的优越性。
2015-11-19 cs.CL
A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation
National University of Singapore(新加坡国立大学);NUS Interactive and Digital Media Institute(新加坡国立大学互动与数字媒体研究所)
词嵌入是自然语言处理中普遍存在的词表示形式。词嵌入在英语单语词义消歧中已有应用,但比较研究较少。本文试图弥合这一差距,通过检查流行的嵌入任务的单语英语词义消歧。我们的简化方法无需昂贵的再培训即可获得可比的最先进性能。跨语言WSD -其中源语言e中的单词的词义来自单独的目标翻译语言f -也可以帮助语言学习;例如,当为学习者提供目标词汇的翻译时。因此,我们还将词嵌入应用于中文跨语言词义消歧的新任务,并提供了一个公共数据集,以供进一步基准测试。我们还尝试了在LSTM网络中使用词嵌入,令人惊讶地发现基本的LSTM网络并不能很好地工作。我们讨论了这一结果的后果。
2017-04-09 cs.CL
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation
University of Amsterdam(阿姆斯特丹大学);Amberscript
有监督词义消歧(WSD)面临的一个关键挑战是缺乏足够覆盖词义多样性的大型注释数据集。这启发了最近使用元学习对Few-Shot WSD的研究。虽然这项工作已经成功地应用元学习从很少的例子中学习新的词义,但它的性能仍然落后于完全监督的同类产品。为了进一步缩小这一差距,我们提出了一个语义记忆的元学习环境中的词义消歧模型。语义记忆封装了在模型的整个生命周期中看到的先前经验,这有助于在有限的数据设置中更好地泛化。我们的模型是基于分层变分推理,并通过超网络采用了自适应的内存更新规则。我们展示了我们的模型在Few-Shot WSD中的先进性,支持在极其缺乏数据(例如一次性)的情况下进行有效的学习,并产生捕获不同单词的相似意义的意义原型。
2021-06-05 cs.CL
LANE: Lexical Adversarial Negative Examples for Word Sense Disambiguation
FSTM - University of Luxembourg(卢森堡大学FSTM分校);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所);Brown University(布朗大学)
针对神经语言模型易过拟合全局句子表征、难以捕捉局部语义细节的问题,提出对抗训练策略LANE,通过生成选择性标记替换词的负样本提升词义区分能力,在相关基准上性能优于对比学习基线,且模型无关可集成。
2025-11-14 cs.CL