Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
本研究提出一种基于上下文嵌入空间几何特性的无监督单词多义性量化方法,在多个人工资源排名上验证了强相关性,可采样多义句且适用于任意语言。
2021-02-12 cs.CL
Analyzing Polysemy Evolution Using Semantic Cells
The University of Tokyo(东京大学)
本文以 Semantic Cells 为演化框架,通过 Spring 的 1000 句序列案例分析,证明按义项演化顺序排列时词语会单调获得多义性。
2024-08-06 cs.AI cs.CL
Polysemy in Controlled Natural Language Texts
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
计算语义学和基于逻辑的受控自然语言(CNL)没有系统地解决实词的词义消歧问题,即,他们倾向于只解释一些对构建话语表征结构至关重要的功能词。我们发现,微本体和多词单元允许整合的丰富和多义的多领域背景知识到CNL,从而提供解释的内容词。该方法通过扩展Attempto控制英语(ACE)与多义和程序结构,从而产生一个更自然的CNL命名为PAO覆盖叙事多域文本。
2015-11-20 cs.CL
Metaphorical Polysemy Detection: Conventional Metaphor meets Word Sense Disambiguation
University of Cambridge(剑桥大学)
语言学家区分了新的和传统的隐喻,NLP中的隐喻检测任务没有考虑到这一区别。相反,隐喻性被公式化为句子中标记的属性,而不管隐喻类型。在本文中,我们探讨了传统的隐喻,以这种方式处理的局限性,并提倡一种替代方案,我们命名为“隐喻多义词检测”(MPD)。在MPD中,只处理常规隐喻性,它是制定为一个词汇的意义属性。我们开发了第一个MPD模型,它学习识别英语WordNet中的传统隐喻。为了训练它,我们提出了一个新的训练过程,结合隐喻检测和词义消歧(WSD)。为了评估,我们手动注释WordNet的两个子集中的隐喻。我们的模型显著优于基于最先进的隐喻检测模型的强大基线,在其中一组上获得了0.78的ROC-AUC得分(与0.65相比)。此外,当与WSD模型配对时,我们的方法在识别文本中的传统隐喻方面优于最先进的隐喻检测模型(.659 F1与.626相比)。
2022-12-16 cs.CL
Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics
George Washington University(乔治华盛顿大学)
研究探讨了词义重叠是否由词汇混淆导致,发现词汇相同但意义不同的情况在模型中表现更显著,影响下游任务性能。
2026-04-01 cs.AI cs.CL
Resolving Regular Polysemy in Named Entities
National Taiwan University(国立台湾大学)
本文提出组合式 WSD 模型,将专有名称的规则多义形式化为点对象,并结合 CWN 释义与例句,在稀疏数据上同时实现普通名词和专有名词的竞争性消歧效果。
2024-01-18 cs.CL
Polysemy and brevity versus frequency in language
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
G. K.齐普夫对词频与其他词的特征之间关系的研究导致了各种语言学规律的制定。最流行的是Zipf的词频定律。在这里,我们集中在两个法律,已经研究得不太深入:意义频率的法律,即更频繁的词是多义的趋势,和缩写的法律,即更频繁的词是更短的趋势。在以前的工作中,我们测试了这些Zipfian定律对英语的鲁棒性,粗略地测量了字长的字符数,并区分了成人和儿童的语音。在本文中,我们将我们的研究扩展到其他语言(荷兰语和西班牙语),并介绍了两个额外的长度措施:音节长度和音素长度。相关分析表明,意义频率规律和缩略语规律在所有被分析的语言中总体上是一致的。
2019-03-27 cs.CL physics.soc-ph
PolyLM: Learning about Polysemy through Language Modeling
University of Cambridge(剑桥大学);University of Waikato(怀卡托大学);University of Chile(智利大学);IMFD(智利数学与计算机科学研究所)
为了避免词嵌入的“意义合并缺陷”,许多模型的目标是嵌入单个词义。这些方法曾经在词义归纳(WSI)等任务上表现良好,但后来被利用上下文嵌入的特定于任务的技术所取代。然而,意义嵌入和语境化并不一定是相互排斥的。我们引入PolyLM,一种将学习感觉嵌入的任务制定为语言建模问题的方法,允许应用上下文化技术。PolyLM基于关于词义的两个基本假设:首先,一个词在给定上下文中出现的概率等于其各个词义出现的概率之和;其次,对于一个词的给定出现,它的一个词义在上下文中往往比其他词义更合理。我们在WSI上对PolyLM进行了评估,结果表明它的性能比以前的意义嵌入技术要好得多,并且与当前最先进的专门WSI方法相匹配,尽管参数少了六倍。代码和预训练模型可在https://github.com/AlanAnsell/PolyLM上获得。
2021-01-25 cs.CL
WordNet-Based Information Retrieval Using Common Hypernyms and Combined Features
HCMC University of Technology(胡志明市理工大学);John von Neumann Institute(约翰·冯·诺依曼研究所)
基于关键词词汇匹配的文本搜索由于词的多义和同义而不能令人满意。一般来说,利用单词含义的语义搜索提高了搜索性能。在本文中,我们调查基于WordNet的信息检索系统,它采用了词义消歧的方法来处理查询和文档。问题是,在许多情况下,一个词有不止一个可能的直接意义,只选择其中一个可能会给这个词一个错误的意义。此外,以前的系统只使用词的形式来表示词义及其上位词。我们提出了一种新的方法,使用最具体的共同上位词的剩余未消歧的多个意义的一个词,以及组合WordNet功能来表示词义。在一个基准数据集上的实验表明,在MAP度量方面,我们的搜索引擎比词法搜索好17.7%,比使用WordNet的所有调查搜索系统至少好9.4%。本体,词义消歧,语义标注,语义搜索。
2018-07-15 cs.CL cs.IR
It Means More if It Sounds Good: Yet Another Hypothesis Concerning the Evolution of Polysemous Words
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所);Institute of Computational Technologies SB RAS(俄罗斯科学院西伯利亚分院计算技术研究所)
这份立场文件探讨了语言的形成,并显示了英语中单词的结构特性与其一词多义之间的联系。使用奥利维尔-利玛窦曲率在一个大的同义词图上估计多义词,它表明经验上的话,可以说是更容易发音也往往有多种含义。
2021-01-07 cs.CL math.MG
Distributional Analysis of Polysemous Function Words
University of Stuttgart(斯图加特大学)
本文对汉语中的虚词多义现象进行了研究。我们采用分布式语义学的框架,通过观察大语料库中的出现上下文来表征词义,原则上可以很好地模拟多义词。然而,由于虚词的高度灵活的使用模式,传统上被认为是不可能进行分布分析的。我们建立的语境化词嵌入,最新一代的分布方法,在这方面提供了希望。以德语反身代词“sich”为例,我们发现,语境化的词嵌入捕捉理论动机的词的意义“sich”的程度上,这些意义是反映系统的语言使用。
2021-01-27 cs.CL
Robust Handling of Polysemy via Sparse Representations
Google(谷歌);University of Pennsylvania(宾夕法尼亚大学)
词是多义的,是多面的,有许多不同的意义。我们建议,稀疏分布式表示比其他常用的(密集)表示更适合表达这些多个方面,目前的类别生成器,一个工作系统,如我们所示,利用稀疏表示来支持多方面的词汇表示。我们认为,集扩展任务是非常适合研究这些意义的区别,因为一个词可能属于多个集合,在每个成员不同的原因。因此,我们展示了类别生成器在此任务上的性能,同时表明我们的表示同时捕获了类似问题,如“埃及的恒河”或“托尔金的伏地魔”。类别生成器被证明是一个更有表现力的词汇表示,并优于密集的表示,如Word2Vec在一些类比类,尽管只显示两个三个输入项。
2018-05-18 cs.AI cs.CL
Learning Multi-Sense Word Distributions using Approximate Kullback-Leibler Divergence
Indian Institute of Technology(印度理工学院)
学习单词表征已经获得了更大的关注,在最近的过去,由于其不同的文本应用。词嵌入封装了句子的句法和语义嵌入。将词嵌入建模为多意义高斯混合分布,将额外地捕获词的不确定性和多义性。我们建议使用基于Kullback-Leibler(KL)发散的目标函数来学习单词的高斯混合表示。基于KL散度的能量函数提供了更好的距离度量,可以有效地捕获词之间的蕴涵和分布相似性。由于混合高斯的KL发散的困难,我们去高斯混合之间的KL近似。我们进行了定性和定量的实验基准词相似度和蕴涵数据集证明了所提出的方法的有效性。
2019-11-12 cs.CL cs.LG stat.ML
Multi-Sense Language Modelling
University of Southern Denmark(南丹麦大学);Ordbogen A/S(Ordbogen公司);University of Copenhagen(哥本哈根大学)
语言模型的有效性受其标记表示的影响,标记表示必须对上下文信息进行编码并处理具有多个含义(一词多义)的相同单词形式。目前,没有一个公共语言建模架构明确地对多义词进行建模。我们提出了一个语言模型,它不仅预测下一个词,而且还预测它在上下文中的意义。我们认为,这种更高的预测粒度可能是有用的最终任务,如辅助写作,并允许更精确的链接语言模型与知识库。我们发现,多意义的语言建模需要的架构,超越标准的语言模型,并在这里提出了一个结构化的预测框架,分解成一个词的任务,其次是一个意义预测任务。为了帮助意义预测,我们利用了一个图形注意力网络,它对词义的定义和示例使用进行编码。总的来说,我们发现多意义语言建模是一项极具挑战性的任务,并建议未来的工作重点放在创建更多注释的训练数据集上。
2022-06-01 cs.CL
Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
向量空间词嵌入及其在自然语言处理中的应用越来越受到人们的关注,特别是最近提出的在非常大的规模上进行快速估计的方法。然而,几乎所有这些工作都假设每个单词类型只有一个向量,忽略了多义词,从而危及它们对下游任务的有用性。我们对Skip-gram模型进行了扩展,可以有效地学习每个单词类型的多个嵌入。它与最近的相关工作不同,联合执行词义判别和嵌入学习,通过非参数化估计每个单词类型的含义数量,以及其效率和可扩展性。我们在上下文任务中提出了最新的单词相似性结果,并通过在不到6小时的时间内在近10亿个令牌的语料库上使用一台机器进行训练来展示其可扩展性。
2015-04-24 cs.CL stat.ML
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen(亚琛工业大学);L3S Research Center(L3S研究中心);University of Mannheim(曼海姆大学);GESIS(盖泽斯社会科学研究所);CSH Vienna(维也纳复杂科学中心)
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度(例如好与坏,正确与错误)嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度,但它们并不是为了处理一词多义而设计的,即它们不能很容易地区分词的不同意义。为了解决这个问题,我们提出了SensePOLAR,原来的POLAR框架的扩展,使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平,可与原始的上下文词嵌入在各种自然语言处理任务,包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制,为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
Evaluating a Multi-sense Definition Generation Model for Multiple Languages
University of New Brunswick(新不伦瑞克大学)
大多数先前的定义建模工作没有考虑到一词多义,或者通过考虑在给定上下文中对目标词的定义建模来实现。相比之下,在这项研究中,我们提出了一个上下文无关的方法来定义建模,基于多意义的词嵌入,这是能够产生多个定义的目标词。此外,与大多数以前的工作,主要集中在英语相比,我们评估了我们提出的方法对15个不同的数据集,涵盖9种语言,从几个语言家族。为了评估我们的方法,我们考虑几个变化的BLEU。我们的结果表明,我们提出的多意义模型优于所有15个数据集上的单意义模型。
2020-06-12 cs.CL cs.LG
Automatic Ambiguity Detection
Bell Labs – Lucent Technologies(朗讯科技贝尔实验室)
大多数关于词义消歧的工作都假定人们事先知道一组多义词,例如从同义词词典中知道。但公布的名单总是只覆盖了部分内容。例如,英语单词tan有几个明显的含义,但人们可能会忽略tangent的缩写。在本文中,我们提出了一个算法,识别有趣的多义词,并衡量他们的多义程度,给定一个未标记的语料库。该算法涉及:(i)收集目标术语的k项窗口内的所有术语;(ii)计算上下文术语的术语间距离,并使用标准方法将多维距离空间减少到二维;(iii)将二维表示转换为径向坐标,并使用保序/反序回归来计算分布偏离单峰模型的程度。偏离量是建议的多义指数
2019-05-28 cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business(雅典经济与商业大学)
由于词嵌入是许多NLP任务中最受欢迎的输入,因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题,构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库,考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面,以及。此外,我们还创建了一个希腊语版本的WordSim353语料库,用于单词相似性的基本评估。我们测试了七个词向量模型,我们的评估表明,我们能够创建有意义的表示。最后,我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
University of Lille(里尔大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189 - CRIStAL
本文提出概念归纳任务,通过结合局部词元视角和全局跨词表视角的双层无监督方法,从数据中学习词间软聚类以定义概念,并在SemCor和Word-in-Context任务上验证了其有效性。
2025-11-07 cs.CL
Word Sense Detection Leveraging Maximum Mean Discrepancy
Université Côte d’Azur, CNRS, LJAD, France(法国阿尔卑斯海岸大学、国家科学研究中心、LJAD研究所)
针对词义变化检测任务,本文提出了利用最大均值差异筛选语义变量、量化时间维度变化的MMD-Sense-Analysis方法,可识别词义转变并解释其多时期演变,是MMD首次应用于该领域,经实证验证有效。
2025-06-13 cs.CL cs.LG stat.ML
The Role of Word Length in Semantic Topology
本文从一词多义与词长的负相关关系出发,提出了一个关于语义空间结构的拓扑论证。将得到的图结构应用于自由召回实验的建模,从而对召回概率的比较值进行预测。联想回忆有利于较长的单词,而顺序回忆有利于较短的单词。Lohnas等人(2015)和Healey和Kahana(2016)的PEERS实验数据证实了两种预测值,相关系数为$r_{seq}= -0.17$和$r_{ass}= +0.17$。该论点被应用于预测的整体属性列表召回,这导致了一个新的解释词长效应的基础上优化的检索策略。
2016-11-15 cs.CL q-bio.NC
Gaussian Mixture Embeddings for Multiple Word Prototypes
Fudan University(复旦大学)
近年来,词表示以其在表示词的语义方面的优异性能而受到越来越多的关注。以往的作品主要存在一词多义的问题。为了解决这个问题,大多数以前的模型将单词表示为多个分布式向量。然而,它不能反映丰富的词之间的关系,通过表示词在嵌入空间中的点。在本文中,我们提出了高斯混合跳跃语法(GMSG)模型学习的高斯混合嵌入的单词的跳跃语法框架的基础上。每个词在嵌入空间中可以看作是一个高斯混合分布,每个高斯分量代表一个词义。由于词义的数量因词而异,我们进一步提出了动态GMSG(D-GMSG)模型,在训练过程中自适应地增加词义的数量。四个基准测试的实验表明,我们提出的模型的有效性。
2015-11-19 cs.CL
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University(西湖大学)
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的,潜在的信息被集成到词的表示中,这可以帮助建模多义。然而,上下文敏感性也会导致表征的变化,这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中,每个词义的上下文嵌入在上下文中的变化程度。结果表明,语境化的嵌入可以高度一致的上下文。此外,词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是,我们发现单词表征是有位置偏见的,不同语境中的第一个单词往往更相似。我们分析了这种现象,并提出了一种简单的方法来减轻这种偏见,在基于距离的词义消歧设置。
2022-08-20 cs.CL
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo(IBM 东京研究院);University of Melbourne(墨尔本大学);National ICT Australia(澳大利亚国家信息通信技术研究院);International Computer Science Institute(国际计算机科学研究所)
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项,从而实现NLP工具的传输。然而,以前的尝试有昂贵的资源需求,难以纳入单语数据或无法处理一词多义。我们解决这些缺点,在我们的方法中,利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库,单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
Problems with Cosine as a Measure of Embedding Similarity for High Frequency Words
Stanford University(斯坦福大学);University of Michigan(密歇根大学)
上下文嵌入的余弦相似性用于许多NLP任务(例如,QA、IR、MT)和指标(例如,BERTScore)。在这里,我们发现系统的方式,在BERT嵌入的余弦估计的字的相似性被低估,并跟踪这种效果的训练数据频率。我们发现,相对于人类的判断,余弦相似性低估了频繁的话与其他实例相同的词或其他词跨上下文的相似性,即使在控制多义词和其他因素。我们推测,这种低估的相似性高频率的单词是由于高,低频率的单词的代表性几何的差异,并提供了一个正式的二维情况下的参数。
2022-05-10 cs.AI cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts(马萨诸塞大学);Lexalytics(Lexalytics公司)
词义归纳(WSI)通过无监督地发现多个词义来解决一词多义问题,解决了下游NLP任务的歧义问题,也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法,该方法构建了一个全局非负向量嵌入基(可解释性类似主题),并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型,我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤,而不牺牲感簇的质量。在三个数据集上的实验表明,与以前的最先进的方法相比,我们提出的方法产生了类似或更好的意义聚类和嵌入,同时效率显着提高。
2018-05-29 cs.CL
sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings
Digital Reasoning Systems, Inc.(数字推理系统公司)
神经词表示已被证明在自然语言处理(NLP)任务中是有用的,因为它们能够有效地对复杂的语义和句法词关系进行建模。然而,大多数技术仅对每个单词的一个表示进行建模,尽管单个单词可以具有多个含义或“意义”。一些技术通过使用基于上下文聚类的多个向量来对单词进行建模。然而,最近的神经方法很少关注消费NLP算法的应用。此外,最近的词义模型的训练过程相对于单义嵌入过程是昂贵的。本文提出了一种新的方法,通过基于监督消歧为每个单词建模多个嵌入来解决这些问题,这为消费NLP模型选择意义消歧嵌入提供了一种快速准确的方法。我们证明,这些嵌入可以消除歧义的对比意义,如名义和口头的意义,以及细微差别的意义,如讽刺。我们进一步评估了神经依存句法分析上的词性消歧嵌入,在6种语言中,未标记的附件得分平均减少了8%以上。
2015-11-19 cs.CL cs.LG
Modelling Lexical Ambiguity with Density Matrices
University of Amsterdam(阿姆斯特丹大学);University of Bristol(布里斯托尔大学);ILLC, University of Amsterdam(阿姆斯特丹大学语言、逻辑与计算研究所(ILLC))
单词可以有多种含义。意义的成分分布模型被认为可以很好地处理被称为一词多义的意义变化的细微差别,但不能很好地处理词源无关或同音异义的词义。从向量转移到密度矩阵,我们可以对一个词的不同意义上的概率分布进行编码,也可以适应意义的组成分布模型。在本文中,我们提出了三种新的神经模型,用于从语料库中学习密度矩阵,并测试了它们在一系列组合数据集上区分词义的能力。当与特定的组合方法配对时,我们的最佳模型优于现有的基于向量的组合模型以及强大的句子编码器。
2020-10-12 cs.CL
SenseFitting: Sense Level Semantic Specialization of Word Embeddings for Word Sense Disambiguation
Goethe University Frankfurt(法兰克福歌德大学)
本文介绍了一个基于神经网络的德语词义消歧系统,该系统基于一种新的优化词义消歧的方法-SenseFitting。我们比基于知识的WSD方法的F1得分高出25%,并在德国意义注释数据集WebCAGe上产生了一个新的最先进的方法。我们的方法使用三个特征向量组成的a)意义,b)光泽,和c)关系向量来表示目标意义,并将它们与样本上下文的向量质心进行比较。利用广泛可用的词嵌入和词汇资源,我们能够弥补德语的低资源可用性。SenseFitting建立在最近引入的语义专业化过程Attract-Repel的基础上,并利用来自词汇语义网络(例如GermaNet)或在线社交词典(例如Wiktionary)的语义级语义约束,从预先训练的词嵌入中生成高质量的语义嵌入。我们评估我们的意义嵌入与一个新的SimLex-999为基础的相似性数据集,称为SimSense,我们开发了这项工作。我们实现的结果,优于目前的基于引理的专业化方法为德国,使他们的英语取得的成果相媲美。
2019-07-30 cs.CL cs.LG
SMSMix: Sense-Maintained Sentence Mixup for Word Sense Disambiguation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
词义消歧(WSD)是一个NLP任务,旨在从离散的意义选择中确定句子中单词的正确意义。虽然目前的系统已经达到了前所未有的性能,这样的任务,在训练过程中的词义的不均匀分布通常会导致系统在罕见的感觉表现不佳。为此,我们考虑数据增强来增加这些最不频繁的感觉(LFS)的频率,以减少训练过程中感觉的分布偏差。我们提出了一种新的保持目标词的意义的词级混合方法--句子保持混合(SMSMix)。SMSMix使用掩码预测平滑地混合两个句子,同时保留由显着性分数确定的相关跨度,以保持特定单词的意义。据我们所知,这是第一次尝试在NLP中应用mixup,同时保留特定单词的含义。通过大量的实验,我们验证了我们的增强方法可以有效地提供更多的信息,罕见的感觉在训练过程中保持目标的感觉标签。
2022-12-21 cs.CL cs.LG
Unsupervised Contextualized Document Representation
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);School of Computing, University of Utah(犹他大学计算机学院)
一些NLP任务需要文本文档的有效表示。Arora et.例如,2017年的研究表明,词向量的简单加权平均通常优于神经模型。SCDV(Mekala et.例如,2017)通过在预先计算的词向量上采用软和稀疏聚类,进一步将其从句子扩展到文档。然而,这两种技术都忽略了词的多义性和语境特征。在本文中,我们通过提出SCDV+BERT(ctxd)来解决这个问题,这是一种简单有效的无监督表示,它结合了上下文化的BERT(Devlin等人,2019)基于词嵌入的SCDV软聚类词义消歧方法。我们表明,我们的嵌入在许多分类数据集上优于原始SCDV,预训练BERT和其他几个基线。我们还证明了我们的嵌入在其他任务,如概念匹配和句子相似性的有效性。此外,我们表明,SCDV+BERT(ctxd)优于微调BERT和不同的嵌入方法的情况下,有限的数据和只有少数镜头的例子。
2021-09-22 cs.CL cs.IR cs.LG
Jointly Learning Word Embeddings and Latent Topics
The Chinese University of Hong Kong(香港中文大学);Cardiff University(卡迪夫大学)
诸如Skip-gram之类的词嵌入模型基于在文本语料库中观察到的局部词搭配模式来学习每个词的向量空间表示。另一方面,潜在主题模型采取更全局的观点,查看语料库中的单词分布,为每个单词的出现分配一个主题。这两种范式在如何表示词出现的意义上是互补的。虽然一些先前的工作已经着眼于使用词嵌入来提高潜在主题的质量,并且相反地,在使用潜在主题来提高词嵌入时,这样的“两步”方法不能捕获两个范例之间的相互作用。在本文中,我们提出了STE,一个框架,可以学习词嵌入和潜在的主题在一个统一的方式。STE自然地获得特定主题的词嵌入,从而解决了一词多义的问题。同时,它还学习主题的术语分布,以及文档的主题分布。我们的实验结果表明,STE模型确实可以生成有用的特定主题的词嵌入和连贯的潜在主题,在一个有效的和高效的方式。
2017-06-21 cs.CL cs.IR cs.LG
Probabilistic FastText for Multi-Sense Word Embeddings
Cornell University(康奈尔大学);AWS & Caltech(亚马逊云服务与加州理工学院)
我们介绍了概率快速文本,一个新的词嵌入模型,可以捕捉多个词的意义,子词结构,和不确定性信息。特别是,我们用高斯混合密度表示每个单词,其中混合成分的平均值由n元语法的总和给出。这种表示允许模型在子词结构(例如拉丁词根)之间共享统计强度,从而产生罕见的,拼写错误的,甚至看不见的单词的准确表示。此外,混合物的每种成分都可以捕捉不同的词义。ProbabilityFastText在几个单词相似性基准测试(包括英语RareWord和外语数据集)上优于没有概率模型的FastText和不包含子词结构的字典级概率嵌入。我们还在衡量辨别不同含义的能力的基准上实现了最先进的性能。因此,该模型是第一个实现多意义表示,同时具有丰富的语义上罕见的话。
2018-06-07 cs.AI cs.CL cs.LG
Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge
University of California, Berkeley(加州大学伯克利分校);Massachusetts Institute of Technology(麻省理工学院)
理解上下文相关的词义变化是词汇支持的人类语言理解的一个关键方面。词典资源(例如,WordNet)仅捕获这种依赖于上下文的变化中的一部分;例如,它们通常不编码意义或离散词义彼此之间的相关程度。我们的工作调查了NLP的最新进展,特别是语境化的词嵌入,是否捕捉到了英语词义之间的人类特征,如一词多义和同音异义。我们收集数据的行为,基于网络的实验中,参与者提供一个词的多个WordNet意义的相关性的判断在一个二维的空间安排任务。我们发现,被试对感觉之间的相关性的判断与BERT嵌入空间中感觉之间的距离相关。Homeland sense(Homeland sense)作为哺乳动物的蝙蝠对作为运动器材的蝙蝠)在嵌入空间中比多义的(例如,鸡是动物,鸡是肉。我们的研究结果指向意义的连续空间表征的潜在效用。
2020-10-25 cs.CL
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research(微软研究院);New York University(纽约大学);University of the Basque Country(巴斯克大学)
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义,从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础:我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是:(i)关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义,只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示,但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Multi-view and Multi-source Transfers in Neural Topic Modeling with Pretrained Topic and Word Embeddings
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏问题。然而,没有先前的工作采用(预先训练的潜在)的主题在迁移学习范例。在本文中,我们提出了一种方法(1)使用从大型源语料库中获得的潜在主题进行知识转移,以及(2)通过神经主题建模中的两种表示(或视图)联合转移知识,以提高主题质量,更好地处理目标语料库中的多义和数据稀疏问题。在此过程中,我们首先从一个或多个源语料库中积累主题和单词表示,以构建主题和单词向量池。然后,我们识别一个或多个相关的源域,并通过相应的池利用相应的主题和单词特征来指导稀疏目标域中的有意义的学习。我们量化的主题和文件表示的质量,通过泛化(困惑),可解释性(主题连贯性)和信息检索(IR)使用短文本,长文本,小型和大型的文件集,从新闻和医疗领域。我们已经证明了国家的最先进的结果主题建模与建议的框架。
2019-09-17 cs.CL cs.IR cs.LG
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia(IBM澳大利亚研究院)
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现,需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响,从而影响消歧性能。在这项工作中,我们已经评估了几种类型的功能来自上下文的歧义词,我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明,词嵌入提高了更多传统特征的性能,并允许使用基于长短期记忆(LSTM)节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses
Masaryk University(马萨里克大学)
一些语言应用程序通常需要单词语义作为其处理管道的核心部分,无论是精确的含义推理还是语义相似性。多意义嵌入(M-SE)可以用于这一重要要求。M-SE试图通过它们不同的含义来表示每个词,以解决在不同上下文中使用的词的含义的混淆。以往的工作通常是通过在大型语料库上训练模型来完成这一任务,而往往忽略了词汇资源所提供的语义关系的作用和有用性。然而,即使有大量的训练数据,覆盖所有可能的词义仍然是一个问题。此外,相当大比例的上下文语义知识从来没有学习,因为大量的可能的分布语义结构从来没有探索。在本文中,我们利用WordNet中丰富的语义结构,使用基于图论的词意义行走技术来提高多意义嵌入的质量。该算法从原始文本组成丰富的文本。此外,我们从先前的M-SE得到新的分布语义相似性度量。我们适应这些措施,词义消歧(WSD)方面的我们的实验。我们报告了11个基准数据集的评估结果,包括WSD和单词相似性任务,并表明我们的方法,以提高分布式语义结构的嵌入质量的基线。尽管训练数据很小,但它在某些数据集上实现了最先进的性能。
2021-02-27 cs.CL cs.LG
SenseBERT: Driving Some Sense into BERT
AI21 Labs(AI21实验室)
从大型未标记语料库中学习的能力使神经语言模型能够推进自然语言理解的前沿。然而,现有的自我监督技术在单词形式层面上操作,其充当底层语义内容的代理。本文提出了一种直接在词义层面上使用弱监督的方法。我们的模型名为SenseBERT,经过预训练,不仅可以预测掩码词,还可以预测它们的WordNet超义。因此,我们得到了一个词汇语义级的语言模型,而不使用人类注释。SenseBERT实现了显着提高词汇理解,因为我们通过实验SemEval词义消歧,并通过在上下文任务中获得最先进的结果来证明。
2020-05-18 cs.CL cs.LG
Sense representations for Portuguese: experiments with sense embeddings and deep neural language models
意义表征已经超越了Word2Vec、GloVe和FastText等单词表征,并在广泛的自然语言处理任务上实现了创新性能。虽然在许多应用中非常有用,但是用于生成词嵌入的传统方法具有严格的缺点:它们为给定的词生成单个向量表示,忽略了歧义词可以假定不同含义的事实。本文研究了一种非监督意义表示方法,它不同于传统的词嵌入,能够通过分析文本中的上下文语义来推断出词的不同意义。本文研究的无监督意义表示是:意义嵌入和深度神经语言模型。我们提出的第一个实验进行了葡萄牙语生成的意义嵌入。实验结果表明,意义嵌入模型(Sense2vec)在句法和语义类比任务中的表现优于传统的词嵌入,证明了本文生成的语言资源可以提高葡萄牙语自然语言处理任务的性能。我们还评估了预训练的深度神经语言模型(ELMo和BERT)在两种迁移学习方法中的性能:基于特征和微调,在语义文本相似性任务中。我们的实验表明,微调多语言和葡萄牙语BERT语言模型能够实现更好的准确性比ELMo模型和基线。
2021-08-31 cs.CL cs.LG
Beyond Bilingual: Multi-sense Word Embeddings using Multilingual Context
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Virginia(弗吉尼亚大学);Microsoft Research(微软研究院);Stanford University(斯坦福大学)
词嵌入将词表示为向量空间中的一个点,它在几个NLP任务中无处不在。最近的一系列工作使用双语(两种语言)语料库来学习一个词的每个意义的不同向量,通过利用跨语言信号来帮助意义识别。我们提出了一种多视图贝叶斯非参数算法,该算法通过(a)使用多语言(即,两种以上的语言)语料库,以显着提高意义嵌入超过一个人实现双语信息,和(b)使用一个原则性的方法来学习一个变量数量的意义,每个字,在数据驱动的方式。我们的方法是第一种能够有效利用多语言语料库进行多意义表示学习的方法。实验表明,多语言训练通过允许我们结合不同的平行语料库来利用多语言上下文,从而显着提高了单语和双语训练的性能。多语言训练产生的性能与在五倍以上的训练数据上训练的最先进的单语言模型相当。
2017-06-25 cs.CL cs.LG
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University(南洋理工大学)
使用预先训练的语言模型(例如BERT)的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中,我们建议制定词义消歧作为一个相关性排名任务,并微调BERT序列对排名任务,以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术,我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University(北京大学);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的,研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中,我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明,该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Word-Centered Semantic Graphs for Interpretable Diachronic Sense Tracking
University of Zurich(苏黎世大学);TU Dortmund University(多特蒙德技术大学)
本文提出基于词中心语义图的方法,用于可解释地追踪词义随时间的变化,通过整合分布相似性和词汇替代性,揭示多义性动态和意义演变轨迹。
2026-01-29 cs.CL
Knowledge-based Word Sense Disambiguation using Topic Models
Carnegie Mellon University(卡内基梅隆大学)
词义消歧是自然语言处理中的一个开放性问题,它在无监督环境中特别具有挑战性和有用,其中任何给定文本中的所有单词都需要在不使用任何标记数据的情况下消歧。典型地,WSD系统使用句子或目标词周围的词的小窗口作为用于消歧的上下文,因为它们的计算复杂性与上下文的大小成指数比例。在本文中,我们利用主题模型的形式主义,设计了一个词义消歧系统,在上下文中的单词的数量线性缩放。因此,我们的系统是能够利用整个文件作为上下文的一个词要消除歧义。所提出的方法是潜在的狄利克雷分配的一个变种,其中的主题比例为一个文件被替换为同义词集的比例。我们进一步利用WordNet中的信息分配一个非均匀的前同义词集分布的话和一个逻辑正常的前文档分布的同义词集。我们在Senseval-2,Senseval-3,SemEval-2007,SemEval-2013和SemEval-2015英语全词WSD数据集上评估了所提出的方法,并表明它的性能明显优于最先进的无监督基于知识的WSD系统。
2018-01-05 cs.CL cs.LG
Using Multi-Sense Vector Embeddings for Reverse Dictionaries
Saarland Informatics Campus(萨尔兰信息学园区);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Rutgers University(罗格斯大学)
流行的词嵌入方法,如word2vec和GloVe,为每个词分配一个向量表示,即使一个词有多个不同的含义。相反,多意义嵌入为单词的每个意义提供不同的向量。然而,它们通常不能作为传统单义嵌入的替代品,因为需要为每个单词选择正确的意义向量。在这项工作中,我们研究的效果,多意义嵌入的任务,反向字典。我们提出了一种技术,可以很容易地将它们集成到现有的神经网络架构使用注意力机制。我们的实验表明,大的改进时,可以获得多意义嵌入在输入序列以及目标表示。分析的意义分布和学习的注意力。
2019-04-02 cs.CL cs.LG
Applying Deep Belief Networks to Word Sense Disambiguation
Chulalongkorn University(朱拉隆功大学);Tokyo Institute of Technology(东京工业大学)
本文将一种新的学习算法--深度信念网络(DBN)应用于词义消歧(WSD)。DBN是一种由多层隐藏单元组成的概率生成模型。DBN使用受限玻尔兹曼机(RBM)逐层进行预训练。然后,采用单独的微调步骤来提高辨别能力。我们比较了DBN与WSD中各种最先进的监督学习算法,如支持向量机(SVM),最大熵模型(MaxEnt),朴素贝叶斯分类器(NB)和核主成分分析(KPCA)。我们使用给定段落中的所有单词,周围的上下文单词和周围单词的词性作为我们的知识来源。我们在SENSEVAL-2数据集上进行了实验。我们观察到DBN优于所有其他学习算法。
2012-07-02 cs.CL cs.LG
Can Word Sense Distribution Detect Semantic Changes of Words?
University of Liverpool(利物浦大学);Cardiff University(卡迪夫大学);Tokyo Metropolitan University(东京都立大学);Amazon(亚马逊)
本研究探索利用词义分布比较不同时间语料库中目标词的义项分布,通过预训练静态义项嵌入和散度度量,在SemEval 2020 Task 1上验证了该方法能准确检测多语言词语的语义变化。
2023-10-16 cs.AI cs.CL cs.LG
Word Sense Induction with Knowledge Distillation from BERT
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出两阶段知识蒸馏方法,从 BERT 提取词义分布并训练注意力消歧机制,再迁移至 skip-gram 式多义词嵌入,在相似度、词义归纳及 ETM 下游任务中表现优异。
2023-04-20 cs.CL
Multi-source Neural Topic Modeling in Multi-view Embedding Spaces
DRIMCo GmbH(DRIMCo有限责任公司);CIS, University of Munich (LMU)(慕尼黑大学计算语言学中心)
虽然词嵌入和主题是互补的表示,但过去的一些工作仅在(神经)主题建模中使用预训练的词嵌入来解决短文本或小文档集合中的数据稀疏性。这项工作提出了一种新的神经主题建模框架,使用多视图嵌入空间:(1)预训练的主题嵌入,(2)预训练的词嵌入(Glove的上下文不敏感和BERT模型的上下文敏感)联合从一个或多个来源,以提高主题质量和更好地处理多义词。在这样做时,我们首先构建相应的预训练主题池(即,TopicPool)和词嵌入(即,WordPool)。然后,我们识别一个或多个相关的源域,并转移知识以指导稀疏目标域中的有意义的学习。在神经主题建模中,我们使用来自新闻和医疗领域的短文本、长文本、小型和大型文档集,通过泛化(困惑)、可解释性(主题连贯性)和信息检索(IR)来量化主题和文档表示的质量。在介绍多源多视图嵌入空间时,我们使用6个源(高资源)和5个目标(低资源)语料库展示了最先进的神经主题建模。
2021-04-17 cs.AI cs.CL cs.LG
"Definition Modeling: To model definitions." Generating Definitions With Little to No Semantics
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Helsinki University(赫尔辛基大学)
本研究针对定义建模任务的评估有效性问题,通过实验发现现有早期模型对语义不敏感且依赖形式相似性,质疑了该任务作为词嵌入语义评估手段的合理性。
2023-06-14 cs.CL
Multi-sense embeddings through a word sense disambiguation process
University of Michigan - Dearborn(密歇根大学迪尔伯恩分校);National Institute of Informatics(国立信息学研究所)
在过去的几年里,自然语言理解的出版物越来越多,特别是在强大的词嵌入模型变得突出之后,当它们证明自己能够从大量数据中捕获和表示语义关系时。然而,传统的模式往往在语言学的内在问题,如一词多义和同形异义词不足。任何在其核心中使用自然语言的专家系统都可能受到文本弱语义表示的影响,从而导致基于错误决策的不准确结果。为了缓解这些问题,我们提出了一种新的方法,称为最合适的意义注释(MSSA),消除歧义,并通过其特定的意义注释每个单词,考虑其上下文的语义效果。我们的方法带来了三个主要贡献的语义表示方案:(i)一个无监督的技术,消除歧义和注释的话,他们的意义,(ii)一个多意义嵌入模型,可以扩展到任何传统的词嵌入算法,(iii)一个经常性的方法,使我们的模型被重新使用和他们的表示细化。我们在六个不同的基准测试中测试了我们的方法,表明我们的方法可以产生最先进的结果,并且优于几个更复杂的最先进的系统。
2022-12-19 cs.CL