Learned in Translation: Contextualized Word Vectors
Salesforce(赛富时)
计算机视觉受益于使用在ImageNet等大型监督训练集上预训练的权重初始化多个深层。自然语言处理(NLP)通常只使用预训练的词向量初始化最低层的深度模型。在本文中,我们使用来自为机器翻译(MT)训练的注意序列到序列模型的深度LSTM编码器来对词向量进行上下文化。我们发现,添加这些上下文向量(CoVe)可以在各种常见的NLP任务上仅使用无监督的单词和字符向量来提高性能:情感分析(SST,IMDb),问题分类(TREC),蕴涵(SNLI)和问答(SQuAD)。对于细粒度的情感分析和蕴涵,CoVe将我们的基线模型的性能提高到最先进的水平。
2018-06-20 cs.AI cs.CL cs.LG
Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection
Cardiff University(卡迪夫大学);Université d’Artois(阿图瓦大学);CRIL-CNRS(法国国家科学研究中心计算机与自动化研究所)
词汇语义学的一个长期存在的挑战在于学习反映其语义属性的词的表示。词嵌入在这方面的显著成功表明,通过总结词提及的句子上下文可以获得高质量的表示。在本文中,我们提出了一种学习单词表示的方法,遵循这一基本策略,但在两个重要方面不同于标准的词嵌入。首先,我们利用上下文化的语言模型(CLM),而不是词向量袋编码上下文。其次,我们不是直接学习单词向量,而是使用主题模型来划分单词出现的上下文,然后为每个单词学习不同的主题特定向量。最后,我们使用一个特定于任务的监督信号,使软选择的结果向量。我们发现,这种简单的策略导致高质量的词向量,这是更预测的语义属性比词嵌入和现有的CLM为基础的战略。
2021-06-15 cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
词向量专业化(也称为改造)是一种便携式,轻量级的方法,通过从丰富的词汇资源(如WordNet)注入外部知识来微调任意分布的词向量空间。通过设计,这些后处理方法只更新外部词典中出现的单词的向量,而保留所有未看到的单词的表示。在本文中,我们表明,约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法,该方法:a)保留了有用的语言知识,为看到的话;而b)传播这个外部信号,以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量,以深度神经网络的形式解释了非线性专业化函数。然后,学习的函数用于专门化未见过的单词的向量。这种方法,适用于任何后处理模型,产生相当大的收益,无论是在内在的词相似性任务,并在两个下游任务:对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在,表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Desiderata for Vector-Space Word Representations
University of Sheffield(谢菲尔德大学)
目前有大量的词的向量空间表示,而且还在不断增长。这些由包含实值的固定长度向量组成,表示一个单词。结果是一个表示,许多传统的信息处理和数据采掘技术的力量可以承担,只要表示设计有一些预见性,并符合一定的约束。本文详细介绍了词的向量空间表示的设计要求。
2016-08-06 cs.CL
Expansional Retrofitting for Word Vector Enrichment
LG Electronics(LG电子)
改造技术,注入外部资源到词表示,弥补了分布式表示的弱点,在语义和词之间的关系知识。在词向量泛化的词相似性任务中,通过扩展技术实现的词向量改进优于词向量改进。在本文中,我们提出了无监督的outrofitting:扩展改装(outrofitting)没有外部语义词典。我们还提出了深度外装:外装的深度堆叠以及外装与改造的进一步组合。当实验GloVe,我们表明,我们的方法优于以前的方法在大多数单词相似性任务,而只需要同义词作为外部资源。最后,我们展示了词向量丰富对文本分类任务的影响,作为下游任务。
2019-01-22 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Context Vectors are Reflections of Word Vectors in Half the Dimensions
Nazarbayev University(纳扎尔巴耶夫大学)
本文对word 2 vec等模型中的词嵌入和上下文嵌入之间的关系进行了理论分析。我们从基本的概率假设的词向量,上下文向量和文本生成的性质。这些假设得到了现有文献的经验或理论的支持。接下来,我们证明了在这些假设下,广泛使用的词-词PMI矩阵近似是一个随机对称高斯系综。这反过来又意味着上下文向量是词向量在大约一半维度上的反映。作为我们的研究结果的直接应用,我们提出了一个理论上接地的方式捆绑权重的SGNS模型。
2019-02-26 cs.CL cs.LG stat.ML
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University(甲南大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Tokyo University of Foreign Studies(东京外国语大学);University of Tokyo(东京大学)
本文提出基于上下文化词向量范数的方法,无需训练和词对齐即可发现两个语料库中词语的语义差异,在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Efficient Estimation of Word Representations in Vector Space
Google Inc.(谷歌公司)
我们提出了两个新的模型架构计算连续的向量表示的话,从非常大的数据集。这些表示的质量是衡量在一个词的相似性任务,并将结果进行比较,以前最好的执行技术的基础上不同类型的神经网络。我们观察到准确性的大幅提高,计算成本低得多,即从16亿个单词的数据集中学习高质量的单词向量需要不到一天的时间。此外,我们表明,这些向量提供了最先进的性能,我们的测试集测量句法和语义词的相似性。
2013-09-07 cs.CL
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词(在文本中)表示为携带语义信息的向量,但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练,除非需要单词边界。在本文中,我们扩展了音频Word2Vec从词级到话语级,提出了一个新的分段音频Word2Vec,其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强,所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器(SSAE)实现的,其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明,在无监督的口语分词和口语词检测应用中表现出非常好的性能(明显优于基于帧的DTW)。
2018-08-07 cs.CL
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
由于缺乏用于词的向量表示的标准化外部评估方法,NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联,这是有吸引力的,因为它在计算上是廉价的且快速的。在本文中,我们提出了几个问题与词相似度数据集上的词向量的评估,并总结现有的解决方案。我们的研究表明,使用词相似度任务来评估词向量是不可持续的,需要进一步研究评估方法。
2016-06-22 cs.CL
Correlation-based Intrinsic Evaluation of Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
我们引入QVEC-CCA-一种基于学习向量与从语言资源中提取的特征的相关性的词向量表示的内在评估度量。我们表明,QVEC-CCA分数是一个有效的代理范围内的外在语义和句法任务。我们还表明,所提出的评估获得更高和更一致的相关性与下游任务,现有的方法相比,内在的评价是基于词的相似性的词向量。
2016-06-21 cs.CL
Neural Vector Conceptualization for Word Vector Space Interpretation
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
分布式词向量空间被认为是难以解释的,这阻碍了对自然语言处理(NLP)模型的理解。在这项工作中,我们介绍了一种新的方法来解释任意样本从一个词向量空间。为此,我们训练一个神经模型来概念化词向量,这意味着它激活它在给定向量中识别的高阶概念。与之前的方法相反,我们的模型在原始向量空间中运行,并且能够学习词向量和概念之间的非线性关系。此外,我们表明,它产生的熵概念激活配置文件比流行的余弦相似性少得多。
2019-04-02 cs.CL cs.LG
Non-distributional Word Vector Representations
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源,这些向量往往是由不可解释的组件,其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源(如WordNet,FrameNet等)构建可解释的词向量的方法。这些向量是二进制的(即仅包含0和1),并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量,并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
近年来,词嵌入在捕捉它们所代表的词的直观特征方面已经令人惊讶地有效。当训练语料库非常大时,这些向量可以达到最佳效果,有时甚至达到数十亿个单词。然而,临床自然语言处理数据集往往要小得多。即使是最大的公开可用的医疗笔记数据集也比常用的“Google News”词向量数据集小三个数量级。为了弥补有限的训练数据大小,我们将专家领域知识编码到我们的嵌入。基于word2vec以前的扩展,我们表明,概括一个词的“上下文”的概念,包括任意功能创建一个途径编码领域知识到词嵌入。我们表明,通过这种方法产生的词向量优于他们的纯文本同行全面与临床专家的相关性。
2017-12-05 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute(伊迪亚普研究所)
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型,有效地学习蕴涵的词嵌入,使用最近提出的框架,在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据,他们对这个短语向量的贡献,或作为一个单词短语向量的后验分布,并发现后验向量表现更好。在无监督和半监督实验中,所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas(普罗萨智能解决方案公司)
本文描述了英语-印尼语神经机器翻译(NMT)中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置:基于单词的、使用双向LSTM(bi-LSTM)的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算:加法、逐点乘法和平均。实验结果表明,除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外,所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型,范围在9.14到11.65分之间。达到的最高BLEU评分为42.48,而基线模型为30.83。
2020-09-13 cs.CL
From Word to Sense Embeddings: A Survey on Vector Representations of Meaning
Cardiff University(卡迪夫大学);Iran University of Science and Technology(伊朗科技大学)
在过去的几年里,分布式语义表示已被证明是有效和灵活的保持者的先验知识集成到下游应用程序。本研究的重点是意义的表征。我们从词向量空间模型背后的理论背景开始,并强调其主要局限性之一:意义合并缺陷,这是由于将一个词的所有可能含义表示为单个向量而产生的。然后,我们解释了如何通过从词的水平过渡到更细粒度的词义水平(在其更广泛的意义)作为一种方法建模明确的词汇意义,可以解决这一不足。我们提出了一个全面的概述了广泛的技术在两个主要分支的意义代表,即,无监督和基于知识。最后,本调查涵盖了这种类型的表示的主要评估程序和应用,并提供了四个重要方面的分析:可解释性,意义粒度,适应不同的领域和组合性。
2018-10-26 cs.AI cs.CL
Semantic Word Clusters Using Signed Normalized Graph Cuts
University of Pennsylvania(宾夕法尼亚大学);Amazon(亚马逊)
词的向量空间表示捕捉词相似性的许多方面,但是这样的方法倾向于使反义词(以及同义词)彼此接近的向量空间。我们提出了一个新的有符号的谱归一化图切割算法,有符号的聚类,覆盖现有的叙词表分布派生的向量表示的话,使反义词之间的关系词对表示负权重。我们签署的聚类算法产生的集群的话,同时捕捉分布和同义词的关系。我们针对SimLex-999数据集(Hill等人,2014)的人类判断词对相似性,也显示了使用我们的集群来预测给定文本的情感的好处。
2016-01-20 cs.AI cs.CL
Text comparison using word vector representations and dimensionality reduction
Aalto University(阿尔托大学)
本文描述了一种使用词向量表示(word 2 vec)和降维(t-SNE)比较大型文本源的技术,以及如何使用Python实现该技术。该技术提供了文本源的鸟瞰图,例如文本摘要及其源材料,并使用户能够像地理地图一样探索文本源。词向量表示捕捉了许多语言属性,如性别,时态,复数,甚至语义概念,如“首都”。使用降维,可以计算2D图,其中语义相似的单词彼此接近。该技术使用gensim Python库中的word 2 vec模型和scikit-learn中的t-SNE。
2016-07-02 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
语义专门化是使用外部词汇知识(例如,WordNet)来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量,但是它们限于仅更新出现在外部词典中的单词的向量(即,看到的单词),保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的:对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性:单词相似性,对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后,我们还提出了一个跨语言迁移方法zero-shot专业化,成功地专门化一个完整的目标分布空间,没有任何词汇知识的目标语言,没有任何双语数据。
2018-09-11 cs.CL
A Rule-based/BPSO Approach to Produce Low-dimensional Semantic Basis Vectors Set
Iran University of Science and Technology(伊朗科技大学)
我们打算生成低维显式分布语义向量。在显式语义向量中,每个维度对应一个词,因此词向量是可解释的。在这项研究中,我们提出了一种新的方法来获得低维显式语义向量。首先,所提出的方法认为三个标准的词相似度,零的数量,和词频作为特征的词在语料库中。然后,我们提取一些规则,获得初始的基础词使用的决策树,这是基于这三个功能。其次,我们提出了一种基于二进制粒子群优化算法的二进制加权方法,获得N_B = 1000个上下文单词。我们还使用了一个词选择方法,提供N_S = 1000上下文单词。第三,基于二进制加权法提取语料库中的金词。然后,我们将提取的黄金单词添加到由单词选择方法选择的上下文单词中作为黄金上下文单词。我们使用ukWaC语料库来构建词向量。我们使用MEN,RG-65和SimLex-999测试集来评估词向量。我们报告的结果相比,基线使用5 k最频繁的词在语料库中作为上下文的话。基线方法使用固定的窗口来计数同现。我们使用1000个选择的上下文单词以及黄金上下文单词来获得单词向量。与基线方法相比,我们的方法将MEN、RG-65和SimLex-999测试集的Spearman相关系数分别提高了4.66%、14.73%和1.08%。
2021-11-24 cs.CL math.OC
Language Independent Named Entity Recognition via Orthogonal Transformation of Word Vectors
Ain Shams University(艾因夏姆斯大学);Faculty of Engineering(工程学院)
本研究针对跨语言命名实体识别需求,提出基于词向量正交变换的双向LSTM/CRF模型,仅用英语训练即可识别阿拉伯语命名实体,无需目标语言训练或微调。
2025-03-18 cs.AI cs.CL
Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
尽管从大规模预训练模型生成的上下文化嵌入在许多任务中表现良好,但传统的静态嵌入(例如,Skip-gram,Word 2 Vec)由于其低计算成本,易于部署和稳定性,仍然在低资源和轻量级设置中发挥重要作用。在本文中,我们的目标是通过以下方式改进词嵌入:1)将来自现有预训练模型的更多上下文信息纳入Skip-gram框架,我们称之为Context-to-Vec; 2)通过采用先验同义词知识和加权向量分布,提出一种独立于训练的静态嵌入后处理改进方法。通过外在和内在的任务,我们的方法被很好地证明了优于基线的大幅度。
2023-03-23 cs.AI cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近,机器学习和神经网络方法的使用得到了更多的考虑。因此,文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中,GloVe,CBOW和skip-gram方法更新,以产生嵌入向量的波斯语单词。为了训练一个神经网络,我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后,我们有342,362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Deriving a Representative Vector for Ontology Classes with Instance Word Vector Embeddings
University of Moratuwa(莫拉图瓦大学)
在许多算法任务中,为一组向量选择一个代表向量是一个非常常见的要求。传统上,选择均值或中值向量。本体类是可以通过词向量嵌入转换到向量空间的同构实例对象的集合。本研究提出了一种方法来获得一个代表性的向量本体类的实例转换到向量空间。我们首先导出五个候选向量,然后将其用于训练一个机器学习模型,该模型将计算该类的代表向量。我们表明,我们的方法优于传统的均值和中值向量表示。
2017-06-08 cs.CL
Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings
Nanjing University(南京大学);CRIL CNRS & Univ Artois(法国国家科学研究中心与阿尔图瓦大学联合信息研究实验室);Cardiff University(卡迪夫大学)
虽然预先训练的语言模型的成功在很大程度上消除了许多NLP应用中对高质量静态词向量的需求,但这些向量在需要在缺乏语言上下文的情况下对单词进行建模的任务中继续发挥重要作用。在本文中,我们将探讨如何语境化嵌入预测BERT可以用来产生高质量的词向量等领域,特别是有关知识库的完成,我们的重点是捕捉名词的语义属性。我们发现,一个简单的策略,平均的语境化嵌入的屏蔽词提到导致向量优于静态词向量学习的BERT,以及那些从标准的词嵌入模型,在属性归纳任务。我们特别注意到,掩蔽目标词对于实现这种强大的性能至关重要,因为所得到的向量较少关注特殊属性,而更多地关注一般语义属性。受此启发,我们提出了一种过滤策略,旨在消除最特殊的提及向量,使我们能够在属性归纳中获得进一步的性能增益。
2021-05-17 cs.AI cs.CL
Enriching Word Vectors with Subword Information
Facebook AI Research(Facebook人工智能研究院)
在大型未标记语料库上训练的连续单词表示对于许多自然语言处理任务都很有用。学习这种表示的流行模型通过为每个单词分配不同的向量来忽略单词的形态。这是一个限制,特别是对于词汇量大和有许多罕见单词的语言。在本文中,我们提出了一种新的方法的基础上skipgram模型,其中每个字表示为一袋字符$n$ -gram。矢量表示与每个字符$n$ -语法相关联;单词被表示为这些表示的和。我们的方法是快速的,允许在大型语料库上快速训练模型,并允许我们计算没有出现在训练数据中的单词的单词表示。我们评估我们的词表征九种不同的语言,无论是在词的相似性和类比任务。通过比较最近提出的形态字表示,我们表明,我们的矢量实现这些任务的最先进的性能。
2017-06-19 cs.CL cs.LG
Sparse Overcomplete Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学)
当前单词的分布式表示与词汇语义理论几乎没有相似之处。前者是密集和不可解释的,后者主要基于熟悉的离散类(例如,超意义)和关系(例如,同义词和上位词)。我们提出了将词向量转换为稀疏(可选二进制)向量的方法。结果表示更类似于NLP中通常使用的可解释特征,尽管它们是从原始语料库中自动发现的。因为向量是高度稀疏的,所以它们在计算上很容易处理。最重要的是,我们发现它们在基准任务上的表现优于原始向量。
2015-06-05 cs.CL
Analyzing Structures in the Semantic Vector Space: A Framework for Decomposing Word Embeddings
Technische Universität Darmstadt(达姆施塔特工业大学)
词嵌入是丰富的词表示,与深度神经网络相结合,可以为许多NLP任务带来巨大的性能提升。然而,词嵌入由密集的实值向量表示,因此它们不能直接解释。因此,基于它们的计算操作也没有得到很好的理解。在本文中,我们提出了一种方法来分析语义向量空间中的结构,以更好地理解潜在的语义编码原则。我们提出了一个框架分解词嵌入到更小的有意义的单位,我们称之为子向量。该框架开辟了一个广泛的可能性分析现象的向量空间语义,以及解决具体的自然语言处理问题:我们介绍了类别完成任务,并表明,基于子向量的方法优于监督技术;我们提出了一个基于子向量的方法来解决单词类比任务,大大优于传统的向量偏移方法的不同变体。
2019-12-17 cs.CL cs.LG
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Constructing a Word Similarity Graph from Vector based Word Representation for Named Entity Recognition
De La Salle University(德拉萨大学);Indigo Research
在本文中,我们讨论了一种方法,用于确定一个种子字,最好代表一类命名实体的图形表示的话和它们的相似性。词网络或词图是向量化文本的表示,其中节点是语料库中遇到的词,并且在节点上的加权边表示词彼此之间的相似程度。我们打算建立一个双语单词图,并通过社区分析,将最好用于分割图根据其命名实体,从而提供一个无监督的方式标记命名实体的双语语言库,以确定种子词。
2018-07-09 cs.CL cs.IR
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Unsupervised Post-processing of Word Vectors via Conceptor Negation
Jacobs University Bremen(不来梅雅各布大学);University of Pennsylvania(宾夕法尼亚大学)
词向量是许多自然语言处理任务的核心。最近,人们对后处理词向量以丰富其语义信息产生了兴趣。在本文中,我们介绍了一种新的词向量后处理技术的基础上矩阵概念(Jaeger 2014),一个家庭的正则化的单位映射。更具体地说,我们建议使用概念来抑制那些潜在的字向量具有高方差的功能。所提出的方法是完全无监督的:它不依赖于任何语料库或外部语言数据库。我们评估后处理的词向量电池的内在词汇评价任务,表明所提出的方法始终优于现有的国家的最先进的替代品。我们还表明,后处理的词向量可用于对话状态跟踪的下游自然语言处理任务,在不同的对话域中产生改进的结果。
2018-12-02 cs.CL cs.LG stat.ML
Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment
Facebook AI Research(Facebook人工智能研究院)
在本文中,我们专注于适应词向量为基础的模型,以新的文本数据的问题。给定一个在大型参考数据上预先训练的模型,我们如何使其适应语言分布略有不同的较小数据?我们将自适应问题视为单语词向量对齐问题,并在对齐后简单地对模型进行平均。我们使用RCSLS准则对齐向量。我们的配方结果在一个简单而有效的算法,允许适应通用模型不断变化的单词分布。在我们的评估中,我们考虑应用到词嵌入和文本分类模型。我们表明,所提出的方法在所有设置中都具有良好的性能,并且优于在新数据上微调模型的基线。
2019-10-15 cs.CL
Specialising Word Vectors for Lexical Entailment
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);PolyAI(PolyAI公司)
我们提出了LEAR(词汇蕴涵吸引排斥),一种新的后处理方法,转换任何输入词向量空间,强调词汇蕴涵(LE)的不对称关系,也被称为IS-A或上下义关系。通过注入外部语言约束(例如,WordNet链接)到初始向量空间中,LE专业化过程使真正的上下义关系对在变换后的欧几里得空间中更接近。建议的非对称距离测量调整规范的词向量,以反映实际的WordNet风格的概念层次结构。同时,联合目标使用对称余弦距离强制执行语义相似性,同时产生专门用于两个词汇关系的向量空间。LEAR专业化在上位词方向性、上位词检测和分级词汇蕴涵等任务中实现了最先进的性能,证明了所提出的非对称专业化模型的有效性和鲁棒性。
2018-04-19 cs.CL
Leader: Prefixing a Length for Faster Word Vector Serialization
两种相互竞争的文件格式已经成为分发预训练的词嵌入的事实标准。两者都以这种格式分发的最流行的预训练嵌入命名。GloVe格式是一种完全基于文本的格式,它具有巨大的文件大小和缓慢的读取速度,而word2vec格式是一种较小的二进制格式,它混合了单词的文本表示和向量本身的二进制表示。这两种格式都有问题,我们用一种新的格式来解决,我们称之为Leader格式。我们包含了一个字长前缀,以便在保持二进制格式所提供的较小文件大小的同时实现更快的读取。我们还创建了一个极简库,以方便阅读和编写各种单词向量格式,以及将预先训练的嵌入转换为我们新的Leader格式的工具。
2020-10-09 cs.CL
Co-occurrence Vectors from Corpora vs. Distance Vectors from Dictionaries
比较了从大型文本语料库中使用普通共现统计得到的向量和通过测量词典定义中的词间距离得到的向量。使用1987年《华尔街日报》的共现向量(2000万总词)进行词义消歧的精度高于使用柯林斯英语词典的距离向量(60K中心词+1.6M定义词)。然而,其他的实验结果表明,距离向量包含一些不同的语义信息从同现向量。
1995-04-01 cmp-lg cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.(达闼科技有限公司)
槽填充是口语语言理解(SLU)和自然语言处理(NLP)中的重要问题,其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法,并将其结合到卷积神经网络(CNN)中。我们考虑了18个单词特征,每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念,我们提出了一种特征集的方法,这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Learning Word Vectors for 157 Languages
Facebook AI Research(Facebook人工智能研究院);EPFL(洛桑联邦理工学院)
分布式词表示或词向量最近已被应用于自然语言处理中的许多任务,导致最先进的性能。成功应用这些表示的一个关键因素是在非常大的语料库上对它们进行训练,并在下游任务中使用这些预先训练的模型。在本文中,我们描述了我们如何为157种语言训练如此高质量的单词表示。我们使用两个数据源来训练这些模型:免费的在线百科全书维基百科和来自common crawl项目的数据。我们还介绍了三个新的单词类比数据集来评估这些单词向量,法语,印地语和波兰语。最后,我们在存在评估数据集的10种语言上评估了我们预先训练的词向量,与以前的模型相比,表现出非常强大的性能。
2018-03-28 cs.CL cs.LG
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder(阿格德大学人工智能研究中心(CAIR))
在向量空间中嵌入单词是最先进的自然语言处理(NLP)中基本的第一步。典型的NLP解决方案采用预定义的向量表示,通过在向量空间中共同定位相似的单词来提高泛化能力。例如,Word2Vec是一个自我监督的预测模型,它使用神经网络捕获单词的上下文。类似地,GLoVe是一种流行的无监督模型,结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务,包括情感分析、文档分类和机器翻译。然而,嵌入是密集的浮点向量,这使得它们的计算成本很高,并且难以解释。在本文中,我们建议用几个定义词来表示词的语义,这些词使用命题逻辑。为了产生这样的逻辑嵌入,我们引入了一个基于Tsetlin Machine的自动编码器,它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成,以定义“咖啡”等其他单词,因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准,优于GLoVe的六个分类任务。此外,我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群,演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
Parsing using a grammar of word association vectors
本文于2001年首次起草,作为美国专利US 7,392,174中描述的系统的形式化。它描述了一种基于上下文相似词向量的叉积来实现解析器的系统。它现在正在发布,以响应对语法和语义的向量组合模型的新生兴趣。该方法使用上下文相似的单词和词组的积极替代,使产品向量保持在与其操作数相同的空间中,并使整个句子在句法上和潜在的语义上具有可比性。生成的向量有足够的代表性强度生成解析树至少与当代符号解析器。
2014-03-10 cs.CL cs.NE
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India(印度理工学院卡格拉普尔分校(IIT Kharagpur))
近年来,从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型(Word2vec)或基于密集计数的模型(GloVe)从文本计算的向量,但其他方法试图在分布式词库网络结构中表示这些,其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术(DeepWalk、LINE、node2vec等)研究激增的推动,我们把一个分布式词库网络转换成密集的词向量,并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合,有助于在针对单词相似性和相关性,同义词检测,类比检测等NLP任务进行评估时显着提高性能。此外,我们表明,即使不使用任何手工制作的词汇资源,我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比,表示的词汇资源已被使用。
2018-02-17 cs.CL
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
Babylon Health(巴比伦健康)
最近的文献表明,在语义文本相似性任务中,平均词向量加上简单的后处理优于许多深度学习方法。此外,当平均词向量在大型释义语料库上进行监督训练时,它们在标准STS基准测试中获得了最先进的结果。受这些见解的启发,我们进一步推动了词嵌入的极限。我们提出了一种新的模糊词袋(FBoW)表示的文本,同时包含所有的词汇,但具有不同程度的成员资格,这是来自词向量之间的相似性。我们发现,最大池词向量是模糊BoW的一个特例,应该通过模糊Jaccard指数,而不是余弦相似性进行比较。最后,我们提出了DynaMax,一个完全无监督和非参数的相似性度量,动态提取和最大池良好的功能,这取决于句子对。这种方法既高效又易于实现,但在STS任务上的表现远远优于当前的基线,甚至可以与经过训练以直接优化余弦相似度的监督词向量竞争。
2019-04-30 cs.CL cs.LG
Interpretable Syntactic Representations Enable Hierarchical Word Vectors
针对稠密词向量不可解释的问题,提出将其转换为紧凑可解释的句法表示,并基于此利用增量学习构建层次化词向量,该方法计算高效且在基准测试中优于原始向量。
2024-11-13 cs.CL cs.LG
Estimator Vectors: OOV Word Embeddings based on Subword and Context Clue Estimates
George Mason University(乔治梅森大学)
使用神经网络模型如word2vec,已经成功地从未标记的语料库中提取了词的语义表示。这些表示通常是高质量的,并且训练在计算上是便宜的,这使得它们很受欢迎。然而,这些方法通常无法近似出词汇(OOV)的话,人类可以很容易地完成任务,使用词根和上下文线索。本文提出了一种联合学习高质量词表示、子词表示和上下文线索表示的神经网络模型。一起学习所有三种类型的表示增强了对每种表示的学习,从而通过相应的上下文线索和子词嵌入的组合来丰富词向量,以及对OOV词的强估计。我们的模型,称为估计向量(EV),学习强大的词嵌入,并与最先进的方法进行OOV估计的竞争。
2019-10-18 cs.CL cs.LG stat.ML
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量,其中两个是在本研究中在大量爬行的法语数据上训练的,其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外,我们对多个真实的NLP任务进行了评估,结果表明,与现有的和随机的词向量相比,预训练的词向量的性能有了重要的提高。最后,我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
Deep learning model for Mongolian Citizens Feedback Analysis using Word Vector Embeddings
Mongolian University of Science and Technology(蒙古科技大学);Irkutsk National Research Technical University(伊尔库茨克国立研究技术大学)
多年来收集了大量反馈意见。许多反馈分析模型已经被开发出来,重点是英语语言。识别反馈的概念在没有适用于自然语言处理的语料库和工具的语言中是具有挑战性和关键的(即,词汇库、句子结构规则等)。然而,在本文中,我们使用两种不同的词嵌入来研究蒙古语中的反馈分类,以进行深度学习。我们比较所提出的方法的结果。我们使用2012-2018年收集的西里尔文反馈数据。结果表明,使用自己的数据集的词嵌入改进了基于深度学习的模型,对于两个分类任务,其最佳准确率分别为80.1%和82.7%。
2023-02-23 cs.AI cs.CL
Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation
University of Bucharest(布加勒斯特大学)
在本文中,我们提出了一种新的表示文本文档的基础上聚合词嵌入向量到文档嵌入。我们的方法的灵感来自于用于图像表示的局部聚集描述符向量,它的工作原理如下。首先,从文档集合中收集的词嵌入通过k均值聚类,以学习语义相关的词嵌入的码本。然后,每个词嵌入与其最近的聚类质心(码字)相关联。然后,通过累加每个码字向量和与相应码字相关联的每个词向量(来自文档)之间的差来计算文档的局部聚集词嵌入向量(VLAWE)表示。我们将以无监督方式学习的VLAWE表示插入到分类器中,并表明它对各种文本分类任务都很有用。我们将我们的方法与最近广泛的最先进的方法进行比较,证明了我们方法的有效性。此外,我们在Movie Review数据集上获得了相当大的改进,报告的准确率为93.3%,比最先进的方法绝对提高了10%。我们的代码可在https://github.com/raduionescu/vlawe-boswe/上获得。
2019-05-06 cs.CL
Word Rotator's Distance
Tohoku University(东北大学);RIKEN(理化学研究所)
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的,然而,它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题,我们专注于并证明了这样一个事实,即词向量的范数是一个很好的代理字的重要性,和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们,而基于对齐向量的方法自动使用规范作为单词重要性。因此,我们提出了一种方法,该方法首先将词向量分解成它们的范数和方向,然后使用推土机的距离(即,最优传输成本),我们称之为单词旋转器距离。此外,我们发现如何增长的范数和方向的词向量(向量转换器),这是一个新的系统的方法,来自于搜索向量估计方法。在几个文本相似性数据集上,这些简单的方法的组合不仅优于基于验证的方法,而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP(圣保罗大学数学与计算机科学研究所)
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展,也不可互换,这使得它们不适合规范化用户生成内容(UGC)。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中,我们提出了一种技术的基础上分布式表示的话(或词嵌入)。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式,以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点,我们提出了一个完全无监督的,可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论,优于目前可用的工具,巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Modeling Semantic Relatedness using Global Relation Vectors
Cardiff University(卡迪夫大学)
诸如GloVe之类的词嵌入模型依赖于来自大型语料库的共现统计来学习词义的向量表示。这些向量已被证明可以捕获令人惊讶的细粒度语义和语法信息。虽然我们可以类似地期望共现统计可以用于捕获关于不同单词之间关系的丰富信息,但是用于对这种关系进行建模的现有方法主要依赖于操纵预先训练的单词向量。在本文中,我们介绍了一种新的方法,直接学习关系向量的同现统计。为此,我们首先介绍GloVe的一个变体,其中单词向量和PMI加权同现向量之间存在显式连接。然后,我们将展示如何将关系向量自然地嵌入到所得到的向量空间中。
2017-11-14 cs.CL
Disentangling Latent Emotions of Word Embeddings on Complex Emotional Narratives
Stanford University(斯坦福大学);University of California San Diego(加州大学圣地亚哥分校)
诸如GloVe的词嵌入模型广泛用于自然语言处理(NLP)研究中以将词转换为向量。在这里,我们提供了一个初步的指南,通过GloVe词向量探测文本中的潜在情感。首先,我们训练了一个神经网络模型,通过从斯坦福情绪叙述数据集(SEND)中获取语言输入来预测连续的情绪效价评级。在解释了模型中的权重后,我们发现只有少数几个维度的词向量有助于表达文本中的情感,并且词是根据其情感极性进行聚类的。此外,我们进行了线性变换,将高维嵌入向量投影到情感空间中。基于NRC情感词典(NRC Emotion Lexicon,GloVe),我们分别使用GloVe的投影词向量和原始词向量来可视化情感在词典中的纠缠。我们表明,在提出的情感空间中,我们能够比单独使用原始GloVe向量更好地理清情感。此外,我们还发现,不同对情感词的和向量成功地捕捉到了人类情感的表达。例如,表达爱的表达喜悦和信任的两个嵌入式词向量的总和与表达乐观的嵌入式向量共享高相似性(相似性得分0.62)。相反,该总和载体与表达Remorse的嵌入载体不相似(相似性得分-0.19)。在本文中,我们认为,通过建议的情感空间,情感的算术保存在词向量。在情感向量空间中发现的情感表示可以为如何帮助机器解开词嵌入中表达的情感提供一些启发。
2019-08-15 cs.CL cs.IR cs.LG