Expansional Retrofitting for Word Vector Enrichment
LG Electronics(LG电子)
改造技术,注入外部资源到词表示,弥补了分布式表示的弱点,在语义和词之间的关系知识。在词向量泛化的词相似性任务中,通过扩展技术实现的词向量改进优于词向量改进。在本文中,我们提出了无监督的outrofitting:扩展改装(outrofitting)没有外部语义词典。我们还提出了深度外装:外装的深度堆叠以及外装与改造的进一步组合。当实验GloVe,我们表明,我们的方法优于以前的方法在大多数单词相似性任务,而只需要同义词作为外部资源。最后,我们展示了词向量丰富对文本分类任务的影响,作为下游任务。
2019-01-22 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University(甲南大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Tokyo University of Foreign Studies(东京外国语大学);University of Tokyo(东京大学)
本文提出基于上下文化词向量范数的方法,无需训练和词对齐即可发现两个语料库中词语的语义差异,在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Efficient Estimation of Word Representations in Vector Space
Google Inc.(谷歌公司)
我们提出了两个新的模型架构计算连续的向量表示的话,从非常大的数据集。这些表示的质量是衡量在一个词的相似性任务,并将结果进行比较,以前最好的执行技术的基础上不同类型的神经网络。我们观察到准确性的大幅提高,计算成本低得多,即从16亿个单词的数据集中学习高质量的单词向量需要不到一天的时间。此外,我们表明,这些向量提供了最先进的性能,我们的测试集测量句法和语义词的相似性。
2013-09-07 cs.CL
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词(在文本中)表示为携带语义信息的向量,但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练,除非需要单词边界。在本文中,我们扩展了音频Word2Vec从词级到话语级,提出了一个新的分段音频Word2Vec,其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强,所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器(SSAE)实现的,其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明,在无监督的口语分词和口语词检测应用中表现出非常好的性能(明显优于基于帧的DTW)。
2018-08-07 cs.CL
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
由于缺乏用于词的向量表示的标准化外部评估方法,NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联,这是有吸引力的,因为它在计算上是廉价的且快速的。在本文中,我们提出了几个问题与词相似度数据集上的词向量的评估,并总结现有的解决方案。我们的研究表明,使用词相似度任务来评估词向量是不可持续的,需要进一步研究评估方法。
2016-06-22 cs.CL
Correlation-based Intrinsic Evaluation of Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
我们引入QVEC-CCA-一种基于学习向量与从语言资源中提取的特征的相关性的词向量表示的内在评估度量。我们表明,QVEC-CCA分数是一个有效的代理范围内的外在语义和句法任务。我们还表明,所提出的评估获得更高和更一致的相关性与下游任务,现有的方法相比,内在的评价是基于词的相似性的词向量。
2016-06-21 cs.CL
Non-distributional Word Vector Representations
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源,这些向量往往是由不可解释的组件,其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源(如WordNet,FrameNet等)构建可解释的词向量的方法。这些向量是二进制的(即仅包含0和1),并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量,并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
近年来,词嵌入在捕捉它们所代表的词的直观特征方面已经令人惊讶地有效。当训练语料库非常大时,这些向量可以达到最佳效果,有时甚至达到数十亿个单词。然而,临床自然语言处理数据集往往要小得多。即使是最大的公开可用的医疗笔记数据集也比常用的“Google News”词向量数据集小三个数量级。为了弥补有限的训练数据大小,我们将专家领域知识编码到我们的嵌入。基于word2vec以前的扩展,我们表明,概括一个词的“上下文”的概念,包括任意功能创建一个途径编码领域知识到词嵌入。我们表明,通过这种方法产生的词向量优于他们的纯文本同行全面与临床专家的相关性。
2017-12-05 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute(伊迪亚普研究所)
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型,有效地学习蕴涵的词嵌入,使用最近提出的框架,在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据,他们对这个短语向量的贡献,或作为一个单词短语向量的后验分布,并发现后验向量表现更好。在无监督和半监督实验中,所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas(普罗萨智能解决方案公司)
本文描述了英语-印尼语神经机器翻译(NMT)中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置:基于单词的、使用双向LSTM(bi-LSTM)的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算:加法、逐点乘法和平均。实验结果表明,除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外,所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型,范围在9.14到11.65分之间。达到的最高BLEU评分为42.48,而基线模型为30.83。
2020-09-13 cs.CL
Text comparison using word vector representations and dimensionality reduction
Aalto University(阿尔托大学)
本文描述了一种使用词向量表示(word 2 vec)和降维(t-SNE)比较大型文本源的技术,以及如何使用Python实现该技术。该技术提供了文本源的鸟瞰图,例如文本摘要及其源材料,并使用户能够像地理地图一样探索文本源。词向量表示捕捉了许多语言属性,如性别,时态,复数,甚至语义概念,如“首都”。使用降维,可以计算2D图,其中语义相似的单词彼此接近。该技术使用gensim Python库中的word 2 vec模型和scikit-learn中的t-SNE。
2016-07-02 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
语义专门化是使用外部词汇知识(例如,WordNet)来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量,但是它们限于仅更新出现在外部词典中的单词的向量(即,看到的单词),保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的:对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性:单词相似性,对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后,我们还提出了一个跨语言迁移方法zero-shot专业化,成功地专门化一个完整的目标分布空间,没有任何词汇知识的目标语言,没有任何双语数据。
2018-09-11 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近,机器学习和神经网络方法的使用得到了更多的考虑。因此,文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中,GloVe,CBOW和skip-gram方法更新,以产生嵌入向量的波斯语单词。为了训练一个神经网络,我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后,我们有342,362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Deriving a Representative Vector for Ontology Classes with Instance Word Vector Embeddings
University of Moratuwa(莫拉图瓦大学)
在许多算法任务中,为一组向量选择一个代表向量是一个非常常见的要求。传统上,选择均值或中值向量。本体类是可以通过词向量嵌入转换到向量空间的同构实例对象的集合。本研究提出了一种方法来获得一个代表性的向量本体类的实例转换到向量空间。我们首先导出五个候选向量,然后将其用于训练一个机器学习模型,该模型将计算该类的代表向量。我们表明,我们的方法优于传统的均值和中值向量表示。
2017-06-08 cs.CL
Sparse Overcomplete Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学)
当前单词的分布式表示与词汇语义理论几乎没有相似之处。前者是密集和不可解释的,后者主要基于熟悉的离散类(例如,超意义)和关系(例如,同义词和上位词)。我们提出了将词向量转换为稀疏(可选二进制)向量的方法。结果表示更类似于NLP中通常使用的可解释特征,尽管它们是从原始语料库中自动发现的。因为向量是高度稀疏的,所以它们在计算上很容易处理。最重要的是,我们发现它们在基准任务上的表现优于原始向量。
2015-06-05 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment
Facebook AI Research(Facebook人工智能研究院)
在本文中,我们专注于适应词向量为基础的模型,以新的文本数据的问题。给定一个在大型参考数据上预先训练的模型,我们如何使其适应语言分布略有不同的较小数据?我们将自适应问题视为单语词向量对齐问题,并在对齐后简单地对模型进行平均。我们使用RCSLS准则对齐向量。我们的配方结果在一个简单而有效的算法,允许适应通用模型不断变化的单词分布。在我们的评估中,我们考虑应用到词嵌入和文本分类模型。我们表明,所提出的方法在所有设置中都具有良好的性能,并且优于在新数据上微调模型的基线。
2019-10-15 cs.CL
Specialising Word Vectors for Lexical Entailment
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);PolyAI(PolyAI公司)
我们提出了LEAR(词汇蕴涵吸引排斥),一种新的后处理方法,转换任何输入词向量空间,强调词汇蕴涵(LE)的不对称关系,也被称为IS-A或上下义关系。通过注入外部语言约束(例如,WordNet链接)到初始向量空间中,LE专业化过程使真正的上下义关系对在变换后的欧几里得空间中更接近。建议的非对称距离测量调整规范的词向量,以反映实际的WordNet风格的概念层次结构。同时,联合目标使用对称余弦距离强制执行语义相似性,同时产生专门用于两个词汇关系的向量空间。LEAR专业化在上位词方向性、上位词检测和分级词汇蕴涵等任务中实现了最先进的性能,证明了所提出的非对称专业化模型的有效性和鲁棒性。
2018-04-19 cs.CL
Leader: Prefixing a Length for Faster Word Vector Serialization
两种相互竞争的文件格式已经成为分发预训练的词嵌入的事实标准。两者都以这种格式分发的最流行的预训练嵌入命名。GloVe格式是一种完全基于文本的格式,它具有巨大的文件大小和缓慢的读取速度,而word2vec格式是一种较小的二进制格式,它混合了单词的文本表示和向量本身的二进制表示。这两种格式都有问题,我们用一种新的格式来解决,我们称之为Leader格式。我们包含了一个字长前缀,以便在保持二进制格式所提供的较小文件大小的同时实现更快的读取。我们还创建了一个极简库,以方便阅读和编写各种单词向量格式,以及将预先训练的嵌入转换为我们新的Leader格式的工具。
2020-10-09 cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.(达闼科技有限公司)
槽填充是口语语言理解(SLU)和自然语言处理(NLP)中的重要问题,其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法,并将其结合到卷积神经网络(CNN)中。我们考虑了18个单词特征,每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念,我们提出了一种特征集的方法,这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India(印度理工学院卡格拉普尔分校(IIT Kharagpur))
近年来,从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型(Word2vec)或基于密集计数的模型(GloVe)从文本计算的向量,但其他方法试图在分布式词库网络结构中表示这些,其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术(DeepWalk、LINE、node2vec等)研究激增的推动,我们把一个分布式词库网络转换成密集的词向量,并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合,有助于在针对单词相似性和相关性,同义词检测,类比检测等NLP任务进行评估时显着提高性能。此外,我们表明,即使不使用任何手工制作的词汇资源,我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比,表示的词汇资源已被使用。
2018-02-17 cs.CL
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量,其中两个是在本研究中在大量爬行的法语数据上训练的,其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外,我们对多个真实的NLP任务进行了评估,结果表明,与现有的和随机的词向量相比,预训练的词向量的性能有了重要的提高。最后,我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation
University of Bucharest(布加勒斯特大学)
在本文中,我们提出了一种新的表示文本文档的基础上聚合词嵌入向量到文档嵌入。我们的方法的灵感来自于用于图像表示的局部聚集描述符向量,它的工作原理如下。首先,从文档集合中收集的词嵌入通过k均值聚类,以学习语义相关的词嵌入的码本。然后,每个词嵌入与其最近的聚类质心(码字)相关联。然后,通过累加每个码字向量和与相应码字相关联的每个词向量(来自文档)之间的差来计算文档的局部聚集词嵌入向量(VLAWE)表示。我们将以无监督方式学习的VLAWE表示插入到分类器中,并表明它对各种文本分类任务都很有用。我们将我们的方法与最近广泛的最先进的方法进行比较,证明了我们方法的有效性。此外,我们在Movie Review数据集上获得了相当大的改进,报告的准确率为93.3%,比最先进的方法绝对提高了10%。我们的代码可在https://github.com/raduionescu/vlawe-boswe/上获得。
2019-05-06 cs.CL
Word Rotator's Distance
Tohoku University(东北大学);RIKEN(理化学研究所)
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的,然而,它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题,我们专注于并证明了这样一个事实,即词向量的范数是一个很好的代理字的重要性,和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们,而基于对齐向量的方法自动使用规范作为单词重要性。因此,我们提出了一种方法,该方法首先将词向量分解成它们的范数和方向,然后使用推土机的距离(即,最优传输成本),我们称之为单词旋转器距离。此外,我们发现如何增长的范数和方向的词向量(向量转换器),这是一个新的系统的方法,来自于搜索向量估计方法。在几个文本相似性数据集上,这些简单的方法的组合不仅优于基于验证的方法,而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
Modeling Semantic Relatedness using Global Relation Vectors
Cardiff University(卡迪夫大学)
诸如GloVe之类的词嵌入模型依赖于来自大型语料库的共现统计来学习词义的向量表示。这些向量已被证明可以捕获令人惊讶的细粒度语义和语法信息。虽然我们可以类似地期望共现统计可以用于捕获关于不同单词之间关系的丰富信息,但是用于对这种关系进行建模的现有方法主要依赖于操纵预先训练的单词向量。在本文中,我们介绍了一种新的方法,直接学习关系向量的同现统计。为此,我们首先介绍GloVe的一个变体,其中单词向量和PMI加权同现向量之间存在显式连接。然后,我们将展示如何将关系向量自然地嵌入到所得到的向量空间中。
2017-11-14 cs.CL
Towards Understanding Linear Word Analogies
Vector Institute(向量研究所);University of Toronto(多伦多大学)
该研究针对非线性SGNS词向量模型中向量运算可求解词类比的现象,在无强假设下给出形式化解释,证明关系比率猜想对SGNS成立,解释词向量加法的降权特性及欧氏距离的信息论意义。
2026-09-07 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University(北京大学);Beijing Key Laboratory of Internet Culture and Digital Dissemination Research(北京网络文化与数字传播重点实验室)
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而,当遇到生僻字和未见过字的问题时,它并不能很好地工作。在本文中,我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进,比国家的最先进的海德尔时间系统在时间表达识别,并获得了很大的增益在其他名称实体识别(NER)的任务。语义词典知网单独也显示出有前途的结果,在计算词汇相似度。
2018-01-27 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University(东北大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST));Preferred Networks, Inc.(优选网络公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出了第一个研究,旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋(CBOW)模型(Mikolov等人,2013)来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外,我们还引入了一个新的任务来预测词汇风格相似性,并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设,并表明,所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
Personalized word representations Carrying Personalized Semantics Learned from Social Network Posts
National Taiwan University(国立台湾大学)
分布式单词表示在各种自然语言处理(NLP)应用任务中已被证明是非常有用的。这些从大型语料库中获取的词向量往往同时携带了词的语义和句法信息。然而,众所周知,每个个体用户都有自己的语言模式,因为不同的因素,如感兴趣的话题,朋友群体,社交活动,措辞习惯等,这可能意味着某种个性化的语义。通过这种个性化的语义,同一个词对于不同的用户可能有稍微不同的含义。例如,单词“卡布奇诺”对于享受咖啡的用户而言可能意味着“休闲”、“快乐”、“极好”,而对于其他人而言只是一种饮料。这种个性化的语义当然不能由标准的通用词向量来承载,这些词向量是由许多人产生的庞大语料库训练的。在本文中,我们提出了一个框架,训练不同的个性化词向量,为不同的用户非常成功的连续跳语法模型的基础上,使用许多个人用户发布的社交网络数据。该框架首先从背景语料库中学习通用背景词向量,然后由个性化语料库对每个用户进行适配,以学习个性化词向量。我们使用两个应用程序任务来评估以这种方式获得的个性化词向量的质量,用户预测任务和句子完成任务。这些个性化的词向量被证明携带一些个性化的语义,并在这两个评估任务上提供更好的性能。
2017-10-29 cs.CL
Chinese Word Sense Embedding with SememeWSD and Synonym Set
Beijing University of Posts and Telecommunications(北京邮电大学)
词嵌入是自然语言处理的一项基本任务,它可以学习词的特征。然而,大多数词嵌入方法只为一个词分配一个向量,即使多义词具有多个含义。为了解决这个问题,我们提出了SememeWSD同义词(SWSDS)模型分配一个不同的向量的多义词的每一个意义的帮助下,词义消歧(WSD)和同义词集在OpenHowNet。使用基于OpenHowNet的无监督词义消歧模型SememeWSD进行词义消歧,并对多义词进行义项标识标注,然后从OpenHowNet中获取词义前10位的同义词,计算同义词的平均向量作为词义向量。在实验中,我们使用Gensim的wmdistance方法对SWSDS模型的语义相似度计算进行了评估。实现了精度的提高。我们还研究了SememeWSD模型在不同的BERT模型,以找到更有效的模型。
2022-06-29 cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University(斯坦福大学);Salesforce Research(Salesforce 研究院)
句子或文档的无监督向量表示是许多语言任务(如情感分类)的主要构建块。然而,目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设,在词嵌入空间的距离是同样重要的,无论上下文。我们引入上下文显着性(CoSal),一个词的重要性,使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类,需要很少的计算来评估,只需要一个协方差计算来"训练“。“CoSal支持小上下文,上下文外的单词,在大多数基准测试中优于SkipThought,在所有基准测试中击败tf-idf,并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Are All Good Word Vector Spaces Isomorphic?
University of Cambridge(剑桥大学);DeepMind(深度思维);University of Copenhagen(哥本哈根大学);Google Research(谷歌研究院)
现有的跨语言词向量空间对齐算法假设向量空间是近似同构的。因此,它们在非同构空间上表现不佳或完全失败。这种非同构现象被认为是语言类型差异的结果。在这项工作中,我们问是否非同构也是至关重要的退化词向量空间的一个标志。我们提出了一系列的实验,在不同的语言表明,跨语言对的性能的差异不仅是由于类型的差异,但可以主要归因于可用的单语资源的大小,以及单语训练的属性和持续时间(例如“训练不足”)。
2020-10-20 cs.CL
Unsupervised Measure of Word Similarity: How to Outperform Co-occurrence and Vector Cosine in VSMs
The Hong Kong Polytechnic University(香港理工大学);University of Pisa(比萨大学)
在本文中,我们声称,向量余弦,这通常被认为是最有效的无监督措施,用于识别词的相似性在向量空间模型,可以优于一个无监督的措施,计算的交集之间的程度最相互依赖的上下文的目标词。为了证明这一点,我们描述并评估了APSyn,这是平均精度的一个变体,在没有任何优化的情况下,它在标准ESL测试集上的表现优于向量余弦和同现,其改进范围在+9.00%到+17.98%之间,具体取决于所选择的顶级上下文的数量。
2016-03-30 cs.CL
Network-Efficient Distributed Word2vec Training System for Large Vocabularies
Yahoo, Inc.(雅虎公司);Uber ATC(优步先进技术中心);Deco Software(Deco软件公司)
Word2vec是一个流行的算法家族,用于在大型文本语料库上对单词的密集向量表示进行无监督训练。所得到的向量已被证明可以捕获其对应单词之间的语义关系,并且在将许多自然语言处理(NLP)任务减少为对这些向量的数学运算方面显示出了希望。虽然迄今为止word2vec的应用都集中在具有几百万个单词的词汇表上,其中词汇表是同时训练向量的单词集合,但在NLP之外的领域中,新的应用正在出现,词汇表包括数亿个单词。现有的word2vec训练系统对于训练如此大的词汇表是不切实际的,因为它们要么要求所有词汇表单词的向量被存储在单个服务器的存储器中,要么由于大量的网络数据传输而遭受不可接受的训练延迟。在本文中,我们提出了一种新的分布式,并行训练系统,使前所未有的实际训练向量的词汇量有几个100万字的商品服务器上的共享集群,使用远低于现有的解决方案的网络流量。我们在一个基准数据集上对所提出的系统进行了评估,结果表明,相对于非分布式训练,向量的质量不会降低。最后,在几个季度里,该系统已被部署用于将查询与雅虎赞助搜索广告平台Gemini中的广告进行匹配,从而显著改善了业务指标。
2016-06-27 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts(马萨诸塞大学);Lexalytics(Lexalytics公司)
词义归纳(WSI)通过无监督地发现多个词义来解决一词多义问题,解决了下游NLP任务的歧义问题,也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法,该方法构建了一个全局非负向量嵌入基(可解释性类似主题),并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型,我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤,而不牺牲感簇的质量。在三个数据集上的实验表明,与以前的最先进的方法相比,我们提出的方法产生了类似或更好的意义聚类和嵌入,同时效率显着提高。
2018-05-29 cs.CL
An Investigation on Word Embedding Offset Clustering as Relationship Classification
Ritsumeikan University(立命馆大学)
本研究探索通过六种池化策略和多种聚类模型,利用词嵌入向量对间的关系进行分类,发现减法池化结合质心聚类效果最佳,为无监督关系识别提供方向。
2023-05-07 cs.CL
Morph-fitting: Fine-Tuning Word Vector Spaces with Simple Language-Specific Rules
University of Cambridge(剑桥大学);Technion, Israel Institute of Technology(以色列理工学院);Apple Inc.(苹果公司)
形态丰富的语言强调了分布向量空间模型的两个特性:1)难以对低频单词形式进行准确表示; 2)对具有相似分布特征的不同词汇关系不敏感。这些影响对于语言理解系统是有害的,其可以推断“廉价”是“昂贵”的改写,或者可以不将“获取”与“获取”相关联。在这项工作中,我们提出了一种新的变形拟合过程,它移动过去的使用策划语义词典,以改善分布向量空间。相反,我们的方法注入使用简单的语言特定的规则生成的形态约束,拉同一个词的曲折形式靠近在一起,推派生反义词远离。在对四种语言的内在评估中,我们表明我们的方法:1)提高了低频词的估计; 2)提高了整个词向量集合的语义质量。最后,我们表明,形态拟合向量产生很大的收益,在对话状态跟踪的下游任务,突出了形态处理长尾现象在语言理解任务的重要性。
2017-06-01 cs.CL
Reproducing and learning new algebraic operations on word embeddings using genetic programming
University of the Basque Country (UPV/EHU)(巴斯克大学)
词向量表示将高维实向量与语料库中的每个词相关联。最近,已经提出了基于神经网络的方法来从大型语料库中学习这种表示。这种类型的词到向量嵌入能够在学习的向量空间中保持原始词语料库中存在的一些句法和语义关系。这反过来又通过对向量进行定义的代数运算来解决不同类型的语言分类任务。一般的做法是假设词之间的语义关系可以通过应用先验指定的代数运算来推断。我们在本文中的总体目标是表明,它是可以学习的方法,在语义空间中的词组成。我们将把复合方法编码为一个程序,它可以是线性的,非线性的,或者涉及更复杂的表达式,而不是将其表示为代数运算。更值得注意的是,该程序将通过遗传编程(GP)从一组初始随机程序进化而来。我们表明,我们的方法能够再现与人类设计的代数运算符相同的行为。使用一个词的类比任务作为基准,我们还表明,GP生成的程序能够获得的准确度值以上的常用的人类设计的规则代数操作的词向量。最后,我们通过在word2vec GoogleNews向量上执行进化程序,学习了超过30亿个运行单词,并在相同的单词类比任务中评估其准确性,展示了我们方法的鲁棒性。
2017-02-18 cs.CL
Putting Words in BERT's Mouth: Navigating Contextualized Vector Spaces with Pseudowords
Hebrew University of Jerusalem(希伯来大学);University of Utah(犹他大学);Georgetown University(乔治城大学)
我们提出了一种方法,探索在上下文向量空间(特别是,BERT空间)中的各个点周围的区域,作为一种方式来调查这些区域对应于词义。通过在输入层中引入一个上下文化的“伪词”作为静态嵌入的替代,然后对句子中的一个词进行掩码预测,我们能够以受控的方式围绕各个实例研究BERT空间的几何形状。使用我们的方法对一组精心构造的句子,针对模糊的英语单词,我们发现大量的规律性的上下文空间,区域对应于不同的词义,但这些区域之间偶尔有“意义空洞”-区域不对应于任何可理解的意义。
2021-10-04 cs.CL
Measuring Word Significance using Distributed Representations of Words
NNLP;Lateral GmbH(Lateral有限公司)
在相对低维的空间中将词表示为实值向量的分布式表示旨在从大型文本语料库中提取句法和语义特征。最近引入的神经网络,命名为word 2 vec(Mikolov等人,2013 a; Mikolov等人,2013 b),被示出为在词向量的方向上编码语义信息。在这份简短的报告中,建议使用向量的长度,以及术语频率,作为语料库中单词重要性的度量。使用特定领域的摘要语料库的实验证据来支持这一建议。一个有用的可视化技术的文本语料库出现,其中的话被映射到一个二维平面上,并自动排名的重要性。
2015-08-10 cs.CL
Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
我们提出了一种新的矢量表示,将词汇对比度的分布向量,并加强了最显着的功能,以确定程度的单词相似性。改进后的向量显著优于标准模型,并区分反义词和同义词,在词类(形容词,名词,动词)中的平均精度为0.66-0.76。此外,我们将词汇对比度向量整合到跳跃语法模型的目标函数中。新的嵌入在SimLex-999中预测单词相似性以及区分反义词和同义词方面优于最先进的模型。
2016-05-25 cs.CL
Political Footprints: Political Discourse Analysis using Pre-Trained Word Vectors
在本文中,我们讨论了如何使用机器学习来产生一个系统的和更客观的政治话语分析。政治足迹是应用于政治话语的向量空间模型。它们的每个向量代表一个单词,并且通过在大型文本语料库上训练英语词典来产生。本文介绍了政治足迹的简单实现,如何使用它们的一些技巧,以及它们在四个案例中的应用:联合国京都议定书和巴黎协定,以及两次美国总统选举。本书将为读者提供一些理由,让他们相信政治足迹会产生有意义的结果,并就如何改进其实施提出一些建议。
2017-05-17 cs.CL
Multi-view Recurrent Neural Acoustic Word Embeddings
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Chicago(芝加哥大学)
最近的工作已经开始探索神经声学词嵌入-对应于词的任意长度语音片段的固定维向量表示。这种嵌入适用于语音检索和识别任务,其中关于整个单词的推理可以避免模糊的子单词表示。其主要思想是将声学序列映射到固定维度的向量,使得相同单词的示例映射到相似的向量,而不同单词的示例映射到非常不同的向量。在这项工作中,我们采取了多视角的方法来学习声学词嵌入,其中我们共同学习嵌入声学序列和它们对应的字符序列。我们使用深度双向LSTM嵌入模型和多视图对比损失。我们研究了不同损失变量的影响,包括固定保证金和成本敏感损失。我们的声学词嵌入改善了以前的方法的任务,词歧视。我们还提出了其他任务的结果,使多视图的方法,包括跨视图的单词歧视和单词相似性。
2017-03-10 cs.CL
Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix(Stitch Fix公司)
分布式密集词向量已被证明是有效的,在捕捉语言中的标记级语义和句法的语义,而主题模型可以形成可解释的表示在文档。在这项工作中,我们描述了lda2vec,一个模型,学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反,该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架,并允许无监督的文档表示面向科学家使用,同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
One Representation per Word - Does it make Sense for Composition?
University of Sussex(萨塞克斯大学)
在本文中,我们调查是否一个先验的词义消歧是严格必要的,或者是否一个词在上下文中的意义可以通过单独的组合消歧。我们评估了现成的单向量和多意义向量模型在基准短语相似性任务和一个新的词义判别任务上的性能。我们发现,单感矢量模型的表现以及或更好的多感矢量模型,尽管可以说是不干净的基本表示。我们的研究结果还表明,简单的组合函数,如逐点加法能够恢复感特定的信息,从一个单一的意义向量模型非常好。
2017-02-22 cs.CL
Imparting Interpretability to Word Embeddings while Preserving Semantic Structure
ASELSAN Research Center(阿瑟兰研究中心);Bilkent University(比尔肯特大学);Ludwig Maximillian University(路德维希·马克西米利安大学)
词嵌入作为自然语言处理中一种普遍存在的方法,被广泛用于将词的语义属性映射到稠密的向量表示中。它们捕捉词之间的语义和句法关系,但对应于词的向量仅相对于彼此有意义。矢量和它的维数都没有任何绝对的、可解释的意义。我们引入了一个添加剂修改的嵌入学习算法,鼓励嵌入向量的单词,语义相关的一个预定义的概念,采取更大的值沿指定的维度,而原来的语义学习机制几乎不受影响的目标函数。换句话说,我们将已经确定相关的单词与预定义的概念对齐。因此,我们赋予解释性的词嵌入,其向量维度的意义。预定义的概念来自外部词汇资源,在本文中被选为Roget的词库。我们观察到,沿着所选概念的对齐不仅限于同义词词典中的词,还扩展到其他相关词。我们量化的程度的可解释性和分配的意义,从我们的实验结果。人工评估结果也已提交,以进一步验证所提出的方法增加了可解释性。我们还证明了使用词的类比和词的相似性测试,由此产生的向量空间的语义一致性的保存。这些测试表明,通过所提出的框架获得的可解释性赋予的词嵌入不会牺牲在常见的基准测试中的性能。
2020-07-02 cs.CL
Keywords lie far from the mean of all words in local vector space
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
关键词提取是一个重要的文档处理过程,其目的是找到一个小的术语集,简洁地描述文档的主题。最流行的最先进的无监督方法属于基于图的方法家族,该方法构建单词图并使用各种中心性度量来对节点(候选关键字)进行评分。在这项工作中,我们遵循不同的路径来检测的关键字从文本文档建模的主要分布的文档的话,使用本地词向量表示。然后,我们根据候选人在文本中的位置以及相应的局部向量与主分布中心之间的距离对候选人进行排名。我们通过一项扩展的实验研究,调查本地表示的属性,与强基线和最先进的无监督关键字提取方法相比,我们的方法具有高性能。
2020-08-21 cs.CL
Attenuating Bias in Word Vectors
University of Utah(犹他大学)
词向量表示是用于各种NLP和机器学习任务的成熟工具,并且已知保留了语言的重要语义和句法结构。但它们容易带有和放大偏见,在各种应用中造成歧视。在这项工作中,我们探索了新的简单方法来检测嵌入中最刻板的性别词,并消除它们的偏见。我们验证了名字是如何被掩盖的性别偏见的载体,然后使用它作为一种工具,以削弱嵌入偏见。此外,我们扩展了这个属性的名称,以显示如何名称可以用来检测其他类型的偏见的嵌入,如基于种族,民族和年龄的偏见。
2019-01-23 cs.CL
Context-Dependent Word Representation for Neural Machine Translation
Samsung Electronics(三星电子);University of Montreal(蒙特利尔大学);New York University(纽约大学)
我们首先观察到神经机器翻译中符号的连续向量表示的潜在弱点。也就是说,符号的连续向量表示或词嵌入向量对相似性的多个维度进行编码,相当于对词的多个含义进行编码。这导致神经机器翻译中的编码器和解码器递归网络需要花费大量的容量来基于由源句子定义的上下文来消除源和目标词的歧义。基于这一观察,在本文中,我们提出了上下文的词嵌入向量使用的非线性袋的词表示的源句子。此外,我们建议用类型化符号表示特殊标记(如数字、专有名词和首字母缩略词),以便于翻译那些不适合通过连续向量翻译的单词。在En-Fr和En-De上的实验表明,本文提出的语境化和符号化方法显著提高了神经机器翻译系统的翻译质量。
2016-07-03 cs.CL
Gated Word-Character Recurrent Language Model
Center for Data Science(数据科学中心);New York University(纽约大学)
我们引入了一个具有长短期记忆(LSTM)单元的递归神经网络语言模型(RNN-LM),该单元利用字符级和单词级输入。我们的模型有一个门,自适应地找到字符级和单词级输入的最佳混合。门通过组合单词的两个不同表示来创建单词的最终矢量表示。使用双向LSTM将字符级输入转换为单词的向量表示。词级输入通过词查找表投影到另一个高维空间。单词的最终向量表示用于LSTM语言模型,该模型预测给定所有前面单词的下一个单词。我们的模型与门控机制有效地利用字符级输入的罕见和词汇外的单词,并优于词级语言模型在几个英语语料库。
2016-10-13 cs.CL
Rehabilitation of Count-based Models for Word Vector Representations
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
最近的作品中的词表示主要依赖于预测模型。分布式单词表示(又称词嵌入)被训练来最佳地预测相应单词倾向于出现的上下文。这些模型成功地捕捉到了词的相似性以及语义和句法的相似性。相反,我们的目标是恢复对基于计数的模型的兴趣。我们提出了一个系统的研究使用的Hellinger距离提取语义表示的词共现统计的大型文本语料库。我们发现,这个距离提供了良好的表现,词相似性和类比任务,适当的类型和大小的上下文,和降维的基础上随机低秩近似。除了简单和直观之外,该方法还提供了一个编码函数,可以用来推断未见过的单词或短语。与必须训练这些新词的预测模型相比,这成为一个明显的优势。
2015-04-08 cs.CL
Word Embeddings for the Construction Domain
École Polytechnique(巴黎综合理工学院);CU Boulder(科罗拉多大学博尔德分校)
我们为构造域引入词向量。我们的向量是通过在一个1100万字的语料库上运行word2vec获得的,这个语料库是我们通过利用免费访问的在线构建相关文本资源从头开始创建的。我们首先探索嵌入空间,并表明我们的向量捕获有意义的特定于构造的概念。然后,我们评估了我们的向量的性能对100 B字语料库(谷歌新闻)的伤害报告分类任务的框架内训练的。在没有任何参数调整的情况下,我们的嵌入给出了有竞争力的结果,并且在许多情况下优于Google News向量。使用基于关键字的报告压缩还可以显著提高速度,而性能损失有限。我们公开发布我们的语料库和我们为分类任务创建的数据集,希望它们将被未来的研究用于基准测试和建立我们的工作。
2016-10-28 cs.CL
Confusion2Vec: Towards Enriching Vector Space Word Representations with Representational Ambiguities
University of Southern California(南加州大学)
词向量表示是自然语言处理和人机交互的重要组成部分。在本文中,我们提出了一种新的词向量表示,混淆2 Vec,从人类的语音生产和感知编码的代表性歧义的动机。人类采用声学相似性线索和上下文线索来解码信息,我们专注于一个模型,将这两个信息源。声学的表征模糊性,表现在单词混淆中,通常由人类和机器通过上下文线索来解决。一系列的代表性的模糊性可以出现在各个领域进一步的声学感知,如形态变换,释义的自然语言处理任务,如机器翻译等。在这项工作中,我们提出了一个案例研究中的应用程序自动语音识别(ASR),其中的单词混淆与声学相似性。我们提出了几种技术来训练声学感知相似性表示歧义。我们称之为Confusion 2 Vec,并从ASR混淆网络或类格子结构中学习无监督生成的数据。适当的评价Confusion 2 Vec制定测量声学相似性,除了语义-句法和单词相似性评价。Confusion 2 Vec能够有效地对单词混淆进行建模,而不会影响语义-句法单词关系,从而有效地丰富了单词向量空间与额外任务相关的歧义信息。我们提供了一个直观的探索的2维Confusion 2 Vec空间使用主成分分析的嵌入和语义,句法和声学关系。通过与ASR错误校正相关的小示例,证明了Confusion 2 Vec在利用晶格中存在的不确定性方面的潜力。
2019-03-28 cs.CL