Mixing Dirichlet Topic Models and Word Embeddings to Make lda2vec
Stitch Fix（Stitch Fix公司）
分布式密集词向量已被证明是有效的，在捕捉语言中的标记级语义和句法的语义，而主题模型可以形成可解释的表示在文档。在这项工作中，我们描述了lda2vec，一个模型，学习密集的词向量与Dirichlet分布的潜在文档级混合的主题向量。与连续密集的文档表示相反，该公式通过非负单纯形约束产生稀疏的、可解释的文档混合物。我们的方法很容易融入现有的自动微分框架，并允许无监督的文档表示面向科学家使用，同时学习词向量和它们之间的线性关系。
2016-05-06 cs.CL
Efficient Text Classification Using Tree-structured Multi-linear Principal Component Analysis
University of Southern California（南加利福尼亚大学）
本文提出了一种新的文本数据降维方法--树结构多线性主成分分析（TMPCA）。与传统的文本降维方法处理词级表示不同，TMPCA技术降低了输入序列和句子的维数，以简化后续的文本分类任务。数学和实验表明，TMPCA工具需要更低的复杂性（因此，更少的计算能力）比普通的主成分分析（PCA）。此外，它是由实验结果表明，支持向量机（SVM）的方法应用于TMPCA处理的数据实现了可比的或更好的性能比最先进的递归神经网络（RNN）的方法。
2018-02-24 cs.CL
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University（南洋理工大学）
词的学习向量表示是一个重要的研究领域，它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性，即语境定义的偏差和知识利用的不足。它们很难处理，因为这些算法本质上是无监督学习方法。受深度学习的启发，作者提出了一个用于学习单词矢量表示的监督框架，以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法，并与任何数字矢量词表示兼容。作者进行内在评价，如归因和关系相似性预测和外在评价，如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明，所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas（阿肯色大学）
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中，诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而，GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明，在自然语言的类比完成和词相似度测试中，我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上，具有直接连接的WOVe略微优于GloVe，平均排名提高了2%。然而，它大大提高了GloVe基线上的单词类比任务，实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Co-occurrence Vectors from Corpora vs. Distance Vectors from Dictionaries
比较了从大型文本语料库中使用普通共现统计得到的向量和通过测量词典定义中的词间距离得到的向量。使用1987年《华尔街日报》的共现向量（2000万总词）进行词义消歧的精度高于使用柯林斯英语词典的距离向量（60K中心词+1.6M定义词）。然而，其他的实验结果表明，距离向量包含一些不同的语义信息从同现向量。
1995-04-01 cmp-lg cs.CL
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
Babylon Health（巴比伦健康）
最近的文献表明，在语义文本相似性任务中，平均词向量加上简单的后处理优于许多深度学习方法。此外，当平均词向量在大型释义语料库上进行监督训练时，它们在标准STS基准测试中获得了最先进的结果。受这些见解的启发，我们进一步推动了词嵌入的极限。我们提出了一种新的模糊词袋（FBoW）表示的文本，同时包含所有的词汇，但具有不同程度的成员资格，这是来自词向量之间的相似性。我们发现，最大池词向量是模糊BoW的一个特例，应该通过模糊Jaccard指数，而不是余弦相似性进行比较。最后，我们提出了DynaMax，一个完全无监督和非参数的相似性度量，动态提取和最大池良好的功能，这取决于句子对。这种方法既高效又易于实现，但在STS任务上的表现远远优于当前的基线，甚至可以与经过训练以直接优化余弦相似度的监督词向量竞争。
2019-04-30 cs.CL cs.LG
Causally Denoise Word Embeddings Using Half-Sibling Regression
City University of Hong Kong（香港城市大学）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）
词的分布表示，也称为词向量，由于其广泛的应用，已经成为现代自然语言处理任务的关键。最近，出现了越来越多的词向量后处理算法，旨在使现成的词向量更加强大。根据这些调查，我们引入了一个新的词向量后处理方案下的因果推理框架。具体地说，后处理流水线是通过半同胞回归（HSR）实现的，它允许我们识别和去除词向量中包含的混淆噪声。与以前的工作相比，我们提出的方法具有可解释性和透明性的优点，由于其因果推理接地。在一组标准的词汇级评估任务和下游的情感分析任务上进行评估，我们的方法达到了最先进的性能。
2019-11-24 cs.CL cs.LG
Correlations between Word Vector Sets
纯粹基于词嵌入的相似性度量在无监督语义文本相似性（STS）任务上与更复杂的深度学习和专家工程系统竞争。与常用的几何方法相比，我们将单个词嵌入视为例如来自标量随机变量的300个观察。使用这种模式，我们首先说明，来自基本池操作和经典的相关系数的相似性产生优秀的结果标准STS基准测试，优于许多最近提出的方法，同时要快得多，微不足道的实现。接下来，我们演示如何完全避免池化操作，并通过再生核希尔伯特空间之间的相关算子直接比较词嵌入的集合。就像余弦相似性是用来比较个别的词向量，我们介绍了一个新的应用程序的中心内核对齐（CKA）作为一个自然的概括平方余弦相似性的词向量集。同样，CKA也很容易实现，并具有很强的经验结果。
2019-10-07 cs.CL cs.LG
Word Vector Enrichment of Low Frequency Words in the Bag-of-Words Model for Short Text Multi-class Classification Problems
The University of New South Wales（新南威尔士大学）
词袋模型是许多线性分类器学习器的标准文本表示。在许多问题领域中，线性分类器由于其效率，鲁棒性和可解释性而优于更复杂的模型，并且词袋文本表示可以为线性分类器捕获足够的信息以进行高度准确的预测。然而，在存在大词汇量、训练语料库中术语频率的大变化、许多类和非常短的文本（例如，单个句子或文档标题），词袋表示变得极其稀疏，并且这会降低分类器的准确性。在这种情况下的一个特殊问题是，短文本往往包含不经常出现或罕见的条款，缺乏类条件的证据。在这项工作中，我们介绍了一种方法，丰富的词袋模型，通过补充这些罕见的长期信息与相关的条款，从一般和特定领域的词向量模型。通过减少词袋模型中的稀疏性，我们的富集方法在各种文本分类问题中实现了比几个基线分类器更好的分类。我们的方法也是有效的，因为它不需要在训练之前或训练期间改变线性分类器，因为词袋富集仅适用于正在分类的文本。
2017-09-18 cs.CL cs.LG
Sentiment Analysis Using Averaged Weighted Word Vector Features
本文提出两种结合不同类型词向量并利用情感标注评论词频加权的方法进行情感分析，在多个标准基准数据集上验证其性能优于现有最先进方法。
2023-10-15 cs.CL cs.IR
Text Classification based on Word Subspace with Term-Frequency
University of Tsukuba（筑波大学）；Center for Artificial Intelligence Research (C-Air)（人工智能研究中心（C-Air））
由于数字形式的文本的快速增长，文本分类变得不可或缺。在过去的三十年里，人们一直在努力使用各种学习算法和基于词袋（BOW）特征的统计模型来实现这一任务。尽管其简单的实现，BOW功能缺乏语义表示。为了解决这个问题，神经网络开始被用来学习单词向量，比如word2vec。Word2vec将词的语义结构嵌入到向量中，向量之间的角度表示词之间有意义的相似性。为了度量文本之间的相似性，我们提出了词子空间的新概念，它可以表示一组词向量中特征的内在变化。通过这个概念，可以在保持语义信息的同时从词向量对文本进行建模。为了将词频直接纳入子空间模型，我们进一步扩展词子空间的词频（TF）加权词子空间。基于这些新概念，文本分类可以在互子空间方法（MSM）框架下进行。通过在路透社文本数据库上的实验，将结果与各种最先进的算法进行比较，证明了我们建模的有效性。
2018-06-08 cs.CL cs.LG stat.ML
Autoencoding Improves Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
研究预先训练的词嵌入的几何形状的先前工作已经表明，词嵌入被分布在窄圆锥中，并且通过使用主分量向量来居中和投影，可以增加预先训练的词嵌入的给定集合的准确性。然而，理论上，该后处理步骤等同于应用线性自动编码器以最小化平方l2重建误差。这一结果与先前的工作（Mu和Viswanath，2018）相矛盾，该工作提出从预训练的嵌入中删除顶部主成分。我们通过实验验证了我们的理论主张，并表明保留顶级主成分确实有助于改进预训练的词嵌入，而无需访问额外的语言资源或标记数据。
2020-10-27 cs.CL
Principal Components of the Meaning
University of Leicester（莱斯特大学）；Lobachevsky University（罗巴切夫斯基大学）
在本文中，我们认为，（词汇）的科学意义可以表示在一个13维的意义空间。这个空间是使用主成分分析（奇异分解）的矩阵的词类别的相对信息增益，其中的类别是那些使用的Web of Science，和单词是从一个减少的词集从Web of Science的文本。我们表明，这个减少的词集合理地代表了语料库中的所有文本，使主成分分析有一定的客观意义的语料库。我们认为，13个维度足以描述科技文本的意义，并假设的主要成分的定性意义。
2020-09-18 cs.CL cs.LG
Examining Structure of Word Embeddings with PCA
Charles University（查理大学）
在本文中，我们比较结构的捷克语词嵌入英语-捷克语神经机器翻译（NMT），word 2 vec和情感分析。我们表明，虽然它是可能的成功预测部分的语音（POS）标记从词嵌入的word 2 vec和各种翻译模型，并不是所有的嵌入空间显示相同的结构。关于POS的信息存在于word 2 vec嵌入中，但是NMT解码器中POS的高度组织表明该信息对于机器翻译更重要，因此NMT模型以更直接的方式表示它。我们的方法是基于主成分分析（PCA）维度与分类语言数据的相关性。我们还表明，进一步检查直方图的类沿主成分是很重要的，以了解嵌入的信息表示的结构。
2019-05-31 cs.CL
Word2Bits - Quantized Word Vectors
词向量需要大量的内存和存储，这给移动电话和GPU等资源有限的设备带来了问题。我们表明，高质量的量化字向量，每个参数使用1-2位，可以通过引入量化函数Word 2 Vec学习。我们还表明，训练与量化函数作为一个正则化。我们在英文维基百科（2017）上训练词向量，并在标准词相似性和类比任务以及问答（SQuAD）上对其进行评估。我们的量化词向量不仅比全精度（32位）词向量占用的空间少8- 16倍，而且在词相似性任务和问答方面也优于它们。
2018-03-31 cs.CL
On Dimensional Linguistic Properties of the Word Embedding Space
Carnegie Mellon University（卡内基梅隆大学）；University of Utah（犹他大学）
词嵌入已经成为几个自然语言处理任务的主要内容，但关于它们的属性还有很多东西需要了解。在这项工作中，我们分析了词嵌入的主成分，并得出了一些新颖的和违反直觉的意见。特别是，我们的特点的效用方差解释的主成分作为下游性能的代理。此外，通过句法探测的主要嵌入空间，我们表明，句法信息捕获的主成分不相关的方差，它解释的量。因此，我们研究了基于方差的嵌入后处理的局限性，并证明了这种后处理在句子分类和机器翻译任务中是适得其反的。最后，我们提供了一些关于应用基于方差的嵌入后处理的预防指南，并解释了为什么非各向同性几何形状可能是词嵌入性能不可或缺的。
2020-05-20 cs.CL cs.LG
What Does Debiasing Really Remove? A Geometric Study of PCA-Based Gender Debiasing in Word Embeddings
Hood College（胡德学院）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）
通过几何分析揭示PCA去偏主要移除第一主成分中的直接性别偏见，但无法消除分布在多维度上的关联偏见，且会破坏嵌入几何结构，表明偏见并非纯低秩，简单子空间移除不足以全面去偏。
2026-06-06 cs.CL
SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors
Cardiff University（卡迪夫大学）
我们提出了SeVeN（语义向量网络），一种混合资源，以图形的形式编码单词之间的关系。与传统的语义网络不同，这些关系被表示为连续向量空间中的向量。我们提出了一个简单的管道学习这种关系向量，这是基于词向量平均结合一个特设的自动编码器。我们表明，通过显式编码的关系信息在一个专用的向量空间，我们可以捕捉到的单词的含义是互补的词嵌入所捕获的方面。例如，通过研究关系向量的集群，我们观察到，关系相似性可以在一个更抽象的层次上比传统的词向量差异。最后，我们在两个任务中测试了语义向量网络的有效性：词相似度测量和神经文本分类。SeVeN可在bitbucket.org/luisespinosa/seven上获得。
2018-08-18 cs.CL
Retrofitting Word Vectors to Semantic Lexicons
Carnegie Mellon University（卡内基梅隆大学）
向量空间词表示是从大型语料库中的词的分布信息中学习的。虽然这样的统计数据是语义信息，他们忽略了有价值的信息，是包含在语义词典，如WordNet，FrameNet和释义数据库。本文提出了一种利用语义词典中的关系信息来改进向量空间表示的方法，该方法通过鼓励链接词具有相似的向量表示来改进向量空间表示，并且不对输入向量的构造方式进行任何假设。在几种语言的标准词汇语义评估任务的电池上进行评估，我们从各种词向量模型开始获得了实质性的改进。我们的细化方法优于先前的技术，将语义词典到词向量训练算法。
2015-03-22 cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
词向量专业化（也称为改造）是一种便携式，轻量级的方法，通过从丰富的词汇资源（如WordNet）注入外部知识来微调任意分布的词向量空间。通过设计，这些后处理方法只更新外部词典中出现的单词的向量，而保留所有未看到的单词的表示。在本文中，我们表明，约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法，该方法：a）保留了有用的语言知识，为看到的话;而b）传播这个外部信号，以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量，以深度神经网络的形式解释了非线性专业化函数。然后，学习的函数用于专门化未见过的单词的向量。这种方法，适用于任何后处理模型，产生相当大的收益，无论是在内在的词相似性任务，并在两个下游任务：对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在，表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Desiderata for Vector-Space Word Representations
University of Sheffield（谢菲尔德大学）
目前有大量的词的向量空间表示，而且还在不断增长。这些由包含实值的固定长度向量组成，表示一个单词。结果是一个表示，许多传统的信息处理和数据采掘技术的力量可以承担，只要表示设计有一些预见性，并符合一定的约束。本文详细介绍了词的向量空间表示的设计要求。
2016-08-06 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University（甲南大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；Tokyo University of Foreign Studies（东京外国语大学）；University of Tokyo（东京大学）
本文提出基于上下文化词向量范数的方法，无需训练和词对齐即可发现两个语料库中词语的语义差异，在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Efficient Estimation of Word Representations in Vector Space
Google Inc.（谷歌公司）
我们提出了两个新的模型架构计算连续的向量表示的话，从非常大的数据集。这些表示的质量是衡量在一个词的相似性任务，并将结果进行比较，以前最好的执行技术的基础上不同类型的神经网络。我们观察到准确性的大幅提高，计算成本低得多，即从16亿个单词的数据集中学习高质量的单词向量需要不到一天的时间。此外，我们表明，这些向量提供了最先进的性能，我们的测试集测量句法和语义词的相似性。
2013-09-07 cs.CL
Segmental Audio Word2Vec: Representing Utterances as Sequences of Vectors with Applications in Spoken Term Detection
College of Electrical Engineering
虽然Word2Vec将单词（在文本中）表示为携带语义信息的向量，但音频Word2Vec被示出能够将口语单词的信号段表示为携带语音结构信息的向量。音频Word2Vec可以从未标记的语料库中以无监督的方式进行训练，除非需要单词边界。在本文中，我们扩展了音频Word2Vec从词级到话语级，提出了一个新的分段音频Word2Vec，其中无监督的口语词边界分割和音频Word2Vec共同学习和相互增强，所以话语可以直接表示为一系列携带语音结构信息的向量。这是通过分段序列到序列自动编码器（SSAE）实现的，其中在编码器中插入用强化学习训练的分段门。在英语、捷克语、法语和德语上的实验表明，在无监督的口语分词和口语词检测应用中表现出非常好的性能（明显优于基于帧的DTW）。
2018-08-07 cs.CL
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
由于缺乏用于词的向量表示的标准化外部评估方法，NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联，这是有吸引力的，因为它在计算上是廉价的且快速的。在本文中，我们提出了几个问题与词相似度数据集上的词向量的评估，并总结现有的解决方案。我们的研究表明，使用词相似度任务来评估词向量是不可持续的，需要进一步研究评估方法。
2016-06-22 cs.CL
Correlation-based Intrinsic Evaluation of Word Vector Representations
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
我们引入QVEC-CCA-一种基于学习向量与从语言资源中提取的特征的相关性的词向量表示的内在评估度量。我们表明，QVEC-CCA分数是一个有效的代理范围内的外在语义和句法任务。我们还表明，所提出的评估获得更高和更一致的相关性与下游任务，现有的方法相比，内在的评价是基于词的相似性的词向量。
2016-06-21 cs.CL
Non-distributional Word Vector Representations
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源，这些向量往往是由不可解释的组件，其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源（如WordNet，FrameNet等）构建可解释的词向量的方法。这些向量是二进制的（即仅包含0和1），并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量，并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
AWE-CM Vectors: Augmenting Word Embeddings with a Clinical Metathesaurus
CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT（麻省理工学院）
近年来，词嵌入在捕捉它们所代表的词的直观特征方面已经令人惊讶地有效。当训练语料库非常大时，这些向量可以达到最佳效果，有时甚至达到数十亿个单词。然而，临床自然语言处理数据集往往要小得多。即使是最大的公开可用的医疗笔记数据集也比常用的“Google News”词向量数据集小三个数量级。为了弥补有限的训练数据大小，我们将专家领域知识编码到我们的嵌入。基于word2vec以前的扩展，我们表明，概括一个词的“上下文”的概念，包括任意功能创建一个途径编码领域知识到词嵌入。我们表明，通过这种方法产生的词向量优于他们的纯文本同行全面与临床专家的相关性。
2017-12-05 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas（普罗萨智能解决方案公司）
本文描述了英语-印尼语神经机器翻译（NMT）中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置：基于单词的、使用双向LSTM（bi-LSTM）的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算：加法、逐点乘法和平均。实验结果表明，除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外，所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型，范围在9.14到11.65分之间。达到的最高BLEU评分为42.48，而基线模型为30.83。
2020-09-13 cs.CL
Principal Phrase Mining
Drew University（德鲁大学）；Rutgers University（罗格斯大学）
从文本集合中提取频繁词在许多学科中是常见的。然而，尽管从文本中获得常见单词的集合是有用的，但是需要以最常见短语的形式从文本中获得更具体的信息。尽管有这种需求，但由于固有的复杂性，提取频繁短语并不常见，最重要的是重复计算。当单词或短语出现在更长的短语中时，会发生双重计数，而这些短语本身也会被计数，从而导致选择大多数无意义的短语，这些短语之所以频繁出现，只是因为它们出现在频繁的超级短语中。已经有几篇关于短语挖掘的论文描述了这个问题的解决方案;然而，它们要么需要一个所谓的质量短语列表可用于提取过程，要么需要人工交互来识别过程中的质量短语。我们在这里提出了一种方法，通过一个独特的整流过程，不需要高质量的短语列表，消除重复计算。在一组文本的上下文中，我们将主短语定义为不交叉标点符号、不以停用词开始（除了停用词“not”和“no”之外）、不以停用词结束、在这些文本中频繁出现而不被重复计数并且对用户有意义的短语。我们的方法可以在没有人工输入的情况下独立识别这些主要短语，并在合理的时间内从任何文本中提取它们。
2022-10-31 cs.CL stat.AP
Text comparison using word vector representations and dimensionality reduction
Aalto University（阿尔托大学）
本文描述了一种使用词向量表示（word 2 vec）和降维（t-SNE）比较大型文本源的技术，以及如何使用Python实现该技术。该技术提供了文本源的鸟瞰图，例如文本摘要及其源材料，并使用户能够像地理地图一样探索文本源。词向量表示捕捉了许多语言属性，如性别，时态，复数，甚至语义概念，如“首都”。使用降维，可以计算2D图，其中语义相似的单词彼此接近。该技术使用gensim Python库中的word 2 vec模型和scikit-learn中的t-SNE。
2016-07-02 cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近，机器学习和神经网络方法的使用得到了更多的考虑。因此，文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中，GloVe，CBOW和skip-gram方法更新，以产生嵌入向量的波斯语单词。为了训练一个神经网络，我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后，我们有342，362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Deriving a Representative Vector for Ontology Classes with Instance Word Vector Embeddings
University of Moratuwa（莫拉图瓦大学）
在许多算法任务中，为一组向量选择一个代表向量是一个非常常见的要求。传统上，选择均值或中值向量。本体类是可以通过词向量嵌入转换到向量空间的同构实例对象的集合。本研究提出了一种方法来获得一个代表性的向量本体类的实例转换到向量空间。我们首先导出五个候选向量，然后将其用于训练一个机器学习模型，该模型将计算该类的代表向量。我们表明，我们的方法优于传统的均值和中值向量表示。
2017-06-08 cs.CL
Sparse Overcomplete Word Vector Representations
Carnegie Mellon University（卡内基梅隆大学）
当前单词的分布式表示与词汇语义理论几乎没有相似之处。前者是密集和不可解释的，后者主要基于熟悉的离散类（例如，超意义）和关系（例如，同义词和上位词）。我们提出了将词向量转换为稀疏（可选二进制）向量的方法。结果表示更类似于NLP中通常使用的可解释特征，尽管它们是从原始语料库中自动发现的。因为向量是高度稀疏的，所以它们在计算上很容易处理。最重要的是，我们发现它们在基准任务上的表现优于原始向量。
2015-06-05 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Specialising Word Vectors for Lexical Entailment
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；PolyAI（PolyAI公司）
我们提出了LEAR（词汇蕴涵吸引排斥），一种新的后处理方法，转换任何输入词向量空间，强调词汇蕴涵（LE）的不对称关系，也被称为IS-A或上下义关系。通过注入外部语言约束（例如，WordNet链接）到初始向量空间中，LE专业化过程使真正的上下义关系对在变换后的欧几里得空间中更接近。建议的非对称距离测量调整规范的词向量，以反映实际的WordNet风格的概念层次结构。同时，联合目标使用对称余弦距离强制执行语义相似性，同时产生专门用于两个词汇关系的向量空间。LEAR专业化在上位词方向性、上位词检测和分级词汇蕴涵等任务中实现了最先进的性能，证明了所提出的非对称专业化模型的有效性和鲁棒性。
2018-04-19 cs.CL
Leader: Prefixing a Length for Faster Word Vector Serialization
两种相互竞争的文件格式已经成为分发预训练的词嵌入的事实标准。两者都以这种格式分发的最流行的预训练嵌入命名。GloVe格式是一种完全基于文本的格式，它具有巨大的文件大小和缓慢的读取速度，而word2vec格式是一种较小的二进制格式，它混合了单词的文本表示和向量本身的二进制表示。这两种格式都有问题，我们用一种新的格式来解决，我们称之为Leader格式。我们包含了一个字长前缀，以便在保持二进制格式所提供的较小文件大小的同时实现更快的读取。我们还创建了一个极简库，以方便阅读和编写各种单词向量格式，以及将预先训练的嵌入转换为我们新的Leader格式的工具。
2020-10-09 cs.CL
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.（达闼科技有限公司）
槽填充是口语语言理解（SLU）和自然语言处理（NLP）中的重要问题，其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法，并将其结合到卷积神经网络（CNN）中。我们考虑了18个单词特征，每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念，我们提出了一种特征集的方法，这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India（印度理工学院卡格拉普尔分校（IIT Kharagpur））
近年来，从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型（Word2vec）或基于密集计数的模型（GloVe）从文本计算的向量，但其他方法试图在分布式词库网络结构中表示这些，其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术（DeepWalk、LINE、node2vec等）研究激增的推动，我们把一个分布式词库网络转换成密集的词向量，并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合，有助于在针对单词相似性和相关性，同义词检测，类比检测等NLP任务进行评估时显着提高性能。此外，我们表明，即使不使用任何手工制作的词汇资源，我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比，表示的词汇资源已被使用。
2018-02-17 cs.CL
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量，其中两个是在本研究中在大量爬行的法语数据上训练的，其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外，我们对多个真实的NLP任务进行了评估，结果表明，与现有的和随机的词向量相比，预训练的词向量的性能有了重要的提高。最后，我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
Word Rotator's Distance
Tohoku University（东北大学）；RIKEN（理化学研究所）
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的，然而，它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题，我们专注于并证明了这样一个事实，即词向量的范数是一个很好的代理字的重要性，和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们，而基于对齐向量的方法自动使用规范作为单词重要性。因此，我们提出了一种方法，该方法首先将词向量分解成它们的范数和方向，然后使用推土机的距离（即，最优传输成本），我们称之为单词旋转器距离。此外，我们发现如何增长的范数和方向的词向量（向量转换器），这是一个新的系统的方法，来自于搜索向量估计方法。在几个文本相似性数据集上，这些简单的方法的组合不仅优于基于验证的方法，而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
Modeling Semantic Relatedness using Global Relation Vectors
Cardiff University（卡迪夫大学）
诸如GloVe之类的词嵌入模型依赖于来自大型语料库的共现统计来学习词义的向量表示。这些向量已被证明可以捕获令人惊讶的细粒度语义和语法信息。虽然我们可以类似地期望共现统计可以用于捕获关于不同单词之间关系的丰富信息，但是用于对这种关系进行建模的现有方法主要依赖于操纵预先训练的单词向量。在本文中，我们介绍了一种新的方法，直接学习关系向量的同现统计。为此，我们首先介绍GloVe的一个变体，其中单词向量和PMI加权同现向量之间存在显式连接。然后，我们将展示如何将关系向量自然地嵌入到所得到的向量空间中。
2017-11-14 cs.CL
Towards Understanding Linear Word Analogies
Vector Institute（向量研究所）；University of Toronto（多伦多大学）
该研究针对非线性SGNS词向量模型中向量运算可求解词类比的现象，在无强假设下给出形式化解释，证明关系比率猜想对SGNS成立，解释词向量加法的降权特性及欧氏距离的信息论意义。
2026-09-07 cs.CL
Improving Word Vector with Prior Knowledge in Semantic Dictionary
Peking University（北京大学）；Beijing Key Laboratory of Internet Culture and Digital Dissemination Research（北京网络文化与数字传播重点实验室）
使用低维向量空间来表示单词在许多NLP任务中非常有效。然而，当遇到生僻字和未见过字的问题时，它并不能很好地工作。在本文中，我们提出利用语义词典中的知识结合一些形态信息来构建一个增强的向量空间。我们得到了2.3%的改进，比国家的最先进的海德尔时间系统在时间表达识别，并获得了很大的增益在其他名称实体识别（NER）的任务。语义词典知网单独也显示出有前途的结果，在计算词汇相似度。
2018-01-27 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University（东北大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST））；Preferred Networks, Inc.（优选网络公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了第一个研究，旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋（CBOW）模型（Mikolov等人，2013）来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外，我们还引入了一个新的任务来预测词汇风格相似性，并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设，并表明，所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
Personalized word representations Carrying Personalized Semantics Learned from Social Network Posts
National Taiwan University（国立台湾大学）
分布式单词表示在各种自然语言处理（NLP）应用任务中已被证明是非常有用的。这些从大型语料库中获取的词向量往往同时携带了词的语义和句法信息。然而，众所周知，每个个体用户都有自己的语言模式，因为不同的因素，如感兴趣的话题，朋友群体，社交活动，措辞习惯等，这可能意味着某种个性化的语义。通过这种个性化的语义，同一个词对于不同的用户可能有稍微不同的含义。例如，单词“卡布奇诺”对于享受咖啡的用户而言可能意味着“休闲”、“快乐”、“极好”，而对于其他人而言只是一种饮料。这种个性化的语义当然不能由标准的通用词向量来承载，这些词向量是由许多人产生的庞大语料库训练的。在本文中，我们提出了一个框架，训练不同的个性化词向量，为不同的用户非常成功的连续跳语法模型的基础上，使用许多个人用户发布的社交网络数据。该框架首先从背景语料库中学习通用背景词向量，然后由个性化语料库对每个用户进行适配，以学习个性化词向量。我们使用两个应用程序任务来评估以这种方式获得的个性化词向量的质量，用户预测任务和句子完成任务。这些个性化的词向量被证明携带一些个性化的语义，并在这两个评估任务上提供更好的性能。
2017-10-29 cs.CL
Contextual Salience for Fast and Accurate Sentence Vectors
Stanford University（斯坦福大学）；Salesforce Research（Salesforce 研究院）
句子或文档的无监督向量表示是许多语言任务（如情感分类）的主要构建块。然而，目前的方法是不可解释的和缓慢的或需要大量的训练数据集。最近的词向量为基础的建议隐含地假设，在词嵌入空间的距离是同样重要的，无论上下文。我们引入上下文显着性（CoSal），一个词的重要性，使用上下文向量的分布来规范化的距离和权重的措施。CoSal依赖于不寻常的词向量不成比例地影响短语向量的洞察力。一个基于CoSal-based权重的词袋模型产生准确的无监督句子或文档表示用于分类，需要很少的计算来评估，只需要一个协方差计算来"训练“。“CoSal支持小上下文，上下文外的单词，在大多数基准测试中优于SkipThought，在所有基准测试中击败tf-idf，并与无监督的最先进技术竞争。
2020-11-02 cs.CL
Are All Good Word Vector Spaces Isomorphic?
University of Cambridge（剑桥大学）；DeepMind（深度思维）；University of Copenhagen（哥本哈根大学）；Google Research（谷歌研究院）
现有的跨语言词向量空间对齐算法假设向量空间是近似同构的。因此，它们在非同构空间上表现不佳或完全失败。这种非同构现象被认为是语言类型差异的结果。在这项工作中，我们问是否非同构也是至关重要的退化词向量空间的一个标志。我们提出了一系列的实验，在不同的语言表明，跨语言对的性能的差异不仅是由于类型的差异，但可以主要归因于可用的单语资源的大小，以及单语训练的属性和持续时间（例如“训练不足”）。
2020-10-20 cs.CL
Unsupervised Measure of Word Similarity: How to Outperform Co-occurrence and Vector Cosine in VSMs
The Hong Kong Polytechnic University（香港理工大学）；University of Pisa（比萨大学）
在本文中，我们声称，向量余弦，这通常被认为是最有效的无监督措施，用于识别词的相似性在向量空间模型，可以优于一个无监督的措施，计算的交集之间的程度最相互依赖的上下文的目标词。为了证明这一点，我们描述并评估了APSyn，这是平均精度的一个变体，在没有任何优化的情况下，它在标准ESL测试集上的表现优于向量余弦和同现，其改进范围在+9.00%到+17.98%之间，具体取决于所选择的顶级上下文的数量。
2016-03-30 cs.CL
Network-Efficient Distributed Word2vec Training System for Large Vocabularies
Yahoo, Inc.（雅虎公司）；Uber ATC（优步先进技术中心）；Deco Software（Deco软件公司）
Word2vec是一个流行的算法家族，用于在大型文本语料库上对单词的密集向量表示进行无监督训练。所得到的向量已被证明可以捕获其对应单词之间的语义关系，并且在将许多自然语言处理（NLP）任务减少为对这些向量的数学运算方面显示出了希望。虽然迄今为止word2vec的应用都集中在具有几百万个单词的词汇表上，其中词汇表是同时训练向量的单词集合，但在NLP之外的领域中，新的应用正在出现，词汇表包括数亿个单词。现有的word2vec训练系统对于训练如此大的词汇表是不切实际的，因为它们要么要求所有词汇表单词的向量被存储在单个服务器的存储器中，要么由于大量的网络数据传输而遭受不可接受的训练延迟。在本文中，我们提出了一种新的分布式，并行训练系统，使前所未有的实际训练向量的词汇量有几个100万字的商品服务器上的共享集群，使用远低于现有的解决方案的网络流量。我们在一个基准数据集上对所提出的系统进行了评估，结果表明，相对于非分布式训练，向量的质量不会降低。最后，在几个季度里，该系统已被部署用于将查询与雅虎赞助搜索广告平台Gemini中的广告进行匹配，从而显著改善了业务指标。
2016-06-27 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts（马萨诸塞大学）；Lexalytics（Lexalytics公司）
词义归纳（WSI）通过无监督地发现多个词义来解决一词多义问题，解决了下游NLP任务的歧义问题，也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法，该方法构建了一个全局非负向量嵌入基（可解释性类似主题），并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型，我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤，而不牺牲感簇的质量。在三个数据集上的实验表明，与以前的最先进的方法相比，我们提出的方法产生了类似或更好的意义聚类和嵌入，同时效率显着提高。
2018-05-29 cs.CL
