We present a probabilistic language model for time-stamped text data which tracks the semantic evolution of individual words over time. The model represents words and contexts by latent trajectories in an embedding space. At each moment in time, the embedding vectors are inferred from a probabilistic version of word2vec [Mikolov et al., 2013]. These embedding vectors are connected in time through a latent diffusion process. We describe two scalable variational inference algorithms--skip-gram smoothing and skip-gram filtering--that allow us to train the model jointly over all times; thus learning on all data while simultaneously allowing word and context vectors to drift. Experimental results on three different corpora demonstrate that our dynamic model infers word embedding trajectories that are more interpretable and lead to higher predictive likelihoods than competing methods that are based on static models trained separately on time slices.
word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement
Virginia Commonwealth University（弗吉尼亚联邦大学）
深度学习自然语言处理模型通常使用向量词嵌入（如word 2 vec或GloVe）来表示单词。如果将离散的单词序列表示为连续向量序列，则可以更容易地与下游神经层集成。此外，从文本语料库中学习的单词之间的语义关系可以被编码在嵌入向量的相对配置中。然而，存储和访问字典中所有单词的嵌入向量需要大量空间，并且可能会污染具有有限GPU内存的系统。在这里，我们使用受量子计算启发的方法来提出两种相关方法，{ \em word 2ket}和{ \em word 2ketXS}，用于以高效的方式在训练和推理期间存储词嵌入矩阵。我们的方法实现了一百倍或更多的减少所需的空间来存储嵌入，几乎没有相对下降的准确性在实际的自然语言处理任务。
Analogies Explained: Towards Understanding Word Embeddings
University of Edinburgh（爱丁堡大学）
众所周知，由诸如word2vec（W2V）的神经网络方法生成的词嵌入表现出看似线性的行为，例如，类比“woman is to queen as man is to king”的嵌入近似地描述了一个单词。这个属性特别有趣，因为嵌入并没有经过训练来实现它。已经提出了几种解释，但每一种都引入了在实践中不成立的假设。我们得出一个概率接地释义，我们重新解释为词的转换，数学描述“$w_x$是$w_y$“的定义。从这些概念，我们证明存在的线性关系的W2V型嵌入的类比现象的基础，确定明确的错误条款。
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
词嵌入是文本文档中单个词在向量空间中的表示，它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA（Supervised Word Embeddings for情感分析）。SWESA利用文档标签信息，通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题，从适度的文本文档语料库中学习词的向量表示。分析表明，SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明，SWESA具有优越的性能相比，以前建议的方法，词嵌入和情感分析任务。
