We perform an empirical evaluation of several methods of low-rank approximation in the problem of obtaining PMI-based word embeddings. All word vectors were trained on parts of a large corpus extracted from English Wikipedia (enwik9) which was divided into two equal-sized datasets, from which PMI matrices were obtained. A repeated measures design was used in assigning a method of low-rank approximation (SVD, NMF, QR) and dimensionality of the vectors (250, 500) to each of the PMI matrix replicates. Our experiments show that word vectors obtained from the truncated SVD achieve the best performance on two downstream tasks, similarity and analogy, compare to the other two low-rank approximation methods.
Correspondence Analysis and PMI-Based Word Embeddings: A Comparative Study
Hangzhou Dianzi University（杭州电子科技大学）；Utrecht University（乌特勒支大学）；University of Southampton（南安普顿大学）；Southampton Statistical Sciences Research Institute（南安普顿统计科学研究院）
On the Interpretability and Significance of Bias Metrics in Texts: a PMI-based Approach
Instituto de Investigación en Ciencias de la Computación, CONICET-UBA（CONICET-布宜诺斯艾利斯大学计算机科学研究所）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（阿根廷国家科学与技术研究理事会）；Universidad Nacional de San Martín（圣马丁国立大学）；Harvard University（哈佛大学）
Why So Down? The Role of Negative (and Positive) Pointwise Mutual Information in Distributional Semantics
Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
关于隐含关系的推理（例如，词对之间的释义、常识、百科全书）对于许多跨句推理问题至关重要。本文提出了新的方法来学习和使用嵌入的词对，隐含地表示背景知识，这种关系。我们的成对嵌入被计算为单词表示的组合函数，这是通过最大化两个单词共同出现的上下文的逐点互信息（PMI）来学习的。我们将这些表示添加到现有推理模型的跨句注意力层（例如，QA的Biorean，NLI的ESIM），而不是扩展或替换现有的词嵌入。实验表明，在最近发布的SQuAD 2.0上的增益为2.7%，在MultiNLI上的增益为1.3%。我们的表示还有助于更好地泛化，在对抗SQuAD数据集上获得约6-7%的收益，在Glockner et al.（2018）的对抗蕴涵测试集上获得8.8%的收益。
Analyzing Continuous Semantic Shifts with Diachronic Word Similarity Matrices
Tokyo Metropolitan University（东京都立大学）；Hitotsubashi University（一桥大学）；National Institute for Japanese Language and Linguistics（日本语学研究所）；National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）；The Institute of Statistical Mathematics（统计数理研究所）
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Shanghai Advanced Research Institute（上海高等研究院）；Shanghai Carbon Data Research Center（上海碳数据研究中心）；Centre for Excellence in Brain Science and Intelligence Technology（脑科学与智能技术卓越创新中心）
Part-of-Speech Relevance Weights for Learning Word Embeddings
National Engineering Laboratory for Speech and Language Information Processing（语音及语言信息处理国家工程实验室）；University of Science and Technology of China（中国科学技术大学）；York University（约克大学）；iFLYTEK Research（科大讯飞研究院）
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）
Distributional Sentence Entailment Using Density Matrices
Queen Mary University of London（伦敦玛丽女王大学）；University of Oxford（牛津大学）
Coecke et al.（2010）的范畴组合分布模型提出了一种将形式的类型逻辑模型的语法组合与基于语料库的分布语义的经验词表示相结合的方法。本文通过扩展模型来捕获蕴涵关系，从而为该项目做出了贡献。这是通过将词的表示从意义空间中的点扩展到密度算子来实现的，密度算子是空间子空间上的概率分布。定义了相似性的对称度量和蕴涵的非对称度量，其中词汇蕴涵使用冯·诺依曼熵（Kullback-Leibler发散的量子变体）来测量。词汇蕴涵与词表征的组合图相结合，提供了一种在句子层次上获取蕴涵关系的方法。真值理论和语料库为基础的例子。
嵌入矩阵是神经自然语言处理（NLP）模型中的关键组件，负责提供输入标记的数值表示。\footnote{In this paper words and subwords are referred to as \textit{tokens} and the term \textit{embedding} only refers to embeddings of inputs.}在本文中，我们分析了神经机器翻译（NMT）的背景下，这种矩阵的影响和效用。我们发现，从词嵌入中提取句法和语义信息，并使用随机嵌入运行NMT系统，并不像最初听起来那样具有破坏性。我们还展示了如何从经过充分训练的嵌入中只整合有限数量的特定于任务的知识，从而提高NMT系统的性能。我们的研究结果表明，在交换性能可以忽略不计的恶化，任何NMT模型可以运行部分随机嵌入。使用这种结构意味着最小的内存需求，因为不再需要存储大型嵌入表，这在工业和设备设置中是一个显着的增益。我们在将{English}翻译成{German}和{French}时评估了我们的嵌入，并实现了$5.3$ x压缩率。尽管有一个相当小的架构，我们的模型在某些情况下甚至能够超越最先进的基线。
Density Matrices with Metric for Derivational Ambiguity
Utrecht University（乌得勒支大学）
最近关于基于向量的组合自然语言语义的工作提出了使用密度矩阵来建模词汇歧义和（分级）蕴涵（例如Piedeleu et al 2015，Bankova et al 2019，Sadrzadeh et al 2018）。歧义词的含义，在这项工作中，被表示为混合状态，和组成的解释短语的组成部分采取的形式，一个强monoidal函子发送派生态射的前组语法的线性映射在FdHilb。我们在本文中的目标有三个方面。首先，我们用Lambek范畴语法取代前组前端，用方向蕴涵表达一个词的选择要求。通过Curry-Howard对应，文法的类型逻辑的派生与（有序的）线性λ演算的项相关联;这些项可以被理解为以密度矩阵为目标语义空间的组合意义组装的程序。其次，我们扩展现有的文献，并引入一个对称的，非退化的双线性形式称为“度量”，定义了一个典型的向量空间和它的对偶之间的同构，使我们能够保持左，右蕴涵之间的区别。第三，我们使用这个度量定义密度矩阵空间的方向形式，建模无处不在的派生歧义的自然语言语法，并显示如何这allows一个综合治疗的词汇和派生形式的歧义控制在解释的水平。
