Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words
UNC Charlotte（北卡罗来纳大学夏洛特分校）；University of Virginia（弗吉尼亚大学）
词嵌入是现代自然语言处理专家工具包中最有用的工具之一。它们包含关于每个单词的各种类型的信息，这使得它们成为在任何NLP任务中表示术语的最佳方式。但有些类型的信息是这些模型无法学习的。词语的情感信息就是其中之一。在本文中，我们提出了一种方法，将情感信息的话到这些模型。我们通过增加一个二级训练阶段来实现这一点，该阶段使用情感词汇和基本情感的心理模型。我们表明，将情感模型拟合到预先训练的词向量中可以提高这些模型在情感相似性度量方面的性能。重新训练的模型比原来的模型表现更好，Word2Vec模型提高了13%，GloVe向量提高了29%。这是文献中提出的第一个这样的模型，虽然是初步的，但这些情感敏感模型可以开辟提高各种情感检测技术性能的途径。
2019-06-19 cs.CL cs.IR
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research（微软研究院）；Peking University（北京大学）；University of Michigan（密歇根大学）
现有的大多数词嵌入方法没有区分不同语境中的同一个词，从而忽略了它们的语境意义。因此，这些词的学习嵌入通常是多种含义的混合。在本文中，我们承认在不同的上下文中同一个词的多重身份，并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库，构建了一个词和词身份的异构网络，用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法，将异构网络进一步嵌入到低维空间中，得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份，包括主题，情感和类别。在真实数据集上的实验结果表明，该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义，并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
Using Word Embeddings in Twitter Election Classification
University of Glasgow（格拉斯哥大学）
词嵌入和卷积神经网络（CNN）在Twitter的各种分类任务中引起了广泛的关注，例如情感分类。然而，用于训练和生成词嵌入的配置对分类性能的影响在现有文献中尚未研究。在本文中，使用Twitter的选举分类任务，旨在检测选举相关的推文，我们调查的背景数据集用于训练的嵌入模型，上下文窗口大小和维数的词嵌入的分类性能的影响。通过比较两个词嵌入模型的分类结果，这两个模型使用不同的背景语料（例如维基百科文章和Twitter微帖子）进行训练，我们表明背景数据类型应该与Twitter分类数据集保持一致，以实现更好的性能。此外，通过评估使用各种上下文窗口大小和维度训练的词嵌入模型的结果，我们发现大的上下文窗口和维度大小更有利于提高性能。我们的实验结果还表明，使用词嵌入和CNN导致统计上显着的改善，在各种基线，如随机，支持向量机与TF-IDF和支持向量机与词嵌入。
2017-03-21 cs.CL cs.IR
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Neural Network-based Word Alignment through Score Aggregation
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个简单的神经网络字对齐，建立源和目标词窗口表示计算对齐分数的句子对。为了实现无监督训练，我们使用聚合操作来汇总给定目标词的对齐分数。软边目标增加真实目标词的得分，同时减少不存在的目标词的得分。与流行的快速对齐模型相比，我们的方法在英语-捷克语上提高了7 AER的对齐精度，在罗马尼亚语-英语上提高了6 AER，在英语-法语对齐上提高了1.7 AER。
2016-06-30 cs.CL
Encoding word order in complex embeddings
University of Padua（帕多瓦大学）；Tianjin University（天津大学）；University of Copenhagen（哥本哈根大学）
在处理文本时，连续的词序很重要。目前，神经网络（NN）通过使用位置嵌入对单词位置进行建模来解决这个问题。问题是位置嵌入捕获单个单词的位置，但不是有序关系（例如，相邻或优先）。我们提出了一种新颖的和原则性的解决方案，建模的全球绝对位置的话，他们的顺序关系。我们的解决方案将先前定义为独立向量的词嵌入推广到变量（位置）上的连续词函数。连续函数在可变位置上的好处是，单词表示随着位置的增加而平滑地移动。因此，不同位置的单词表示可以在连续函数中彼此相关。这些函数的通解被推广到复值域，由于更丰富的表示。我们将CNN，RNN和Transformer NN扩展到复值版本，以纳入我们的复杂嵌入（我们提供所有代码）。在文本分类、机器翻译和语言建模上的实验表明，与经典的词嵌入和位置丰富的词嵌入相比，该方法具有更好的性能。据我们所知，这是NLP中第一个将复值表示中的虚数与具体含义联系起来的工作（即，词序）。
2020-06-28 cs.CL cs.IR
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania（宾夕法尼亚大学）
单词对齐任务，尽管在统计机器翻译（SMT）时代很突出，但在今天是利基和未充分开发的。在这个由两部分组成的教程中，我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++，这是一个无监督的统计单词对齐器，寿命惊人。跳跃到神经机器翻译（NMT）时代，我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器，显示了超越GIZA++性能的缓慢但稳定的进展。最后，我们涵盖了词对齐的当前应用，从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Learning Geometric Word Meta-Embeddings
Microsoft India（微软印度）
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间，例如，简单的平均不同的嵌入（一个给定的词）是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University（埃默里大学）
近年来，自然语言处理（NLP）已成为人类生活中最重要的领域之一，并有着广泛的应用。作为最基本的任务，词嵌入领域还需要更多的关注和研究。目前，关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中，我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架，我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现，通过将不同的词嵌入映射到联合组件中，可以大大提高性能较低的原始词嵌入的情感性能。此外，我们发现，通过将不同的组件连接在一起，同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路，也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Graph Neural Networks for Multiparallel Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家信息与自动化研究所跨学科数字科学实验室）
在经历了一段时间的下降之后，人们对词对齐的兴趣再次增加，因为它们在类型学研究、跨语言注释投影和机器翻译等领域中的有用性。通常，对齐算法只使用双文本，而不利用许多平行语料库是多平行的这一事实。在这里，我们通过考虑所有语言对来计算多个语言对之间的高质量单词对齐。首先，我们创建一个多平行单词对齐图，将所有双语单词对齐对连接到一个图中。接下来，我们使用图神经网络（GNNs）来利用图结构。我们的GNN方法（i）利用有关输入单词的含义，位置和语言的信息，（ii）结合来自多个平行句子的信息，（iii）从初始对齐中添加和删除边缘，以及（iv）产生一个预测模型，可以推广到训练句子之外。我们发现，社区发现多并行字对齐提供了有价值的信息。我们的方法在三个单词对齐数据集和下游任务上的性能优于以前的工作。
2022-08-10 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Fine-Grained Word Sense Disambiguation Based on Parallel Corpora, Word Alignment, Word Clustering and Aligned Wordnets
提出了一种基于平行语料库的词义消歧方法。该方法利用词对齐和词聚类的最新进展，基于自动提取的翻译等价物，并支持在语料库中的语言可用对齐的词网。根据EuroWordNet建立的原则，这些WordNet与普林斯顿Wordnet保持一致。WSD系统的评估，实施本文所述的方法显示出非常令人鼓舞的结果。在验证模式中使用的相同系统可用于检查和发现多语言对齐的词网（如EQUIPaNet和EuroWordNet）中的对齐错误。
2005-03-10 cs.AI cs.CL
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University（杜克大学）
词嵌入是自然语言处理中的一个有力工具。在本文中，我们考虑的问题词嵌入合成\-给定向量表示的两个词，计算一个向量的整个短语。我们给出了一个生成模型，可以捕捉特定的句法关系的话。在我们的模型下，我们证明了三个词之间的相关性（由他们的PMI测量）形成一个张量，具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量，其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验，验证我们的假设，并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
End-to-End Neural Word Alignment Outperforms GIZA++
Lilt, Inc.（Lilt公司）
单词对齐曾经是自然语言处理中的核心无监督学习任务，因为它在训练统计机器翻译（MT）模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的，但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用，例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代，但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法，该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型，以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
2020-04-30 cs.CL
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）
将单词编码为向量的词嵌入是自然语言处理的重要起点，并且通常用于许多基于文本的机器学习任务。然而，在大多数当前的词嵌入方法中，嵌入空间中的相似性在学习中没有被优化。在本文中，我们提出了一种新的邻居嵌入方法，直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走，从而能够更好地揭示词之间的主题。实验结果表明，与现有的词嵌入方法相比，该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
On the Dimensionality of Word Embedding
Stanford University（斯坦福大学）；Microsoft Corp.（微软公司）
本文对词嵌入及其维数进行了理论上的理解。基于词嵌入的酉不变性，本文提出了一种新的度量词嵌入相似性的度量方法-成对内积损失。使用矩阵扰动理论的技术，我们揭示了一个基本的偏差方差权衡词嵌入的维度选择。这种偏差-方差权衡揭示了许多以前无法解释的经验观察，例如最佳维度的存在。此外，新的见解和发现，如何时以及如何词嵌入是强大的过度拟合，揭示。通过优化PIP损失的偏差-方差权衡，我们可以明确地回答词嵌入的维度选择的公开问题。
2018-12-11 cs.CL cs.LG stat.ML
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Word Mover's Embedding: From Word2Vec to Document Embedding
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）
虽然著名的Word2Vec技术为单个单词提供了丰富的语义表示，但在扩展以生成无监督句子或文档嵌入方面的成功相对较少。最近的工作表明，文档之间的距离测量称为\emph{Word Mover's Distance}（WMD），对齐语义相似的单词，产生前所未有的KNN分类精度。然而，大规模杀伤性武器是昂贵的计算，它是很难扩展其使用超越KNN分类。在本文中，我们提出了\emph{Word Mover's Embedding }（WME），一种新的方法来建立一个无监督的文档（句子）嵌入从预先训练的词嵌入。在我们对9个基准文本分类数据集和22个文本相似性任务的实验中，所提出的技术始终匹配或优于最先进的技术，在短长度问题上具有显着更高的准确性。
2018-10-30 cs.AI cs.CL cs.LG
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务，因此我们使用多语言BERT解决了这个问题，该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文，大大提高了单词对齐的准确性。在使用中文，日语，德语，罗马尼亚语，法语和英语之间的五个单词对齐数据集的实验中，我们表明，所提出的方法显着优于以前的监督和无监督的单词对齐方法，而无需使用任何双文本进行预训练。例如，我们对中英文数据的F1得分为86.7，比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL（洛桑联邦理工学院）；Iprova SA（Iprova公司）
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中，我们展示了如何训练词嵌入联合二元组，甚至三元组嵌入，结果在改进的unigram嵌入。我们声称，训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息，从而产生更好的独立词嵌入。我们的经验表明，我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Learning Bilingual Word Representations by Marginalizing Alignments
University of Oxford（牛津大学）
我们提出了一个概率模型，同时学习双语数据的对齐和分布式表示。通过边缘化词对齐，该模型捕获了一个更大的语义上下文比以前的工作依赖于硬对齐。这种方法的优势在跨语言分类任务中得到了证明，在该任务中，我们的表现优于先前发表的最新技术水平。
2014-05-05 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
传统上，许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而，在许多语言和专业语料库中，单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术，这不仅导致长尾文本语料库中的不频繁词的嵌入较差，而且还导致处理词汇外词的能力较弱。在本文中，我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明，MorphMine可以将各种语言中的单词分割成人类验证的词素。此外，我们的实验表明，利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Interpretable Word Embeddings via Informative Priors
Linköping University（林雪平大学）；Aalto University（阿尔托大学）
词嵌入在NLP任务中表现出了强大的性能。然而，词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明，合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平，同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
词嵌入是文本文档中单个词在向量空间中的表示，它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA（Supervised Word Embeddings for情感分析）。SWESA利用文档标签信息，通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题，从适度的文本文档语料库中学习词的向量表示。分析表明，SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明，SWESA具有优越的性能相比，以前建议的方法，词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione（信息科学与技术研究所）；Consiglio Nazionale delle Ricerche（国家研究委员会）
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码，并且已经证明在许多NLP任务中是有用的，包括词义消歧，机器翻译和情感分析，仅举几例。在有监督的任务中，如多类文本分类（本文的重点），似乎很有吸引力，可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了（监督）词类嵌入（WCE），并表明，当连接到（无监督）预训练的词嵌入时，它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据，表明WCE在多类分类准确性方面得到了一致的提高，使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Leveraging Neural Machine Translation for Word Alignment
Charles University（查理大学）
最常见的单词对齐工具依赖于大量的平行句子，然后通常根据IBM模型算法之一进行处理。然而，训练数据与机器翻译（MT）系统相同，特别是对于神经MT（NMT），其本身能够使用训练的注意力头部产生单词对齐。这很方便，因为词对齐理论上是任何基于注意力的NMT的可行副产品，它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法，然后探索了从NMT中提取分数的方法，重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后，我们将所有对齐分数的来源聚合到一个简单的前馈网络中，当使用组合对齐提取器时，该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
Neural semi-Markov CRF for Monolingual Word Alignment
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
单语单词对齐对于研究细粒度编辑操作（即，删除，添加和替换）在文本到文本生成任务，如释义生成，文本简化，中和偏见的语言等，在本文中，我们提出了一种新的神经半马尔可夫CRF对齐模型，通过可变长度跨度统一的单词和短语对齐。我们还创建了一个新的基准与人类注释，涵盖四种不同的文本类型，以评估单语词对齐模型在更现实的设置。实验结果表明，我们提出的模型优于所有以前的单语词对齐方法，以及竞争性的基于QA的基线，这是以前只适用于双语数据。我们的模型对三个域外数据集表现出良好的泛化能力，并在两个下游应用中表现出很大的实用性：自动文本简化和句子对分类任务。
2021-06-16 cs.CL
Word Embeddings via Tensor Factorization
Tufts University（塔夫茨大学）
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中，我们的目标是推广这一趋势，使用数值方法的因素高阶词共现的数组，或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法，并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明，基于张量因式分解的嵌入可以用于识别多义词的各种含义，而无需明确训练，并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标，称为离群值检测[Camacho-Collados和Navigli，2016]，以评估词嵌入捕获的顺序- $N$关系的质量，并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中，我们表明，我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线，或者具有竞争力。给出了基于张量分解的词嵌入的建议应用，所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.（Lilt公司）
与更简单和更浅的模型相比，每层具有多个注意力头的多层模型提供了更好的翻译质量，但因此确定什么源上下文与每个目标词最相关更具挑战性。因此，从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构，利用其隐藏的表示，并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程，该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活，并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
静态的词嵌入用一个向量来表示词，不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上，我们引入了动态上下文化的词嵌入，它代表了语言和语言外语境的函数。基于预训练的语言模型（PLM），动态上下文化的词嵌入联合建模时间和社会空间，这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析，我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business（雅典经济与商业大学）
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中，我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具，用于测试希腊词嵌入，通过提供“类比”，“相似度得分”和“最相似的话”的功能。通过我们的探索者，人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Skip-gram word embeddings in hyperbolic space
Lateral GmbH（Lateral有限公司）
最近的工作表明，双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发，我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入，然后评估词相似性和类比基准。结果表明，双曲词嵌入的潜力，特别是在低维，虽然没有明显的优势，他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University（石溪大学）
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗？词嵌入实验的可重复性如何？所有的词嵌入技术都同样可靠吗？在本文中，我们提出了评估方法，学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下（其中他们受到不同的随机初始化）的相似性。我们的初步结果表明，我们的度量不仅测量了词嵌入方法的内在属性，而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益，而不支付严格的操作在子词汇水平的成本。我们的方法很简单：在任务特定的训练之前，我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务：词相似性，词的类比，和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下，人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法，而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同，我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式，并学习的约束，必须满足无偏词嵌入自动从字典定义的话。具体地，我们学习编码器以生成输入词嵌入的去偏版本，使得它（a）保留预训练的词嵌入的语义，（b）根据字典同意词的无偏定义，以及（c）保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明，该方法可以准确地去除预训练词嵌入中编码的不公平偏见，同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
词嵌入是自然语言处理中最基本的技术之一。现有的词嵌入是高维的，并且消耗大量的计算资源。在这项研究中，我们提出了WordTour，无监督的一维词嵌入。为了实现这一具有挑战性的目标，我们提出了一个分解的必要条件的词嵌入分为两部分，完整性和可靠性，并侧重于可靠性在本文中。由于单维性，WordTour非常高效，并提供了一种最小的方法来处理词嵌入。我们通过用户学习和文档分类实验证实了所提出的方法的有效性。
2022-05-04 cs.AI cs.CL cs.LG
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
