Learning Geometric Word Meta-Embeddings
Microsoft India（微软印度）
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间，例如，简单的平均不同的嵌入（一个给定的词）是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）
给定使用不同算法和词汇资源学习的多个源词嵌入，Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现，源嵌入的简单向量级联是一个有竞争力的基线。然而，目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明，加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作，最大限度地减少成对内积损失。在此理论分析之后，我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明，所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University（台湾大学）
词嵌入是一种现代的分布式词表示方法，广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法，并且随后执行自然语言处理的下游任务，例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集，通过代数计算来执行类比推理。本文从2，388个中文法典语料库中提取5种法律关系，建立1，134个法律类比推理问题集（LARQS），并将其用于评估中文词嵌入模型的准确性。此外，我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
静态的词嵌入用一个向量来表示词，不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上，我们引入了动态上下文化的词嵌入，它代表了语言和语言外语境的函数。基于预训练的语言模型（PLM），动态上下文化的词嵌入联合建模时间和社会空间，这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析，我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business（雅典经济与商业大学）
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中，我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具，用于测试希腊词嵌入，通过提供“类比”，“相似度得分”和“最相似的话”的功能。通过我们的探索者，人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University（石溪大学）
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗？词嵌入实验的可重复性如何？所有的词嵌入技术都同样可靠吗？在本文中，我们提出了评估方法，学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下（其中他们受到不同的随机初始化）的相似性。我们的初步结果表明，我们的度量不仅测量了词嵌入方法的内在属性，而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益，而不支付严格的操作在子词汇水平的成本。我们的方法很简单：在任务特定的训练之前，我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务：词相似性，词的类比，和词性标注。
2017-07-21 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India（微软印度）
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序，以及用于构建句子，段落和文档的表示。最近，人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用，从而有益于若干现实世界的应用。在这项工作中，我们提出了一种新的算法，有效地结合了PCA的降维与最近提出的后处理算法，构建低维的词嵌入。对12个标准词相似度基准的实证评估表明，我们的算法将嵌入维数降低了50%，同时实现了类似或（更经常）更好的性能比高维嵌入。
2017-11-21 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design（新加坡科技设计大学）
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上，几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标，训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词，建模的上下文嵌入率矩阵的泰勒级数。我们表明，不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较，并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标，提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础，同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America（美国 NEC 实验室）；Princeton（普林斯顿大学）
现代自然语言理解模型依赖于预训练的子词嵌入，但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明，严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后，我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱，但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
One Word Is Not Enough: Simple Prompts Improve Word Embeddings
GodelLabs
通过简单提示提升词嵌入效果，显著提高词相似性相关性，超越传统静态嵌入方法。
2025-12-07 cs.CL
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University（科奇大学）
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上，使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入，包括最近的表示，在命名实体识别（NER），组块，和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明，该方法与其他词嵌入方法相比，取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Bank of Montréal（蒙特利尔银行）
词嵌入被训练来预测词的共现统计，这使得它们具有不同的词汇属性（句法，语义等）。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时，以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时，这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入，并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜：一种简单有效的元嵌入方法，它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入，这使得它们在推理时非常有效。我们评估字棱镜相比，其他元嵌入方法的六个外在的评价，并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；Toyota Technological Institute（丰田工业大学）
我们提出了一种新的学习方法，词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务，我们的方法显着优于基线的基础上，以前介绍的词嵌入方法，并比较有利的是以前的国家的最先进的模型，使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL
Using $k$-way Co-occurrences for Learning Word Embeddings
University of Liverpool（利物浦大学）；National Institute of Informatics（国立信息学研究所）
两个词之间的共现提供了对这些词的语义的有用见解。因此，关于词嵌入学习的许多现有工作已经使用两个词之间的同现作为用于学习词嵌入的训练信号。然而，在自然语言文本中，多个词在同一上下文中相关和共现是常见的。我们扩展了同现的概念，以涵盖$k(\geq\!\!2)$方式同现之间的一组$k$字。具体来说，我们证明了一个理论关系之间的联合概率的$k(\geq\!\!2)$的话，和$\ell_2$规范的嵌入。接下来，我们提出了一个学习目标的动机，我们的理论结果，利用$k$方式同现学习词嵌入。我们的实验结果表明，推导出的理论关系确实在经验上成立，尽管数据稀疏，对于一些较小的$k$值，$k$方式嵌入执行三倍或更好的比$2$方式嵌入在一系列的任务。
2017-09-05 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University（乌普萨拉大学）
跨语言词义消歧（WSD）解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的，并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中，从而产生语义和句法结合的词嵌入，本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明，句法嵌入的高维性对分类任务构成了障碍，需要在未来的研究中进一步解决。
2020-12-09 cs.CL
Relational Word Embeddings
Cardiff University（卡迪夫大学）
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识，但它们捕获关系信息的程度要有限得多。在以前的工作中，这个限制已经解决了从外部知识库的关系知识时，学习词嵌入。然而，这种战略可能不是最佳的，因为它们受到现有资源覆盖范围的限制，并将相似性与其他形式的相关性混为一谈。作为一种替代方案，在本文中，我们提出了一个单独的词嵌入，这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的，因此即使在没有外部知识库可用时也可以使用。我们的分析表明，关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
Multiplex Word Embeddings for Selectional Preference Acquisition
The Hong Kong University of Science and Technology（香港科技大学）；Sinovation Ventures（创新工场）；Tencent AI Lab（腾讯人工智能实验室）
传统的词嵌入用固定的向量表示词，这些向量通常基于词之间的共现模式来训练。然而，在这样做的时候，这种表征的能力是有限的，同一个词可能在不同的句法关系下被单独功能化。为了解决这个问题，一个解决方案是将不同单词的关系依赖性合并到它们的嵌入中。因此，本文提出了一种多元词嵌入模型，该模型可以根据词之间的各种关系轻松扩展。因此，每个单词都有一个中心嵌入来表示其整体语义，还有几个关系嵌入来表示其关系依赖性。与现有的模型相比，我们的模型可以有效地区分不同关系的单词，而不会引入不必要的稀疏。此外，为了适应各种关系，我们使用一个小的维度的关系嵌入和我们的模型是能够保持其有效性。选择性偏好获取和词相似度的实验证明了该模型的有效性，进一步的可扩展性研究也证明了我们的嵌入只需要原始嵌入大小的1/20就能达到更好的性能。
2020-01-09 cs.CL
Word Embedding with Neural Probabilistic Prior
Baidu Research（百度研究院）
本文提出一种可无缝集成到现有词嵌入模型中的神经概率先验，将词嵌入视为概率生成模型以正则化表示学习，从而提升词向量的表示能力、鲁棒性与稳定性，并在多种任务上验证了其改进效果。
2023-09-21 cs.CL
Gaussian Word Embedding with a Wasserstein Distance Loss
Fudan University（复旦大学）
与基于点表示的词嵌入相比，基于分布的词嵌入在表达不确定性时表现出更大的灵活性，因此在表示词时嵌入了更丰富的语义信息。Wasserstein距离提供了一个自然的概念与概率测度的不相似性，并在测量两个高斯分布之间的距离时有一个封闭形式的解决方案。因此，为了以高效的方式表示单词，我们提出了一种基于Wasserstein距离的损失函数的高斯词嵌入模型。此外，来自ConceptNet的外部信息将用于半监督高斯词嵌入的结果。本文将评估来自单词相似性任务的13个数据集，以及来自单词蕴涵任务的1个数据集和来自下游文档分类任务的6个数据集，以验证我们的假设。
2018-09-01 cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business（雅典经济与商业大学）
由于词嵌入是许多NLP任务中最受欢迎的输入，因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题，构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库，考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面，以及。此外，我们还创建了一个希腊语版本的WordSim353语料库，用于单词相似性的基本评估。我们测试了七个词向量模型，我们的评估表明，我们能够创建有意义的表示。最后，我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
Leveraging knowledge graphs to update scientific word embeddings using latent semantic imputation
Iris AI
科学文本中最有趣的词往往是新奇的或罕见的。这对科学的词嵌入模型提出了挑战，以确定不常见或新出现的有用术语的质量嵌入向量。我们演示了\gls{lsi}如何通过从最新的知识图谱中嵌入特定于领域的单词来解决这个问题，同时保留原始的词嵌入模型。我们使用MeSH知识图谱来估算生物医学术语的嵌入向量，而无需重新训练，并在特定领域的词对相似性任务上评估所得到的嵌入模型。我们表明，LSI可以产生可靠的嵌入向量，罕见的和OOV在生物医学领域的条款。
2022-10-27 cs.CL
Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
声学词嵌入-可变长度口语词段的固定维矢量表示-已经开始被考虑用于诸如语音识别和逐例查询搜索之类的任务。这样的嵌入可以有区别地学习，使得它们对于对应于相同单词的语音段是相似的，而对于对应于不同单词的段是不相似的。最近的研究发现，声学词嵌入可以优于动态时间扭曲查询的例子搜索和相关的词的歧视任务。然而，嵌入模型和训练方法的空间仍然相对未被探索。在本文中，我们提出了新的歧视性嵌入模型的基础上循环神经网络（RNNs）。我们考虑在先前的工作中已经成功的训练损失，特别是词分类的交叉熵损失和明确旨在在“连体网络”训练设置中分离相同词和不同词对的对比损失。我们发现，基于分类器和Siamese RNN嵌入都比以前报道的单词识别任务的结果有所改善，Siamese RNN的性能优于分类模型。此外，我们提出的学习嵌入和变量的影响，如维数和网络结构的分析。
2016-11-08 cs.CL
Multi-view Recurrent Neural Acoustic Word Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
最近的工作已经开始探索神经声学词嵌入-对应于词的任意长度语音片段的固定维向量表示。这种嵌入适用于语音检索和识别任务，其中关于整个单词的推理可以避免模糊的子单词表示。其主要思想是将声学序列映射到固定维度的向量，使得相同单词的示例映射到相似的向量，而不同单词的示例映射到非常不同的向量。在这项工作中，我们采取了多视角的方法来学习声学词嵌入，其中我们共同学习嵌入声学序列和它们对应的字符序列。我们使用深度双向LSTM嵌入模型和多视图对比损失。我们研究了不同损失变量的影响，包括固定保证金和成本敏感损失。我们的声学词嵌入改善了以前的方法的任务，词歧视。我们还提出了其他任务的结果，使多视图的方法，包括跨视图的单词歧视和单词相似性。
2017-03-10 cs.CL
Morphological Word Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Munich（慕尼黑大学）
语言的相似性是多方面的。例如，两个单词可以在语义、句法或词法等方面相似。连续词嵌入已经被证明在某种程度上捕捉了这些相似性的大部分。这项工作考虑用形态注释数据指导词嵌入，这是一种半监督学习的形式，鼓励向量对词的形态进行编码，即，在嵌入空间中接近的词共享形态特征。为此，我们扩展了对数双线性模型，并表明我们的学习嵌入确实实现了这一点，使用德国作为案例研究。
2019-07-04 cs.CL
Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
University of Amsterdam（阿姆斯特丹大学）；Yandex（扬德克斯）
我们提出了一种用于高质量句子嵌入的有效估计的神经网络--连体连续词袋（Siamese CBOW）模型。对句子中的单词嵌入求平均已被证明是获得句子嵌入的令人惊讶的成功和有效的方法。然而，用当前可用的方法训练的词嵌入对于句子表示的任务不是最优化的，并且因此可能是次优的。Siamese CBOW通过直接训练词嵌入来处理这个问题，以达到平均的目的。底层神经网络通过从句子表示预测其周围的句子来学习词嵌入。我们通过对来自各种来源的20个数据集进行评估，展示了Siamese CBOW模型的鲁棒性。
2016-06-15 cs.CL
A Mixture Model for Learning Multi-Sense Word Embeddings
Saarland University（萨尔兰大学）；Macquarie University（麦考瑞大学）
词嵌入现在是用于归纳词的含义表示的标准技术。为了得到好的表示，重要的是要考虑到一个词的不同含义。在本文中，我们提出了一个混合模型学习多义词嵌入。我们的模型概括了以前的作品，因为它允许诱导不同的权重不同的意义的一个词。实验结果表明，我们的模型优于以前的标准评估任务的模型。
2017-06-15 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest（布加勒斯特大学）
受计算机视觉中广泛应用的视觉词袋模型的启发，提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后，对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入，它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后，通过计算每个超级词嵌入在相应文档中的频率，将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法，并建议构建特定于类的词汇表以获得更好的性能。使用这种表示，我们报告结果的两个文本挖掘任务，即文本分类的主题和极性分类。在这两个任务上，我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
A Syllable-based Technique for Word Embeddings of Korean Words
Seoul National University（首尔大学）
词嵌入已经成为许多NLP任务的基本组成部分，例如命名实体识别和机器翻译。然而，学习这种嵌入的流行模型不知道单词的形态，因此它不直接适用于高度粘着的语言，如韩语。我们提出了一个基于音节的学习模型，为韩国使用卷积神经网络，其中单词表示是由训练的音节向量。我们的模型成功地产生了形态学上有意义的表示的韩语单词相比，原来的跳过语法嵌入。实验结果还表明，该算法对词汇表外问题具有很好的鲁棒性。
2017-08-05 cs.CL
Unsupervised POS Induction with Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
无监督词嵌入已被证明是有价值的监督学习问题的功能，但是，他们在无监督的问题中的作用还没有彻底探讨。在本文中，我们表明，嵌入同样可以增加价值的问题，无监督POS归纳。在两个有代表性的模型的POS归纳，我们取代多项分布的词汇与多元高斯分布的词嵌入，并观察到一致的改进，在八种语言。我们还分析了诱导词嵌入时的各种选择对“下游”词性诱导结果的影响。
2015-03-23 cs.CL
A Simple Regularization-based Algorithm for Learning Cross-Domain Word Embeddings
University of Waterloo（滑铁卢大学）；Advanced Digital Sciences Center（高级数字科学中心）
学习词嵌入最近受到了极大的关注。通常，词嵌入是以无监督的方式从大量文本集合中学习的。文本的体裁通常在所产生的嵌入的有效性中起着重要的作用。如何使用来自不同领域的数据有效地训练词嵌入模型仍然是一个未充分探索的问题。在本文中，我们提出了一个简单而有效的方法来学习词嵌入的基础上，从不同领域的文本。我们通过对各种下游NLP任务的广泛实验证明了我们方法的有效性。
2019-02-01 cs.CL
Factors Influencing the Surprising Instability of Word Embeddings
University of Michigan（密歇根大学）
尽管最近流行的词嵌入方法，只有一个小的身体的工作，探索这些表示的局限性。在本文中，我们考虑嵌入空间的一个方面，即其稳定性。我们发现，即使是相对较高的频率的话（100-200次）往往是不稳定的。我们提供了经验证据，各种因素如何有助于词嵌入的稳定性，我们分析了稳定性对下游任务的影响。
2018-04-25 cs.CL
Attentive Mimicking: Better Word Embeddings by Attending to Informative Contexts
Sulzer GmbH（苏尔寿有限公司）
由于上下文信息的稀疏，学习高质量的稀有词嵌入是一个困难的问题。模仿（Pinter等人，2017年）已经提出了一种解决方案：给定通过标准算法学习的嵌入，首先训练模型以从其表面形式再现频繁单词的嵌入，然后用于计算罕见单词的嵌入。在本文中，我们介绍了注意模仿：模仿模型不仅可以访问一个词的表面形式，而且可以访问所有可用的上下文，并学习参加最翔实和可靠的上下文计算嵌入。在四个任务的评估，我们表明，注意模仿优于以前的工作，罕见的和中频的话。因此，与以前的工作相比，专注模仿改善了更大部分词汇的嵌入，包括中频范围。
2019-04-05 cs.CL
