Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
静态的词嵌入用一个向量来表示词，不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上，我们引入了动态上下文化的词嵌入，它代表了语言和语言外语境的函数。基于预训练的语言模型（PLM），动态上下文化的词嵌入联合建模时间和社会空间，这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析，我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business（雅典经济与商业大学）
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中，我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具，用于测试希腊词嵌入，通过提供“类比”，“相似度得分”和“最相似的话”的功能。通过我们的探索者，人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University（石溪大学）
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗？词嵌入实验的可重复性如何？所有的词嵌入技术都同样可靠吗？在本文中，我们提出了评估方法，学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下（其中他们受到不同的随机初始化）的相似性。我们的初步结果表明，我们的度量不仅测量了词嵌入方法的内在属性，而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益，而不支付严格的操作在子词汇水平的成本。我们的方法很简单：在任务特定的训练之前，我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务：词相似性，词的类比，和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下，人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法，而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同，我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式，并学习的约束，必须满足无偏词嵌入自动从字典定义的话。具体地，我们学习编码器以生成输入词嵌入的去偏版本，使得它（a）保留预训练的词嵌入的语义，（b）根据字典同意词的无偏定义，以及（c）保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明，该方法可以准确地去除预训练词嵌入中编码的不公平偏见，同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Opinion Transmission Network for Jointly Improving Aspect-oriented Opinion Words Extraction and Sentiment Classification
Nanjing University（南京大学）
基于方面的情感分析（ABSA）的两个高度相关的子任务是面向方面的情感分类（ALSC）和观点词提取（AOWE）。它们分别针对句子中的某个方面检测情感极性并提取相应的意见词。以前的工作将它们分开，并通过在小规模标记数据上训练神经模型来关注其中一个，而忽略了它们之间的联系。在本文中，我们提出了一种新的联合模型，意见传输网络（OTN），利用ALSC和AOWE之间的潜在桥梁，以实现同时促进他们的目标。具体而言，我们设计了两个量身定制的意见传输机制，以控制意见线索的双向流动，分别从ALSC到AOWE和AOWE到ALSC。在两个基准数据集上的实验结果表明，我们的联合模型在这两个任务上的性能优于强基线。进一步的分析也验证了意见传导机制的有效性。
2020-11-01 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India（微软印度）
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序，以及用于构建句子，段落和文档的表示。最近，人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用，从而有益于若干现实世界的应用。在这项工作中，我们提出了一种新的算法，有效地结合了PCA的降维与最近提出的后处理算法，构建低维的词嵌入。对12个标准词相似度基准的实证评估表明，我们的算法将嵌入维数降低了50%，同时实现了类似或（更经常）更好的性能比高维嵌入。
2017-11-21 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design（新加坡科技设计大学）
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上，几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标，训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词，建模的上下文嵌入率矩阵的泰勒级数。我们表明，不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较，并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标，提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础，同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America（美国 NEC 实验室）；Princeton（普林斯顿大学）
现代自然语言理解模型依赖于预训练的子词嵌入，但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明，严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后，我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱，但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia（西波希米亚大学）；NTIS—New Technologies for the Information Society（NTIS—新信息技术学会）
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了，但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为，捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务，检查语法，形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验，并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
One Word Is Not Enough: Simple Prompts Improve Word Embeddings
GodelLabs
通过简单提示提升词嵌入效果，显著提高词相似性相关性，超越传统静态嵌入方法。
2025-12-07 cs.CL
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University（科奇大学）
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上，使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入，包括最近的表示，在命名实体识别（NER），组块，和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明，该方法与其他词嵌入方法相比，取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Bank of Montréal（蒙特利尔银行）
词嵌入被训练来预测词的共现统计，这使得它们具有不同的词汇属性（句法，语义等）。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时，以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时，这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入，并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜：一种简单有效的元嵌入方法，它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入，这使得它们在推理时非常有效。我们评估字棱镜相比，其他元嵌入方法的六个外在的评价，并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Using $k$-way Co-occurrences for Learning Word Embeddings
University of Liverpool（利物浦大学）；National Institute of Informatics（国立信息学研究所）
两个词之间的共现提供了对这些词的语义的有用见解。因此，关于词嵌入学习的许多现有工作已经使用两个词之间的同现作为用于学习词嵌入的训练信号。然而，在自然语言文本中，多个词在同一上下文中相关和共现是常见的。我们扩展了同现的概念，以涵盖$k(\geq\!\!2)$方式同现之间的一组$k$字。具体来说，我们证明了一个理论关系之间的联合概率的$k(\geq\!\!2)$的话，和$\ell_2$规范的嵌入。接下来，我们提出了一个学习目标的动机，我们的理论结果，利用$k$方式同现学习词嵌入。我们的实验结果表明，推导出的理论关系确实在经验上成立，尽管数据稀疏，对于一些较小的$k$值，$k$方式嵌入执行三倍或更好的比$2$方式嵌入在一系列的任务。
2017-09-05 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University（乌普萨拉大学）
跨语言词义消歧（WSD）解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的，并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中，从而产生语义和句法结合的词嵌入，本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明，句法嵌入的高维性对分类任务构成了障碍，需要在未来的研究中进一步解决。
2020-12-09 cs.CL
Relational Word Embeddings
Cardiff University（卡迪夫大学）
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识，但它们捕获关系信息的程度要有限得多。在以前的工作中，这个限制已经解决了从外部知识库的关系知识时，学习词嵌入。然而，这种战略可能不是最佳的，因为它们受到现有资源覆盖范围的限制，并将相似性与其他形式的相关性混为一谈。作为一种替代方案，在本文中，我们提出了一个单独的词嵌入，这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的，因此即使在没有外部知识库可用时也可以使用。我们的分析表明，关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
Training Entire-Space Models for Target-oriented Opinion Words Extraction
Tencent Inc（腾讯公司）；Shenzhen University（深圳大学）
面向目标的意见词抽取（TOWE）是基于方面的情感分析（ABSA）的一个子任务。给定一个句子和出现在该句子中的体词，TOWE为体词提取相应的意见词。TOWE有两种类型的实例。在第一类型中，方面术语与至少一个意见词相关联，而在第二类型中，方面术语没有对应的意见词。然而，以前的研究仅使用第一种类型的实例训练和评估他们的模型，导致样本选择偏差问题。具体而言，TOWE模型仅使用第一类型的实例进行训练，而这些模型将用于使用第一类型的实例和第二类型的实例对整个空间进行推断。因此，泛化性能将受到损害。此外，这些模型在第一类实例上的性能不能反映它们在整个空间上的性能。为了验证样本选择偏差的问题，四个流行的TOWE数据集只包含与至少一个意见字相关联的方面的条款进行了扩展，并额外包括方面的条款没有相应的意见字。在这些数据集上的实验结果表明，在整个空间上训练TOWE模型将显著提高模型性能，而仅在第一类实例上评估TOWE模型将高估模型性能。
2022-04-15 cs.CL
Multiplex Word Embeddings for Selectional Preference Acquisition
The Hong Kong University of Science and Technology（香港科技大学）；Sinovation Ventures（创新工场）；Tencent AI Lab（腾讯人工智能实验室）
传统的词嵌入用固定的向量表示词，这些向量通常基于词之间的共现模式来训练。然而，在这样做的时候，这种表征的能力是有限的，同一个词可能在不同的句法关系下被单独功能化。为了解决这个问题，一个解决方案是将不同单词的关系依赖性合并到它们的嵌入中。因此，本文提出了一种多元词嵌入模型，该模型可以根据词之间的各种关系轻松扩展。因此，每个单词都有一个中心嵌入来表示其整体语义，还有几个关系嵌入来表示其关系依赖性。与现有的模型相比，我们的模型可以有效地区分不同关系的单词，而不会引入不必要的稀疏。此外，为了适应各种关系，我们使用一个小的维度的关系嵌入和我们的模型是能够保持其有效性。选择性偏好获取和词相似度的实验证明了该模型的有效性，进一步的可扩展性研究也证明了我们的嵌入只需要原始嵌入大小的1/20就能达到更好的性能。
2020-01-09 cs.CL
Word Embedding with Neural Probabilistic Prior
Baidu Research（百度研究院）
本文提出一种可无缝集成到现有词嵌入模型中的神经概率先验，将词嵌入视为概率生成模型以正则化表示学习，从而提升词向量的表示能力、鲁棒性与稳定性，并在多种任务上验证了其改进效果。
2023-09-21 cs.CL
Gaussian Word Embedding with a Wasserstein Distance Loss
Fudan University（复旦大学）
与基于点表示的词嵌入相比，基于分布的词嵌入在表达不确定性时表现出更大的灵活性，因此在表示词时嵌入了更丰富的语义信息。Wasserstein距离提供了一个自然的概念与概率测度的不相似性，并在测量两个高斯分布之间的距离时有一个封闭形式的解决方案。因此，为了以高效的方式表示单词，我们提出了一种基于Wasserstein距离的损失函数的高斯词嵌入模型。此外，来自ConceptNet的外部信息将用于半监督高斯词嵌入的结果。本文将评估来自单词相似性任务的13个数据集，以及来自单词蕴涵任务的1个数据集和来自下游文档分类任务的6个数据集，以验证我们的假设。
2018-09-01 cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business（雅典经济与商业大学）
由于词嵌入是许多NLP任务中最受欢迎的输入，因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题，构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库，考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面，以及。此外，我们还创建了一个希腊语版本的WordSim353语料库，用于单词相似性的基本评估。我们测试了七个词向量模型，我们的评估表明，我们能够创建有意义的表示。最后，我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
Leveraging knowledge graphs to update scientific word embeddings using latent semantic imputation
Iris AI
科学文本中最有趣的词往往是新奇的或罕见的。这对科学的词嵌入模型提出了挑战，以确定不常见或新出现的有用术语的质量嵌入向量。我们演示了\gls{lsi}如何通过从最新的知识图谱中嵌入特定于领域的单词来解决这个问题，同时保留原始的词嵌入模型。我们使用MeSH知识图谱来估算生物医学术语的嵌入向量，而无需重新训练，并在特定领域的词对相似性任务上评估所得到的嵌入模型。我们表明，LSI可以产生可靠的嵌入向量，罕见的和OOV在生物医学领域的条款。
2022-10-27 cs.CL
Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
声学词嵌入-可变长度口语词段的固定维矢量表示-已经开始被考虑用于诸如语音识别和逐例查询搜索之类的任务。这样的嵌入可以有区别地学习，使得它们对于对应于相同单词的语音段是相似的，而对于对应于不同单词的段是不相似的。最近的研究发现，声学词嵌入可以优于动态时间扭曲查询的例子搜索和相关的词的歧视任务。然而，嵌入模型和训练方法的空间仍然相对未被探索。在本文中，我们提出了新的歧视性嵌入模型的基础上循环神经网络（RNNs）。我们考虑在先前的工作中已经成功的训练损失，特别是词分类的交叉熵损失和明确旨在在“连体网络”训练设置中分离相同词和不同词对的对比损失。我们发现，基于分类器和Siamese RNN嵌入都比以前报道的单词识别任务的结果有所改善，Siamese RNN的性能优于分类模型。此外，我们提出的学习嵌入和变量的影响，如维数和网络结构的分析。
2016-11-08 cs.CL
Multi-view Recurrent Neural Acoustic Word Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）
最近的工作已经开始探索神经声学词嵌入-对应于词的任意长度语音片段的固定维向量表示。这种嵌入适用于语音检索和识别任务，其中关于整个单词的推理可以避免模糊的子单词表示。其主要思想是将声学序列映射到固定维度的向量，使得相同单词的示例映射到相似的向量，而不同单词的示例映射到非常不同的向量。在这项工作中，我们采取了多视角的方法来学习声学词嵌入，其中我们共同学习嵌入声学序列和它们对应的字符序列。我们使用深度双向LSTM嵌入模型和多视图对比损失。我们研究了不同损失变量的影响，包括固定保证金和成本敏感损失。我们的声学词嵌入改善了以前的方法的任务，词歧视。我们还提出了其他任务的结果，使多视图的方法，包括跨视图的单词歧视和单词相似性。
2017-03-10 cs.CL
Morphological Word Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Munich（慕尼黑大学）
语言的相似性是多方面的。例如，两个单词可以在语义、句法或词法等方面相似。连续词嵌入已经被证明在某种程度上捕捉了这些相似性的大部分。这项工作考虑用形态注释数据指导词嵌入，这是一种半监督学习的形式，鼓励向量对词的形态进行编码，即，在嵌入空间中接近的词共享形态特征。为此，我们扩展了对数双线性模型，并表明我们的学习嵌入确实实现了这一点，使用德国作为案例研究。
2019-07-04 cs.CL
Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
University of Amsterdam（阿姆斯特丹大学）；Yandex（扬德克斯）
我们提出了一种用于高质量句子嵌入的有效估计的神经网络--连体连续词袋（Siamese CBOW）模型。对句子中的单词嵌入求平均已被证明是获得句子嵌入的令人惊讶的成功和有效的方法。然而，用当前可用的方法训练的词嵌入对于句子表示的任务不是最优化的，并且因此可能是次优的。Siamese CBOW通过直接训练词嵌入来处理这个问题，以达到平均的目的。底层神经网络通过从句子表示预测其周围的句子来学习词嵌入。我们通过对来自各种来源的20个数据集进行评估，展示了Siamese CBOW模型的鲁棒性。
2016-06-15 cs.CL
A Mixture Model for Learning Multi-Sense Word Embeddings
Saarland University（萨尔兰大学）；Macquarie University（麦考瑞大学）
词嵌入现在是用于归纳词的含义表示的标准技术。为了得到好的表示，重要的是要考虑到一个词的不同含义。在本文中，我们提出了一个混合模型学习多义词嵌入。我们的模型概括了以前的作品，因为它允许诱导不同的权重不同的意义的一个词。实验结果表明，我们的模型优于以前的标准评估任务的模型。
2017-06-15 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest（布加勒斯特大学）
受计算机视觉中广泛应用的视觉词袋模型的启发，提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后，对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入，它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后，通过计算每个超级词嵌入在相应文档中的频率，将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法，并建议构建特定于类的词汇表以获得更好的性能。使用这种表示，我们报告结果的两个文本挖掘任务，即文本分类的主题和极性分类。在这两个任务上，我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
A Syllable-based Technique for Word Embeddings of Korean Words
Seoul National University（首尔大学）
词嵌入已经成为许多NLP任务的基本组成部分，例如命名实体识别和机器翻译。然而，学习这种嵌入的流行模型不知道单词的形态，因此它不直接适用于高度粘着的语言，如韩语。我们提出了一个基于音节的学习模型，为韩国使用卷积神经网络，其中单词表示是由训练的音节向量。我们的模型成功地产生了形态学上有意义的表示的韩语单词相比，原来的跳过语法嵌入。实验结果还表明，该算法对词汇表外问题具有很好的鲁棒性。
2017-08-05 cs.CL
Unsupervised POS Induction with Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
无监督词嵌入已被证明是有价值的监督学习问题的功能，但是，他们在无监督的问题中的作用还没有彻底探讨。在本文中，我们表明，嵌入同样可以增加价值的问题，无监督POS归纳。在两个有代表性的模型的POS归纳，我们取代多项分布的词汇与多元高斯分布的词嵌入，并观察到一致的改进，在八种语言。我们还分析了诱导词嵌入时的各种选择对“下游”词性诱导结果的影响。
2015-03-23 cs.CL
A Simple Regularization-based Algorithm for Learning Cross-Domain Word Embeddings
University of Waterloo（滑铁卢大学）；Advanced Digital Sciences Center（高级数字科学中心）
学习词嵌入最近受到了极大的关注。通常，词嵌入是以无监督的方式从大量文本集合中学习的。文本的体裁通常在所产生的嵌入的有效性中起着重要的作用。如何使用来自不同领域的数据有效地训练词嵌入模型仍然是一个未充分探索的问题。在本文中，我们提出了一个简单而有效的方法来学习词嵌入的基础上，从不同领域的文本。我们通过对各种下游NLP任务的广泛实验证明了我们方法的有效性。
2019-02-01 cs.CL
Factors Influencing the Surprising Instability of Word Embeddings
University of Michigan（密歇根大学）
尽管最近流行的词嵌入方法，只有一个小的身体的工作，探索这些表示的局限性。在本文中，我们考虑嵌入空间的一个方面，即其稳定性。我们发现，即使是相对较高的频率的话（100-200次）往往是不稳定的。我们提供了经验证据，各种因素如何有助于词嵌入的稳定性，我们分析了稳定性对下游任务的影响。
2018-04-25 cs.CL
Attentive Mimicking: Better Word Embeddings by Attending to Informative Contexts
Sulzer GmbH（苏尔寿有限公司）
由于上下文信息的稀疏，学习高质量的稀有词嵌入是一个困难的问题。模仿（Pinter等人，2017年）已经提出了一种解决方案：给定通过标准算法学习的嵌入，首先训练模型以从其表面形式再现频繁单词的嵌入，然后用于计算罕见单词的嵌入。在本文中，我们介绍了注意模仿：模仿模型不仅可以访问一个词的表面形式，而且可以访问所有可用的上下文，并学习参加最翔实和可靠的上下文计算嵌入。在四个任务的评估，我们表明，注意模仿优于以前的工作，罕见的和中频的话。因此，与以前的工作相比，专注模仿改善了更大部分词汇的嵌入，包括中频范围。
2019-04-05 cs.CL
Latent Suicide Risk Detection on Microblog via Suicide-Oriented Word Embeddings and Layered Attention
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beihang University（北京航空航天大学）
尽管近年来社交媒体上的自杀意念检测取得了很大进展，但人们的隐性和反真实的反向表达仍然是一个障碍，限制了检测器获得更高的满意度。受微博上隐藏的“树洞”现象的启发，即自杀风险人群倾向于向微博空间中自杀者透露自己内心真实的感受和想法，我们从以下两个角度探讨了利用树洞来加强基于微博的自杀风险检测。(1)我们建立了基于树洞内容的自杀导向词嵌入，以增强基于树洞内容的自杀相关词汇和上下文的敏感性。(2)实验结果表明，基于自杀倾向词嵌入和注意力的微博自杀风险检测准确率达到91%以上。本文还报道了一个大规模的标记良好的自杀数据集。
2019-10-26 cs.CL
Speech2Vec: A Sequence-to-Sequence Framework for Learning Word Embeddings from Speech
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种新的深度神经网络架构，Speech 2 Vec，用于学习从语音语料库中删除的音频片段的固定长度向量表示，其中向量包含与底层口语单词有关的语义信息，并且如果其对应的底层口语单词在语义上相似，则接近嵌入空间中的其他向量。该模型可以看作是Word 2 Vec的语音版本。它的设计基于RNN编码器-解码器框架，并借用了跳跃图或连续词袋的方法进行训练。直接从语音中学习词嵌入使Speech 2 Vec能够利用纯文本中不存在的语音所携带的语义信息。在13个广泛使用的词相似度基准上对学习到的词嵌入进行了评估和分析，并优于Word 2 Vec从transmittance中学习到的词嵌入。
2018-06-09 cs.CL
Lex2vec: making Explainable Word Embeddings via Lexical Resources
Maggioli Research & Development（Maggioli研发部）
在这份技术报告中，我们提出了一个算法，称为Lex2vec，利用词汇资源注入信息到词嵌入和名称的嵌入维度的知识库。我们评估了最佳参数，以提取一些可读的信息标签，并具有良好的覆盖范围的嵌入维度。
2021-07-12 cs.CL
Frustratingly Easy Meta-Embedding -- Computing Meta-Embeddings by Averaging Source Word Embeddings
University of Liverpool（利物浦大学）
从预先训练的源嵌入创建准确的元嵌入最近受到了关注。基于全局和局部线性变换和级联的方法已被证明可以产生准确的元嵌入。在本文中，我们证明了两个不同的词嵌入集的算术平均值产生了一个性能良好的元嵌入，比更复杂的元嵌入学习方法相当或更好。这个结果似乎是违反直觉的，因为不同源嵌入的向量空间是不可比较的，不能简单地平均。我们深入了解为什么平均仍然可以产生准确的元嵌入，尽管源向量空间的不可比性。
2018-04-14 cs.CL
