CogniFNN: A Fuzzy Neural Network Framework for Cognitive Word Embedding Evaluation
词嵌入能够反映语义表征，嵌入质量可以用人类自然阅读相关认知数据源进行综合评价。在本文中，我们提出了CogniFNN框架，这是第一次尝试使用模糊神经网络来提取非线性和非平稳特性的英语词嵌入对相应的认知数据集的评价。在我们的实验中，我们使用了15个人类认知数据集在三种模式：EEG，fMRI和眼动跟踪，并选择均方误差和多假设检验作为指标来评估我们提出的CogniFNN框架。与最近的先驱框架相比，我们提出的CogniFNN对上下文无关（GloVe）和上下文相关（BERT）词嵌入的预测误差较小，并且对随机生成的词嵌入实现了更高的显著性比率。我们的研究结果表明，CogniFNN框架可以提供一个更准确和全面的认知词嵌入的评估。这对于进一步的外部自然语言处理任务的词嵌入评价具有潜在的意义。
2021-07-29 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码（BPE）算法来表示子字。我们评估了生物医学词嵌入，获得了比以前的版本更好的结果，这表明随着数据的增加，我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
Analysis of Italian Word Embeddings
University of Warwick（华威大学）
在这项工作中，我们分析了两个最常用的词嵌入算法，跳过语法和连续袋的话，意大利语的性能。这些算法有许多超参数，必须仔细调整，以获得准确的词表示在向量空间。我们提供准确的分析和评估，显示哪些是特定任务的最佳参数配置。
2017-11-30 cs.AI cs.CL
Learning Semantic Representations for Novel Words: Leveraging Both Form and Context
Sulzer GmbH（苏尔寿有限公司）；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
词嵌入是高性能自然语言处理（NLP）系统的关键组成部分，但是在运行中学习新颖词的良好表示仍然是一个挑战，即，对于没有出现在训练数据中的单词。一般的问题设置是在未标记的训练语料库上诱导词嵌入，然后训练一个模型，将新的词嵌入到这个诱导的嵌入空间中。目前，存在两种用于学习新单词的嵌入的方法：（i）从新单词的表面形式学习嵌入（例如，子字n-gram）和（ii）从嵌入发生的上下文学习嵌入。在本文中，我们提出了一个架构，利用这两个来源的信息-表面形式和上下文-并表明，它会导致嵌入质量大幅提高。我们的架构获得了国家的最先进的结果，在随机随机数和上下文罕见词数据集。作为输入，我们只需要一个嵌入集和一个未标记的语料库来训练我们的架构，以产生适合于诱导嵌入空间的嵌入。因此，我们的模型可以很容易地集成到任何现有的NLP系统，并提高其处理新单词的能力。
2018-11-09 cs.AI cs.CL
Retrofitting Contextualized Word Embeddings with Paraphrases
University of California Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
语境化的词嵌入模型，如ELMo，生成词及其语境的有意义的表示。这些模型已被证明对下游应用有很大的影响。然而，在许多情况下，当上下文被释义时，单词的上下文化嵌入发生了巨大的变化。因此，下游模型对释义和其他语言变体不具有鲁棒性。为了提高语境化词嵌入模型的稳定性，我们提出了一种利用释义语境来改进语境化嵌入模型的方法。我们的方法学习输入空间上的正交变换，其旨在最小化释义上下文上的单词表示的方差。实验表明，改进后的模型在各种句子分类和语言推理任务上的性能明显优于原始ELMo。
2019-09-12 cs.AI cs.CL
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
词嵌入是自然语言处理中最基本的技术之一。现有的词嵌入是高维的，并且消耗大量的计算资源。在这项研究中，我们提出了WordTour，无监督的一维词嵌入。为了实现这一具有挑战性的目标，我们提出了一个分解的必要条件的词嵌入分为两部分，完整性和可靠性，并侧重于可靠性在本文中。由于单维性，WordTour非常高效，并提供了一种最小的方法来处理词嵌入。我们通过用户学习和文档分类实验证实了所提出的方法的有效性。
2022-05-04 cs.AI cs.CL cs.LG
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University（埃默里大学）
近年来，自然语言处理（NLP）已成为人类生活中最重要的领域之一，并有着广泛的应用。作为最基本的任务，词嵌入领域还需要更多的关注和研究。目前，关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中，我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架，我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现，通过将不同的词嵌入映射到联合组件中，可以大大提高性能较低的原始词嵌入的情感性能。此外，我们发现，通过将不同的组件连接在一起，同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路，也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）
给定使用不同算法和词汇资源学习的多个源词嵌入，Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现，源嵌入的简单向量级联是一个有竞争力的基线。然而，目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明，加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作，最大限度地减少成对内积损失。在此理论分析之后，我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明，所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder（阿格德大学人工智能研究中心（CAIR））
在向量空间中嵌入单词是最先进的自然语言处理（NLP）中基本的第一步。典型的NLP解决方案采用预定义的向量表示，通过在向量空间中共同定位相似的单词来提高泛化能力。例如，Word2Vec是一个自我监督的预测模型，它使用神经网络捕获单词的上下文。类似地，GLoVe是一种流行的无监督模型，结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务，包括情感分析、文档分类和机器翻译。然而，嵌入是密集的浮点向量，这使得它们的计算成本很高，并且难以解释。在本文中，我们建议用几个定义词来表示词的语义，这些词使用命题逻辑。为了产生这样的逻辑嵌入，我们引入了一个基于Tsetlin Machine的自动编码器，它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成，以定义“咖啡”等其他单词，因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准，优于GLoVe的六个分类任务。此外，我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群，演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
WordBias: An Interactive Visual Tool for Discovering Intersectional Biases Encoded in Word Embeddings
Stony Brook University（石溪大学）
交叉偏见是由多种社会因素如性别，性，种族，残疾，宗教等的重叠造成的偏见。最近的一项研究表明，词嵌入模型可能充满对交叉群体的偏见，如非洲裔美国女性等。解决这种交叉偏见的第一步是识别它们。然而，发现对不同交叉群体的偏见仍然是一项具有挑战性的任务。在这项工作中，我们提出了WordBias，一个交互式的视觉工具，旨在探讨偏见对静态词嵌入编码的交叉组。给定一个预训练的静态词嵌入，WordBias根据种族、年龄等计算每个词与不同群体的关联，然后使用一个新颖的交互式界面将它们可视化。使用一个案例研究，我们展示了如何字偏见可以帮助发现偏见对交叉群体，如黑人穆斯林男性，贫困女性等编码在词嵌入。此外，我们还使用来自专家访谈的定性反馈来评估我们的工具。该工具的源代码可以在github.com/bhavyaghai/WordBias上公开访问，以供复制。
2021-09-06 cs.AI cs.CL cs.HC
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们介绍了一种方法，用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合，在标准的词嵌入方法，在我们的贝叶斯模型中，我们从一个词特定的先验密度为每个给定的词的出现。直觉上，对于每个单词，先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是，与高斯嵌入不同，我们还可以获得上下文特定的密度：它们编码了给定上下文的单词意义的不确定性，并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用：例如，我们表明，它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Using BERT Embeddings to Model Word Importance in Conversational Transcripts for Deaf and Hard of Hearing Users
Rochester Institute of Technology（罗切斯特理工学院）
聋人和重听人在观看电视直播时经常依赖字幕。监管机构使用各种字幕评估指标来评估实况电视字幕。然而，字幕评估指标往往不被DHH用户的偏好或字幕的意义。需要构建字幕评估度量，其考虑文字在转录中的相对重要性。我们在现有语料库中对两种类型的词嵌入和人工标注的词重要性分数进行了相关性分析。我们发现，使用BERT生成的规范化上下文单词嵌入与手动注释的重要性分数的相关性优于基于word2vec的词嵌入。我们提供了一对词嵌入及其人工注释的重要性分数。我们还通过训练单词重要性模型来提供概念验证实用程序，在6类单词重要性分类任务中获得了0.57的F1分数。
2022-06-24 cs.AI cs.CL cs.HC
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University（台湾大学）
词嵌入是一种现代的分布式词表示方法，广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法，并且随后执行自然语言处理的下游任务，例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集，通过代数计算来执行类比推理。本文从2，388个中文法典语料库中提取5种法律关系，建立1，134个法律类比推理问题集（LARQS），并将其用于评估中文词嵌入模型的准确性。此外，我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
SAT Based Analogy Evaluation Framework for Persian Word Embeddings
Shahid Beheshti University（沙希德·贝赫什提大学）
近年来，词嵌入作为一种将词转换为向量的新方法引起了人们的特别兴趣。如何理解词的语义有多少被转化到嵌入向量中已经成为一个焦点。这一点很重要，因为嵌入将被用作下游NLP应用程序的基础，并且端到端评估应用程序以识别所使用的嵌入模型的质量将是昂贵的。一般来说，词嵌入是通过一系列测试来评估的，包括类比测试。在本文中，我们提出了一个波斯语嵌入模型的测试框架。波斯语是一种低资源语言，没有丰富的语义基准来评估这种语言的词嵌入模型。在本文中，我们介绍了一个评估框架，包括手工制作的波斯SAT的类比数据集，colliquial测试集（特定于波斯语）和基准研究的语义评估任务的各种参数的影响。
2021-06-29 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University（东北大学）；Ulster University（阿尔斯特大学）
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$，头实体$h$与尾实体$t$具有关系$r$，当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$，每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的，因此这些表示不能用于检测未知事实（如果实体或关系从未出现在知识图谱中）。本文提出了一种新的方法，称为transW，旨在超越目前的工作，组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词（通常），学习从单词嵌入空间到知识嵌入空间的映射函数是明智的，它显示了如何使用人类单词构建实体。更重要的是，使用词嵌入构成知识嵌入使得处理出现的新事实（新实体或关系）成为可能。使用三个公共数据集的实验结果表明，建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Word Mover's Embedding: From Word2Vec to Document Embedding
IBM Research（IBM研究院）；Carnegie Mellon University（卡内基梅隆大学）；College of William and Mary（威廉与玛丽学院）
虽然著名的Word2Vec技术为单个单词提供了丰富的语义表示，但在扩展以生成无监督句子或文档嵌入方面的成功相对较少。最近的工作表明，文档之间的距离测量称为\emph{Word Mover's Distance}（WMD），对齐语义相似的单词，产生前所未有的KNN分类精度。然而，大规模杀伤性武器是昂贵的计算，它是很难扩展其使用超越KNN分类。在本文中，我们提出了\emph{Word Mover's Embedding }（WME），一种新的方法来建立一个无监督的文档（句子）嵌入从预先训练的词嵌入。在我们对9个基准文本分类数据集和22个文本相似性任务的实验中，所提出的技术始终匹配或优于最先进的技术，在短长度问题上具有显着更高的准确性。
2018-10-30 cs.AI cs.CL cs.LG
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL（洛桑联邦理工学院）；Iprova SA（Iprova公司）
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中，我们展示了如何训练词嵌入联合二元组，甚至三元组嵌入，结果在改进的unigram嵌入。我们声称，训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息，从而产生更好的独立词嵌入。我们的经验表明，我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford（牛津大学）；LMU Munich（慕尼黑大学）
静态的词嵌入用一个向量来表示词，不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上，我们引入了动态上下文化的词嵌入，它代表了语言和语言外语境的函数。基于预训练的语言模型（PLM），动态上下文化的词嵌入联合建模时间和社会空间，这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析，我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
A Survey On Neural Word Embeddings
Izmir Institute of Technology（伊兹密尔理工学院）
理解人类语言一直是智能机器道路上的一个子挑战。自然语言处理中的意义研究依赖于分布假设，即语言元素从上下文中共同出现的单词中获得意义。概念的分布式表征这一革命性的想法与人类思维的工作方式非常接近，因为一个单词的含义分散在几个神经元中，而失去激活只会轻微影响记忆提取过程。神经词嵌入通过在所有NLP任务中引入实质性的改进，改变了整个NLP领域。在这项调查中，我们提供了一个全面的文献综述神经词嵌入。我们给出了理论基础，并描述了现有的工作之间的相互作用词嵌入和语言建模。我们提供了广泛的覆盖神经词嵌入，包括早期的词嵌入，嵌入针对特定的语义关系，意义嵌入，词素嵌入，最后，上下文表示。最后，我们描述了字嵌入的性能评估和下游任务中的基准数据集以及词嵌入的性能结果。
2021-10-05 cs.AI cs.CL cs.LG
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business（雅典经济与商业大学）
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中，我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具，用于测试希腊词嵌入，通过提供“类比”，“相似度得分”和“最相似的话”的功能。通过我们的探索者，人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
已经发现词嵌入以有效的方式为词提供有意义的表示;因此，它们在自然语言处理系统中变得普遍。在本文中，我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型，包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价，在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明，词类比是不适合词嵌入评价，任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University（石溪大学）
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗？词嵌入实验的可重复性如何？所有的词嵌入技术都同样可靠吗？在本文中，我们提出了评估方法，学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下（其中他们受到不同的随机初始化）的相似性。我们的初步结果表明，我们的度量不仅测量了词嵌入方法的内在属性，而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益，而不支付严格的操作在子词汇水平的成本。我们的方法很简单：在任务特定的训练之前，我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务：词相似性，词的类比，和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下，人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法，而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同，我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式，并学习的约束，必须满足无偏词嵌入自动从字典定义的话。具体地，我们学习编码器以生成输入词嵌入的去偏版本，使得它（a）保留预训练的词嵌入的语义，（b）根据字典同意词的无偏定义，以及（c）保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明，该方法可以准确地去除预训练词嵌入中编码的不公平偏见，同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而，词嵌入对于下游NLP任务的有效性受到词汇表外（OOV）词的限制，对于这些词，嵌入不存在。在本文中，我们提出了MIMICK，一种方法来生成OOV词嵌入组成，通过学习一个函数的拼写分布嵌入。与之前的工作不同，MIMICK不需要对原始词嵌入语料库进行重新训练;相反，学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上，MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中，它与有监督的基于字符的模型具有竞争力（和互补性）。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
词嵌入是文本文档中单个词在向量空间中的表示，它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA（Supervised Word Embeddings for情感分析）。SWESA利用文档标签信息，通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题，从适度的文本文档语料库中学习词的向量表示。分析表明，SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明，SWESA具有优越的性能相比，以前建议的方法，词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington（华盛顿大学）；Nanjing University（南京大学）
众所周知，不同的算法、训练过程和语料库会产生不同的词嵌入。然而，对不同嵌入空间之间的关系知之甚少，即不同的嵌入集合彼此偏离多远。在本文中，我们提出了一种新的度量称为相对成对内积距离（RPD）量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质，我们系统地研究了不同算法的词嵌入之间的关系，并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足，并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India（微软印度）
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序，以及用于构建句子，段落和文档的表示。最近，人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用，从而有益于若干现实世界的应用。在这项工作中，我们提出了一种新的算法，有效地结合了PCA的降维与最近提出的后处理算法，构建低维的词嵌入。对12个标准词相似度基准的实证评估表明，我们的算法将嵌入维数降低了50%，同时实现了类似或（更经常）更好的性能比高维嵌入。
2017-11-21 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design（新加坡科技设计大学）
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上，几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标，训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词，建模的上下文嵌入率矩阵的泰勒级数。我们表明，不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较，并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标，提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础，同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America（美国 NEC 实验室）；Princeton（普林斯顿大学）
现代自然语言理解模型依赖于预训练的子词嵌入，但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明，严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后，我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱，但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago（芝加哥丰田技术研究院）；IBM Research AI（IBM研究院人工智能部门）
用于端到端自动语音识别的直接声学到字（A2 W）系统比子字系统更易于训练，并且解码更有效。然而，A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点，我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵，并使用外部训练的词嵌入集来提高该矩阵的质量。特别是，我们介绍了两个想法：（1）在训练时间之间的外部嵌入和识别器的权重，以及（2）在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的，也就是说，它是与声学嵌入联合学习的，以便对词的声学语音内容进行编码;并且它是参数化的，因此它可以嵌入任何任意（可能超出词汇表）字符序列。我们发现，这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia（西波希米亚大学）；NTIS—New Technologies for the Information Society（NTIS—新信息技术学会）
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了，但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为，捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务，检查语法，形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验，并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
One Word Is Not Enough: Simple Prompts Improve Word Embeddings
GodelLabs
通过简单提示提升词嵌入效果，显著提高词相似性相关性，超越传统静态嵌入方法。
2025-12-07 cs.CL
Substitute Based SCODE Word Embeddings in Supervised NLP Tasks
Koç University（科奇大学）
我们分析了一个词嵌入方法在监督任务。它将词映射到一个球体上，使得在相似上下文中共现的词紧密地躺在一起。上下文的相似性是通过可以填充它们的替代物的分布来衡量的。我们比较了词嵌入，包括最近的表示，在命名实体识别（NER），组块，和依存句法分析。我们还研究了多语言依存句法分析的框架。实验结果表明，该方法与其他词嵌入方法相比，取得了相同或更好的效果。它在多语言依存句法分析中取得了最先进的结果。7种语言的词嵌入可供公众使用。
2014-07-25 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Bank of Montréal（蒙特利尔银行）
词嵌入被训练来预测词的共现统计，这使得它们具有不同的词汇属性（句法，语义等）。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时，以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时，这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入，并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜：一种简单有效的元嵌入方法，它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入，这使得它们在推理时非常有效。我们评估字棱镜相比，其他元嵌入方法的六个外在的评价，并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；Toyota Technological Institute（丰田工业大学）
我们提出了一种新的学习方法，词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务，我们的方法显着优于基线的基础上，以前介绍的词嵌入方法，并比较有利的是以前的国家的最先进的模型，使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL
