On the Dimensionality of Word Embedding
Stanford University(斯坦福大学);Microsoft Corp.(微软公司)
本文对词嵌入及其维数进行了理论上的理解。基于词嵌入的酉不变性,本文提出了一种新的度量词嵌入相似性的度量方法-成对内积损失。使用矩阵扰动理论的技术,我们揭示了一个基本的偏差方差权衡词嵌入的维度选择。这种偏差-方差权衡揭示了许多以前无法解释的经验观察,例如最佳维度的存在。此外,新的见解和发现,如何时以及如何词嵌入是强大的过度拟合,揭示。通过优化PIP损失的偏差-方差权衡,我们可以明确地回答词嵌入的维度选择的公开问题。
2018-12-11 cs.CL cs.LG stat.ML
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能)
传统上,许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而,在许多语言和专业语料库中,单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术,这不仅导致长尾文本语料库中的不频繁词的嵌入较差,而且还导致处理词汇外词的能力较弱。在本文中,我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明,MorphMine可以将各种语言中的单词分割成人类验证的词素。此外,我们的实验表明,利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Word-Emoji Embeddings from large scale Messaging Data reflect real-world Semantic Associations of Expressive Icons
RWTH Aachen University(亚琛工业大学);GESIS(盖斯社会科学研究所);The Jodel Venture GmbH(约德尔风险投资有限公司)
我们在从Jodel在线社交网络获得的大规模消息传递数据上训练单词表情符号嵌入。我们的数据集包含超过4000万个句子,其中1100万个句子使用Unicode 13.0标准汉字列表的子集进行了注释。我们通过分析表情符号之间、表情符号与文本之间以及文本与表情符号之间的关联来探索这种嵌入中包含的语义表情符号关联。我们的调查表明,在大规模消息传递数据上训练的单词emoji嵌入可以反映真实世界的语义关联。为了进行进一步的研究,我们发布了Jodel Emoji嵌入数据集(JEED 1488),其中包含1488个表情符号及其300维的嵌入。
2020-05-19 cs.CL cs.IR cs.LG
Interpretable Word Embeddings via Informative Priors
Linköping University(林雪平大学);Aalto University(阿尔托大学)
词嵌入在NLP任务中表现出了强大的性能。然而,词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明,合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平,同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(国家研究委员会)
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码,并且已经证明在许多NLP任务中是有用的,包括词义消歧,机器翻译和情感分析,仅举几例。在有监督的任务中,如多类文本分类(本文的重点),似乎很有吸引力,可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了(监督)词类嵌入(WCE),并表明,当连接到(无监督)预训练的词嵌入时,它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据,表明WCE在多类分类准确性方面得到了一致的提高,使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Word Embeddings via Tensor Factorization
Tufts University(塔夫茨大学)
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中,我们的目标是推广这一趋势,使用数值方法的因素高阶词共现的数组,或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法,并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明,基于张量因式分解的嵌入可以用于识别多义词的各种含义,而无需明确训练,并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标,称为离群值检测[Camacho-Collados和Navigli,2016],以评估词嵌入捕获的顺序- $N$关系的质量,并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中,我们表明,我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线,或者具有竞争力。给出了基于张量分解的词嵌入的建议应用,所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Word Mover's Embedding: From Word2Vec to Document Embedding
IBM Research(IBM研究院);Carnegie Mellon University(卡内基梅隆大学);College of William and Mary(威廉与玛丽学院)
虽然著名的Word2Vec技术为单个单词提供了丰富的语义表示,但在扩展以生成无监督句子或文档嵌入方面的成功相对较少。最近的工作表明,文档之间的距离测量称为\emph{Word Mover's Distance}(WMD),对齐语义相似的单词,产生前所未有的KNN分类精度。然而,大规模杀伤性武器是昂贵的计算,它是很难扩展其使用超越KNN分类。在本文中,我们提出了\emph{Word Mover's Embedding }(WME),一种新的方法来建立一个无监督的文档(句子)嵌入从预先训练的词嵌入。在我们对9个基准文本分类数据集和22个文本相似性任务的实验中,所提出的技术始终匹配或优于最先进的技术,在短长度问题上具有显着更高的准确性。
2018-10-30 cs.AI cs.CL cs.LG
ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion
TU Wien(维也纳工业大学)
知识图谱本质上是不完整的。因此,大量的研究已经指向知识图谱完成(KGC),即,从所述知识图谱(KG)中表示的所述信息预测缺失的三元组。KG嵌入模型(KGE)已经为KGC产生了有希望的结果,然而任何当前的KGE都不能:(1)完全捕获重要的推理模式(例如,合成),(2)联合地捕获突出图案(例如,层次和组成),以及(3)提供对捕获的模式的直观解释。在这项工作中,我们提出了ExpressivE,一个完全表达空间功能的KGE,同时解决了所有这些挑战。ExpressivE在虚拟三元空间$\mathbb{R}^{2d}$中将实体对嵌入为点,将关系嵌入为超平行四边形。这种模型设计不仅允许ExpressivE联合捕获丰富的推理模式集,而且还可以通过超平行四边形的空间关系显示任何支持的推理模式,为ExpressivE嵌入及其捕获的模式提供直观和一致的几何解释。在标准KGC基准测试上的实验结果表明,ExpressivE与最先进的KGE相比具有竞争力,甚至在WN18RR上的表现明显优于它们。
2023-03-22 cs.AI cs.LG
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近,上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中,我们研究的影响,这种概念的变化,在词嵌入计算与性别偏见。我们的分析包括不同的措施,以前在文献中应用到标准的词嵌入。我们的研究结果表明,语境化的词嵌入是更少的偏见比标准的,即使后者是去偏见。
2019-04-18 cs.CL cs.LG
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings
TU Dortmund University(多特蒙德工业大学);Stanford University(斯坦福大学)
我们提出了GNNAutoScale(GAS),这是一个将任意消息传递GNN扩展到大型图形的框架。GAS通过利用来自先前训练迭代的历史嵌入来修剪计算图的整个子树,从而导致相对于输入节点大小的恒定GPU内存消耗,而不会丢弃任何数据。虽然现有的解决方案由于边缘的子采样或不可训练的传播而削弱了消息传递的表达能力,但我们的方法可以证明能够保持原始GNN的表达能力。我们通过提供历史嵌入的近似误差界来实现这一点,并展示了如何在实践中收紧它们。从经验上讲,我们证明了我们的框架PyGAS的实际实现,PyGAS是PyTorch Geometric的一个易于使用的扩展,既快速又节省内存,学习表达性节点表示,非常类似于它们的非缩放对应物的性能,并在大规模图上达到最先进的性能。
2021-06-10 cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Comparative Analysis of Word Embeddings for Capturing Word Similarities
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University(圣西里尔与圣美多迪乌斯大学计算机科学与工程学院)
分布式语言表示已经成为各种自然语言处理任务中最广泛使用的语言表示技术。大多数基于深度学习技术的自然语言处理模型使用已经预先训练的分布式单词表示,通常称为词嵌入。确定最定性的词嵌入对于此类模型至关重要。然而,选择适当的词嵌入是一个复杂的任务,因为投影的嵌入空间是不直观的人。在本文中,我们探讨了不同的方法来创建分布式单词表示。我们执行几个国家的最先进的词嵌入方法的内在评价。它们在捕获词相似性方面的性能与现有的词对相似性基准数据集进行了分析。本文对不同词嵌入方法获得的相似度与真实词相似度进行了相关性分析。
2020-05-08 cs.CL cs.LG
Word Embeddings Are Capable of Capturing Rhythmic Similarity of Words
Isfahan University of Technology(伊斯法罕理工大学)
诸如Word2Vec和GloVe之类的词嵌入系统在NLP的深度学习方法中是众所周知的。这在很大程度上是由于它们能够捕捉单词之间的语义关系。在这项工作中,我们研究了他们的有用性,而不是捕捉节奏相似的话。结果表明,与其他词相比,这些嵌入分配给押韵词的向量彼此更相似。GloVe在这方面的表现也相对优于Word2Vec。我们还提出了第一种度量的节奏相似性的一对字的量化。
2022-04-14 cs.CL cs.LG
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen(亚琛工业大学);L3S Research Center(L3S研究中心);University of Mannheim(曼海姆大学);GESIS(盖泽斯社会科学研究所);CSH Vienna(维也纳复杂科学中心)
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度(例如好与坏,正确与错误)嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度,但它们并不是为了处理一词多义而设计的,即它们不能很容易地区分词的不同意义。为了解决这个问题,我们提出了SensePOLAR,原来的POLAR框架的扩展,使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平,可与原始的上下文词嵌入在各种自然语言处理任务,包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制,为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement
Virginia Commonwealth University(弗吉尼亚联邦大学)
深度学习自然语言处理模型通常使用向量词嵌入(如word 2 vec或GloVe)来表示单词。如果将离散的单词序列表示为连续向量序列,则可以更容易地与下游神经层集成。此外,从文本语料库中学习的单词之间的语义关系可以被编码在嵌入向量的相对配置中。然而,存储和访问字典中所有单词的嵌入向量需要大量空间,并且可能会污染具有有限GPU内存的系统。在这里,我们使用受量子计算启发的方法来提出两种相关方法,{ \em word 2ket}和{ \em word 2ketXS},用于以高效的方式在训练和推理期间存储词嵌入矩阵。我们的方法实现了一百倍或更多的减少所需的空间来存储嵌入,几乎没有相对下降的准确性在实际的自然语言处理任务。
2020-03-03 cs.LG stat.ML
Interactive Re-Fitting as a Technique for Improving Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。虽然词嵌入已被证明在自然语言处理任务中有许多实际用途,但它们反映了它们所训练的语料库的属性。最近的研究表明,对词嵌入进行后处理,以应用在词典中找到的信息,可以提高其质量。我们通过使其具有交互性来建立这种后处理技术。我们的方法使人类有可能通过移动单词集合来调整词嵌入空间的部分。该功能的一个激励用例是使用户能够识别并减少词嵌入中存在的偏见。我们的方法允许用户触发选择性的后处理,因为他们与词嵌入和评估潜在的偏见。
2020-09-30 cs.CL cs.LG
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong(香港城市大学)
词嵌入已经成为自然语言处理的关键,因为它提高了各种任务的经验表现。然而,最近的研究发现,性别偏见是纳入神经词嵌入,下游任务,依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法,这些方法主要集中在减少与性别方向相关的性别偏见,并未能减少词嵌入关系中呈现的性别偏见。在本文中,我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系,利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Attention Word Embedding
Rice University(莱斯大学)
词嵌入模型学习词的语义丰富的向量表示,并广泛用于初始化自然处理语言(NLP)模型。word 2 vec的流行的连续词袋(CBOW)模型通过屏蔽句子中的给定单词来学习向量嵌入,然后使用其他单词作为上下文来预测它。CBOW的局限性在于,它在进行预测时对上下文单词进行同等权重,这是低效的,因为某些单词的预测值比其他单词高。我们通过引入注意力词嵌入(AWE)模型,将注意力机制集成到CBOW模型中来解决这种低效率问题。我们还提出了AWE-S,其中包括子字信息。我们证明了AWE和AWE-S在各种单词相似性数据集上以及用于NLP模型初始化时的性能都优于最先进的词嵌入模型。
2020-06-01 cs.CL cs.LG
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research(微软研究院);New York University(纽约大学);University of the Basque Country(巴斯克大学)
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义,从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础:我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是:(i)关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义,只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示,但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Deconstructing and reconstructing word embedding algorithms
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
非语境化的词嵌入是词的可靠特征表示,用于获得各种NLP应用的高质量结果。鉴于词嵌入在NLP中的历史成功,我们提出了一些最知名的词嵌入算法的回顾。在这项工作中,我们解构Word 2 vec,GloVe,和其他人,到一个共同的形式,揭示了一些必要和充分的条件所需的性能词嵌入。我们发现每个算法:(1)拟合向量-共向量点积以近似逐点互信息(PMI);以及(2)调制损失梯度以平衡弱信号和强信号。我们证明,这两个算法的功能是足够的条件,以构建一个新的词嵌入算法,希尔伯特-最大似然估计。我们发现,它的嵌入在17个内在和外在数据集上获得了与其他算法相当或更好的性能。
2019-11-29 cs.CL cs.LG
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi(印度理工学院德里分校)
在现代NLP应用程序中,词嵌入是一个关键的骨干,可以很容易地在许多任务之间共享。然而,随着文本分布的变化和单词语义随着时间的推移而演变,如果单词表示不符合数据漂移,则使用嵌入的下游应用程序可能会受到影响。因此,保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中,我们解决了这个问题,并提出TransDrift,一个基于变换的预测模型词嵌入。利用Transformer的灵活性,我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中,我们与现有的方法进行比较,并表明我们的模型比基线更准确地预测词嵌入。至关重要的是,通过将预测的嵌入作为下游分类任务的骨干,我们表明,与以前的方法相比,我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Hybrid Improved Document-level Embedding (HIDE)
IIT Kharagpur(印度理工学院克勒格布尔分校)
近年来,词嵌入在情感分析中发挥了重要作用。由于词嵌入的生成需要庞大的语料库,许多应用使用预训练的嵌入。尽管取得了成功,但词嵌入存在某些缺点,例如它不能捕获词的情感信息、根据词性标签的上下文信息和特定于域的信息。在这项工作中,我们提出了一种混合改进的文档级嵌入,它将域信息,部分语音信息和情感信息到现有的词嵌入,如GloVe和Word2Vec。它将改进的词嵌入结合到文档级嵌入中。此外,潜在语义分析(LSA)已被用来表示文档作为一个向量。HIDE的生成,结合LSA和文档级嵌入,这是从改进的词嵌入计算。我们用六个不同的数据集测试了HIDE,结果显示,与GloVe和Word2Vec等现有预训练词向量相比,HIDE的准确性有了相当大的提高。我们进一步比较我们的工作与现有的两个文档级情感分析方法。HIDE的性能优于现有系统。
2020-06-01 cs.CL cs.LG
Human-in-the-Loop Refinement of Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。尽管词嵌入模型在机器学习任务中被证明是有用的,但它们可能会捕获不均匀的语义和句法表示,并且可能会无意中反映出它们所训练的语料库中存在的各种偏见。事实证明,对词嵌入进行后处理,应用词典中的信息,可以改善语义关联,从而提高其质量。基于这一想法,我们提出了一个系统,采用了适应字嵌入后处理,我们称之为“互动改装”,以解决一些最艰巨的定性问题,发现在词嵌入。我们的方法允许一个人识别和解决潜在的质量问题与词嵌入互动。这样做的好处是可以避免由谁来决定什么是偏差,或者其他什么质量问题可能影响下游任务。它允许每个组织或实体以迭代和交互的方式在细粒度级别上解决他们可能拥有的问题。它还允许更好地了解词嵌入和词嵌入的改进对机器学习管道的影响。
2021-10-06 cs.CL cs.LG
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
词嵌入是自然语言处理中最基本的技术之一。现有的词嵌入是高维的,并且消耗大量的计算资源。在这项研究中,我们提出了WordTour,无监督的一维词嵌入。为了实现这一具有挑战性的目标,我们提出了一个分解的必要条件的词嵌入分为两部分,完整性和可靠性,并侧重于可靠性在本文中。由于单维性,WordTour非常高效,并提供了一种最小的方法来处理词嵌入。我们通过用户学习和文档分类实验证实了所提出的方法的有效性。
2022-05-04 cs.AI cs.CL cs.LG
Word Embeddings and Their Use In Sentence Classification Tasks
Hebrew University of Jerusalm(耶路撒冷希伯来大学)
本文分为两部分。第一部分讨论了词嵌入。我们讨论了它们的必要性,一些创建它们的方法,以及它们的一些有趣的属性。我们还将它们与图像嵌入进行比较,并了解如何将词嵌入和图像嵌入结合起来执行不同的任务。在第二部分中,我们实现了一个在预先训练的词向量上训练的卷积神经网络。该网络用于几个分级分类任务,并实现了最先进的(或可比的)结果,证明了预训练词嵌入比随机嵌入的强大功能。
2016-10-26 cs.CL cs.LG
All Word Embeddings from One Embedding
Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);Preferred Networks Inc(Preferred Networks公司)
在用于自然语言处理(NLP)的基于神经网络的模型中,参数的最大部分通常由词嵌入组成。传统的模型准备一个大的嵌入矩阵,其大小取决于词汇量的大小。因此,将这些模型存储在内存和磁盘存储中是昂贵的。在这项研究中,为了减少参数的总数,所有单词的嵌入表示通过转换共享嵌入。所提出的方法,ALONE(所有词嵌入从一个),构建一个词的嵌入通过修改共享嵌入与过滤器向量,这是特定于词,但不可训练。然后,我们将构建的嵌入输入到一个前馈神经网络,以增加其表现力。简单地说,过滤器向量占用与传统嵌入矩阵相同的存储器大小,这取决于词汇表大小。为了解决这个问题,我们还介绍了一个内存有效的过滤器的建设方法。我们表明,我们的ALONE可以充分地作为单词表示通过实验上的重建预训练的词嵌入。此外,我们还进行了NLP应用任务的实验:机器翻译和摘要。我们将ALONE与当前最先进的编码器-解码器模型Transformer相结合,并在WMT 2014英语到德语翻译和DUC 2004非常简短的摘要中获得了相当的分数,参数较少。
2020-10-23 cs.CL cs.LG
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine(洛林大学)
“经典”词嵌入,如Word 2 Vec,已被证明可以根据词的分布特性捕获词的语义。然而,它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系,如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系,但不能直接捕捉这些词的组合属性。据我们所知,最近的研究主要集中在表示学习上,它可以增强一个学习者和另一个学习者的优势。在这项工作中,我们开始探索另一种方法,使用上下文和KB嵌入联合在同一水平上,并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型,并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础,朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings
Digital Reasoning Systems, Inc.(数字推理系统公司)
神经词表示已被证明在自然语言处理(NLP)任务中是有用的,因为它们能够有效地对复杂的语义和句法词关系进行建模。然而,大多数技术仅对每个单词的一个表示进行建模,尽管单个单词可以具有多个含义或“意义”。一些技术通过使用基于上下文聚类的多个向量来对单词进行建模。然而,最近的神经方法很少关注消费NLP算法的应用。此外,最近的词义模型的训练过程相对于单义嵌入过程是昂贵的。本文提出了一种新的方法,通过基于监督消歧为每个单词建模多个嵌入来解决这些问题,这为消费NLP模型选择意义消歧嵌入提供了一种快速准确的方法。我们证明,这些嵌入可以消除歧义的对比意义,如名义和口头的意义,以及细微差别的意义,如讽刺。我们进一步评估了神经依存句法分析上的词性消歧嵌入,在6种语言中,未标记的附件得分平均减少了8%以上。
2015-11-19 cs.CL cs.LG
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑监督训练设置,在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始,并更新它们以学习监督训练数据中单词的特定任务嵌入。然而,对于测试集中的新词,我们必须使用它们的初始嵌入或单个未知嵌入,这通常会导致错误。我们通过学习一个神经网络来解决这个问题,通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的,但在这里,我们将展示其用于改进的依存句法分析(特别是对于含有词汇表外单词的句子),以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier(爱思唯尔)
我们评估了化学专利词嵌入对已知的生物医学嵌入,并表明他们优于后者的外在和内在。我们还表明,使用上下文嵌入可以诱导预测模型的合理性能,这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University(清华大学);Microsoft Research(微软研究院);Nankai University(南开大学)
神经网络技术被广泛应用于获得单词的高质量分布式表示,即,词嵌入,以解决文本挖掘、信息检索和自然语言处理任务。最近,已经提出了有效的方法来从上下文中学习词嵌入,该上下文捕获词之间的语义和句法关系。然而,它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发,提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是,我们引入了一种新的神经网络架构,称为KNET,利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时,该学习架构还能够细化预定义的形态知识,获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明,所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
University of Virginia(弗吉尼亚大学);Salesforce Research(赛富时研究院)
源自人类生成语料库的词嵌入继承了强烈的性别偏见,这可以通过下游模型进一步放大。一些常用的去偏方法,包括开创性的硬去偏算法,应用后处理过程,将预先训练的词嵌入投影到与推断的性别子空间正交的子空间中。我们发现,语义不可知的语料库,如词频捕获的词嵌入负面影响这些算法的性能。我们提出了一个简单但有效的技术,双硬Debias,净化词嵌入对这样的语料库的错误之前,推断和删除性别子空间。三个偏见缓解基准的实验表明,我们的方法保留了预训练的词嵌入的分布语义,同时减少性别偏见,以显着更大的程度比以前的方法。
2020-05-03 cs.CL cs.LG
Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
Indian Institute of Science(印度科学学院);Microsoft Research(微软研究院);IIT Kanpur(印度理工学院坎普尔分校);Carnegie Mellon University(卡内基梅隆大学)
词嵌入已经在几个NLP应用程序中被广泛采用。大多数现有的词嵌入方法利用词的顺序上下文来学习其嵌入。虽然已经有一些尝试利用一个词的句法上下文,这样的方法导致词汇量的爆炸。在本文中,我们克服了这个问题,提出了SynGCN,一个灵活的图形卷积为基础的方法学习词嵌入。SynGCN利用单词的依赖上下文,而不增加词汇量。SynGCN学习的词嵌入在各种内在和外在任务上优于现有方法,并在与ELMo一起使用时提供优势。我们还提出了SemGCN,一个有效的框架,将不同的语义知识,进一步提高学习单词表示。我们提供这两种模型的源代码,以鼓励可重复的研究。
2019-07-20 cs.CL cs.LG
Generalizing Word Embeddings using Bag of Subwords
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们解决的问题,概括预先训练的词嵌入超出固定大小的词汇表,而不使用额外的上下文信息。我们提出了一个子词级的词向量生成模型,将单词视为字符$n$ -gram的袋子。该模型简单,训练速度快,并为罕见或未见过的单词提供了良好的向量。实验结果表明,该模型在英语单词相似度测试以及23种语言的词性标记和形态句法属性的联合预测中均取得了较好的效果,表明该模型具有较强的捕捉单词文本表征与嵌入关系的能力。
2018-09-12 cs.CL cs.LG
Towards Expressive Graph Representation
Feinberg School of Medicine(Feinberg医学院);Northwestern University(西北大学)
图神经网络(GNN)将每个节点的邻域聚合成节点嵌入,显示出强大的图表示学习能力。然而,大多数现有的GNN变体以固定的非内射方式聚合邻域信息,这可能将不同的图或节点映射到相同的嵌入,从而降低了模型的表达能力。我们提出了一个理论框架,设计一个连续的内射集函数的邻域聚合GNN。使用该框架,我们提出了表达性GNN,它用连续内射集函数聚合每个节点的邻域,以便GNN层将具有相似邻域的相似节点映射到相似的嵌入,将不同的节点映射到不同的嵌入,将等效节点或同构图映射到相同的嵌入。此外,所提出的表达GNN可以自然地学习具有连续节点属性的图的表达表示。我们在多个基准数据集(包括简单图和属性图)上验证了所提出的表达GNN(ExpGNN)的图分类。实验结果表明,我们的模型在大多数基准测试中达到了最先进的性能。
2020-10-12 cs.AI cs.IT cs.LG
Word Embedding Visualization Via Dictionary Learning
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Redwood Center for Theoretical Neuroscience, UC Berkeley(加州大学伯克利分校雷德伍德理论神经科学中心);School of Optometry, UC Berkeley(加州大学伯克利分校视光学院)
基于共现统计的词嵌入技术已被证明是非常有用的提取词的语义和句法表示为低维连续向量。在这项工作中,我们发现字典学习可以将这些词向量作为更基本的词因子的线性组合。我们证明了许多学习的因素具有令人惊讶的强大的语义或语法意义,对应于以前通过人工检查确定的因素。因此,字典学习为理解词嵌入表示提供了强大的可视化工具。此外,我们表明,字的因素可以帮助识别关键的语义和句法差异,在词类比任务,并改善国家的最先进的词嵌入技术在这些任务中的大幅度。
2021-03-15 cs.CL cs.LG
Misspelling Oblivious Word Embeddings
Facebook AI(Facebook人工智能);Spotify(Spotify(声田))
在本文中,我们提出了一种方法来学习词嵌入,是弹性的拼写错误。现有的词嵌入对包含不可忽略数量的词汇表外词的畸形文本的适用性有限。我们提出了一种方法结合FastText与子词和监督任务学习拼写错误模式。在我们的方法中,每个单词的拼写错误都嵌入到正确的变体附近。我们在公开发布的新数据集上训练这些嵌入。最后,我们通过实验证明了这种方法在使用公共测试集的内在和外在NLP任务上的优势。
2019-05-23 cs.CL cs.LG
Tailoring Word Embeddings for Bilexical Predictions: An Experimental Comparison
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Xerox Research Centre Europe(施乐欧洲研究中心)
我们研究的问题,诱导词嵌入,是专为一个特定的双词关系。我们的学习算法采取现有的词汇向量空间,并压缩它,从而得到的词嵌入是一个很好的预测目标双语关系。在实验中,我们表明,特定于任务的嵌入可以同时提高词汇预测任务的质量和效率。
2015-04-10 cs.CL cs.LG
Shape of Elephant: Study of Macro Properties of Word Embeddings Spaces
Yandex
预先训练的单词表示成为许多NLP任务的关键组成部分。然而,词嵌入的全局几何结构仍然知之甚少。在本文中,我们证明了一个典型的词嵌入云是一个高维的单形与可解释的顶点,并提出了一个简单而有效的方法来枚举这些顶点。我们表明,该方法可以检测和描述的GloVe和fasttext空间的顶点的单纯形。
2021-06-13 cs.CL cs.LG
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah(犹他大学)
词嵌入带有来自它们所训练的文本的刻板内涵,这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制,用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断,通过偏见缓解策略静态词嵌入(GloVe)。此外,我们表明,性别偏见,这些技术扩展到语境化嵌入时,选择性地只适用于静态组件的语境化嵌入(ELMo,BERT)。
2019-11-26 cs.CL cs.LG
Learning dynamic word embeddings with drift regularisation
LIMSI(机械与工程科学计算机实验室);CNRS(法国国家科学研究中心);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎萨克雷大学);Société Générale(法国兴业银行)
词语的用法、含义和内涵随着时间的推移而变化。历时词嵌入被用于以无监督的方式把握这些变化。在本文中,我们使用动态伯努利嵌入模型的变体来学习动态词嵌入,以识别模型的显着属性。比较是在纽约时报注释语料库的英文和一组文章,从法国报纸世界报涵盖同一时期。这使我们能够定义一个管道来分析两种语言中单词使用的演变。
2019-07-22 cs.CL cs.LG
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
MEIM: Multi-partition Embedding Interaction Beyond Block Term Format for Efficient and Expressive Link Prediction
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
知识图嵌入的目的是预测知识图谱中实体之间缺失的关系。基于张量分解的模型,如ComplEx,在效率和表达能力之间提供了良好的权衡,这是至关重要的,因为现实世界的知识图谱的大小。最近的多分区嵌入相互作用(MEI)模型通过使用块项张量格式包含这些模型,并提供了一个系统的解决方案的权衡。然而,MEI有几个缺点,其中一些来自其包含的基于张量分解的模型。在本文中,我们解决这些缺点,并介绍了多分区嵌入相互作用改进的超越块项格式(MEIM)模型,独立的核心张量的合奏效果和软正交的最大秩映射,除了多分区嵌入。MEIM提高了表现力,同时仍然非常高效,帮助它超越强大的基线,并使用相当小的嵌入大小在困难的链接预测基准上实现最先进的结果。源代码发布于https://github.com/tranhungnghiep/MEIM-KGE。
2022-10-04 cs.AI cs.LG
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool(利物浦大学);Japan Advanced Institute of Science and Technology(日本先进科学技术大学);National Institute of Informatics(日本国立信息学研究所);Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project(日本科学技术振兴机构 ERATO 河原林大型图项目)
分布式词嵌入在许多自然语言处理(NLP)任务中表现出优越的性能。然而,它们的表现在不同的任务中有很大差异,这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此,我们认为,重要的是要结合现有的词嵌入,以产生更准确和完整的\emph{meta-embeddings}的话。为此,我们提出了一种无监督的局部线性元嵌入学习方法,该方法将预训练的词嵌入作为输入,并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同,该方法学习词汇表中所有单词的全局投影,我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外,我们表明,矢量拼接,以前提出的高度竞争力的基线方法集成词嵌入,可以作为一个特殊的情况下,所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明,我们的元嵌入在几个基准数据集上的性能明显优于现有方法,为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
On The Expressive Power of Knowledge Graph Embedding Methods
本文提出一个数学框架比较知识图谱嵌入方法的推理能力,证明STransE优于TransComplEx,并提出新方法STransCoRe结合TransCoRe见解改进STransE以降低空间复杂度。
2024-07-26 cs.AI cs.LG
A Classification Approach to Word Prediction
语言模型的最终目标是在给定上下文的情况下准确预测缺失单词的值。我们提出了一种单词预测的方法,该方法基于学习每个单词的表示作为其上下文中的单词和语言学谓词的函数。这种方法提出了一些我们要解决的新问题。首先,为了学习好的单词表征,有必要使用上下文的表达性表征。我们提出了一种使用外部知识来生成表达性上下文表示的方法,以及一种能够处理以这种方式生成的大量特征的学习方法,这些特征可能有助于每次预测。其次,由于每个预测的“竞争”单词数量很大,因此需要将“注意力集中”在其中一个较小的子集上。我们展示了一个“关注焦点”机制的表现字预测的贡献。最后,我们描述了一个大规模的实验研究中,所提出的方法被证明在单词预测任务产生显着的改善。
2000-09-28 cs.AI cs.CL cs.LG
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL(洛桑联邦理工学院);Iprova SA(Iprova公司)
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中,我们展示了如何训练词嵌入联合二元组,甚至三元组嵌入,结果在改进的unigram嵌入。我们声称,训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息,从而产生更好的独立词嵌入。我们的经验表明,我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool(利物浦大学);Amazon(亚马逊)
给定使用不同算法和词汇资源学习的多个源词嵌入,Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现,源嵌入的简单向量级联是一个有竞争力的基线。然而,目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明,加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作,最大限度地减少成对内积损失。在此理论分析之后,我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明,所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
A Survey On Neural Word Embeddings
Izmir Institute of Technology(伊兹密尔理工学院)
理解人类语言一直是智能机器道路上的一个子挑战。自然语言处理中的意义研究依赖于分布假设,即语言元素从上下文中共同出现的单词中获得意义。概念的分布式表征这一革命性的想法与人类思维的工作方式非常接近,因为一个单词的含义分散在几个神经元中,而失去激活只会轻微影响记忆提取过程。神经词嵌入通过在所有NLP任务中引入实质性的改进,改变了整个NLP领域。在这项调查中,我们提供了一个全面的文献综述神经词嵌入。我们给出了理论基础,并描述了现有的工作之间的相互作用词嵌入和语言建模。我们提供了广泛的覆盖神经词嵌入,包括早期的词嵌入,嵌入针对特定的语义关系,意义嵌入,词素嵌入,最后,上下文表示。最后,我们描述了字嵌入的性能评估和下游任务中的基准数据集以及词嵌入的性能结果。
2021-10-05 cs.AI cs.CL cs.LG
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder(阿格德大学人工智能研究中心(CAIR))
在向量空间中嵌入单词是最先进的自然语言处理(NLP)中基本的第一步。典型的NLP解决方案采用预定义的向量表示,通过在向量空间中共同定位相似的单词来提高泛化能力。例如,Word2Vec是一个自我监督的预测模型,它使用神经网络捕获单词的上下文。类似地,GLoVe是一种流行的无监督模型,结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务,包括情感分析、文档分类和机器翻译。然而,嵌入是密集的浮点向量,这使得它们的计算成本很高,并且难以解释。在本文中,我们建议用几个定义词来表示词的语义,这些词使用命题逻辑。为了产生这样的逻辑嵌入,我们引入了一个基于Tsetlin Machine的自动编码器,它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成,以定义“咖啡”等其他单词,因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准,优于GLoVe的六个分类任务。此外,我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群,演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
Effect of Text Color on Word Embeddings
Kyushu University(九州大学)
在自然场景和文档中,我们可以找到文本与其颜色之间的相关性。例如,“热”这个词通常用红色印刷,而“冷”通常用蓝色印刷。这种相关性可以被认为是表示单词之间语义差异的特征。基于这一观察,我们提出了将文本颜色用于词嵌入的想法。虽然纯文本的词嵌入(例如word2vec)非常成功,但它们通常表示反义词相似,因为它们通常在句子中可以互换。在本文中,我们尝试了两个任务,以验证文本颜色在理解单词的含义,特别是在识别同义词和反义词的有用性。首先,我们量化了书籍封面图像中单词的颜色分布,并分析了颜色与单词含义之间的相关性。其次,我们尝试以词的颜色分布作为约束来重新训练词嵌入。通过观察重新训练前后同义词和反义词的词嵌入的变化,我们的目标是了解在加入文本颜色信息时,哪些词的词嵌入会产生积极或消极的影响。
2020-04-18 cs.CL cs.CV cs.LG