Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL(洛桑联邦理工学院);Iprova SA(Iprova公司)
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中,我们展示了如何训练词嵌入联合二元组,甚至三元组嵌入,结果在改进的unigram嵌入。我们声称,训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息,从而产生更好的独立词嵌入。我们的经验表明,我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles(加州大学洛杉矶分校);Stony Brook University(石溪大学)
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇,在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典,这些种子词典的获取成本很高,或者需要包含粗糙和噪声对齐的平行句子。相反,我们提出了BilLex,利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下,BilLex采用了一种新的词对策略,自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估,发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University(台湾大学)
词嵌入是一种现代的分布式词表示方法,广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法,并且随后执行自然语言处理的下游任务,例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集,通过代数计算来执行类比推理。本文从2,388个中文法典语料库中提取5种法律关系,建立1,134个法律类比推理问题集(LARQS),并将其用于评估中文词嵌入模型的准确性。此外,我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
SAT Based Analogy Evaluation Framework for Persian Word Embeddings
Shahid Beheshti University(沙希德·贝赫什提大学)
近年来,词嵌入作为一种将词转换为向量的新方法引起了人们的特别兴趣。如何理解词的语义有多少被转化到嵌入向量中已经成为一个焦点。这一点很重要,因为嵌入将被用作下游NLP应用程序的基础,并且端到端评估应用程序以识别所使用的嵌入模型的质量将是昂贵的。一般来说,词嵌入是通过一系列测试来评估的,包括类比测试。在本文中,我们提出了一个波斯语嵌入模型的测试框架。波斯语是一种低资源语言,没有丰富的语义基准来评估这种语言的词嵌入模型。在本文中,我们介绍了一个评估框架,包括手工制作的波斯SAT的类比数据集,colliquial测试集(特定于波斯语)和基准研究的语义评估任务的各种参数的影响。
2021-06-29 cs.AI cs.CL cs.LG
Composing Knowledge Graph Embeddings via Word Embeddings
Northeastern University(东北大学);Ulster University(阿尔斯特大学)
从已有的知识图谱中学习知识图谱的嵌入对于知识图谱的完善非常重要。对于具有头实体$h$的事实$(h,r,t)$,头实体$h$与尾实体$t$具有关系$r$,当前方法旨在学习低维表示$(\mathbf{h},\mathbf{r},\mathbf{t})$,每个低维表示分别对应于$(h, r, t)$中的元素。由于$(\mathbf{h},\mathbf{r},\mathbf{t})$是从知识图谱内的现有事实学习的,因此这些表示不能用于检测未知事实(如果实体或关系从未出现在知识图谱中)。本文提出了一种新的方法,称为transW,旨在超越目前的工作,组成知识图谱嵌入使用词嵌入。考虑到一个实体或关系包含一个或多个单词(通常),学习从单词嵌入空间到知识嵌入空间的映射函数是明智的,它显示了如何使用人类单词构建实体。更重要的是,使用词嵌入构成知识嵌入使得处理出现的新事实(新实体或关系)成为可能。使用三个公共数据集的实验结果表明,建议的TransW的一致性和优异的性能。
2019-09-09 cs.AI cs.CL cs.LG
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近,上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中,我们研究的影响,这种概念的变化,在词嵌入计算与性别偏见。我们的分析包括不同的措施,以前在文献中应用到标准的词嵌入。我们的研究结果表明,语境化的词嵌入是更少的偏见比标准的,即使后者是去偏见。
2019-04-18 cs.CL cs.LG
Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Comparative Analysis of Word Embeddings for Capturing Word Similarities
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University(圣西里尔与圣美多迪乌斯大学计算机科学与工程学院)
分布式语言表示已经成为各种自然语言处理任务中最广泛使用的语言表示技术。大多数基于深度学习技术的自然语言处理模型使用已经预先训练的分布式单词表示,通常称为词嵌入。确定最定性的词嵌入对于此类模型至关重要。然而,选择适当的词嵌入是一个复杂的任务,因为投影的嵌入空间是不直观的人。在本文中,我们探讨了不同的方法来创建分布式单词表示。我们执行几个国家的最先进的词嵌入方法的内在评价。它们在捕获词相似性方面的性能与现有的词对相似性基准数据集进行了分析。本文对不同词嵌入方法获得的相似度与真实词相似度进行了相关性分析。
2020-05-08 cs.CL cs.LG
Word Embeddings Are Capable of Capturing Rhythmic Similarity of Words
Isfahan University of Technology(伊斯法罕理工大学)
诸如Word2Vec和GloVe之类的词嵌入系统在NLP的深度学习方法中是众所周知的。这在很大程度上是由于它们能够捕捉单词之间的语义关系。在这项工作中,我们研究了他们的有用性,而不是捕捉节奏相似的话。结果表明,与其他词相比,这些嵌入分配给押韵词的向量彼此更相似。GloVe在这方面的表现也相对优于Word2Vec。我们还提出了第一种度量的节奏相似性的一对字的量化。
2022-04-14 cs.CL cs.LG
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen(亚琛工业大学);L3S Research Center(L3S研究中心);University of Mannheim(曼海姆大学);GESIS(盖泽斯社会科学研究所);CSH Vienna(维也纳复杂科学中心)
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度(例如好与坏,正确与错误)嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度,但它们并不是为了处理一词多义而设计的,即它们不能很容易地区分词的不同意义。为了解决这个问题,我们提出了SensePOLAR,原来的POLAR框架的扩展,使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平,可与原始的上下文词嵌入在各种自然语言处理任务,包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制,为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
Interactive Re-Fitting as a Technique for Improving Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。虽然词嵌入已被证明在自然语言处理任务中有许多实际用途,但它们反映了它们所训练的语料库的属性。最近的研究表明,对词嵌入进行后处理,以应用在词典中找到的信息,可以提高其质量。我们通过使其具有交互性来建立这种后处理技术。我们的方法使人类有可能通过移动单词集合来调整词嵌入空间的部分。该功能的一个激励用例是使用户能够识别并减少词嵌入中存在的偏见。我们的方法允许用户触发选择性的后处理,因为他们与词嵌入和评估潜在的偏见。
2020-09-30 cs.CL cs.LG
hauWE: Hausa Words Embedding for Natural Language Processing
Ahmadu Bello University(阿赫马杜·贝洛大学);Bayero University(巴耶罗大学)
词嵌入(分布式词向量表示)已经成为许多自然语言处理(NLP)任务的重要组成部分,例如机器翻译、情感分析、词类比、命名实体识别和词相似性。尽管如此,为豪萨语提供词向量的唯一工作是Bojanowski等人的工作。[1]使用fastText训练,仅由几个词向量组成。这项工作提出了使用Word2Vec的连续词袋(CBoW)和Skip Gram(SG)模型的单词嵌入模型。模型hauWE(Hausa Words Embedding)比之前的模型更大更好,使它们在NLP任务中更有用。为了比较这些模型,他们被用来预测10个最相似的单词,随机选择30个豪萨语单词。hauWE CBoW的88.7%和hauWE SG的79.3%的预测准确率大大优于Bojanowski等人[1]的22.3%。
2019-11-25 cs.AI cs.CL cs.IR
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong(香港城市大学)
词嵌入已经成为自然语言处理的关键,因为它提高了各种任务的经验表现。然而,最近的研究发现,性别偏见是纳入神经词嵌入,下游任务,依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法,这些方法主要集中在减少与性别方向相关的性别偏见,并未能减少词嵌入关系中呈现的性别偏见。在本文中,我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系,利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Discrete Word Embedding for Logical Natural Language Understanding
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们提出了一个无监督的神经模型,用于学习单词的离散嵌入。与现有的离散嵌入不同,我们的二进制嵌入支持类似于连续嵌入的向量算术运算。我们的嵌入表示每个词作为一组命题语句描述的过渡规则在经典/CIPPS规划形式主义。这使得嵌入直接兼容的象征性,国家的最先进的经典规划求解器。
2020-10-15 cs.AI cs.CL
Attention Word Embedding
Rice University(莱斯大学)
词嵌入模型学习词的语义丰富的向量表示,并广泛用于初始化自然处理语言(NLP)模型。word 2 vec的流行的连续词袋(CBOW)模型通过屏蔽句子中的给定单词来学习向量嵌入,然后使用其他单词作为上下文来预测它。CBOW的局限性在于,它在进行预测时对上下文单词进行同等权重,这是低效的,因为某些单词的预测值比其他单词高。我们通过引入注意力词嵌入(AWE)模型,将注意力机制集成到CBOW模型中来解决这种低效率问题。我们还提出了AWE-S,其中包括子字信息。我们证明了AWE和AWE-S在各种单词相似性数据集上以及用于NLP模型初始化时的性能都优于最先进的词嵌入模型。
2020-06-01 cs.CL cs.LG
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College(威廉姆斯学院)
词嵌入是一种功能强大的自然语言处理技术,但它们非常难以解释。为了实现可解释的NLP模型,我们创建了每个维度都是可解释的向量。通过内在可解释性,我们指的是一个系统,其中每个维度都与一些人类可理解的提示相关联,这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入,我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的:它们的每个维度都是从一个自然语言单词或特定的语法概念创建的,并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入,其中基集中的每个向量本身就是一个词嵌入。因此,我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明,使用这些稀疏嵌入训练的模型可以实现良好的性能,并且在实践中更具可解释性,包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research(微软研究院);New York University(纽约大学);University of the Basque Country(巴斯克大学)
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义,从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础:我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是:(i)关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义,只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示,但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Deconstructing and reconstructing word embedding algorithms
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学)
非语境化的词嵌入是词的可靠特征表示,用于获得各种NLP应用的高质量结果。鉴于词嵌入在NLP中的历史成功,我们提出了一些最知名的词嵌入算法的回顾。在这项工作中,我们解构Word 2 vec,GloVe,和其他人,到一个共同的形式,揭示了一些必要和充分的条件所需的性能词嵌入。我们发现每个算法:(1)拟合向量-共向量点积以近似逐点互信息(PMI);以及(2)调制损失梯度以平衡弱信号和强信号。我们证明,这两个算法的功能是足够的条件,以构建一个新的词嵌入算法,希尔伯特-最大似然估计。我们发现,它的嵌入在17个内在和外在数据集上获得了与其他算法相当或更好的性能。
2019-11-29 cs.CL cs.LG
Learning Domain-Sensitive and Sentiment-Aware Word Embeddings
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
词嵌入由于其对词的语义表示的有效性而被广泛用于情感分类。给定来自不同领域的评论,用于词嵌入的一些现有方法利用情感信息,但是它们不能产生领域敏感的嵌入。另一方面,其他一些现有的方法可以生成领域敏感的词嵌入,但它们不能区分具有相似上下文但相反情感极性的词。我们提出了一种新的方法来学习领域敏感和情感感知的嵌入,同时捕获信息的情感语义和领域敏感性的个别单词。我们的方法可以自动确定和产生域公共嵌入和域特定嵌入。领域通用词和领域专用词的区分实现了来自多个领域的通用语义的数据增强的优点,并且同时捕获来自不同领域的特定词的不同语义。实验结果表明,我们的模型提供了一种有效的方法来学习领域敏感和情感感知的词嵌入,有利于情感分类在句子级别和词汇术语级别。
2018-05-10 cs.AI cs.CL
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi(印度理工学院德里分校)
在现代NLP应用程序中,词嵌入是一个关键的骨干,可以很容易地在许多任务之间共享。然而,随着文本分布的变化和单词语义随着时间的推移而演变,如果单词表示不符合数据漂移,则使用嵌入的下游应用程序可能会受到影响。因此,保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中,我们解决了这个问题,并提出TransDrift,一个基于变换的预测模型词嵌入。利用Transformer的灵活性,我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中,我们与现有的方法进行比较,并表明我们的模型比基线更准确地预测词嵌入。至关重要的是,通过将预测的嵌入作为下游分类任务的骨干,我们表明,与以前的方法相比,我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research(微软研究院);Peking University(北京大学);University of Michigan(密歇根大学)
现有的大多数词嵌入方法没有区分不同语境中的同一个词,从而忽略了它们的语境意义。因此,这些词的学习嵌入通常是多种含义的混合。在本文中,我们承认在不同的上下文中同一个词的多重身份,并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库,构建了一个词和词身份的异构网络,用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法,将异构网络进一步嵌入到低维空间中,得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份,包括主题,情感和类别。在真实数据集上的实验结果表明,该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义,并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
Hybrid Improved Document-level Embedding (HIDE)
IIT Kharagpur(印度理工学院克勒格布尔分校)
近年来,词嵌入在情感分析中发挥了重要作用。由于词嵌入的生成需要庞大的语料库,许多应用使用预训练的嵌入。尽管取得了成功,但词嵌入存在某些缺点,例如它不能捕获词的情感信息、根据词性标签的上下文信息和特定于域的信息。在这项工作中,我们提出了一种混合改进的文档级嵌入,它将域信息,部分语音信息和情感信息到现有的词嵌入,如GloVe和Word2Vec。它将改进的词嵌入结合到文档级嵌入中。此外,潜在语义分析(LSA)已被用来表示文档作为一个向量。HIDE的生成,结合LSA和文档级嵌入,这是从改进的词嵌入计算。我们用六个不同的数据集测试了HIDE,结果显示,与GloVe和Word2Vec等现有预训练词向量相比,HIDE的准确性有了相当大的提高。我们进一步比较我们的工作与现有的两个文档级情感分析方法。HIDE的性能优于现有系统。
2020-06-01 cs.CL cs.LG
Human-in-the-Loop Refinement of Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。尽管词嵌入模型在机器学习任务中被证明是有用的,但它们可能会捕获不均匀的语义和句法表示,并且可能会无意中反映出它们所训练的语料库中存在的各种偏见。事实证明,对词嵌入进行后处理,应用词典中的信息,可以改善语义关联,从而提高其质量。基于这一想法,我们提出了一个系统,采用了适应字嵌入后处理,我们称之为“互动改装”,以解决一些最艰巨的定性问题,发现在词嵌入。我们的方法允许一个人识别和解决潜在的质量问题与词嵌入互动。这样做的好处是可以避免由谁来决定什么是偏差,或者其他什么质量问题可能影响下游任务。它允许每个组织或实体以迭代和交互的方式在细粒度级别上解决他们可能拥有的问题。它还允许更好地了解词嵌入和词嵌入的改进对机器学习管道的影响。
2021-10-06 cs.CL cs.LG
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
Boston University(波士顿大学);Microsoft Research New England(微软研究院新英格兰分院)
机器学习的盲目应用有放大数据中存在的偏差的风险。词嵌入是一种将文本数据表示为向量的流行框架,已用于许多机器学习和自然语言处理任务。我们发现,即使是在谷歌新闻文章上训练的词嵌入也会表现出令人不安的女性/男性性别刻板印象。这引起了人们的担忧,因为正如我们所描述的,它们的广泛使用往往会放大这些偏见。从几何学上讲,性别偏见首先被证明是由词嵌入中的方向捕获的。第二,性别中性词被证明是线性可分离的性别定义词的词嵌入。使用这些属性,我们提供了一种方法来修改嵌入,以消除性别刻板印象,如接待员和女性之间的关联,同时保持所需的关联,如女王和女性之间的话。我们定义的指标来量化嵌入中的直接和间接性别偏见,并开发算法来“消除”嵌入。使用人群工作者评估以及标准基准,我们经验证明,我们的算法显着减少性别偏见的嵌入,同时保留其有用的属性,如聚类相关的概念和解决类比任务的能力。由此产生的嵌入可以在不放大性别偏见的应用中使用。
2016-07-21 cs.AI cs.CL cs.LG
Word Embeddings and Their Use In Sentence Classification Tasks
Hebrew University of Jerusalm(耶路撒冷希伯来大学)
本文分为两部分。第一部分讨论了词嵌入。我们讨论了它们的必要性,一些创建它们的方法,以及它们的一些有趣的属性。我们还将它们与图像嵌入进行比较,并了解如何将词嵌入和图像嵌入结合起来执行不同的任务。在第二部分中,我们实现了一个在预先训练的词向量上训练的卷积神经网络。该网络用于几个分级分类任务,并实现了最先进的(或可比的)结果,证明了预训练词嵌入比随机嵌入的强大功能。
2016-10-26 cs.CL cs.LG
Deconstructing word embedding algorithms
BMO AI Capabilities Team(BMO人工智能能力团队);Bank of Montreal(蒙特利尔银行);Mila - Québec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学)
词嵌入是词的可靠特征表示,用于获得各种NLP应用的高质量结果。无语境的词嵌入在当今的许多NLP任务中使用,特别是在高内存容量和GPU不可用的资源有限的设置中。鉴于词嵌入在NLP中的历史成功,我们提出了一些最知名的词嵌入算法的回顾。在这项工作中,我们解构Word2vec,GloVe,和其他人,到一个共同的形式,揭示了一些共同的条件,似乎是所需的性能词嵌入。我们相信,本文的理论研究结果可以为未来模型的更明智的发展提供基础。
2020-11-12 cs.AI cs.CL
All Word Embeddings from One Embedding
Tokyo Institute of Technology(东京工业大学);Tohoku University(东北大学);Preferred Networks Inc(Preferred Networks公司)
在用于自然语言处理(NLP)的基于神经网络的模型中,参数的最大部分通常由词嵌入组成。传统的模型准备一个大的嵌入矩阵,其大小取决于词汇量的大小。因此,将这些模型存储在内存和磁盘存储中是昂贵的。在这项研究中,为了减少参数的总数,所有单词的嵌入表示通过转换共享嵌入。所提出的方法,ALONE(所有词嵌入从一个),构建一个词的嵌入通过修改共享嵌入与过滤器向量,这是特定于词,但不可训练。然后,我们将构建的嵌入输入到一个前馈神经网络,以增加其表现力。简单地说,过滤器向量占用与传统嵌入矩阵相同的存储器大小,这取决于词汇表大小。为了解决这个问题,我们还介绍了一个内存有效的过滤器的建设方法。我们表明,我们的ALONE可以充分地作为单词表示通过实验上的重建预训练的词嵌入。此外,我们还进行了NLP应用任务的实验:机器翻译和摘要。我们将ALONE与当前最先进的编码器-解码器模型Transformer相结合,并在WMT 2014英语到德语翻译和DUC 2004非常简短的摘要中获得了相当的分数,参数较少。
2020-10-23 cs.CL cs.LG
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine(洛林大学)
“经典”词嵌入,如Word 2 Vec,已被证明可以根据词的分布特性捕获词的语义。然而,它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系,如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系,但不能直接捕捉这些词的组合属性。据我们所知,最近的研究主要集中在表示学习上,它可以增强一个学习者和另一个学习者的优势。在这项工作中,我们开始探索另一种方法,使用上下文和KB嵌入联合在同一水平上,并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型,并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础,朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University(北京大学);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的,研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中,我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明,该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Word Embeddings for Banking Industry
本文构建并评估银行领域专用词嵌入,发现其相较 GloVe、BERT 更能捕捉银行业语义与词语关联,可独立使用或补充通用嵌入。
2023-06-02 cs.AI cs.CL
Learning Geometric Word Meta-Embeddings
Microsoft India(微软印度)
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间,例如,简单的平均不同的嵌入(一个给定的词)是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings
Digital Reasoning Systems, Inc.(数字推理系统公司)
神经词表示已被证明在自然语言处理(NLP)任务中是有用的,因为它们能够有效地对复杂的语义和句法词关系进行建模。然而,大多数技术仅对每个单词的一个表示进行建模,尽管单个单词可以具有多个含义或“意义”。一些技术通过使用基于上下文聚类的多个向量来对单词进行建模。然而,最近的神经方法很少关注消费NLP算法的应用。此外,最近的词义模型的训练过程相对于单义嵌入过程是昂贵的。本文提出了一种新的方法,通过基于监督消歧为每个单词建模多个嵌入来解决这些问题,这为消费NLP模型选择意义消歧嵌入提供了一种快速准确的方法。我们证明,这些嵌入可以消除歧义的对比意义,如名义和口头的意义,以及细微差别的意义,如讽刺。我们进一步评估了神经依存句法分析上的词性消歧嵌入,在6种语言中,未标记的附件得分平均减少了8%以上。
2015-11-19 cs.CL cs.LG
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑监督训练设置,在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始,并更新它们以学习监督训练数据中单词的特定任务嵌入。然而,对于测试集中的新词,我们必须使用它们的初始嵌入或单个未知嵌入,这通常会导致错误。我们通过学习一个神经网络来解决这个问题,通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的,但在这里,我们将展示其用于改进的依存句法分析(特别是对于含有词汇表外单词的句子),以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier(爱思唯尔)
我们评估了化学专利词嵌入对已知的生物医学嵌入,并表明他们优于后者的外在和内在。我们还表明,使用上下文嵌入可以诱导预测模型的合理性能,这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University(清华大学);Microsoft Research(微软研究院);Nankai University(南开大学)
神经网络技术被广泛应用于获得单词的高质量分布式表示,即,词嵌入,以解决文本挖掘、信息检索和自然语言处理任务。最近,已经提出了有效的方法来从上下文中学习词嵌入,该上下文捕获词之间的语义和句法关系。然而,它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发,提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是,我们引入了一种新的神经网络架构,称为KNET,利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时,该学习架构还能够细化预定义的形态知识,获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明,所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
University of Virginia(弗吉尼亚大学);Salesforce Research(赛富时研究院)
源自人类生成语料库的词嵌入继承了强烈的性别偏见,这可以通过下游模型进一步放大。一些常用的去偏方法,包括开创性的硬去偏算法,应用后处理过程,将预先训练的词嵌入投影到与推断的性别子空间正交的子空间中。我们发现,语义不可知的语料库,如词频捕获的词嵌入负面影响这些算法的性能。我们提出了一个简单但有效的技术,双硬Debias,净化词嵌入对这样的语料库的错误之前,推断和删除性别子空间。三个偏见缓解基准的实验表明,我们的方法保留了预训练的词嵌入的分布语义,同时减少性别偏见,以显着更大的程度比以前的方法。
2020-05-03 cs.CL cs.LG
Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
Indian Institute of Science(印度科学学院);Microsoft Research(微软研究院);IIT Kanpur(印度理工学院坎普尔分校);Carnegie Mellon University(卡内基梅隆大学)
词嵌入已经在几个NLP应用程序中被广泛采用。大多数现有的词嵌入方法利用词的顺序上下文来学习其嵌入。虽然已经有一些尝试利用一个词的句法上下文,这样的方法导致词汇量的爆炸。在本文中,我们克服了这个问题,提出了SynGCN,一个灵活的图形卷积为基础的方法学习词嵌入。SynGCN利用单词的依赖上下文,而不增加词汇量。SynGCN学习的词嵌入在各种内在和外在任务上优于现有方法,并在与ELMo一起使用时提供优势。我们还提出了SemGCN,一个有效的框架,将不同的语义知识,进一步提高学习单词表示。我们提供这两种模型的源代码,以鼓励可重复的研究。
2019-07-20 cs.CL cs.LG
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University(埃默里大学)
近年来,自然语言处理(NLP)已成为人类生活中最重要的领域之一,并有着广泛的应用。作为最基本的任务,词嵌入领域还需要更多的关注和研究。目前,关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中,我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架,我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现,通过将不同的词嵌入映射到联合组件中,可以大大提高性能较低的原始词嵌入的情感性能。此外,我们发现,通过将不同的组件连接在一起,同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路,也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Generalizing Word Embeddings using Bag of Subwords
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们解决的问题,概括预先训练的词嵌入超出固定大小的词汇表,而不使用额外的上下文信息。我们提出了一个子词级的词向量生成模型,将单词视为字符$n$ -gram的袋子。该模型简单,训练速度快,并为罕见或未见过的单词提供了良好的向量。实验结果表明,该模型在英语单词相似度测试以及23种语言的词性标记和形态句法属性的联合预测中均取得了较好的效果,表明该模型具有较强的捕捉单词文本表征与嵌入关系的能力。
2018-09-12 cs.CL cs.LG
Lacking the embedding of a word? Look it up into a traditional dictionary
University of Rome Tor Vergata(罗马第二大学);Guglielmo Marconi University(古列尔莫·马可尼大学)
词嵌入是功能强大的词典,可以轻松捕获语言变体。然而,这些词典未能给意义的罕见的话,这是令人惊讶的是,往往涵盖了传统的词典。在本文中,我们提出使用传统词典中检索到的定义来产生稀有词的词嵌入。为此,我们介绍了两种方法:定义神经网络(DefiNNet)和定义BERT(DefBERT)。在我们的实验中,DefiNNet和DefBERT的表现明显优于最先进的方法以及为生成未知词嵌入而设计的基线方法。事实上,DefiNNet的性能明显优于FastText,后者实现了一种基于n-gram的相同任务的方法,而DefBERT的性能明显优于OOV单词的BERT方法。然后,传统词典中的定义对于为稀有词构建词嵌入是有用的。
2021-09-24 cs.AI cs.CL
CogniFNN: A Fuzzy Neural Network Framework for Cognitive Word Embedding Evaluation
词嵌入能够反映语义表征,嵌入质量可以用人类自然阅读相关认知数据源进行综合评价。在本文中,我们提出了CogniFNN框架,这是第一次尝试使用模糊神经网络来提取非线性和非平稳特性的英语词嵌入对相应的认知数据集的评价。在我们的实验中,我们使用了15个人类认知数据集在三种模式:EEG,fMRI和眼动跟踪,并选择均方误差和多假设检验作为指标来评估我们提出的CogniFNN框架。与最近的先驱框架相比,我们提出的CogniFNN对上下文无关(GloVe)和上下文相关(BERT)词嵌入的预测误差较小,并且对随机生成的词嵌入实现了更高的显著性比率。我们的研究结果表明,CogniFNN框架可以提供一个更准确和全面的认知词嵌入的评估。这对于进一步的外部自然语言处理任务的词嵌入评价具有潜在的意义。
2021-07-29 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码(BPE)算法来表示子字。我们评估了生物医学词嵌入,获得了比以前的版本更好的结果,这表明随着数据的增加,我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
词嵌入已经被证明对NLP任务有很大的好处。然而,在矢量表示中存在改进的空间,因为当前的词嵌入通常包含不必要的信息,即,噪声我们提出了两个新的模型,以改善词嵌入的无监督学习,以产生字去噪嵌入。基于深度前馈神经网络滤波器,通过增强原始词嵌入中的显著信息和减弱噪声,得到词去噪嵌入。基准测试任务的结果表明,过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Word Embedding Visualization Via Dictionary Learning
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Redwood Center for Theoretical Neuroscience, UC Berkeley(加州大学伯克利分校雷德伍德理论神经科学中心);School of Optometry, UC Berkeley(加州大学伯克利分校视光学院)
基于共现统计的词嵌入技术已被证明是非常有用的提取词的语义和句法表示为低维连续向量。在这项工作中,我们发现字典学习可以将这些词向量作为更基本的词因子的线性组合。我们证明了许多学习的因素具有令人惊讶的强大的语义或语法意义,对应于以前通过人工检查确定的因素。因此,字典学习为理解词嵌入表示提供了强大的可视化工具。此外,我们表明,字的因素可以帮助识别关键的语义和句法差异,在词类比任务,并改善国家的最先进的词嵌入技术在这些任务中的大幅度。
2021-03-15 cs.CL cs.LG
Misspelling Oblivious Word Embeddings
Facebook AI(Facebook人工智能);Spotify(Spotify(声田))
在本文中,我们提出了一种方法来学习词嵌入,是弹性的拼写错误。现有的词嵌入对包含不可忽略数量的词汇表外词的畸形文本的适用性有限。我们提出了一种方法结合FastText与子词和监督任务学习拼写错误模式。在我们的方法中,每个单词的拼写错误都嵌入到正确的变体附近。我们在公开发布的新数据集上训练这些嵌入。最后,我们通过实验证明了这种方法在使用公共测试集的内在和外在NLP任务上的优势。
2019-05-23 cs.CL cs.LG
Tailoring Word Embeddings for Bilexical Predictions: An Experimental Comparison
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Xerox Research Centre Europe(施乐欧洲研究中心)
我们研究的问题,诱导词嵌入,是专为一个特定的双词关系。我们的学习算法采取现有的词汇向量空间,并压缩它,从而得到的词嵌入是一个很好的预测目标双语关系。在实验中,我们表明,特定于任务的嵌入可以同时提高词汇预测任务的质量和效率。
2015-04-10 cs.CL cs.LG
Shape of Elephant: Study of Macro Properties of Word Embeddings Spaces
Yandex
预先训练的单词表示成为许多NLP任务的关键组成部分。然而,词嵌入的全局几何结构仍然知之甚少。在本文中,我们证明了一个典型的词嵌入云是一个高维的单形与可解释的顶点,并提出了一个简单而有效的方法来枚举这些顶点。我们表明,该方法可以检测和描述的GloVe和fasttext空间的顶点的单纯形。
2021-06-13 cs.CL cs.LG
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah(犹他大学)
词嵌入带有来自它们所训练的文本的刻板内涵,这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制,用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断,通过偏见缓解策略静态词嵌入(GloVe)。此外,我们表明,性别偏见,这些技术扩展到语境化嵌入时,选择性地只适用于静态组件的语境化嵌入(ELMo,BERT)。
2019-11-26 cs.CL cs.LG
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University(杜克大学)
词嵌入是自然语言处理中的一个有力工具。在本文中,我们考虑的问题词嵌入合成\-给定向量表示的两个词,计算一个向量的整个短语。我们给出了一个生成模型,可以捕捉特定的句法关系的话。在我们的模型下,我们证明了三个词之间的相关性(由他们的PMI测量)形成一个张量,具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量,其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验,验证我们的假设,并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
Learning dynamic word embeddings with drift regularisation
LIMSI(机械与工程科学计算机实验室);CNRS(法国国家科学研究中心);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎萨克雷大学);Société Générale(法国兴业银行)
词语的用法、含义和内涵随着时间的推移而变化。历时词嵌入被用于以无监督的方式把握这些变化。在本文中,我们使用动态伯努利嵌入模型的变体来学习动态词嵌入,以识别模型的显着属性。比较是在纽约时报注释语料库的英文和一组文章,从法国报纸世界报涵盖同一时期。这使我们能够定义一个管道来分析两种语言中单词使用的演变。
2019-07-22 cs.CL cs.LG