A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design(新加坡科技设计大学)
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上,几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标,训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词,建模的上下文嵌入率矩阵的泰勒级数。我们表明,不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较,并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标,提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础,同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America(美国 NEC 实验室);Princeton(普林斯顿大学)
现代自然语言理解模型依赖于预训练的子词嵌入,但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明,严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后,我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱,但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University(乌普萨拉大学)
跨语言词义消歧(WSD)解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的,并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中,从而产生语义和句法结合的词嵌入,本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明,句法嵌入的高维性对分类任务构成了障碍,需要在未来的研究中进一步解决。
2020-12-09 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest(布加勒斯特大学)
受计算机视觉中广泛应用的视觉词袋模型的启发,提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后,对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入,它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后,通过计算每个超级词嵌入在相应文档中的频率,将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法,并建议构建特定于类的词汇表以获得更好的性能。使用这种表示,我们报告结果的两个文本挖掘任务,即文本分类的主题和极性分类。在这两个任务上,我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University(北京大学)
由于无监督学习方法对上下文变化过于敏感,因此多义词的无监督学习表示产生了大量的伪多义。在本文中,我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法,称为前RPCA,旨在检测伪多感官和真正的多感官。与Ex-RPCA,我们的经验表明,伪多感官系统产生的无监督的方法。此外,多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度(SCWS)数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Decomposing Word Embedding with the Capsule Network
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Hong Kong Polytechnic University(香港理工大学)
词义消歧试图在给定的上下文中学习歧义词的适当含义。现有的预训练语言方法和基于词多嵌入的方法没有充分挖掘无监督词嵌入的能力。在本文中,我们讨论了胶囊网络为基础的方法,利用胶囊的潜力,识别高度重叠的功能和处理分割。我们提出了一种基于Capsule网络的方法,将歧义词的无监督词嵌入分解为上下文特定的意义嵌入,称为CapsDecE 2S。在该方法中,无监督的歧义嵌入被送入胶囊网络,以产生其多个语素类向量,这些向量被定义为基本的语义语言单位的意义。通过注意操作,CapsDecE 2S将单词上下文整合到上下文特定的意义嵌入中,以重建多个语素类向量。为了训练CapsDecE 2S,提出了一种感知匹配训练方法。在该方法中,我们将意义学习转化为一个二元分类,通过匹配和不匹配的标签来明确地学习意义之间的关系。在两个感觉学习任务上对CapsDecE 2S进行了实验评估,即,词在上下文和词义消歧。在Word-in-Context和英语全词词义消歧两个公共语料库上的实验结果表明,CapsDecE 2S模型在上下文词义消歧和词义消歧方面取得了新的进展。
2020-06-30 cs.CL
Enhancing Chinese Intent Classification by Dynamically Integrating Character Features into Word Embeddings with Ensemble Techniques
使用基于神经网络和词嵌入的深度学习方法对英语数据进行了广泛的意图分类研究。中文意图分类的挑战源于这样一个事实,即与大多数单词由26个语音字母组成的英语不同,中文是语标,其中汉字是一个更基本的语义单位,可以提供信息,其含义在上下文中不会变化太多。单独的中文词嵌入可能不足以表示单词,并且预先训练的嵌入可能无法很好地与手头的任务对齐。考虑到不足和利用汉字信息,我们提出了一种低工作量和通用的方法来动态集成字符嵌入的特征映射与基于词嵌入的输入,其产生的单词字符嵌入堆叠上下文信息抽取模块,以进一步结合上下文信息进行预测。在该模型的基础上,我们采用集成方法将单个模型组合起来,得到最终的结果。该方法是数据独立的,不依赖于外部来源,如预先训练的词嵌入。所提出的模型优于基线模型和现有的方法。
2018-05-23 cs.CL
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University(西湖大学)
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的,潜在的信息被集成到词的表示中,这可以帮助建模多义。然而,上下文敏感性也会导致表征的变化,这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中,每个词义的上下文嵌入在上下文中的变化程度。结果表明,语境化的嵌入可以高度一致的上下文。此外,词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是,我们发现单词表征是有位置偏见的,不同语境中的第一个单词往往更相似。我们分析了这种现象,并提出了一种简单的方法来减轻这种偏见,在基于距离的词义消歧设置。
2022-08-20 cs.CL
A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation
National University of Singapore(新加坡国立大学);NUS Interactive and Digital Media Institute(新加坡国立大学互动与数字媒体研究所)
词嵌入是自然语言处理中普遍存在的词表示形式。词嵌入在英语单语词义消歧中已有应用,但比较研究较少。本文试图弥合这一差距,通过检查流行的嵌入任务的单语英语词义消歧。我们的简化方法无需昂贵的再培训即可获得可比的最先进性能。跨语言WSD -其中源语言e中的单词的词义来自单独的目标翻译语言f -也可以帮助语言学习;例如,当为学习者提供目标词汇的翻译时。因此,我们还将词嵌入应用于中文跨语言词义消歧的新任务,并提供了一个公共数据集,以供进一步基准测试。我们还尝试了在LSTM网络中使用词嵌入,令人惊讶地发现基本的LSTM网络并不能很好地工作。我们讨论了这一结果的后果。
2017-04-09 cs.CL
Incremental Sense Weight Training for the Interpretation of Contextualized Word Embeddings
EMORY University(埃默里大学)
我们提出了一种新的在线算法,学习词嵌入中的每个维度的本质,通过最小化上下文嵌入组的组内距离。使用三种最先进的基于神经的语言模型Flair、ELMo和BERT来生成上下文化的词嵌入,以便为相同的词类型生成不同的嵌入,这些嵌入通过SemCor数据集中手动注释的含义进行分组。我们假设并非所有维度对于下游任务都同样重要,以便我们的算法可以检测不必要的维度并丢弃它们,而不会损害性能。为了验证这一假设,我们首先掩模尺寸确定不必要的我们的算法,应用掩蔽的词嵌入的词义消歧任务(WSD),并比较其性能对一个实现的原始嵌入。几个KNN的方法进行了实验,以建立强大的基线WSD。我们的研究结果表明,掩蔽的词嵌入不损害性能,可以提高3%。我们的工作可以用来进行未来的上下文嵌入的可解释性的研究。
2020-05-23 cs.CL
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong(香港城市大学)
词嵌入已经成为自然语言处理的关键,因为它提高了各种任务的经验表现。然而,最近的研究发现,性别偏见是纳入神经词嵌入,下游任务,依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法,这些方法主要集中在减少与性别方向相关的性别偏见,并未能减少词嵌入关系中呈现的性别偏见。在本文中,我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系,利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Hybrid Improved Document-level Embedding (HIDE)
IIT Kharagpur(印度理工学院克勒格布尔分校)
近年来,词嵌入在情感分析中发挥了重要作用。由于词嵌入的生成需要庞大的语料库,许多应用使用预训练的嵌入。尽管取得了成功,但词嵌入存在某些缺点,例如它不能捕获词的情感信息、根据词性标签的上下文信息和特定于域的信息。在这项工作中,我们提出了一种混合改进的文档级嵌入,它将域信息,部分语音信息和情感信息到现有的词嵌入,如GloVe和Word2Vec。它将改进的词嵌入结合到文档级嵌入中。此外,潜在语义分析(LSA)已被用来表示文档作为一个向量。HIDE的生成,结合LSA和文档级嵌入,这是从改进的词嵌入计算。我们用六个不同的数据集测试了HIDE,结果显示,与GloVe和Word2Vec等现有预训练词向量相比,HIDE的准确性有了相当大的提高。我们进一步比较我们的工作与现有的两个文档级情感分析方法。HIDE的性能优于现有系统。
2020-06-01 cs.CL cs.LG
Word Embeddings for Banking Industry
本文构建并评估银行领域专用词嵌入,发现其相较 GloVe、BERT 更能捕捉银行业语义与词语关联,可独立使用或补充通用嵌入。
2023-06-02 cs.AI cs.CL
sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings
Digital Reasoning Systems, Inc.(数字推理系统公司)
神经词表示已被证明在自然语言处理(NLP)任务中是有用的,因为它们能够有效地对复杂的语义和句法词关系进行建模。然而,大多数技术仅对每个单词的一个表示进行建模,尽管单个单词可以具有多个含义或“意义”。一些技术通过使用基于上下文聚类的多个向量来对单词进行建模。然而,最近的神经方法很少关注消费NLP算法的应用。此外,最近的词义模型的训练过程相对于单义嵌入过程是昂贵的。本文提出了一种新的方法,通过基于监督消歧为每个单词建模多个嵌入来解决这些问题,这为消费NLP模型选择意义消歧嵌入提供了一种快速准确的方法。我们证明,这些嵌入可以消除歧义的对比意义,如名义和口头的意义,以及细微差别的意义,如讽刺。我们进一步评估了神经依存句法分析上的词性消歧嵌入,在6种语言中,未标记的附件得分平均减少了8%以上。
2015-11-19 cs.CL cs.LG
Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research
NYU Langone Health(纽约大学朗格尼医学中心)
传统的文本分类模型做了一个词袋的假设,将文本减少到每个文档的单词出现计数。最近的算法,如word2vec,能够使用上下文窗口以完全无监督的方式学习单词之间的语义含义和相似性,并且比以前的方法快得多。每个单词都被投影到向量空间中,使得类似意义的单词如“strong”和“powerful”被投影到相同的一般欧几里得空间中。关于这些嵌入的公开问题包括它们在分类任务中的效用以及构建广泛功能嵌入的最佳属性和文档来源。在这项工作中,我们展示了预训练的嵌入在我们的任务中用于分类的有用性,并证明了在域中为任务构建的自定义词嵌入可以提高性能,而不是在更一般的数据(包括新闻文章或维基百科)上学习的词嵌入。
2018-07-09 cs.CL stat.ML
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑监督训练设置,在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始,并更新它们以学习监督训练数据中单词的特定任务嵌入。然而,对于测试集中的新词,我们必须使用它们的初始嵌入或单个未知嵌入,这通常会导致错误。我们通过学习一个神经网络来解决这个问题,通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的,但在这里,我们将展示其用于改进的依存句法分析(特别是对于含有词汇表外单词的句子),以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Word sense induction using word embeddings and community detection in complex networks
University of São Paulo (USP)(圣保罗大学);Indiana University(印第安纳大学)
词义归纳是从语料库中自动归纳词义的能力。WSI任务首先被提出来克服在词义消歧系统中所需的手动注释语料库的局限性。即使已经提出了几个作品,以诱导词义,现有的系统仍然是非常有限的意义上说,他们利用结构化的,特定领域的知识来源。在本文中,我们设计了一种方法,利用词嵌入研究的最新发现,以产生上下文嵌入,这是嵌入包含有关一个词的语义上下文的信息。为了诱导语义,我们将歧义词集建模为复杂网络。在生成的网络中,如果各自的上下文嵌入相似,则连接两个实例(节点)。在使用成熟的社区发现方法对所获得的上下文嵌入进行聚类后,我们发现所提出的方法对于WSI任务具有优异的性能。我们的方法以完全无监督的方式优于竞争算法和基线,并且不需要任何额外的结构化知识源。
2018-03-22 cs.CL cs.SI
Data Sets: Word Embeddings Learned from Tweets and General Data
Thomson Reuters(汤森路透)
词嵌入是词的低维、稠密和实值向量表示。词嵌入已被用于许多NLP任务。它们通常从大型文本语料库中生成。一个词的嵌入涵盖了它的句法和语义两个方面。推文简短、嘈杂,具有不同于其他类型文本的独特词汇和语义特征。因此,有必要专门从tweet中学习词嵌入。在本文中,我们提出了十个词嵌入数据集。除了从推文数据中学习的数据集之外,我们还从一般数据以及推文与一般数据的组合中构建了嵌入集。一般数据包括新闻文章,维基百科数据和其他网络数据。这十个嵌入模型是从大约4亿条推文和70亿个普通文本单词中学习的。在本文中,我们还提出了两个实验,演示如何使用的数据集在一些NLP任务,如鸣叫情感分析和鸣叫主题分类任务。
2017-08-14 cs.CL cs.SI
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research(微软研究院);Peking University(北京大学);University of Michigan(密歇根大学)
现有的大多数词嵌入方法没有区分不同语境中的同一个词,从而忽略了它们的语境意义。因此,这些词的学习嵌入通常是多种含义的混合。在本文中,我们承认在不同的上下文中同一个词的多重身份,并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库,构建了一个词和词身份的异构网络,用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法,将异构网络进一步嵌入到低维空间中,得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份,包括主题,情感和类别。在真实数据集上的实验结果表明,该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义,并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
Local Homology of Word Embeddings
University of Oxford(牛津大学)
拓扑数据分析(TDA)已被广泛用于解决许多问题。然而,TDA在自然语言处理(NLP)中的应用似乎还处于起步阶段。在本文中,我们试图通过争论为什么TDA工具在分析单词嵌入数据时是一个自然的选择来弥合这一差距。我们描述了一个并行的无监督学习算法的基础上局部同源的数据点,并显示一些实验结果的词嵌入数据。我们看到,词嵌入数据中数据点的局部同源性包含一些信息,这些信息可能用于解决词义消歧问题。
2018-10-24 cs.CL math.AT
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah(犹他大学)
词嵌入带有来自它们所训练的文本的刻板内涵,这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制,用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断,通过偏见缓解策略静态词嵌入(GloVe)。此外,我们表明,性别偏见,这些技术扩展到语境化嵌入时,选择性地只适用于静态组件的语境化嵌入(ELMo,BERT)。
2019-11-26 cs.CL cs.LG
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Learning to Compute Word Embeddings On the Fly
ElementAI(元素人工智能公司);MILA(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学);Jagiellonian University(雅盖隆大学);DeepMind(深度思维公司);Facebook AI Research(脸书人工智能研究院)
自然语言中的词遵循齐普夫分布,即一些词是频繁的,但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差,需要我们在外部数据上预训练嵌入,或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法,用于从少量辅助数据中动态预测稀有词的嵌入,并为下游任务训练端到端的网络。我们表明,这改善了基线的结果,其中嵌入是在阅读理解,识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia(IBM澳大利亚研究院)
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现,需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响,从而影响消歧性能。在这项工作中,我们已经评估了几种类型的功能来自上下文的歧义词,我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明,词嵌入提高了更多传统特征的性能,并允许使用基于长短期记忆(LSTM)节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University(埃默里大学)
近年来,自然语言处理(NLP)已成为人类生活中最重要的领域之一,并有着广泛的应用。作为最基本的任务,词嵌入领域还需要更多的关注和研究。目前,关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中,我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架,我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现,通过将不同的词嵌入映射到联合组件中,可以大大提高性能较低的原始词嵌入的情感性能。此外,我们发现,通过将不同的组件连接在一起,同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路,也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool(利物浦大学);Japan Advanced Institute of Science and Technology(日本先进科学技术大学);National Institute of Informatics(日本国立信息学研究所);Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project(日本科学技术振兴机构 ERATO 河原林大型图项目)
分布式词嵌入在许多自然语言处理(NLP)任务中表现出优越的性能。然而,它们的表现在不同的任务中有很大差异,这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此,我们认为,重要的是要结合现有的词嵌入,以产生更准确和完整的\emph{meta-embeddings}的话。为此,我们提出了一种无监督的局部线性元嵌入学习方法,该方法将预训练的词嵌入作为输入,并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同,该方法学习词汇表中所有单词的全局投影,我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外,我们表明,矢量拼接,以前提出的高度竞争力的基线方法集成词嵌入,可以作为一个特殊的情况下,所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明,我们的元嵌入在几个基准数据集上的性能明显优于现有方法,为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
Word Mover's Embedding: From Word2Vec to Document Embedding
IBM Research(IBM研究院);Carnegie Mellon University(卡内基梅隆大学);College of William and Mary(威廉与玛丽学院)
虽然著名的Word2Vec技术为单个单词提供了丰富的语义表示,但在扩展以生成无监督句子或文档嵌入方面的成功相对较少。最近的工作表明,文档之间的距离测量称为\emph{Word Mover's Distance}(WMD),对齐语义相似的单词,产生前所未有的KNN分类精度。然而,大规模杀伤性武器是昂贵的计算,它是很难扩展其使用超越KNN分类。在本文中,我们提出了\emph{Word Mover's Embedding }(WME),一种新的方法来建立一个无监督的文档(句子)嵌入从预先训练的词嵌入。在我们对9个基准文本分类数据集和22个文本相似性任务的实验中,所提出的技术始终匹配或优于最先进的技术,在短长度问题上具有显着更高的准确性。
2018-10-30 cs.AI cs.CL cs.LG
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(国家研究委员会)
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码,并且已经证明在许多NLP任务中是有用的,包括词义消歧,机器翻译和情感分析,仅举几例。在有监督的任务中,如多类文本分类(本文的重点),似乎很有吸引力,可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了(监督)词类嵌入(WCE),并表明,当连接到(无监督)预训练的词嵌入时,它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据,表明WCE在多类分类准确性方面得到了一致的提高,使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Jointly Learning Word Embeddings and Latent Topics
The Chinese University of Hong Kong(香港中文大学);Cardiff University(卡迪夫大学)
诸如Skip-gram之类的词嵌入模型基于在文本语料库中观察到的局部词搭配模式来学习每个词的向量空间表示。另一方面,潜在主题模型采取更全局的观点,查看语料库中的单词分布,为每个单词的出现分配一个主题。这两种范式在如何表示词出现的意义上是互补的。虽然一些先前的工作已经着眼于使用词嵌入来提高潜在主题的质量,并且相反地,在使用潜在主题来提高词嵌入时,这样的“两步”方法不能捕获两个范例之间的相互作用。在本文中,我们提出了STE,一个框架,可以学习词嵌入和潜在的主题在一个统一的方式。STE自然地获得特定主题的词嵌入,从而解决了一词多义的问题。同时,它还学习主题的术语分布,以及文档的主题分布。我们的实验结果表明,STE模型确实可以生成有用的特定主题的词嵌入和连贯的潜在主题,在一个有效的和高效的方式。
2017-06-21 cs.CL cs.IR cs.LG
Text classification with word embedding regularization and soft similarity measure
Masaryk University(马萨里克大学);Faculty of Informatics(信息学院)
自从Mikolov等人的开创性工作以来,词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量,如软余弦度量(SCM)和词移动者距离(WMD),被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色,但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度,但其在文本分类上的性能从未与WMD进行过比较。最近,两种词嵌入正则化技术被证明可以减少存储和内存成本,并提高训练速度,文档处理速度以及词类比,词相似性和语义文本相似性的任务性能。然而,这些技术对文本分类的影响尚未得到研究。在我们的工作中,我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估,我们使用$k$ NN分类器和六个标准数据集:BBCSPORT,TWITTER,OHSUMED,REUTERS-21578,AMAZON和20 NEWS。我们发现,与非正则化词嵌入相比,正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序,通过Cholesky分解得到这样的正则化嵌入。我们还表明,具有正则化词嵌入的SCM在文本分类方面明显优于WMD,并且速度快了10,000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
词嵌入已经被证明对NLP任务有很大的好处。然而,在矢量表示中存在改进的空间,因为当前的词嵌入通常包含不必要的信息,即,噪声我们提出了两个新的模型,以改善词嵌入的无监督学习,以产生字去噪嵌入。基于深度前馈神经网络滤波器,通过增强原始词嵌入中的显著信息和减弱噪声,得到词去噪嵌入。基准测试任务的结果表明,过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University(普渡大学)
静态词嵌入编码词关联,广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获,嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词,基于他们的词嵌入功能,揭示潜在的属性词的关联形成的嵌入空间,而不引入任何确认偏见。我们的研究结果表明,在嵌入训练(CBOW与skip-gram)的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外,经验表明,即使在相同的语料库上训练时,在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性,从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology(奈良先端科学技术大学);Tokyo Metropolitan University(东京都立大学)
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性,特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验,使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明,我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
静态的词嵌入用一个向量来表示词,不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上,我们引入了动态上下文化的词嵌入,它代表了语言和语言外语境的函数。基于预训练的语言模型(PLM),动态上下文化的词嵌入联合建模时间和社会空间,这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析,我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.(Yik Yak公司);Georgia Institute of Technology(佐治亚理工学院)
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计,这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入,结合形态信息,捕捉共享的子词特征。与以前的工作,直接从语素构建词嵌入,我们结合形态和分布信息在一个统一的概率框架,其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布,这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进,也在下游的词性标注任务。
2016-09-24 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business(雅典经济与商业大学)
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中,我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具,用于测试希腊词嵌入,通过提供“类比”,“相似度得分”和“最相似的话”的功能。通过我们的探索者,人们可以与希腊词向量互动。
2018-10-26 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
通用词嵌入是在大规模通用语料库上训练的;领域特定(DS)词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入,称为域自适应(DA)词嵌入,通过使用典型相关分析(CCA)或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明,DA嵌入大大优于通用和DS嵌入时,作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University(石溪大学)
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗?词嵌入实验的可重复性如何?所有的词嵌入技术都同样可靠吗?在本文中,我们提出了评估方法,学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下(其中他们受到不同的随机初始化)的相似性。我们的初步结果表明,我们的度量不仅测量了词嵌入方法的内在属性,而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益,而不支付严格的操作在子词汇水平的成本。我们的方法很简单:在任务特定的训练之前,我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务:词相似性,词的类比,和词性标注。
2017-07-21 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下,人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法,而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同,我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式,并学习的约束,必须满足无偏词嵌入自动从字典定义的话。具体地,我们学习编码器以生成输入词嵌入的去偏版本,使得它(a)保留预训练的词嵌入的语义,(b)根据字典同意词的无偏定义,以及(c)保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明,该方法可以准确地去除预训练词嵌入中编码的不公平偏见,同时保留有用的语义。
2021-01-23 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而,词嵌入对于下游NLP任务的有效性受到词汇表外(OOV)词的限制,对于这些词,嵌入不存在。在本文中,我们提出了MIMICK,一种方法来生成OOV词嵌入组成,通过学习一个函数的拼写分布嵌入。与之前的工作不同,MIMICK不需要对原始词嵌入语料库进行重新训练;相反,学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上,MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中,它与有监督的基于字符的模型具有竞争力(和互补性)。
2017-07-21 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington(华盛顿大学);Nanjing University(南京大学)
众所周知,不同的算法、训练过程和语料库会产生不同的词嵌入。然而,对不同嵌入空间之间的关系知之甚少,即不同的嵌入集合彼此偏离多远。在本文中,我们提出了一种新的度量称为相对成对内积距离(RPD)量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质,我们系统地研究了不同算法的词嵌入之间的关系,并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足,并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs(铜城实验室)
在本文中,我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集,使用内部开发的高质量Web抓取语料库在word2vec,GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India(微软印度)
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序,以及用于构建句子,段落和文档的表示。最近,人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用,从而有益于若干现实世界的应用。在这项工作中,我们提出了一种新的算法,有效地结合了PCA的降维与最近提出的后处理算法,构建低维的词嵌入。对12个标准词相似度基准的实证评估表明,我们的算法将嵌入维数降低了50%,同时实现了类似或(更经常)更好的性能比高维嵌入。
2017-11-21 cs.CL
Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition
TTI-Chicago(芝加哥丰田技术研究院);IBM Research AI(IBM研究院人工智能部门)
用于端到端自动语音识别的直接声学到字(A2 W)系统比子字系统更易于训练,并且解码更有效。然而,A2 W系统在数据有限的训练时间和在识别训练词汇表之外的单词的解码时间可能存在困难。为了解决这些缺点,我们调查使用最近提出的声学和声学接地词嵌入技术在A2 W系统。该思想基于将AWE识别器的最终pre-softmax权重矩阵视为词嵌入向量矩阵,并使用外部训练的词嵌入集来提高该矩阵的质量。特别是,我们介绍了两个想法:(1)在训练时间之间的外部嵌入和识别器的权重,以及(2)在测试时间使用的词嵌入预测词汇表外的话。我们的词嵌入模型是基于声学的,也就是说,它是与声学嵌入联合学习的,以便对词的声学语音内容进行编码;并且它是参数化的,因此它可以嵌入任何任意(可能超出词汇表)字符序列。我们发现,这两种技术都提高了A2 W识别器的性能对话电话语音。
2019-03-29 cs.CL
New word analogy corpus for exploring embeddings of Czech words
University of West Bohemia(西波希米亚大学);NTIS—New Technologies for the Information Society(NTIS—新信息技术学会)
词嵌入方法在自然语言处理的许多任务中被证明是非常有用的。关于英语单词和短语的词嵌入的研究已经很多了,但是对于其他语言的研究却很少。我们在这篇论文中的目标是探索最先进的词嵌入方法在捷克语中的行为,捷克语的特点是非常丰富的形态。我们介绍了新的语料库词类比任务,检查语法,形态句法和语义特性的捷克语单词和短语。我们用Word2Vec和GloVe算法进行了实验,并在此语料库上讨论了结果。该语料库可供研究界使用。
2016-08-02 cs.CL
One Word Is Not Enough: Simple Prompts Improve Word Embeddings
GodelLabs
通过简单提示提升词嵌入效果,显著提高词相似性相关性,超越传统静态嵌入方法。
2025-12-07 cs.CL