Big Data Small Data, In Domain Out-of Domain, Known Word Unknown Word: The Impact of Word Representation on Sequence Labelling Tasks
NICTA(澳大利亚国家信息与通信技术研究院);The Australian National University(澳大利亚国立大学);The University of Melbourne(墨尔本大学);University of Edinburgh(爱丁堡大学)
词嵌入--可以从未标记的数据中学习的分布式词表示--已经被证明在许多自然语言处理应用中具有很高的实用性。在本文中,我们进行外部评估的五个流行的词嵌入方法的背景下,四个序列标签的任务:POS标记,句法组块,NER和MWE识别。本文的一个特别重点是分析基于任务的更新单词表征的效果。我们发现,当使用词嵌入作为特征时,只要几百个训练实例就足以达到有竞争力的结果,并且词嵌入导致了OOV词和域外的改进。也许更令人惊讶的是,我们的结果表明,不同的词嵌入方法之间几乎没有差异,并且简单的布朗聚类通常在我们考虑的所有任务中与词嵌入竞争。
2015-05-20 cs.CL
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University(清华大学);Microsoft Research(微软研究院);Nankai University(南开大学)
神经网络技术被广泛应用于获得单词的高质量分布式表示,即,词嵌入,以解决文本挖掘、信息检索和自然语言处理任务。最近,已经提出了有效的方法来从上下文中学习词嵌入,该上下文捕获词之间的语义和句法关系。然而,它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发,提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是,我们引入了一种新的神经网络架构,称为KNET,利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时,该学习架构还能够细化预定义的形态知识,获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明,所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval
National Taiwan University(台湾大学)
词嵌入或Word2Vec已经成功地为从词的上下文学习的文本词提供语义。音频Word2Vec被证明可以为从口语单词中的信号中学习到的口语单词(单词的信号片段)提供语音结构。本文提出了一个两阶段的框架来执行语音和语义嵌入的口语单词考虑的上下文。阶段1执行语音嵌入,并解开说话者特征。阶段2然后另外执行语义嵌入。我们进一步建议通过与文本嵌入并行化来评估在阶段2中获得的音频嵌入的语音和语义性质。语音结构和语义之间的相互干扰是不可避免的。例如,“兄弟”和“姐妹”在语义上很接近,但在语音结构上却有很大的不同,而“兄弟”和“麻烦”则相反。但是语音和语义嵌入是有吸引力的,正如在口语文档检索的初步实验中所示。不仅可以基于语音结构来检索包括口头查询的口头文档,而且还可以基于语义来检索语义上与查询相关但不包括查询的口头文档。
2019-01-19 cs.CL cs.SD eess.AS
Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words
UNC Charlotte(北卡罗来纳大学夏洛特分校);University of Virginia(弗吉尼亚大学)
词嵌入是现代自然语言处理专家工具包中最有用的工具之一。它们包含关于每个单词的各种类型的信息,这使得它们成为在任何NLP任务中表示术语的最佳方式。但有些类型的信息是这些模型无法学习的。词语的情感信息就是其中之一。在本文中,我们提出了一种方法,将情感信息的话到这些模型。我们通过增加一个二级训练阶段来实现这一点,该阶段使用情感词汇和基本情感的心理模型。我们表明,将情感模型拟合到预先训练的词向量中可以提高这些模型在情感相似性度量方面的性能。重新训练的模型比原来的模型表现更好,Word2Vec模型提高了13%,GloVe向量提高了29%。这是文献中提出的第一个这样的模型,虽然是初步的,但这些情感敏感模型可以开辟提高各种情感检测技术性能的途径。
2019-06-19 cs.CL cs.IR
Using Word Embeddings in Twitter Election Classification
University of Glasgow(格拉斯哥大学)
词嵌入和卷积神经网络(CNN)在Twitter的各种分类任务中引起了广泛的关注,例如情感分类。然而,用于训练和生成词嵌入的配置对分类性能的影响在现有文献中尚未研究。在本文中,使用Twitter的选举分类任务,旨在检测选举相关的推文,我们调查的背景数据集用于训练的嵌入模型,上下文窗口大小和维数的词嵌入的分类性能的影响。通过比较两个词嵌入模型的分类结果,这两个模型使用不同的背景语料(例如维基百科文章和Twitter微帖子)进行训练,我们表明背景数据类型应该与Twitter分类数据集保持一致,以实现更好的性能。此外,通过评估使用各种上下文窗口大小和维度训练的词嵌入模型的结果,我们发现大的上下文窗口和维度大小更有利于提高性能。我们的实验结果还表明,使用词嵌入和CNN导致统计上显着的改善,在各种基线,如随机,支持向量机与TF-IDF和支持向量机与词嵌入。
2017-03-21 cs.CL cs.IR
Encoding word order in complex embeddings
University of Padua(帕多瓦大学);Tianjin University(天津大学);University of Copenhagen(哥本哈根大学)
在处理文本时,连续的词序很重要。目前,神经网络(NN)通过使用位置嵌入对单词位置进行建模来解决这个问题。问题是位置嵌入捕获单个单词的位置,但不是有序关系(例如,相邻或优先)。我们提出了一种新颖的和原则性的解决方案,建模的全球绝对位置的话,他们的顺序关系。我们的解决方案将先前定义为独立向量的词嵌入推广到变量(位置)上的连续词函数。连续函数在可变位置上的好处是,单词表示随着位置的增加而平滑地移动。因此,不同位置的单词表示可以在连续函数中彼此相关。这些函数的通解被推广到复值域,由于更丰富的表示。我们将CNN,RNN和Transformer NN扩展到复值版本,以纳入我们的复杂嵌入(我们提供所有代码)。在文本分类、机器翻译和语言建模上的实验表明,与经典的词嵌入和位置丰富的词嵌入相比,该方法具有更好的性能。据我们所知,这是NLP中第一个将复值表示中的虚数与具体含义联系起来的工作(即,词序)。
2020-06-28 cs.CL cs.IR
Retrieving Multi-Entity Associations: An Evaluation of Combination Modes for Word Embeddings
Heidelberg University(海德堡大学)
词嵌入作为词之间语义关系的可学习表示已经得到了极大的关注,并且已经被证明改进了传统词表示的结果。然而,很少有人致力于使用嵌入检索的实体协会超越成对关系。在本文中,我们使用流行的嵌入方法训练向量表示的实体注释的新闻语料库,并评估其性能的任务预测实体参与新闻事件与传统的词共现网络作为基线。为了支持多个参与实体的事件查询,我们测试了一些嵌入向量的组合模式。虽然我们发现,即使是最好的组合模式词嵌入不完全达到完整的共现网络的性能,特别是对于罕见的实体,我们观察到,不同的嵌入方法模型不同类型的关系,从而表明集成方法的潜力。
2019-05-22 cs.CL cs.IR
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL(洛桑联邦理工学院);Iprova SA(Iprova公司)
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中,我们展示了如何训练词嵌入联合二元组,甚至三元组嵌入,结果在改进的unigram嵌入。我们声称,训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息,从而产生更好的独立词嵌入。我们的经验表明,我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Jointly Learning Word Embeddings and Latent Topics
The Chinese University of Hong Kong(香港中文大学);Cardiff University(卡迪夫大学)
诸如Skip-gram之类的词嵌入模型基于在文本语料库中观察到的局部词搭配模式来学习每个词的向量空间表示。另一方面,潜在主题模型采取更全局的观点,查看语料库中的单词分布,为每个单词的出现分配一个主题。这两种范式在如何表示词出现的意义上是互补的。虽然一些先前的工作已经着眼于使用词嵌入来提高潜在主题的质量,并且相反地,在使用潜在主题来提高词嵌入时,这样的“两步”方法不能捕获两个范例之间的相互作用。在本文中,我们提出了STE,一个框架,可以学习词嵌入和潜在的主题在一个统一的方式。STE自然地获得特定主题的词嵌入,从而解决了一词多义的问题。同时,它还学习主题的术语分布,以及文档的主题分布。我们的实验结果表明,STE模型确实可以生成有用的特定主题的词嵌入和连贯的潜在主题,在一个有效的和高效的方式。
2017-06-21 cs.CL cs.IR cs.LG
Text classification with word embedding regularization and soft similarity measure
Masaryk University(马萨里克大学);Faculty of Informatics(信息学院)
自从Mikolov等人的开创性工作以来,词嵌入已经成为许多自然语言处理任务的优选单词表示。从词嵌入中提取的文档相似性度量,如软余弦度量(SCM)和词移动者距离(WMD),被报道在语义文本相似性和文本分类方面达到最先进的性能。尽管WMD在文本分类和语义文本相似性方面表现出色,但其超立方平均时间复杂度是不切实际的。SCM具有二次最坏情况时间复杂度,但其在文本分类上的性能从未与WMD进行过比较。最近,两种词嵌入正则化技术被证明可以减少存储和内存成本,并提高训练速度,文档处理速度以及词类比,词相似性和语义文本相似性的任务性能。然而,这些技术对文本分类的影响尚未得到研究。在我们的工作中,我们调查的两个词嵌入正则化技术的文档处理速度和任务性能的SCM和WMD对文本分类的单独和联合效果。为了进行评估,我们使用$k$ NN分类器和六个标准数据集:BBCSPORT,TWITTER,OHSUMED,REUTERS-21578,AMAZON和20 NEWS。我们发现,与非正则化词嵌入相比,正则化词嵌入的平均$k$ NN测试错误减少了39%。我们描述了一个实用的程序,通过Cholesky分解得到这样的正则化嵌入。我们还表明,具有正则化词嵌入的SCM在文本分类方面明显优于WMD,并且速度快了10,000倍以上。
2020-03-10 cs.CL cs.IR cs.LG
A Comparison of Word Embeddings for the Biomedical Natural Language Processing
词嵌入已被广泛用于生物医学自然语言处理(NLP)应用中,因为它们提供词的向量表示,捕获词的语义属性和词之间的语言关系。许多生物医学应用使用不同的文本资源(例如,Wikipedia和生物医学文章)来训练词嵌入,并将这些词嵌入应用于下游生物医学应用。然而,很少有工作评估的词嵌入训练从这些resources.In这项研究中,我们提供了一个实证评估的词嵌入训练从四个不同的资源,即临床笔记,生物医学出版物,维基百科和新闻。我们进行了定性和定量的评价。对于定性评估,我们手动检查五个最相似的医学词到一组给定的目标医学词,然后通过这些词嵌入的可视化分析词嵌入。对于定量评价,我们进行了内在和外在的评价。根据评估结果,我们可以得出以下结论。首先,在临床笔记和生物医学出版物上训练的词嵌入可以更好地捕捉医学术语的语义,并找到更多相关的相似医学术语,并且与维基百科和新闻上训练的这些更接近人类专家的判断。其次,下游生物医学NLP应用的词嵌入质量不存在一致的全球排名。然而,添加词嵌入作为额外的功能将改善大多数下游任务的结果。最后,对于任何下游生物医学NLP任务,在生物医学领域语料库上训练的词嵌入不一定比在其他一般领域语料库上训练的词嵌入具有更好的性能。
2018-07-18 cs.IR
A data-driven strategy to combine word embeddings in information retrieval
在自然语言处理和信息检索中,词嵌入是文档的单字表示中的词的重要描述符。查询的表示一直是这一领域最关键的挑战之一,因为它由几个术语组成,几乎没有描述能力。诸如平均词嵌入之类的策略可以丰富查询的描述能力,因为它们有利于从表征这些方法的连续向量表示中识别相关术语。我们提出了一个数据驱动的策略来结合词嵌入。我们使用Idf组合的嵌入表示查询,这些表示优于平均词嵌入最近提出的文献。基准数据上的实验结果表明,我们的建议表现良好,这表明数据驱动的词嵌入组合是一个很有前途的研究线在ad-hoc信息检索。
2021-05-26 cs.IR
Using Centroids of Word Embeddings and Word Mover's Distance for Biomedical Document Retrieval in Question Answering
我们提出了一个文件检索方法的问答,表示文件和问题的加权质心的词嵌入和重新排序检索到的文件与放松的词移动器的距离。使用生物医学问题和文件BIOASQ,我们表明,我们的方法是有竞争力的PUBMED。使用top-k近似,我们的方法是快速的,并且很容易移植到其他领域和语言。
2016-08-12 cs.IR
Enhancing Translation Language Models with Word Embedding for Information Retrieval
在本文中,我们探讨使用词嵌入语义资源的信息检索(IR)任务。这种由浅神经网络产生的嵌入已经被证明可以捕捉单词之间的语义相似性(Mikolov等人,2013年)的报告。因此,我们的目标是通过解决术语不匹配问题来增强IR语言模型。为此,我们应用了Zuccon等人(2015)在信息检索中集成和评估神经词嵌入的论文中提出的模型,该模型提出使用词嵌入之间的余弦相似度来估计翻译语言模型的翻译概率。到目前为止,我们得到的结果并没有显示出统计上的显着改善相比,经典的语言模型。
2018-01-11 cs.IR