Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research(微软研究院);New York University(纽约大学);University of the Basque Country(巴斯克大学)
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义,从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础:我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是:(i)关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义,只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示,但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool(利物浦大学);Amazon(亚马逊)
给定使用不同算法和词汇资源学习的多个源词嵌入,Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现,源嵌入的简单向量级联是一个有竞争力的基线。然而,目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明,加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作,最大限度地减少成对内积损失。在此理论分析之后,我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明,所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University(台湾大学)
词嵌入是一种现代的分布式词表示方法,广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法,并且随后执行自然语言处理的下游任务,例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集,通过代数计算来执行类比推理。本文从2,388个中文法典语料库中提取5种法律关系,建立1,134个法律类比推理问题集(LARQS),并将其用于评估中文词嵌入模型的准确性。此外,我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research
NYU Langone Health(纽约大学朗格尼医学中心)
传统的文本分类模型做了一个词袋的假设,将文本减少到每个文档的单词出现计数。最近的算法,如word2vec,能够使用上下文窗口以完全无监督的方式学习单词之间的语义含义和相似性,并且比以前的方法快得多。每个单词都被投影到向量空间中,使得类似意义的单词如“strong”和“powerful”被投影到相同的一般欧几里得空间中。关于这些嵌入的公开问题包括它们在分类任务中的效用以及构建广泛功能嵌入的最佳属性和文档来源。在这项工作中,我们展示了预训练的嵌入在我们的任务中用于分类的有用性,并证明了在域中为任务构建的自定义词嵌入可以提高性能,而不是在更一般的数据(包括新闻文章或维基百科)上学习的词嵌入。
2018-07-09 cs.CL stat.ML
Third-Party Aligner for Neural Word Alignments
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院)
词对齐是指在源语句和目标语句之间找到语义上对等的词。以前的工作已经证明,自我训练可以实现有竞争力的词对齐结果。在本文中,我们建议使用第三方词对齐器生成的词对齐来监督神经词对齐训练。具体地,当微调预训练的跨语言语言模型时,由第三方对齐器对齐的每个词对的源词和目标词被训练为在上下文化嵌入空间中彼此近邻。在各种语言对的基准测试上的实验表明,我们的方法可以通过找到更准确的词对齐和删除错误的词对齐,从而在第三方监督下进行自我纠正,从而获得比各种第三方词对齐器更好的性能,包括目前最好的一个。当我们整合来自各种第三方对齐器的所有监督时,我们实现了最先进的单词对齐性能,对齐出错率平均比最好的第三方对齐器低两个点以上。我们在https://github.com/sdongchuanqi/Third-Party-Supervised-Aligner上发布了我们的代码。
2022-11-08 cs.CL
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College(威廉姆斯学院)
词嵌入是一种功能强大的自然语言处理技术,但它们非常难以解释。为了实现可解释的NLP模型,我们创建了每个维度都是可解释的向量。通过内在可解释性,我们指的是一个系统,其中每个维度都与一些人类可理解的提示相关联,这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入,我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的:它们的每个维度都是从一个自然语言单词或特定的语法概念创建的,并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入,其中基集中的每个向量本身就是一个词嵌入。因此,我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明,使用这些稀疏嵌入训练的模型可以实现良好的性能,并且在实践中更具可解释性,包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research(微软研究院);Peking University(北京大学);University of Michigan(密歇根大学)
现有的大多数词嵌入方法没有区分不同语境中的同一个词,从而忽略了它们的语境意义。因此,这些词的学习嵌入通常是多种含义的混合。在本文中,我们承认在不同的上下文中同一个词的多重身份,并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库,构建了一个词和词身份的异构网络,用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法,将异构网络进一步嵌入到低维空间中,得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份,包括主题,情感和类别。在真实数据集上的实验结果表明,该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义,并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
我们提出了一种用于语音识别评估的常用字错误率(WER)指标的变体,该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后,相邻错误的跨度被转换成具有单词和音节边界的音素,并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词,这些单词调整每个错误区域中的单词对齐标签。我们证明,我们的语音导向的单词错误率(POWER)产生类似的分数WER与更好的单词对齐的附加优势,并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Neural Network-based Word Alignment through Score Aggregation
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Facebook AI Research(脸书人工智能研究院)
我们提出了一个简单的神经网络字对齐,建立源和目标词窗口表示计算对齐分数的句子对。为了实现无监督训练,我们使用聚合操作来汇总给定目标词的对齐分数。软边目标增加真实目标词的得分,同时减少不存在的目标词的得分。与流行的快速对齐模型相比,我们的方法在英语-捷克语上提高了7 AER的对齐精度,在罗马尼亚语-英语上提高了6 AER,在英语-法语对齐上提高了1.7 AER。
2016-06-30 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology(奈良先端科学技术大学);Tokyo Metropolitan University(东京都立大学)
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性,特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验,使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明,我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania(宾夕法尼亚大学)
单词对齐任务,尽管在统计机器翻译(SMT)时代很突出,但在今天是利基和未充分开发的。在这个由两部分组成的教程中,我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++,这是一个无监督的统计单词对齐器,寿命惊人。跳跃到神经机器翻译(NMT)时代,我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器,显示了超越GIZA++性能的缓慢但稳定的进展。最后,我们涵盖了词对齐的当前应用,从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Learning Word Sense Embeddings from Word Sense Definitions
Peking University(北京大学);Collaborative Innovation Center for Language Ability(语言能力协同创新中心)
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的,研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中,我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明,该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University(埃默里大学)
近年来,自然语言处理(NLP)已成为人类生活中最重要的领域之一,并有着广泛的应用。作为最基本的任务,词嵌入领域还需要更多的关注和研究。目前,关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中,我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架,我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现,通过将不同的词嵌入映射到联合组件中,可以大大提高性能较低的原始词嵌入的情感性能。此外,我们发现,通过将不同的组件连接在一起,同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路,也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Graph Neural Networks for Multiparallel Word Alignment
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);LISN(法国国家信息与自动化研究所跨学科数字科学实验室)
在经历了一段时间的下降之后,人们对词对齐的兴趣再次增加,因为它们在类型学研究、跨语言注释投影和机器翻译等领域中的有用性。通常,对齐算法只使用双文本,而不利用许多平行语料库是多平行的这一事实。在这里,我们通过考虑所有语言对来计算多个语言对之间的高质量单词对齐。首先,我们创建一个多平行单词对齐图,将所有双语单词对齐对连接到一个图中。接下来,我们使用图神经网络(GNNs)来利用图结构。我们的GNN方法(i)利用有关输入单词的含义,位置和语言的信息,(ii)结合来自多个平行句子的信息,(iii)从初始对齐中添加和删除边缘,以及(iv)产生一个预测模型,可以推广到训练句子之外。我们发现,社区发现多并行字对齐提供了有价值的信息。我们的方法在三个单词对齐数据集和下游任务上的性能优于以前的工作。
2022-08-10 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University(杜克大学)
词嵌入是自然语言处理中的一个有力工具。在本文中,我们考虑的问题词嵌入合成\-给定向量表示的两个词,计算一个向量的整个短语。我们给出了一个生成模型,可以捕捉特定的句法关系的话。在我们的模型下,我们证明了三个词之间的相关性(由他们的PMI测量)形成一个张量,具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量,其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验,验证我们的假设,并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
End-to-End Neural Word Alignment Outperforms GIZA++
Lilt, Inc.(Lilt公司)
单词对齐曾经是自然语言处理中的核心无监督学习任务,因为它在训练统计机器翻译(MT)模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的,但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用,例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代,但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法,该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型,以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
2020-04-30 cs.CL
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学)
将单词编码为向量的词嵌入是自然语言处理的重要起点,并且通常用于许多基于文本的机器学习任务。然而,在大多数当前的词嵌入方法中,嵌入空间中的相似性在学习中没有被优化。在本文中,我们提出了一种新的邻居嵌入方法,直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走,从而能够更好地揭示词之间的主题。实验结果表明,与现有的词嵌入方法相比,该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
词嵌入已经被证明对NLP任务有很大的好处。然而,在矢量表示中存在改进的空间,因为当前的词嵌入通常包含不必要的信息,即,噪声我们提出了两个新的模型,以改善词嵌入的无监督学习,以产生字去噪嵌入。基于深度前馈神经网络滤波器,通过增强原始词嵌入中的显著信息和减弱噪声,得到词去噪嵌入。基准测试任务的结果表明,过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
On the Dimensionality of Word Embedding
Stanford University(斯坦福大学);Microsoft Corp.(微软公司)
本文对词嵌入及其维数进行了理论上的理解。基于词嵌入的酉不变性,本文提出了一种新的度量词嵌入相似性的度量方法-成对内积损失。使用矩阵扰动理论的技术,我们揭示了一个基本的偏差方差权衡词嵌入的维度选择。这种偏差-方差权衡揭示了许多以前无法解释的经验观察,例如最佳维度的存在。此外,新的见解和发现,如何时以及如何词嵌入是强大的过度拟合,揭示。通过优化PIP损失的偏差-方差权衡,我们可以明确地回答词嵌入的维度选择的公开问题。
2018-12-11 cs.CL cs.LG stat.ML
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);LRI, Univ. Paris-Sud, CNRS(巴黎第十一大学计算机研究实验室,法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中,我们探讨了语境词嵌入的特点,并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案,考虑上下文的多意义词嵌入的噪声(去除),并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入(替换)。实验结果表明,本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐,而不会影响双语词典归纳任务的宏观性能。对于无监督对齐,我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务,因此我们使用多语言BERT解决了这个问题,该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文,大大提高了单词对齐的准确性。在使用中文,日语,德语,罗马尼亚语,法语和英语之间的五个单词对齐数据集的实验中,我们表明,所提出的方法显着优于以前的监督和无监督的单词对齐方法,而无需使用任何双文本进行预训练。例如,我们对中英文数据的F1得分为86.7,比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Learning Bilingual Word Representations by Marginalizing Alignments
University of Oxford(牛津大学)
我们提出了一个概率模型,同时学习双语数据的对齐和分布式表示。通过边缘化词对齐,该模型捕获了一个更大的语义上下文比以前的工作依赖于硬对齐。这种方法的优势在跨语言分类任务中得到了证明,在该任务中,我们的表现优于先前发表的最新技术水平。
2014-05-05 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich(慕尼黑大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
单词对齐对于统计和神经机器翻译(NMT)以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好,NMT中提取对齐与翻译的方法也是如此。然而,大多数方法需要并行的训练数据,并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建,而不依赖于任何并行数据或字典。我们发现,与传统统计对齐器产生的对齐相比,从嵌入创建的对齐对于四种语言对是优越的,并且对于两种语言对是可比的,即使具有丰富的并行数据;例如,语境化嵌入实现了英语-德语的单词对齐F1,比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool(利物浦大学);Department of Computer Science(计算机科学系);University of Liverpool, UK(英国利物浦大学)
从神经语言模型(NLM)(如BERT)生成的上下文化词嵌入表示具有向量的单词,该向量考虑目标单词的语义及其上下文。另一方面,静态词嵌入(如GloVe)通过相对低维、内存和计算效率高的向量表示词,但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义(CDES),一种方法,提取意义相关的信息,从上下文的嵌入,并将其注入到静态嵌入,以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明,CDES可以准确地学习特定于词义的静态嵌入,其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
我们提出了\textit{AutoExtend},一个系统来学习嵌入的同义词和词素。它是灵活的,因为它可以采取任何词嵌入作为输入,不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源,但AutoExtend可以很容易地应用于其他资源,如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University(普渡大学)
静态词嵌入编码词关联,广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获,嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词,基于他们的词嵌入功能,揭示潜在的属性词的关联形成的嵌入空间,而不引入任何确认偏见。我们的研究结果表明,在嵌入训练(CBOW与skip-gram)的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外,经验表明,即使在相同的语料库上训练时,在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性,从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能)
传统上,许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而,在许多语言和专业语料库中,单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术,这不仅导致长尾文本语料库中的不频繁词的嵌入较差,而且还导致处理词汇外词的能力较弱。在本文中,我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明,MorphMine可以将各种语言中的单词分割成人类验证的词素。此外,我们的实验表明,利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Interpretable Word Embeddings via Informative Priors
Linköping University(林雪平大学);Aalto University(阿尔托大学)
词嵌入在NLP任务中表现出了强大的性能。然而,词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明,合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平,同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
Fine-Grained Word Sense Disambiguation Based on Parallel Corpora, Word Alignment, Word Clustering and Aligned Wordnets
提出了一种基于平行语料库的词义消歧方法。该方法利用词对齐和词聚类的最新进展,基于自动提取的翻译等价物,并支持在语料库中的语言可用对齐的词网。根据EuroWordNet建立的原则,这些WordNet与普林斯顿Wordnet保持一致。WSD系统的评估,实施本文所述的方法显示出非常令人鼓舞的结果。在验证模式中使用的相同系统可用于检查和发现多语言对齐的词网(如EQUIPaNet和EuroWordNet)中的对齐错误。
2005-03-10 cs.AI cs.CL
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(国家研究委员会)
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码,并且已经证明在许多NLP任务中是有用的,包括词义消歧,机器翻译和情感分析,仅举几例。在有监督的任务中,如多类文本分类(本文的重点),似乎很有吸引力,可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了(监督)词类嵌入(WCE),并表明,当连接到(无监督)预训练的词嵌入时,它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据,表明WCE在多类分类准确性方面得到了一致的提高,使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Task-Specific Dependency-based Word Embedding Methods
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法,通用的任务,我们设计的特定任务的词嵌入方法,以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架,并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入(DWE),它选择依存关系树中的关键词和目标词的相邻词作为上下文,构建词-上下文矩阵。第二种方法,名为类增强依赖性为基础的词嵌入(CEDWE),学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估,以证明其有效性。实验结果表明,它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Neural semi-Markov CRF for Monolingual Word Alignment
Ohio State University(俄亥俄州立大学);Georgia Institute of Technology(佐治亚理工学院)
单语单词对齐对于研究细粒度编辑操作(即,删除,添加和替换)在文本到文本生成任务,如释义生成,文本简化,中和偏见的语言等,在本文中,我们提出了一种新的神经半马尔可夫CRF对齐模型,通过可变长度跨度统一的单词和短语对齐。我们还创建了一个新的基准与人类注释,涵盖四种不同的文本类型,以评估单语词对齐模型在更现实的设置。实验结果表明,我们提出的模型优于所有以前的单语词对齐方法,以及竞争性的基于QA的基线,这是以前只适用于双语数据。我们的模型对三个域外数据集表现出良好的泛化能力,并在两个下游应用中表现出很大的实用性:自动文本简化和句子对分类任务。
2021-06-16 cs.CL
Word Embeddings via Tensor Factorization
Tufts University(塔夫茨大学)
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中,我们的目标是推广这一趋势,使用数值方法的因素高阶词共现的数组,或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法,并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明,基于张量因式分解的嵌入可以用于识别多义词的各种含义,而无需明确训练,并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标,称为离群值检测[Camacho-Collados和Navigli,2016],以评估词嵌入捕获的顺序- $N$关系的质量,并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中,我们表明,我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线,或者具有竞争力。给出了基于张量分解的词嵌入的建议应用,所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.(Lilt公司)
与更简单和更浅的模型相比,每层具有多个注意力头的多层模型提供了更好的翻译质量,但因此确定什么源上下文与每个目标词最相关更具挑战性。因此,从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构,利用其隐藏的表示,并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程,该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活,并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
Dynamic Contextualized Word Embeddings
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
静态的词嵌入用一个向量来表示词,不能捕捉到词在不同语言和语言外语境中的意义变化。在上下文化和动态词嵌入的基础上,我们引入了动态上下文化的词嵌入,它代表了语言和语言外语境的函数。基于预训练的语言模型(PLM),动态上下文化的词嵌入联合建模时间和社会空间,这使得它们对于一系列涉及语义变化的NLP任务具有吸引力。通过对四个英文数据集的定性和定量分析,我们突出了潜在的应用场景。
2021-06-08 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.(Yik Yak公司);Georgia Institute of Technology(佐治亚理工学院)
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计,这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入,结合形态信息,捕捉共享的子词特征。与以前的工作,直接从语素构建词嵌入,我们结合形态和分布信息在一个统一的概率框架,其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布,这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进,也在下游的词性标注任务。
2016-09-24 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business(雅典经济与商业大学)
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中,我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具,用于测试希腊词嵌入,通过提供“类比”,“相似度得分”和“最相似的话”的功能。通过我们的探索者,人们可以与希腊词向量互动。
2018-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
在越南语依存句法分析中,已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器,其取得了最先进的结果。在本文中,我们提出了一种新方法,该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank(VnDT)。
2019-10-30 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge(剑桥大学)
本文提出了一种联合模型,用于对单词进行无监督的形态分析,并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分,并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务,也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后,我们表明,将形态显式地纳入字符级模型,帮助他们产生嵌入看不见的话,更好地与人类的判断。
2016-06-08 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
通用词嵌入是在大规模通用语料库上训练的;领域特定(DS)词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入,称为域自适应(DA)词嵌入,通过使用典型相关分析(CCA)或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明,DA嵌入大大优于通用和DS嵌入时,作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University(石溪大学)
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗?词嵌入实验的可重复性如何?所有的词嵌入技术都同样可靠吗?在本文中,我们提出了评估方法,学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下(其中他们受到不同的随机初始化)的相似性。我们的初步结果表明,我们的度量不仅测量了词嵌入方法的内在属性,而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Reconstruction of Word Embeddings from Sub-Word Parameters
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
预训练的词嵌入以增加模型大小为代价提高了神经模型的性能。我们建议从这个资源中受益,而不支付严格的操作在子词汇水平的成本。我们的方法很简单:在任务特定的训练之前,我们首先优化子词参数以使用各种距离度量来重建预训练的词嵌入。我们报告有趣的结果在各种任务:词相似性,词的类比,和词性标注。
2017-07-21 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而,词嵌入对于下游NLP任务的有效性受到词汇表外(OOV)词的限制,对于这些词,嵌入不存在。在本文中,我们提出了MIMICK,一种方法来生成OOV词嵌入组成,通过学习一个函数的拼写分布嵌入。与之前的工作不同,MIMICK不需要对原始词嵌入语料库进行重新训练;相反,学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上,MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中,它与有监督的基于字符的模型具有竞争力(和互补性)。
2017-07-21 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick(华威大学);Southeast University(东南大学)
我们提出了一种新的生成模型,以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是,我们假设,全球潜在的主题是共享的文件,一个词是由一个隐藏的语义向量编码其上下文语义含义,其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入,这自然解决了单词多义的问题。实验结果表明,该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外,与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比,该模型还提取了更多的连贯主题。最后,该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成,以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
RPD: A Distance Function Between Word Embeddings
University of Washington(华盛顿大学);Nanjing University(南京大学)
众所周知,不同的算法、训练过程和语料库会产生不同的词嵌入。然而,对不同嵌入空间之间的关系知之甚少,即不同的嵌入集合彼此偏离多远。在本文中,我们提出了一种新的度量称为相对成对内积距离(RPD)量化之间的距离不同的词嵌入。该度量标准具有用于比较不同的词嵌入集合的统一尺度。基于RPD的性质,我们系统地研究了不同算法的词嵌入之间的关系,并考察了不同训练过程和语料库对词嵌入的影响。研究结果揭示了人们对词嵌入的理解不足,并证明了RPD作为嵌入空间距离的度量。
2020-05-16 cs.CL
Word Alignment by Fine-tuning Embeddings on Parallel Corpora
Carnegie Mellon University(卡内基梅隆大学)
平行语料库上的词对齐具有广泛的应用,包括学习翻译词典、语言处理工具的跨语言迁移以及翻译输出的自动评估或分析。过去绝大多数关于单词对齐的工作都是通过对平行文本进行无监督学习来实现的。然而,最近,其他工作表明,来自多语言训练的语言模型(LM)的预训练的上下文化词嵌入证明是一个有吸引力的替代方案,即使在没有明确的并行数据训练的情况下,也能在词对齐任务上取得有竞争力的结果。在本文中,我们研究了将这两种方法结合起来的方法:利用预先训练的LM,但在并行文本上对其进行微调,目标是提高对齐质量,并提出了从这些微调模型中有效提取对齐的方法。我们对五种语言对进行了实验,并证明我们的模型可以始终优于以前的所有品种的最先进的模型。此外,我们证明了我们能够训练多语言单词对齐器,可以获得不同的语言对强大的性能。我们的对齐器AWESOME(对齐多语言编码器的词嵌入空间)带有预训练模型,可在https://github.com/neulab/awesome-align上获得
2021-08-12 cs.CL
Simple and Effective Dimensionality Reduction for Word Embeddings
Microsoft India(微软印度)
词嵌入已经成为若干自然语言处理和信息检索任务的基本构建块。预训练的词嵌入用于几个下游应用程序,以及用于构建句子,段落和文档的表示。最近,人们一直强调通过后处理算法进一步改进预训练的词向量。一个这样的改进领域是词嵌入的降维。通过降维来减小词嵌入的大小可以提高它们在存储器受限设备中的效用,从而有益于若干现实世界的应用。在这项工作中,我们提出了一种新的算法,有效地结合了PCA的降维与最近提出的后处理算法,构建低维的词嵌入。对12个标准词相似度基准的实证评估表明,我们的算法将嵌入维数降低了50%,同时实现了类似或(更经常)更好的性能比高维嵌入。
2017-11-21 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design(新加坡科技设计大学)
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上,几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标,训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词,建模的上下文嵌入率矩阵的泰勒级数。我们表明,不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较,并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标,提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础,同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Contrastive Unsupervised Word Alignment with Non-Local Features
Tsinghua University(清华大学)
词对齐是一项重要的自然语言处理任务,它反映了自然语言之间的对应关系。近年来,基于对数线性模型的词对齐的无监督学习由于结合了生成式和判别式方法的优点而受到广泛关注。然而,一个主要的挑战仍然存在:它是难以计算的非本地功能,这是至关重要的捕捉自然语言之间的分歧的期望。我们提出了一种对比的方法,旨在区分观察到的训练样本从噪音。它不仅引入了先验知识来指导无监督学习,而且取消了分区函数。基于观察到的概率质量的对数线性模型的字对齐通常是高度集中的,我们建议使用前n对齐来近似的期望后验分布。这允许有效且准确地计算非局部特征的期望。实验表明,我们的方法取得了显着的改进,国家的最先进的无监督字对齐方法。
2014-10-10 cs.CL