Hybrid Improved Document-level Embedding (HIDE)
IIT Kharagpur（印度理工学院克勒格布尔分校）
近年来，词嵌入在情感分析中发挥了重要作用。由于词嵌入的生成需要庞大的语料库，许多应用使用预训练的嵌入。尽管取得了成功，但词嵌入存在某些缺点，例如它不能捕获词的情感信息、根据词性标签的上下文信息和特定于域的信息。在这项工作中，我们提出了一种混合改进的文档级嵌入，它将域信息，部分语音信息和情感信息到现有的词嵌入，如GloVe和Word2Vec。它将改进的词嵌入结合到文档级嵌入中。此外，潜在语义分析（LSA）已被用来表示文档作为一个向量。HIDE的生成，结合LSA和文档级嵌入，这是从改进的词嵌入计算。我们用六个不同的数据集测试了HIDE，结果显示，与GloVe和Word2Vec等现有预训练词向量相比，HIDE的准确性有了相当大的提高。我们进一步比较我们的工作与现有的两个文档级情感分析方法。HIDE的性能优于现有系统。
2020-06-01 cs.CL cs.LG
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings
Digital Reasoning Systems, Inc.（数字推理系统公司）
神经词表示已被证明在自然语言处理（NLP）任务中是有用的，因为它们能够有效地对复杂的语义和句法词关系进行建模。然而，大多数技术仅对每个单词的一个表示进行建模，尽管单个单词可以具有多个含义或“意义”。一些技术通过使用基于上下文聚类的多个向量来对单词进行建模。然而，最近的神经方法很少关注消费NLP算法的应用。此外，最近的词义模型的训练过程相对于单义嵌入过程是昂贵的。本文提出了一种新的方法，通过基于监督消歧为每个单词建模多个嵌入来解决这些问题，这为消费NLP模型选择意义消歧嵌入提供了一种快速准确的方法。我们证明，这些嵌入可以消除歧义的对比意义，如名义和口头的意义，以及细微差别的意义，如讽刺。我们进一步评估了神经依存句法分析上的词性消歧嵌入，在6种语言中，未标记的附件得分平均减少了8%以上。
2015-11-19 cs.CL cs.LG
Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research
NYU Langone Health（纽约大学朗格尼医学中心）
传统的文本分类模型做了一个词袋的假设，将文本减少到每个文档的单词出现计数。最近的算法，如word2vec，能够使用上下文窗口以完全无监督的方式学习单词之间的语义含义和相似性，并且比以前的方法快得多。每个单词都被投影到向量空间中，使得类似意义的单词如“strong”和“powerful”被投影到相同的一般欧几里得空间中。关于这些嵌入的公开问题包括它们在分类任务中的效用以及构建广泛功能嵌入的最佳属性和文档来源。在这项工作中，我们展示了预训练的嵌入在我们的任务中用于分类的有用性，并证明了在域中为任务构建的自定义词嵌入可以提高性能，而不是在更一般的数据（包括新闻文章或维基百科）上学习的词嵌入。
2018-07-09 cs.CL stat.ML
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑监督训练设置，在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始，并更新它们以学习监督训练数据中单词的特定任务嵌入。然而，对于测试集中的新词，我们必须使用它们的初始嵌入或单个未知嵌入，这通常会导致错误。我们通过学习一个神经网络来解决这个问题，通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的，但在这里，我们将展示其用于改进的依存句法分析（特别是对于含有词汇表外单词的句子），以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Local Homology of Word Embeddings
University of Oxford（牛津大学）
拓扑数据分析（TDA）已被广泛用于解决许多问题。然而，TDA在自然语言处理（NLP）中的应用似乎还处于起步阶段。在本文中，我们试图通过争论为什么TDA工具在分析单词嵌入数据时是一个自然的选择来弥合这一差距。我们描述了一个并行的无监督学习算法的基础上局部同源的数据点，并显示一些实验结果的词嵌入数据。我们看到，词嵌入数据中数据点的局部同源性包含一些信息，这些信息可能用于解决词义消歧问题。
2018-10-24 cs.CL math.AT
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University（埃默里大学）
近年来，自然语言处理（NLP）已成为人类生活中最重要的领域之一，并有着广泛的应用。作为最基本的任务，词嵌入领域还需要更多的关注和研究。目前，关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中，我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架，我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现，通过将不同的词嵌入映射到联合组件中，可以大大提高性能较低的原始词嵌入的情感性能。此外，我们发现，通过将不同的组件连接在一起，同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路，也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术大学）；National Institute of Informatics（日本国立信息学研究所）；Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project（日本科学技术振兴机构 ERATO 河原林大型图项目）
分布式词嵌入在许多自然语言处理（NLP）任务中表现出优越的性能。然而，它们的表现在不同的任务中有很大差异，这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此，我们认为，重要的是要结合现有的词嵌入，以产生更准确和完整的\emph{meta-embeddings}的话。为此，我们提出了一种无监督的局部线性元嵌入学习方法，该方法将预训练的词嵌入作为输入，并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同，该方法学习词汇表中所有单词的全局投影，我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外，我们表明，矢量拼接，以前提出的高度竞争力的基线方法集成词嵌入，可以作为一个特殊的情况下，所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明，我们的元嵌入在几个基准数据集上的性能明显优于现有方法，为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah（犹他大学）
词嵌入带有来自它们所训练的文本的刻板内涵，这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制，用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断，通过偏见缓解策略静态词嵌入（GloVe）。此外，我们表明，性别偏见，这些技术扩展到语境化嵌入时，选择性地只适用于静态组件的语境化嵌入（ELMo，BERT）。
2019-11-26 cs.CL cs.LG
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas（阿肯色大学）
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中，诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而，GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明，在自然语言的类比完成和词相似度测试中，我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上，具有直接连接的WOVe略微优于GloVe，平均排名提高了2%。然而，它大大提高了GloVe基线上的单词类比任务，实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Learning to Compute Word Embeddings On the Fly
ElementAI（元素人工智能公司）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；DeepMind（深度思维公司）；Facebook AI Research（脸书人工智能研究院）
自然语言中的词遵循齐普夫分布，即一些词是频繁的，但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差，需要我们在外部数据上预训练嵌入，或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法，用于从少量辅助数据中动态预测稀有词的嵌入，并为下游任务训练端到端的网络。我们表明，这改善了基线的结果，其中嵌入是在阅读理解，识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Jointly Learning Word Embeddings and Latent Topics
The Chinese University of Hong Kong（香港中文大学）；Cardiff University（卡迪夫大学）
诸如Skip-gram之类的词嵌入模型基于在文本语料库中观察到的局部词搭配模式来学习每个词的向量空间表示。另一方面，潜在主题模型采取更全局的观点，查看语料库中的单词分布，为每个单词的出现分配一个主题。这两种范式在如何表示词出现的意义上是互补的。虽然一些先前的工作已经着眼于使用词嵌入来提高潜在主题的质量，并且相反地，在使用潜在主题来提高词嵌入时，这样的“两步”方法不能捕获两个范例之间的相互作用。在本文中，我们提出了STE，一个框架，可以学习词嵌入和潜在的主题在一个统一的方式。STE自然地获得特定主题的词嵌入，从而解决了一词多义的问题。同时，它还学习主题的术语分布，以及文档的主题分布。我们的实验结果表明，STE模型确实可以生成有用的特定主题的词嵌入和连贯的潜在主题，在一个有效的和高效的方式。
2017-06-21 cs.CL cs.IR cs.LG
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Word2rate: training and evaluating multiple word embeddings as statistical transitions
Singapore University of Technology and Design（新加坡科技设计大学）
使用预训练的词嵌入已被证明是提高自然语言处理任务性能的一种非常有效的方法。事实上，几乎所有可以想到的自然语言任务都已经通过这些预训练的嵌入得到了改进。这些任务包括情感分析、翻译、序列预测等。最成功的词嵌入之一是Mikolov提出的采用负采样技术训练的Word2vec CBOW模型。Mai等人修改了这一目标，训练CMOW嵌入对词序敏感。我们使用修改后的版本的负采样目标为我们的上下文单词，建模的上下文嵌入率矩阵的泰勒级数。我们表明，不同的模式的泰勒级数产生不同类型的嵌入。我们将这些嵌入与CBOW和CMOW等类似的嵌入进行了比较，并表明它们实现了相当的性能。我们还引入了一种新的左右上下文分割目标，提高了对词序敏感的任务的性能。我们的Word2rate模型基于使用率矩阵的统计基础，同时在各种语言任务中具有竞争力。
2021-04-16 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America（美国 NEC 实验室）；Princeton（普林斯顿大学）
现代自然语言理解模型依赖于预训练的子词嵌入，但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明，严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后，我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱，但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University（乌普萨拉大学）
跨语言词义消歧（WSD）解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的，并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中，从而产生语义和句法结合的词嵌入，本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明，句法嵌入的高维性对分类任务构成了障碍，需要在未来的研究中进一步解决。
2020-12-09 cs.CL
From Image to Text Classification: A Novel Approach based on Clustering Word Embeddings
University of Bucharest（布加勒斯特大学）
受计算机视觉中广泛应用的视觉词袋模型的启发，提出了一种基于聚类词嵌入的文本分类方法。在使用预训练的词嵌入模型将文档集合中的每个词表示为词向量之后，对词向量应用k均值算法以获得固定大小的聚类集。每个聚类的质心被解释为一个超级词嵌入，它包含了嵌入空间某个区域中所有语义相关的词向量。然后将文档集合中的每个嵌入词分配到最近的聚类质心。最后，通过计算每个超级词嵌入在相应文档中的频率，将每个文档表示为一个超级词嵌入包。我们还偏离了为整个文档集合构建单个词汇表的想法，并建议构建特定于类的词汇表以获得更好的性能。使用这种表示，我们报告结果的两个文本挖掘任务，即文本分类的主题和极性分类。在这两个任务上，我们的模型都比标准的单词袋有更好的性能。
2017-07-25 cs.CL
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University（北京大学）
由于无监督学习方法对上下文变化过于敏感，因此多义词的无监督学习表示产生了大量的伪多义。在本文中，我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法，称为前RPCA，旨在检测伪多感官和真正的多感官。与Ex-RPCA，我们的经验表明，伪多感官系统产生的无监督的方法。此外，多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度（SCWS）数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Decomposing Word Embedding with the Capsule Network
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；The Hong Kong Polytechnic University（香港理工大学）
词义消歧试图在给定的上下文中学习歧义词的适当含义。现有的预训练语言方法和基于词多嵌入的方法没有充分挖掘无监督词嵌入的能力。在本文中，我们讨论了胶囊网络为基础的方法，利用胶囊的潜力，识别高度重叠的功能和处理分割。我们提出了一种基于Capsule网络的方法，将歧义词的无监督词嵌入分解为上下文特定的意义嵌入，称为CapsDecE 2S。在该方法中，无监督的歧义嵌入被送入胶囊网络，以产生其多个语素类向量，这些向量被定义为基本的语义语言单位的意义。通过注意操作，CapsDecE 2S将单词上下文整合到上下文特定的意义嵌入中，以重建多个语素类向量。为了训练CapsDecE 2S，提出了一种感知匹配训练方法。在该方法中，我们将意义学习转化为一个二元分类，通过匹配和不匹配的标签来明确地学习意义之间的关系。在两个感觉学习任务上对CapsDecE 2S进行了实验评估，即，词在上下文和词义消歧。在Word-in-Context和英语全词词义消歧两个公共语料库上的实验结果表明，CapsDecE 2S模型在上下文词义消歧和词义消歧方面取得了新的进展。
2020-06-30 cs.CL
Enhancing Chinese Intent Classification by Dynamically Integrating Character Features into Word Embeddings with Ensemble Techniques
使用基于神经网络和词嵌入的深度学习方法对英语数据进行了广泛的意图分类研究。中文意图分类的挑战源于这样一个事实，即与大多数单词由26个语音字母组成的英语不同，中文是语标，其中汉字是一个更基本的语义单位，可以提供信息，其含义在上下文中不会变化太多。单独的中文词嵌入可能不足以表示单词，并且预先训练的嵌入可能无法很好地与手头的任务对齐。考虑到不足和利用汉字信息，我们提出了一种低工作量和通用的方法来动态集成字符嵌入的特征映射与基于词嵌入的输入，其产生的单词字符嵌入堆叠上下文信息抽取模块，以进一步结合上下文信息进行预测。在该模型的基础上，我们采用集成方法将单个模型组合起来，得到最终的结果。该方法是数据独立的，不依赖于外部来源，如预先训练的词嵌入。所提出的模型优于基线模型和现有的方法。
2018-05-23 cs.CL
Word Embeddings for Banking Industry
本文构建并评估银行领域专用词嵌入，发现其相较 GloVe、BERT 更能捕捉银行业语义与词语关联，可独立使用或补充通用嵌入。
2023-06-02 cs.AI cs.CL
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University（西湖大学）
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的，潜在的信息被集成到词的表示中，这可以帮助建模多义。然而，上下文敏感性也会导致表征的变化，这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中，每个词义的上下文嵌入在上下文中的变化程度。结果表明，语境化的嵌入可以高度一致的上下文。此外，词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是，我们发现单词表征是有位置偏见的，不同语境中的第一个单词往往更相似。我们分析了这种现象，并提出了一种简单的方法来减轻这种偏见，在基于距离的词义消歧设置。
2022-08-20 cs.CL
A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation
National University of Singapore（新加坡国立大学）；NUS Interactive and Digital Media Institute（新加坡国立大学互动与数字媒体研究所）
词嵌入是自然语言处理中普遍存在的词表示形式。词嵌入在英语单语词义消歧中已有应用，但比较研究较少。本文试图弥合这一差距，通过检查流行的嵌入任务的单语英语词义消歧。我们的简化方法无需昂贵的再培训即可获得可比的最先进性能。跨语言WSD -其中源语言e中的单词的词义来自单独的目标翻译语言f -也可以帮助语言学习;例如，当为学习者提供目标词汇的翻译时。因此，我们还将词嵌入应用于中文跨语言词义消歧的新任务，并提供了一个公共数据集，以供进一步基准测试。我们还尝试了在LSTM网络中使用词嵌入，令人惊讶地发现基本的LSTM网络并不能很好地工作。我们讨论了这一结果的后果。
2017-04-09 cs.CL
Incremental Sense Weight Training for the Interpretation of Contextualized Word Embeddings
EMORY University（埃默里大学）
我们提出了一种新的在线算法，学习词嵌入中的每个维度的本质，通过最小化上下文嵌入组的组内距离。使用三种最先进的基于神经的语言模型Flair、ELMo和BERT来生成上下文化的词嵌入，以便为相同的词类型生成不同的嵌入，这些嵌入通过SemCor数据集中手动注释的含义进行分组。我们假设并非所有维度对于下游任务都同样重要，以便我们的算法可以检测不必要的维度并丢弃它们，而不会损害性能。为了验证这一假设，我们首先掩模尺寸确定不必要的我们的算法，应用掩蔽的词嵌入的词义消歧任务（WSD），并比较其性能对一个实现的原始嵌入。几个KNN的方法进行了实验，以建立强大的基线WSD。我们的研究结果表明，掩蔽的词嵌入不损害性能，可以提高3%。我们的工作可以用来进行未来的上下文嵌入的可解释性的研究。
2020-05-23 cs.CL
Word sense induction using word embeddings and community detection in complex networks
University of São Paulo (USP)（圣保罗大学）；Indiana University（印第安纳大学）
词义归纳是从语料库中自动归纳词义的能力。WSI任务首先被提出来克服在词义消歧系统中所需的手动注释语料库的局限性。即使已经提出了几个作品，以诱导词义，现有的系统仍然是非常有限的意义上说，他们利用结构化的，特定领域的知识来源。在本文中，我们设计了一种方法，利用词嵌入研究的最新发现，以产生上下文嵌入，这是嵌入包含有关一个词的语义上下文的信息。为了诱导语义，我们将歧义词集建模为复杂网络。在生成的网络中，如果各自的上下文嵌入相似，则连接两个实例（节点）。在使用成熟的社区发现方法对所获得的上下文嵌入进行聚类后，我们发现所提出的方法对于WSI任务具有优异的性能。我们的方法以完全无监督的方式优于竞争算法和基线，并且不需要任何额外的结构化知识源。
2018-03-22 cs.CL cs.SI
Data Sets: Word Embeddings Learned from Tweets and General Data
Thomson Reuters（汤森路透）
词嵌入是词的低维、稠密和实值向量表示。词嵌入已被用于许多NLP任务。它们通常从大型文本语料库中生成。一个词的嵌入涵盖了它的句法和语义两个方面。推文简短、嘈杂，具有不同于其他类型文本的独特词汇和语义特征。因此，有必要专门从tweet中学习词嵌入。在本文中，我们提出了十个词嵌入数据集。除了从推文数据中学习的数据集之外，我们还从一般数据以及推文与一般数据的组合中构建了嵌入集。一般数据包括新闻文章，维基百科数据和其他网络数据。这十个嵌入模型是从大约4亿条推文和70亿个普通文本单词中学习的。在本文中，我们还提出了两个实验，演示如何使用的数据集在一些NLP任务，如鸣叫情感分析和鸣叫主题分类任务。
2017-08-14 cs.CL cs.SI
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College（威廉姆斯学院）
词嵌入是一种功能强大的自然语言处理技术，但它们非常难以解释。为了实现可解释的NLP模型，我们创建了每个维度都是可解释的向量。通过内在可解释性，我们指的是一个系统，其中每个维度都与一些人类可理解的提示相关联，这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入，我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的：它们的每个维度都是从一个自然语言单词或特定的语法概念创建的，并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入，其中基集中的每个向量本身就是一个词嵌入。因此，我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明，使用这些稀疏嵌入训练的模型可以实现良好的性能，并且在实践中更具可解释性，包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Learning Geometric Word Meta-Embeddings
Microsoft India（微软印度）
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间，例如，简单的平均不同的嵌入（一个给定的词）是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University（杜克大学）
词嵌入是自然语言处理中的一个有力工具。在本文中，我们考虑的问题词嵌入合成\-给定向量表示的两个词，计算一个向量的整个短语。我们给出了一个生成模型，可以捕捉特定的句法关系的话。在我们的模型下，我们证明了三个词之间的相关性（由他们的PMI测量）形成一个张量，具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量，其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验，验证我们的假设，并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）
将单词编码为向量的词嵌入是自然语言处理的重要起点，并且通常用于许多基于文本的机器学习任务。然而，在大多数当前的词嵌入方法中，嵌入空间中的相似性在学习中没有被优化。在本文中，我们提出了一种新的邻居嵌入方法，直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走，从而能够更好地揭示词之间的主题。实验结果表明，与现有的词嵌入方法相比，该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
On the Dimensionality of Word Embedding
Stanford University（斯坦福大学）；Microsoft Corp.（微软公司）
本文对词嵌入及其维数进行了理论上的理解。基于词嵌入的酉不变性，本文提出了一种新的度量词嵌入相似性的度量方法-成对内积损失。使用矩阵扰动理论的技术，我们揭示了一个基本的偏差方差权衡词嵌入的维度选择。这种偏差-方差权衡揭示了许多以前无法解释的经验观察，例如最佳维度的存在。此外，新的见解和发现，如何时以及如何词嵌入是强大的过度拟合，揭示。通过优化PIP损失的偏差-方差权衡，我们可以明确地回答词嵌入的维度选择的公开问题。
2018-12-11 cs.CL cs.LG stat.ML
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
传统上，许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而，在许多语言和专业语料库中，单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术，这不仅导致长尾文本语料库中的不频繁词的嵌入较差，而且还导致处理词汇外词的能力较弱。在本文中，我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明，MorphMine可以将各种语言中的单词分割成人类验证的词素。此外，我们的实验表明，利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Interpretable Word Embeddings via Informative Priors
Linköping University（林雪平大学）；Aalto University（阿尔托大学）
词嵌入在NLP任务中表现出了强大的性能。然而，词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明，合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平，同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
Word Embeddings via Tensor Factorization
Tufts University（塔夫茨大学）
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中，我们的目标是推广这一趋势，使用数值方法的因素高阶词共现的数组，或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法，并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明，基于张量因式分解的嵌入可以用于识别多义词的各种含义，而无需明确训练，并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标，称为离群值检测[Camacho-Collados和Navigli，2016]，以评估词嵌入捕获的顺序- $N$关系的质量，并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中，我们表明，我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线，或者具有竞争力。给出了基于张量分解的词嵌入的建议应用，所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近，上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中，我们研究的影响，这种概念的变化，在词嵌入计算与性别偏见。我们的分析包括不同的措施，以前在文献中应用到标准的词嵌入。我们的研究结果表明，语境化的词嵌入是更少的偏见比标准的，即使后者是去偏见。
2019-04-18 cs.CL cs.LG
Skip-gram word embeddings in hyperbolic space
Lateral GmbH（Lateral有限公司）
最近的工作表明，双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发，我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入，然后评估词相似性和类比基准。结果表明，双曲词嵌入的潜力，特别是在低维，虽然没有明显的优势，他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Comparative Analysis of Word Embeddings for Capturing Word Similarities
Faculty of Computer Science and Engineering, Ss. Cyril and Methodius University（圣西里尔与圣美多迪乌斯大学计算机科学与工程学院）
分布式语言表示已经成为各种自然语言处理任务中最广泛使用的语言表示技术。大多数基于深度学习技术的自然语言处理模型使用已经预先训练的分布式单词表示，通常称为词嵌入。确定最定性的词嵌入对于此类模型至关重要。然而，选择适当的词嵌入是一个复杂的任务，因为投影的嵌入空间是不直观的人。在本文中，我们探讨了不同的方法来创建分布式单词表示。我们执行几个国家的最先进的词嵌入方法的内在评价。它们在捕获词相似性方面的性能与现有的词对相似性基准数据集进行了分析。本文对不同词嵌入方法获得的相似度与真实词相似度进行了相关性分析。
2020-05-08 cs.CL cs.LG
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
词嵌入是自然语言处理中最基本的技术之一。现有的词嵌入是高维的，并且消耗大量的计算资源。在这项研究中，我们提出了WordTour，无监督的一维词嵌入。为了实现这一具有挑战性的目标，我们提出了一个分解的必要条件的词嵌入分为两部分，完整性和可靠性，并侧重于可靠性在本文中。由于单维性，WordTour非常高效，并提供了一种最小的方法来处理词嵌入。我们通过用户学习和文档分类实验证实了所提出的方法的有效性。
2022-05-04 cs.AI cs.CL cs.LG
Word Embeddings Are Capable of Capturing Rhythmic Similarity of Words
Isfahan University of Technology（伊斯法罕理工大学）
诸如Word2Vec和GloVe之类的词嵌入系统在NLP的深度学习方法中是众所周知的。这在很大程度上是由于它们能够捕捉单词之间的语义关系。在这项工作中，我们研究了他们的有用性，而不是捕捉节奏相似的话。结果表明，与其他词相比，这些嵌入分配给押韵词的向量彼此更相似。GloVe在这方面的表现也相对优于Word2Vec。我们还提出了第一种度量的节奏相似性的一对字的量化。
2022-04-14 cs.CL cs.LG
SensePOLAR: Word sense aware interpretability for pre-trained contextual word embeddings
RWTH Aachen（亚琛工业大学）；L3S Research Center（L3S研究中心）；University of Mannheim（曼海姆大学）；GESIS（盖泽斯社会科学研究所）；CSH Vienna（维也纳复杂科学中心）
为词嵌入添加可解释性是文本表示的一个活跃研究领域。最近的工作已经探索了通过所谓的极性维度（例如好与坏，正确与错误）嵌入单词的潜力。这些最近的方法的例子包括SemAxis、POLAR、FrameAxis和BiImp。虽然这些方法为词提供了可解释的维度，但它们并不是为了处理一词多义而设计的，即它们不能很容易地区分词的不同意义。为了解决这个问题，我们提出了SensePOLAR，原来的POLAR框架的扩展，使预先训练的上下文词嵌入的词义感知可解释性。由此产生的可解释的词嵌入实现的性能水平，可与原始的上下文词嵌入在各种自然语言处理任务，包括GLUE和SQuAD基准。我们的工作消除了现有方法的一个根本限制，为用户提供上下文词嵌入的感知解释。
2023-01-11 cs.CL cs.LG
word2ket: Space-efficient Word Embeddings inspired by Quantum Entanglement
Virginia Commonwealth University（弗吉尼亚联邦大学）
深度学习自然语言处理模型通常使用向量词嵌入（如word 2 vec或GloVe）来表示单词。如果将离散的单词序列表示为连续向量序列，则可以更容易地与下游神经层集成。此外，从文本语料库中学习的单词之间的语义关系可以被编码在嵌入向量的相对配置中。然而，存储和访问字典中所有单词的嵌入向量需要大量空间，并且可能会污染具有有限GPU内存的系统。在这里，我们使用受量子计算启发的方法来提出两种相关方法，{ \em word 2ket}和{ \em word 2ketXS}，用于以高效的方式在训练和推理期间存储词嵌入矩阵。我们的方法实现了一百倍或更多的减少所需的空间来存储嵌入，几乎没有相对下降的准确性在实际的自然语言处理任务。
2020-03-03 cs.LG stat.ML
Interactive Re-Fitting as a Technique for Improving Word Embeddings
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。虽然词嵌入已被证明在自然语言处理任务中有许多实际用途，但它们反映了它们所训练的语料库的属性。最近的研究表明，对词嵌入进行后处理，以应用在词典中找到的信息，可以提高其质量。我们通过使其具有交互性来建立这种后处理技术。我们的方法使人类有可能通过移动单词集合来调整词嵌入空间的部分。该功能的一个激励用例是使用户能够识别并减少词嵌入中存在的偏见。我们的方法允许用户触发选择性的后处理，因为他们与词嵌入和评估潜在的偏见。
2020-09-30 cs.CL cs.LG
Attention Word Embedding
Rice University（莱斯大学）
词嵌入模型学习词的语义丰富的向量表示，并广泛用于初始化自然处理语言（NLP）模型。word 2 vec的流行的连续词袋（CBOW）模型通过屏蔽句子中的给定单词来学习向量嵌入，然后使用其他单词作为上下文来预测它。CBOW的局限性在于，它在进行预测时对上下文单词进行同等权重，这是低效的，因为某些单词的预测值比其他单词高。我们通过引入注意力词嵌入（AWE）模型，将注意力机制集成到CBOW模型中来解决这种低效率问题。我们还提出了AWE-S，其中包括子字信息。我们证明了AWE和AWE-S在各种单词相似性数据集上以及用于NLP模型初始化时的性能都优于最先进的词嵌入模型。
2020-06-01 cs.CL cs.LG
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research（微软研究院）；New York University（纽约大学）；University of the Basque Country（巴斯克大学）
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义，从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础：我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是：（i）关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义，只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示，但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
PanRep: Graph neural networks for extracting universal node embeddings in heterogeneous graphs
AWS Artificial Intelligence（亚马逊人工智能部门）
学习无监督的节点嵌入有助于几个下游任务，如节点分类和链接预测。如果节点嵌入被设计为由各种下游任务使用并使其受益，则它是通用的。这项工作介绍了PanRep，图神经网络（GNN）模型，无监督学习的通用节点表示异构图。PanRep由一个GNN编码器和四个解码器组成，GNN编码器用于获取节点嵌入，每个解码器都捕获不同的拓扑和节点特征属性。遵循这些属性，新型无监督框架学习适用于不同下游任务的通用嵌入。PanRep可以进一步微调以考虑可能的有限标签。在这种操作设置中，PanRep被认为是用于提取异构图数据的节点嵌入的预训练模型。PanRep在节点分类和链接预测方面优于所有无监督和某些监督方法，特别是当监督方法的标记数据很小时。PanRep-FT（微调）优于所有其他监督方法，这证实了预训练模型的优点。最后，我们将PanRep-FT应用于发现新型冠状病毒药物。我们展示了通用嵌入在药物再利用中的优势，并确定了临床试验中使用的几种药物作为可能的候选药物。
2021-03-04 cs.LG stat.ML
Deconstructing and reconstructing word embedding algorithms
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
非语境化的词嵌入是词的可靠特征表示，用于获得各种NLP应用的高质量结果。鉴于词嵌入在NLP中的历史成功，我们提出了一些最知名的词嵌入算法的回顾。在这项工作中，我们解构Word 2 vec，GloVe，和其他人，到一个共同的形式，揭示了一些必要和充分的条件所需的性能词嵌入。我们发现每个算法：（1）拟合向量-共向量点积以近似逐点互信息（PMI）;以及（2）调制损失梯度以平衡弱信号和强信号。我们证明，这两个算法的功能是足够的条件，以构建一个新的词嵌入算法，希尔伯特-最大似然估计。我们发现，它的嵌入在17个内在和外在数据集上获得了与其他算法相当或更好的性能。
2019-11-29 cs.CL cs.LG
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi（印度理工学院德里分校）
在现代NLP应用程序中，词嵌入是一个关键的骨干，可以很容易地在许多任务之间共享。然而，随着文本分布的变化和单词语义随着时间的推移而演变，如果单词表示不符合数据漂移，则使用嵌入的下游应用程序可能会受到影响。因此，保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中，我们解决了这个问题，并提出TransDrift，一个基于变换的预测模型词嵌入。利用Transformer的灵活性，我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中，我们与现有的方法进行比较，并表明我们的模型比基线更准确地预测词嵌入。至关重要的是，通过将预测的嵌入作为下游分类任务的骨干，我们表明，与以前的方法相比，我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Human-in-the-Loop Refinement of Word Embeddings
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。尽管词嵌入模型在机器学习任务中被证明是有用的，但它们可能会捕获不均匀的语义和句法表示，并且可能会无意中反映出它们所训练的语料库中存在的各种偏见。事实证明，对词嵌入进行后处理，应用词典中的信息，可以改善语义关联，从而提高其质量。基于这一想法，我们提出了一个系统，采用了适应字嵌入后处理，我们称之为“互动改装”，以解决一些最艰巨的定性问题，发现在词嵌入。我们的方法允许一个人识别和解决潜在的质量问题与词嵌入互动。这样做的好处是可以避免由谁来决定什么是偏差，或者其他什么质量问题可能影响下游任务。它允许每个组织或实体以迭代和交互的方式在细粒度级别上解决他们可能拥有的问题。它还允许更好地了解词嵌入和词嵌入的改进对机器学习管道的影响。
2021-10-06 cs.CL cs.LG
