A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong（香港城市大学）
词嵌入已经成为自然语言处理的关键，因为它提高了各种任务的经验表现。然而，最近的研究发现，性别偏见是纳入神经词嵌入，下游任务，依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法，这些方法主要集中在减少与性别方向相关的性别偏见，并未能减少词嵌入关系中呈现的性别偏见。在本文中，我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系，利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Attention Word Embedding
Rice University（莱斯大学）
词嵌入模型学习词的语义丰富的向量表示，并广泛用于初始化自然处理语言（NLP）模型。word 2 vec的流行的连续词袋（CBOW）模型通过屏蔽句子中的给定单词来学习向量嵌入，然后使用其他单词作为上下文来预测它。CBOW的局限性在于，它在进行预测时对上下文单词进行同等权重，这是低效的，因为某些单词的预测值比其他单词高。我们通过引入注意力词嵌入（AWE）模型，将注意力机制集成到CBOW模型中来解决这种低效率问题。我们还提出了AWE-S，其中包括子字信息。我们证明了AWE和AWE-S在各种单词相似性数据集上以及用于NLP模型初始化时的性能都优于最先进的词嵌入模型。
2020-06-01 cs.CL cs.LG
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research（微软研究院）；New York University（纽约大学）；University of the Basque Country（巴斯克大学）
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义，从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础：我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是：（i）关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义，只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示，但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
Deconstructing and reconstructing word embedding algorithms
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
非语境化的词嵌入是词的可靠特征表示，用于获得各种NLP应用的高质量结果。鉴于词嵌入在NLP中的历史成功，我们提出了一些最知名的词嵌入算法的回顾。在这项工作中，我们解构Word 2 vec，GloVe，和其他人，到一个共同的形式，揭示了一些必要和充分的条件所需的性能词嵌入。我们发现每个算法：（1）拟合向量-共向量点积以近似逐点互信息（PMI）;以及（2）调制损失梯度以平衡弱信号和强信号。我们证明，这两个算法的功能是足够的条件，以构建一个新的词嵌入算法，希尔伯特-最大似然估计。我们发现，它的嵌入在17个内在和外在数据集上获得了与其他算法相当或更好的性能。
2019-11-29 cs.CL cs.LG
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi（印度理工学院德里分校）
在现代NLP应用程序中，词嵌入是一个关键的骨干，可以很容易地在许多任务之间共享。然而，随着文本分布的变化和单词语义随着时间的推移而演变，如果单词表示不符合数据漂移，则使用嵌入的下游应用程序可能会受到影响。因此，保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中，我们解决了这个问题，并提出TransDrift，一个基于变换的预测模型词嵌入。利用Transformer的灵活性，我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中，我们与现有的方法进行比较，并表明我们的模型比基线更准确地预测词嵌入。至关重要的是，通过将预测的嵌入作为下游分类任务的骨干，我们表明，与以前的方法相比，我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Hybrid Improved Document-level Embedding (HIDE)
IIT Kharagpur（印度理工学院克勒格布尔分校）
近年来，词嵌入在情感分析中发挥了重要作用。由于词嵌入的生成需要庞大的语料库，许多应用使用预训练的嵌入。尽管取得了成功，但词嵌入存在某些缺点，例如它不能捕获词的情感信息、根据词性标签的上下文信息和特定于域的信息。在这项工作中，我们提出了一种混合改进的文档级嵌入，它将域信息，部分语音信息和情感信息到现有的词嵌入，如GloVe和Word2Vec。它将改进的词嵌入结合到文档级嵌入中。此外，潜在语义分析（LSA）已被用来表示文档作为一个向量。HIDE的生成，结合LSA和文档级嵌入，这是从改进的词嵌入计算。我们用六个不同的数据集测试了HIDE，结果显示，与GloVe和Word2Vec等现有预训练词向量相比，HIDE的准确性有了相当大的提高。我们进一步比较我们的工作与现有的两个文档级情感分析方法。HIDE的性能优于现有系统。
2020-06-01 cs.CL cs.LG
Human-in-the-Loop Refinement of Word Embeddings
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。尽管词嵌入模型在机器学习任务中被证明是有用的，但它们可能会捕获不均匀的语义和句法表示，并且可能会无意中反映出它们所训练的语料库中存在的各种偏见。事实证明，对词嵌入进行后处理，应用词典中的信息，可以改善语义关联，从而提高其质量。基于这一想法，我们提出了一个系统，采用了适应字嵌入后处理，我们称之为“互动改装”，以解决一些最艰巨的定性问题，发现在词嵌入。我们的方法允许一个人识别和解决潜在的质量问题与词嵌入互动。这样做的好处是可以避免由谁来决定什么是偏差，或者其他什么质量问题可能影响下游任务。它允许每个组织或实体以迭代和交互的方式在细粒度级别上解决他们可能拥有的问题。它还允许更好地了解词嵌入和词嵌入的改进对机器学习管道的影响。
2021-10-06 cs.CL cs.LG
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology（孟加拉国工程技术大学）；Southeast University（东南大学）
词的词嵌入或向量表示保持词的句法和语义特征，其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型，如word 2 vec，fasttext，gensim，glove等。在这项研究中，我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型，并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能，我们进行了内在和外在的评价。我们对词向量进行聚类，以检测词之间的关系相似度，进行内在评价，并使用不同的词嵌入作为新闻文章分类器的特征，进行外在评价。从我们的实验中，我们发现，300维的词向量，从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4，给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
Word Embeddings and Their Use In Sentence Classification Tasks
Hebrew University of Jerusalm（耶路撒冷希伯来大学）
本文分为两部分。第一部分讨论了词嵌入。我们讨论了它们的必要性，一些创建它们的方法，以及它们的一些有趣的属性。我们还将它们与图像嵌入进行比较，并了解如何将词嵌入和图像嵌入结合起来执行不同的任务。在第二部分中，我们实现了一个在预先训练的词向量上训练的卷积神经网络。该网络用于几个分级分类任务，并实现了最先进的（或可比的）结果，证明了预训练词嵌入比随机嵌入的强大功能。
2016-10-26 cs.CL cs.LG
All Word Embeddings from One Embedding
Tokyo Institute of Technology（东京工业大学）；Tohoku University（东北大学）；Preferred Networks Inc（Preferred Networks公司）
在用于自然语言处理（NLP）的基于神经网络的模型中，参数的最大部分通常由词嵌入组成。传统的模型准备一个大的嵌入矩阵，其大小取决于词汇量的大小。因此，将这些模型存储在内存和磁盘存储中是昂贵的。在这项研究中，为了减少参数的总数，所有单词的嵌入表示通过转换共享嵌入。所提出的方法，ALONE（所有词嵌入从一个），构建一个词的嵌入通过修改共享嵌入与过滤器向量，这是特定于词，但不可训练。然后，我们将构建的嵌入输入到一个前馈神经网络，以增加其表现力。简单地说，过滤器向量占用与传统嵌入矩阵相同的存储器大小，这取决于词汇表大小。为了解决这个问题，我们还介绍了一个内存有效的过滤器的建设方法。我们表明，我们的ALONE可以充分地作为单词表示通过实验上的重建预训练的词嵌入。此外，我们还进行了NLP应用任务的实验：机器翻译和摘要。我们将ALONE与当前最先进的编码器-解码器模型Transformer相结合，并在WMT 2014英语到德语翻译和DUC 2004非常简短的摘要中获得了相当的分数，参数较少。
2020-10-23 cs.CL cs.LG
Exploring the Combination of Contextual Word Embeddings and Knowledge Graph Embeddings
Université de Lorraine（洛林大学）
“经典”词嵌入，如Word 2 Vec，已被证明可以根据词的分布特性捕获词的语义。然而，它们表示一个词可能具有的不同含义的能力是有限的。这样的方法也不显式地编码实体之间的关系，如由单词表示的。知识库的嵌入捕捉了词所表示的实体之间的显式关系，但不能直接捕捉这些词的组合属性。据我们所知，最近的研究主要集中在表示学习上，它可以增强一个学习者和另一个学习者的优势。在这项工作中，我们开始探索另一种方法，使用上下文和KB嵌入联合在同一水平上，并提出了两个任务-实体类型和关系类型的任务-评估上下文和KB嵌入的性能。我们还评估了这两个任务的上下文和KB嵌入的级联模型，并在第一个任务上获得了结论性的结果。我们希望我们的工作可以作为模型和数据集的基础，朝着这种方法的方向发展。
2020-04-17 cs.CL cs.LG
sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings
Digital Reasoning Systems, Inc.（数字推理系统公司）
神经词表示已被证明在自然语言处理（NLP）任务中是有用的，因为它们能够有效地对复杂的语义和句法词关系进行建模。然而，大多数技术仅对每个单词的一个表示进行建模，尽管单个单词可以具有多个含义或“意义”。一些技术通过使用基于上下文聚类的多个向量来对单词进行建模。然而，最近的神经方法很少关注消费NLP算法的应用。此外，最近的词义模型的训练过程相对于单义嵌入过程是昂贵的。本文提出了一种新的方法，通过基于监督消歧为每个单词建模多个嵌入来解决这些问题，这为消费NLP模型选择意义消歧嵌入提供了一种快速准确的方法。我们证明，这些嵌入可以消除歧义的对比意义，如名义和口头的意义，以及细微差别的意义，如讽刺。我们进一步评估了神经依存句法分析上的词性消歧嵌入，在6种语言中，未标记的附件得分平均减少了8%以上。
2015-11-19 cs.CL cs.LG
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑监督训练设置，在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始，并更新它们以学习监督训练数据中单词的特定任务嵌入。然而，对于测试集中的新词，我们必须使用它们的初始嵌入或单个未知嵌入，这通常会导致错误。我们通过学习一个神经网络来解决这个问题，通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的，但在这里，我们将展示其用于改进的依存句法分析（特别是对于含有词汇表外单词的句子），以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier（爱思唯尔）
我们评估了化学专利词嵌入对已知的生物医学嵌入，并表明他们优于后者的外在和内在。我们还表明，使用上下文嵌入可以诱导预测模型的合理性能，这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Nankai University（南开大学）
神经网络技术被广泛应用于获得单词的高质量分布式表示，即，词嵌入，以解决文本挖掘、信息检索和自然语言处理任务。最近，已经提出了有效的方法来从上下文中学习词嵌入，该上下文捕获词之间的语义和句法关系。然而，它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发，提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是，我们引入了一种新的神经网络架构，称为KNET，利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时，该学习架构还能够细化预定义的形态知识，获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明，所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
University of Virginia（弗吉尼亚大学）；Salesforce Research（赛富时研究院）
源自人类生成语料库的词嵌入继承了强烈的性别偏见，这可以通过下游模型进一步放大。一些常用的去偏方法，包括开创性的硬去偏算法，应用后处理过程，将预先训练的词嵌入投影到与推断的性别子空间正交的子空间中。我们发现，语义不可知的语料库，如词频捕获的词嵌入负面影响这些算法的性能。我们提出了一个简单但有效的技术，双硬Debias，净化词嵌入对这样的语料库的错误之前，推断和删除性别子空间。三个偏见缓解基准的实验表明，我们的方法保留了预训练的词嵌入的分布语义，同时减少性别偏见，以显着更大的程度比以前的方法。
2020-05-03 cs.CL cs.LG
Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）；IIT Kanpur（印度理工学院坎普尔分校）；Carnegie Mellon University（卡内基梅隆大学）
词嵌入已经在几个NLP应用程序中被广泛采用。大多数现有的词嵌入方法利用词的顺序上下文来学习其嵌入。虽然已经有一些尝试利用一个词的句法上下文，这样的方法导致词汇量的爆炸。在本文中，我们克服了这个问题，提出了SynGCN，一个灵活的图形卷积为基础的方法学习词嵌入。SynGCN利用单词的依赖上下文，而不增加词汇量。SynGCN学习的词嵌入在各种内在和外在任务上优于现有方法，并在与ELMo一起使用时提供优势。我们还提出了SemGCN，一个有效的框架，将不同的语义知识，进一步提高学习单词表示。我们提供这两种模型的源代码，以鼓励可重复的研究。
2019-07-20 cs.CL cs.LG
Generalizing Word Embeddings using Bag of Subwords
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们解决的问题，概括预先训练的词嵌入超出固定大小的词汇表，而不使用额外的上下文信息。我们提出了一个子词级的词向量生成模型，将单词视为字符$n$ -gram的袋子。该模型简单，训练速度快，并为罕见或未见过的单词提供了良好的向量。实验结果表明，该模型在英语单词相似度测试以及23种语言的词性标记和形态句法属性的联合预测中均取得了较好的效果，表明该模型具有较强的捕捉单词文本表征与嵌入关系的能力。
2018-09-12 cs.CL cs.LG
Word Embedding Visualization Via Dictionary Learning
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校雷德伍德理论神经科学中心）；School of Optometry, UC Berkeley（加州大学伯克利分校视光学院）
基于共现统计的词嵌入技术已被证明是非常有用的提取词的语义和句法表示为低维连续向量。在这项工作中，我们发现字典学习可以将这些词向量作为更基本的词因子的线性组合。我们证明了许多学习的因素具有令人惊讶的强大的语义或语法意义，对应于以前通过人工检查确定的因素。因此，字典学习为理解词嵌入表示提供了强大的可视化工具。此外，我们表明，字的因素可以帮助识别关键的语义和句法差异，在词类比任务，并改善国家的最先进的词嵌入技术在这些任务中的大幅度。
2021-03-15 cs.CL cs.LG
Misspelling Oblivious Word Embeddings
Facebook AI（Facebook人工智能）；Spotify（Spotify（声田））
在本文中，我们提出了一种方法来学习词嵌入，是弹性的拼写错误。现有的词嵌入对包含不可忽略数量的词汇表外词的畸形文本的适用性有限。我们提出了一种方法结合FastText与子词和监督任务学习拼写错误模式。在我们的方法中，每个单词的拼写错误都嵌入到正确的变体附近。我们在公开发布的新数据集上训练这些嵌入。最后，我们通过实验证明了这种方法在使用公共测试集的内在和外在NLP任务上的优势。
2019-05-23 cs.CL cs.LG
Tailoring Word Embeddings for Bilexical Predictions: An Experimental Comparison
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Xerox Research Centre Europe（施乐欧洲研究中心）
我们研究的问题，诱导词嵌入，是专为一个特定的双词关系。我们的学习算法采取现有的词汇向量空间，并压缩它，从而得到的词嵌入是一个很好的预测目标双语关系。在实验中，我们表明，特定于任务的嵌入可以同时提高词汇预测任务的质量和效率。
2015-04-10 cs.CL cs.LG
Shape of Elephant: Study of Macro Properties of Word Embeddings Spaces
Yandex
预先训练的单词表示成为许多NLP任务的关键组成部分。然而，词嵌入的全局几何结构仍然知之甚少。在本文中，我们证明了一个典型的词嵌入云是一个高维的单形与可解释的顶点，并提出了一个简单而有效的方法来枚举这些顶点。我们表明，该方法可以检测和描述的GloVe和fasttext空间的顶点的单纯形。
2021-06-13 cs.CL cs.LG
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah（犹他大学）
词嵌入带有来自它们所训练的文本的刻板内涵，这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制，用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断，通过偏见缓解策略静态词嵌入（GloVe）。此外，我们表明，性别偏见，这些技术扩展到语境化嵌入时，选择性地只适用于静态组件的语境化嵌入（ELMo，BERT）。
2019-11-26 cs.CL cs.LG
Learning dynamic word embeddings with drift regularisation
LIMSI（机械与工程科学计算机实验室）；CNRS（法国国家科学研究中心）；Univ. Paris-Sud（巴黎第十一大学）；Univ. Paris-Saclay（巴黎萨克雷大学）；Société Générale（法国兴业银行）
词语的用法、含义和内涵随着时间的推移而变化。历时词嵌入被用于以无监督的方式把握这些变化。在本文中，我们使用动态伯努利嵌入模型的变体来学习动态词嵌入，以识别模型的显着属性。比较是在纽约时报注释语料库的英文和一组文章，从法国报纸世界报涵盖同一时期。这使我们能够定义一个管道来分析两种语言中单词使用的演变。
2019-07-22 cs.CL cs.LG
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas（阿肯色大学）
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中，诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而，GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明，在自然语言的类比完成和词相似度测试中，我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上，具有直接连接的WOVe略微优于GloVe，平均排名提高了2%。然而，它大大提高了GloVe基线上的单词类比任务，实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Balancing the composition of word embeddings across heterogenous data sets
Technische Universität Berlin（柏林工业大学）
词嵌入基于上下文信息捕获语义关系，并且是各种各样的自然语言处理应用的基础。值得注意的是，这些关系仅从数据中学习，随后数据组合会影响嵌入的语义，这可能会导致有偏见的词向量。鉴于定性不同的数据子集，我们的目标是调整单个子集对所产生的词向量的影响，同时保持其质量。在这方面，我们提出了一个标准来衡量向单一数据子集的转变，并制定方法，以满足这两个目标。我们发现，两个子集嵌入的加权平均值平衡了这些子集的影响，而词相似度性能下降。我们进一步提出了一个有前途的优化方法来平衡影响和质量的词嵌入。
2020-01-14 cs.CL cs.LG
Denoising Word Embeddings by Averaging in a Shared Space
Bar-Ilan University（巴伊兰大学）
我们介绍了一种新的方法来平滑和提高词嵌入的质量。我们考虑一种融合词嵌入的方法，这些词嵌入是在同一语料库上训练的，但具有不同的初始化。我们将所有的模型投影到一个共享的向量空间，使用一个有效的实现的广义Procrustes分析（GPA）的过程，以前使用的多语种单词翻译。我们的单词表示在一系列任务上表现出了对原始模型及其简单化平均值的一致改进。由于新的表示更加稳定和可靠，在稀有词评估方面有明显的改善。
2021-06-05 cs.CL cs.LG
Deep Learning and Word Embeddings for Tweet Classification for Crisis Response
University of York（约克大学）；University of Hail（哈伊勒大学）
用于危机响应的传统推文分类模型专注于卷积层和特定领域的词嵌入。在本文中，我们研究了不同的神经网络与通用和特定领域的词嵌入的应用，以调查他们的能力，以提高性能的推文分类模型。我们在CrisisNLP数据集上评估了四个推文分类模型，并获得了可比较的结果，这表明可以使用GloVe等通用词嵌入来代替特定领域的词嵌入，特别是使用Bi-LSTM，结果报告了62.04%F1分数的最高性能。
2019-03-26 cs.CL cs.LG
Learning to Compute Word Embeddings On the Fly
ElementAI（元素人工智能公司）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；DeepMind（深度思维公司）；Facebook AI Research（脸书人工智能研究院）
自然语言中的词遵循齐普夫分布，即一些词是频繁的，但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差，需要我们在外部数据上预训练嵌入，或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法，用于从少量辅助数据中动态预测稀有词的嵌入，并为下游任务训练端到端的网络。我们表明，这改善了基线的结果，其中嵌入是在阅读理解，识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Gender-preserving Debiasing for Pre-trained Word Embeddings
Tokyo Metropolitan University（东京都立大学）；University of Liverpool（利物浦大学）
从大量文本集合中学习的词嵌入已经表现出显著的歧视性偏见，如性别，种族或民族偏见，这反过来又会使使用这些词嵌入的下游NLP应用程序产生偏见。以性别偏见为例，我们提出了一种去偏见方法，该方法保留了非歧视性的性别相关信息，同时从预训练的词嵌入中去除了刻板的歧视性性别偏见。具体来说，我们考虑四种类型的信息：\emph{feminine}，\emph{masculine}，\emph{gender-neutral}和\emph{stereotypical}，这代表性别与偏见之间的关系，并提出了一个去偏见的方法，（a）保留性别相关的信息，在女性和男性的话，（b）保留中性的性别中性词，（c）删除偏见的刻板印象的话。在先前提出的几个基准数据集上的实验结果表明，我们提出的方法可以比现有的SoTA方法更好地去偏置预训练的词嵌入，同时保留性别相关但非歧视性的信息。
2019-06-03 cs.CL cs.LG
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia（IBM澳大利亚研究院）
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现，需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响，从而影响消歧性能。在这项工作中，我们已经评估了几种类型的功能来自上下文的歧义词，我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明，词嵌入提高了更多传统特征的性能，并允许使用基于长短期记忆（LSTM）节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
词嵌入是自然语言处理中最基本的技术之一。现有的词嵌入是高维的，并且消耗大量的计算资源。在这项研究中，我们提出了WordTour，无监督的一维词嵌入。为了实现这一具有挑战性的目标，我们提出了一个分解的必要条件的词嵌入分为两部分，完整性和可靠性，并侧重于可靠性在本文中。由于单维性，WordTour非常高效，并提供了一种最小的方法来处理词嵌入。我们通过用户学习和文档分类实验证实了所提出的方法的有效性。
2022-05-04 cs.AI cs.CL cs.LG
Word Equations: Inherently Interpretable Sparse Word Embeddingsthrough Sparse Coding
Williams College（威廉姆斯学院）
词嵌入是一种功能强大的自然语言处理技术，但它们非常难以解释。为了实现可解释的NLP模型，我们创建了每个维度都是可解释的向量。通过内在可解释性，我们指的是一个系统，其中每个维度都与一些人类可理解的提示相关联，这些提示可以描述该维度的含义。为了创建更多可解释的词嵌入，我们将预训练的密集词嵌入转换为稀疏嵌入。这些新的嵌入本质上是可解释的：它们的每个维度都是从一个自然语言单词或特定的语法概念创建的，并表示该单词或语法概念。我们通过稀疏编码构造这些嵌入，其中基集中的每个向量本身就是一个词嵌入。因此，我们的稀疏向量的每个维度对应于一个自然语言单词。我们还表明，使用这些稀疏嵌入训练的模型可以实现良好的性能，并且在实践中更具可解释性，包括通过人工评估。
2021-09-27 cs.CL cs.LG stat.ML
Identity-sensitive Word Embedding through Heterogeneous Networks
Microsoft Research（微软研究院）；Peking University（北京大学）；University of Michigan（密歇根大学）
现有的大多数词嵌入方法没有区分不同语境中的同一个词，从而忽略了它们的语境意义。因此，这些词的学习嵌入通常是多种含义的混合。在本文中，我们承认在不同的上下文中同一个词的多重身份，并学习\textbf{identity-sensitive}词嵌入。基于身份标注的文本语料库，构建了一个词和词身份的异构网络，用于对不同层次的词共现进行建模。通过一种原则性的网络嵌入方法，将异构网络进一步嵌入到低维空间中，得到词的嵌入和词身份的嵌入.我们研究了三种不同类型的词身份，包括主题，情感和类别。在真实数据集上的实验结果表明，该方法学习的身份敏感词嵌入确实能够捕捉到词的不同含义，并且在文本分类和词相似度计算等任务上优于竞争性方法。
2016-11-29 cs.CL cs.LG stat.ML
Learning Geometric Word Meta-Embeddings
Microsoft India（微软印度）
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间，例如，简单的平均不同的嵌入（一个给定的词）是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University（北京大学）
词嵌入的目的是用低维向量表示词的语义。学习词嵌入（word 2 vec和GloVe）的最新方法仅使用词共现信息。学习的嵌入是实数向量，这对人类来说是模糊的。在本文中，我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明，该模型学习的图像向量和词嵌入具有高度的相关性，表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术大学）；National Institute of Informatics（日本国立信息学研究所）；Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project（日本科学技术振兴机构 ERATO 河原林大型图项目）
分布式词嵌入在许多自然语言处理（NLP）任务中表现出优越的性能。然而，它们的表现在不同的任务中有很大差异，这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此，我们认为，重要的是要结合现有的词嵌入，以产生更准确和完整的\emph{meta-embeddings}的话。为此，我们提出了一种无监督的局部线性元嵌入学习方法，该方法将预训练的词嵌入作为输入，并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同，该方法学习词汇表中所有单词的全局投影，我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外，我们表明，矢量拼接，以前提出的高度竞争力的基线方法集成词嵌入，可以作为一个特殊的情况下，所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明，我们的元嵌入在几个基准数据集上的性能明显优于现有方法，为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
Persian Wordnet Construction using Supervised Learning
University of Tehran（德黑兰大学）
本文提出了一种自动监督的波斯语词网构建方法。使用波斯语语料库和双语词典，波斯语单词和普林斯顿WordNet同义词之间的初始链接已经生成。这些链接将被区分为正确的或不正确的，采用七个功能在一个训练有素的分类系统。整个方法只是一个分类系统，它已经在包含FarsNet作为一组正确实例的训练集上训练过。最先进的自动派生的波斯语词网的结果是实现。该词网包含16，000多个词和22，000多个同义词，准确率为91.18%。
2017-04-11 cs.CL cs.LG stat.ML
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University（杜克大学）
词嵌入是自然语言处理中的一个有力工具。在本文中，我们考虑的问题词嵌入合成\-给定向量表示的两个词，计算一个向量的整个短语。我们给出了一个生成模型，可以捕捉特定的句法关系的话。在我们的模型下，我们证明了三个词之间的相关性（由他们的PMI测量）形成一个张量，具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量，其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验，验证我们的假设，并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
Neural-based Noise Filtering from Word Embeddings
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
词嵌入已经被证明对NLP任务有很大的好处。然而，在矢量表示中存在改进的空间，因为当前的词嵌入通常包含不必要的信息，即，噪声我们提出了两个新的模型，以改善词嵌入的无监督学习，以产生字去噪嵌入。基于深度前馈神经网络滤波器，通过增强原始词嵌入中的显著信息和减弱噪声，得到词去噪嵌入。基准测试任务的结果表明，过滤后的词去噪嵌入优于原始的词嵌入。
2016-10-06 cs.CL
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology（挪威科技大学）；Aalto University（阿尔托大学）
将单词编码为向量的词嵌入是自然语言处理的重要起点，并且通常用于许多基于文本的机器学习任务。然而，在大多数当前的词嵌入方法中，嵌入空间中的相似性在学习中没有被优化。在本文中，我们提出了一种新的邻居嵌入方法，直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走，从而能够更好地揭示词之间的主题。实验结果表明，与现有的词嵌入方法相比，该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
On the Dimensionality of Word Embedding
Stanford University（斯坦福大学）；Microsoft Corp.（微软公司）
本文对词嵌入及其维数进行了理论上的理解。基于词嵌入的酉不变性，本文提出了一种新的度量词嵌入相似性的度量方法-成对内积损失。使用矩阵扰动理论的技术，我们揭示了一个基本的偏差方差权衡词嵌入的维度选择。这种偏差-方差权衡揭示了许多以前无法解释的经验观察，例如最佳维度的存在。此外，新的见解和发现，如何时以及如何词嵌入是强大的过度拟合，揭示。通过优化PIP损失的偏差-方差权衡，我们可以明确地回答词嵌入的维度选择的公开问题。
2018-12-11 cs.CL cs.LG stat.ML
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）
给定使用不同算法和词汇资源学习的多个源词嵌入，Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现，源嵌入的简单向量级联是一个有竞争力的基线。然而，目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明，加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作，最大限度地减少成对内积损失。在此理论分析之后，我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明，所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures；University of Edinburgh（爱丁堡大学）
我们描述了一个可视化工具，可以用来查看随着时间的推移，在单词的含义的变化。该工具利用现有的（静态）单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder（阿格德大学人工智能研究中心（CAIR））
在向量空间中嵌入单词是最先进的自然语言处理（NLP）中基本的第一步。典型的NLP解决方案采用预定义的向量表示，通过在向量空间中共同定位相似的单词来提高泛化能力。例如，Word2Vec是一个自我监督的预测模型，它使用神经网络捕获单词的上下文。类似地，GLoVe是一种流行的无监督模型，结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务，包括情感分析、文档分类和机器翻译。然而，嵌入是密集的浮点向量，这使得它们的计算成本很高，并且难以解释。在本文中，我们建议用几个定义词来表示词的语义，这些词使用命题逻辑。为了产生这样的逻辑嵌入，我们引入了一个基于Tsetlin Machine的自动编码器，它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成，以定义“咖啡”等其他单词，因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准，优于GLoVe的六个分类任务。此外，我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群，演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
Effect of Text Color on Word Embeddings
Kyushu University（九州大学）
在自然场景和文档中，我们可以找到文本与其颜色之间的相关性。例如，“热”这个词通常用红色印刷，而“冷”通常用蓝色印刷。这种相关性可以被认为是表示单词之间语义差异的特征。基于这一观察，我们提出了将文本颜色用于词嵌入的想法。虽然纯文本的词嵌入（例如word2vec）非常成功，但它们通常表示反义词相似，因为它们通常在句子中可以互换。在本文中，我们尝试了两个任务，以验证文本颜色在理解单词的含义，特别是在识别同义词和反义词的有用性。首先，我们量化了书籍封面图像中单词的颜色分布，并分析了颜色与单词含义之间的相关性。其次，我们尝试以词的颜色分布作为约束来重新训练词嵌入。通过观察重新训练前后同义词和反义词的词嵌入的变化，我们的目标是了解在加入文本颜色信息时，哪些词的词嵌入会产生积极或消极的影响。
2020-04-18 cs.CL cs.CV cs.LG
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University（普渡大学）
静态词嵌入编码词关联，广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获，嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词，基于他们的词嵌入功能，揭示潜在的属性词的关联形成的嵌入空间，而不引入任何确认偏见。我们的研究结果表明，在嵌入训练（CBOW与skip-gram）的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外，经验表明，即使在相同的语料库上训练时，在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性，从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
传统上，许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而，在许多语言和专业语料库中，单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术，这不仅导致长尾文本语料库中的不频繁词的嵌入较差，而且还导致处理词汇外词的能力较弱。在本文中，我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明，MorphMine可以将各种语言中的单词分割成人类验证的词素。此外，我们的实验表明，利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
我们介绍了一种方法，用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合，在标准的词嵌入方法，在我们的贝叶斯模型中，我们从一个词特定的先验密度为每个给定的词的出现。直觉上，对于每个单词，先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是，与高斯嵌入不同，我们还可以获得上下文特定的密度：它们编码了给定上下文的单词意义的不确定性，并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用：例如，我们表明，它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
Interpretable Word Embeddings via Informative Priors
Linköping University（林雪平大学）；Aalto University（阿尔托大学）
词嵌入在NLP任务中表现出了强大的性能。然而，词嵌入缺乏可解释性和无监督的性质限制了它们在计算社会科学和数字人文科学中的使用。我们建议使用信息先验知识来创建概率词嵌入的可解释和域信息维度。实验结果表明，合理的先验知识可以捕捉潜在的语义概念比或与当前的最先进的水平，同时保留使用先验知识的简单性和概括性。
2019-09-03 cs.CL cs.LG stat.ML
