Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的研究表明，在人工生成的语料库上训练的词嵌入在嵌入空间中具有很强的性别偏见，这些偏见可能导致各种下游任务的区分结果。鉴于以前的方法项目的词嵌入到一个线性子空间去偏置，我们介绍了一个\textit{Latent Disentanglement}方法与连体自动编码器结构与自适应梯度反转层。我们的结构使语义潜在信息和性别潜在信息的给定的词分离到不相交的潜在维度。然后，引入一个\textit{Counterfactual Generation}对词的性别信息进行转换，使得原嵌入和修改后的嵌入在几何对齐正则化后，能够产生一个性别中立的词嵌入，而不会丢失语义信息。从各种定量和定性的去偏置实验，我们的方法比现有的去偏置方法在去偏置词嵌入。此外，我们的方法显示了在去偏置过程中通过最小化外部NLP下游任务的语义信息损失来保留语义信息的能力。
2020-11-03 cs.CL cs.LG stat.ML
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong（香港城市大学）
词嵌入已经成为自然语言处理的关键，因为它提高了各种任务的经验表现。然而，最近的研究发现，性别偏见是纳入神经词嵌入，下游任务，依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法，这些方法主要集中在减少与性别方向相关的性别偏见，并未能减少词嵌入关系中呈现的性别偏见。在本文中，我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系，利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
ETNLP: a visual-aided systematic approach to select pre-trained embeddings for a downstream task
Umeå University（于默奥大学）；The Australian E-Health Research Centre, CSIRO（联邦科学与工业研究组织澳大利亚电子健康研究中心）；The University of Tasmania（塔斯马尼亚大学）
给定许多最近的高级嵌入模型，选择预训练的词嵌入（也称为，词表示）模型最适合于特定下游任务是重要的。在本文中，我们提出了一种系统的方法，称为ETNLP，用于提取，评估和可视化多组预训练的词嵌入，以确定哪些嵌入应该用于下游任务。对于提取，我们提供了一种方法来提取要在下游任务中使用的嵌入子集。为了进行评估，我们使用输入单词类比列表来分析预训练嵌入的质量。最后，我们可视化的词表示在嵌入空间中交互式地探索嵌入的词。我们证明了所提出的方法的有效性，我们预先训练的词嵌入模型在越南选择哪些模型是适合于命名实体识别（NER）的任务。具体来说，我们创建了一个大型越南语单词类比列表，以评估和选择任务的预训练嵌入模型。然后，我们利用所选择的嵌入NER任务，并在任务基准数据集上实现新的最先进的结果。我们还将该方法应用于另一个下游任务隐私保证嵌入选择，并表明它可以帮助用户快速选择最合适的嵌入。此外，我们使用所提出的系统方法创建了一个开源系统，以促进对其他NLP任务的类似研究。源代码和数据可在https://github.com/vietnlp/etnlp上获得。
2019-08-03 cs.CL
Towards a Seamless Integration of Word Senses into Downstream NLP Applications
University of Cambridge（剑桥大学）；Sapienza University of Rome（罗马大学）
词汇歧义会阻碍自然语言处理系统对语义的准确理解。尽管有潜在的好处，但将感官层面的信息整合到NLP系统中仍然没有得到充分的研究。通过将一种新的消歧算法融入到最先进的分类模型中，我们创建了一个管道，将意义级信息集成到下游NLP应用程序中。我们表明，一个简单的消歧的输入文本可以导致一致的性能提高多个主题分类和极性检测数据集，特别是当细粒度的基本感库存减少，文档足够大。我们的研究结果还指出，有必要对感官表征研究更多地关注体内评估，这些评估的目标是下游NLP应用的性能，而不是人工基准。
2017-10-18 cs.CL
TransDrift: Modeling Word-Embedding Drift using Transformer
Indian Institute of Technology Delhi（印度理工学院德里分校）
在现代NLP应用程序中，词嵌入是一个关键的骨干，可以很容易地在许多任务之间共享。然而，随着文本分布的变化和单词语义随着时间的推移而演变，如果单词表示不符合数据漂移，则使用嵌入的下游应用程序可能会受到影响。因此，保持词嵌入与底层数据分布一致是一个关键问题。在这项工作中，我们解决了这个问题，并提出TransDrift，一个基于变换的预测模型词嵌入。利用Transformer的灵活性，我们的模型准确地学习嵌入漂移的动态并预测未来的嵌入。在实验中，我们与现有的方法进行比较，并表明我们的模型比基线更准确地预测词嵌入。至关重要的是，通过将预测的嵌入作为下游分类任务的骨干，我们表明，与以前的方法相比，我们的嵌入具有更好的性能。
2022-06-16 cs.CL cs.LG
Distributional Semantics, Holism, and the Instability of Meaning
University of Reading（雷丁大学）；University of Pennsylvania（宾夕法尼亚大学）
本文探讨不稳定性反对意见对分布语义模型的影响，区分了绝对不稳定性和差异不稳定性，论证了差异不稳定性受词汇关系结构约束，允许意义产生变化同时避免交流问题。
2025-04-03 cs.CL
Characterizing the impact of geometric properties of word embeddings on task performance
The Ohio State University（俄亥俄州立大学）；University of Warwick（华威大学）
词嵌入属性的分析，以告知其在下游NLP任务中的使用，主要是通过评估最近的邻居进行研究。然而，连续特征空间的几何性质直接有助于在下游模型中使用嵌入特征，并且在很大程度上未被探索。我们考虑词嵌入几何的四个属性，即：相对于原点的位置，特征在向量空间中的分布，全局成对距离和局部成对距离。我们定义了一系列转换来生成新的嵌入，这些嵌入将这些属性的子集暴露给下游模型，并评估任务性能的变化，以了解每个属性对NLP模型的贡献。我们从三个流行的工具包（word2vec，GloVe和FastText）中转换公开的预训练嵌入，并评估各种内在任务，这些任务在向量空间中建模语言信息，以及外部任务，这些任务使用向量作为机器学习模型的输入。我们发现，内在的评价是高度敏感的绝对位置，而外在的任务主要依赖于本地的相似性。我们的研究结果表明，未来的嵌入模型和后处理技术应该主要关注向量空间中附近点的相似性。
2019-04-09 cs.CL cs.LG
Word Embeddings: A Survey
Mathematics Institute (IM-UFRJ), Federal University of Rio de Janeiro（里约热内卢联邦大学数学研究所（IM-UFRJ））；Federal University of Rio de Janeiro（里约热内卢联邦大学）
该综述梳理了基于分布假说的词嵌入构建主流策略，指出其兼具优质句法语义信息，可作为额外特征赋能下游NLP任务。
2023-05-02 cs.CL cs.LG stat.ML
Combating Adversarial Misspellings with Robust Word Recognition
Carnegie Mellon University（卡内基梅隆大学）
为了对抗对抗性拼写错误，我们建议在下游分类器之前放置一个单词识别模型。我们的单词识别模型建立在RNN半字符架构的基础上，引入了几种新的退避策略来处理罕见和不可见的单词。训练识别随机添加，下降，交换和键盘错误损坏的单词，我们的方法实现了32%的相对（和3.3%的绝对）错误减少香草半字符模型。值得注意的是，我们的管道赋予下游分类器鲁棒性，优于对抗训练和现成的拼写检查器。与针对情感分析进行微调的BERT模型相比，单个敌对选择的字符攻击将准确率从90.3%降低到45.8%。我们的防御系统可以将准确率恢复到75%。令人惊讶的是，更好的单词识别并不总是需要更强的鲁棒性。我们的分析表明，鲁棒性还取决于一个量，我们表示的灵敏度。
2019-08-29 cs.CL cs.CR cs.LG
Using Selective Masking as a Bridge between Pre-training and Fine-tuning
IIIT Hyderabad（海得拉巴国际信息技术学院）；Adobe Research（奥多比研究院）
预训练语言模型，然后针对下游任务对其进行微调，已经为各种NLP任务展示了最先进的结果。预训练通常独立于下游任务，以前的工作表明，这种预训练本身可能不足以捕捉特定于任务的细微差别。我们提出了一种方法来定制一个预先训练的BERT模型的下游任务，通过特定于任务的掩蔽之前，标准的监督微调。为此，首先收集特定于任务的单词列表。例如，如果任务是情感分类，我们收集一小部分代表积极和消极情感的单词样本。接下来，使用单词列表测量单词对任务的重要性，称为单词的任务得分。然后，根据每个单词的任务得分，为每个单词分配一个掩蔽概率。我们用不同的掩蔽函数进行实验，这些函数根据单词的任务得分分配掩蔽概率。BERT模型在MLM目标上进一步训练，其中使用上述策略进行掩蔽。按照这个标准，对不同的下游任务进行监督微调。这些任务的结果表明，选择性掩蔽策略优于随机掩蔽，表明其有效性。
2022-11-24 cs.CL
The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tokyo Institute of Technology（东京工业大学）；University of Liverpool（利物浦大学）；Amazon（亚马逊）
该研究通过包含性别相关词汇的多种基准数据集评估去偏对下游任务性能的影响，发现去偏效果在所有任务中均被低估，并提出按女性词、男性词和刻板印象词分别评估可更可靠地衡量去偏影响。
2023-09-16 cs.CL
The effects of gender bias in word embeddings on depression prediction
Utrecht University（乌得勒支大学）
词嵌入作为一种最先进的语义特征向量表示方法被广泛应用于各种自然语言处理问题中。尽管他们在不同的任务和领域的成功，他们可能会表现出不希望的偏见，刻板的类别，由于统计和社会偏见，存在于数据集，他们是trainedon.In这项研究中，我们分析了性别偏见，在四个不同的预训练词嵌入专门为抑郁症类别的精神障碍域。我们使用上下文和非上下文嵌入，这些嵌入是在独立于领域以及临床领域特定的数据上训练的。我们观察到，嵌入对不同性别群体的抑郁症进行偏见，这取决于嵌入的类型。此外，我们证明，这些不希望的相关性被转移到下游任务抑郁症表型识别。我们发现，数据增强通过简单地交换性别词减轻了偏见显着的下游任务。
2022-12-15 cs.CL cs.LG
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity
University of Colorado（科罗拉多大学）；University of Maryland（马里兰大学）
跨语言词嵌入将不同语言的词的含义编码到共享的低维空间中。许多下游任务的重要要求是单词相似性应该独立于语言-即，一种语言中的词向量彼此之间的相似性不应超过与另一种语言中的词之间的相似性。我们使用模块化来衡量这一特性，模块化是一种网络测量方法，可以测量图中集群的强度。模块化与三个下游任务有中度到强烈的相关性，即使模块化仅基于嵌入的结构，并且不需要任何外部资源。我们通过实验表明，模块化可以作为一个内在的验证指标，以提高无监督的跨语言词嵌入，特别是在低资源设置的遥远的语言对。
2019-06-05 cs.CL
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；Mila - Quebec AI（Mila - 魁北克人工智能研究所）
屏蔽语言模型（MLM）预训练令人印象深刻的性能的一个可能的解释是，这些模型已经学会表示经典NLP管道中流行的语法结构。在本文中，我们提出了一个不同的解释：MLMs成功的下游任务几乎完全是由于他们的能力，模型高阶词共现统计。为了证明这一点，我们在随机打乱词序的句子上预训练MLMs，并表明这些模型在许多下游任务上进行微调后仍然具有很高的准确性-包括专门设计用于挑战忽略词序的模型的任务。我们的模型执行令人惊讶的是，根据一些参数的语法探测，表明可能存在的缺陷，我们如何测试表示的语法信息。总的来说，我们的研究结果表明，纯粹的分布信息在很大程度上解释了预训练的成功，并强调了管理需要更深入语言知识的具有挑战性的评估数据集的重要性。
2021-09-09 cs.CL cs.LG
Learning the Curriculum with Bayesian Optimization for Task-Specific Word Representation Learning
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）
我们使用贝叶斯优化来学习单词表示学习的课程，优化依赖于学习的表示作为特征的下游任务的性能。课程由线性排名函数建模，该函数是学习的权重向量和工程特征向量的标量积，该特征向量表征训练语料库中每个实例的复杂性的不同方面。我们表明，学习课程提高了性能的各种下游任务随机订单和自然语料库的顺序相比。
2016-06-21 cs.CL
Retrofitting Contextualized Word Embeddings with Paraphrases
University of California Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）；University of Pennsylvania（宾夕法尼亚大学）
语境化的词嵌入模型，如ELMo，生成词及其语境的有意义的表示。这些模型已被证明对下游应用有很大的影响。然而，在许多情况下，当上下文被释义时，单词的上下文化嵌入发生了巨大的变化。因此，下游模型对释义和其他语言变体不具有鲁棒性。为了提高语境化词嵌入模型的稳定性，我们提出了一种利用释义语境来改进语境化嵌入模型的方法。我们的方法学习输入空间上的正交变换，其旨在最小化释义上下文上的单词表示的方差。实验表明，改进后的模型在各种句子分类和语言推理任务上的性能明显优于原始ELMo。
2019-09-12 cs.AI cs.CL
SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models
University of Southern California（南加州大学）
句子嵌入是自然语言处理中的一个重要研究课题，它可以将知识传递给下游任务。同时，一个上下文化的词表示，称为BERT，在相当多的NLP任务中达到了最先进的性能。然而，从基于BERT的词模型中生成高质量的句子表示是一个悬而未决的问题。以往的研究表明，不同层次的BERT捕捉不同的语言属性。这使我们能够跨层融合信息，以找到更好的句子表示。在这项工作中，我们研究了深层上下文模型的单词表示的分层模式。然后，我们提出了一种新的句子嵌入方法，通过解剖BERT的词模型，通过几何分析的空间跨越的词表示。它被称为SBERT-WK方法。无需在SBERT-WK中进行进一步培训。我们评估SBERT-WK的语义文本相似性和下游监督任务。此外，十个层次的探测任务，提出了详细的语言分析。实验表明，SBERT-WK达到了最先进的性能。我们的代码是公开的。
2020-06-01 cs.CL cs.LG cs.MM
Evaluation of sentence embeddings in downstream and linguistic probing tasks
尽管新的句子嵌入方法发展迅速，但要找到这些不同技术的综合评价仍然具有挑战性。在过去的几年里，我们看到了句子嵌入领域的显著进步，特别是在开发通用句子编码器方面，它可以为各种下游任务提供归纳传输。在这项工作中，我们使用各种各样的下游和语言特征探测任务对最近的方法进行了全面评估。我们证明了一种简单的方法，使用词袋与最近引入的深度上下文相关的词嵌入的语言模型，与在蕴涵数据集上训练的句子编码器相比，在许多任务中都能产生更好的结果。然而，我们也表明，我们仍然远离一个通用的编码器，可以在几个下游任务中一致地执行。
2018-06-16 cs.CL
Debiasing Multilingual Word Embeddings: A Case Study of Three Indian Languages
IIT Kharagpur（印度理工学院卡拉格布尔分校）
在本文中，我们提出了目前国家的最先进的方法去偏置单语词嵌入，以便推广到多语言设置。我们考虑不同的方法来量化偏见和不同的去偏置方法，单语以及多语言设置。我们证明了我们的偏见缓解方法对下游NLP应用的重要性。我们提出的方法建立了最先进的性能去偏置多语言嵌入三种印度语言-印地语，孟加拉语和泰卢固语，除了英语。我们相信，我们的工作将为构建无偏见的下游NLP应用程序开辟新的机会，这些应用程序本质上依赖于所使用的词嵌入的质量。
2021-07-22 cs.CL
Parsimonious Morpheme Segmentation with an Application to Enriching Word Embeddings
The University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）
传统上，许多文本挖掘任务将单个单词标记视为最细的有意义的语义粒度。然而，在许多语言和专业语料库中，单词是由语义上有意义的子词结构连接而成的。词级分析不能利用存在于这样的子词结构中的语义信息。对于词嵌入技术，这不仅导致长尾文本语料库中的不频繁词的嵌入较差，而且还导致处理词汇外词的能力较弱。在本文中，我们提出了无监督的语素分割的MorphMine。MorphMine应用简约性标准来分层地将单词分割成层次结构的每个级别上的最少数量的语素。这导致在每个分割层次上共享的语素更长。实验表明，MorphMine可以将各种语言中的单词分割成人类验证的词素。此外，我们的实验表明，利用MorphMine词素丰富词嵌入一贯提高嵌入质量的各种嵌入评估和下游的语言建模任务。
2019-11-13 cs.CL cs.LG stat.ML
KaWAT: A Word Analogy Task Dataset for Indonesian
Kata Research Team（卡塔研究团队）
我们介绍了KaWAT（Kata Word Analogy Task），一个新的印度尼西亚语单词类比任务数据集。我们评估了几个现有的预训练的印尼语词嵌入和印尼语在线新闻语料库上训练的嵌入。我们还在两个下游任务上测试了它们，发现预训练的词嵌入通过减少训练时间或产生显着的性能增益来帮助。
2019-06-17 cs.CL
Investigating Gender Bias in BERT
Singapore University of Technology and Design（新加坡科技设计大学）
上下文语言模型（CLM）将NLP基准测试推向了一个新的高度。在文本分类等下游任务中利用CLM提供的词嵌入已经成为一种新的规范。然而，除非得到解决，否则CLM很容易在数据集中学习固有的性别偏见。因此，下游NLP模型的预测可能会因性别词的变化而发生明显变化，例如将“他”替换为“她”，甚至是性别中性词。在本文中，我们将重点分析一个流行的CLM，即，BERT。我们分析了它在五个与情绪和情绪强度预测相关的下游任务中引起的性别偏见。对于每个任务，我们训练一个简单的回归利用BERT的词嵌入。然后，我们使用公平评估语料库评估回归的性别偏见。理想情况下，从具体的设计来看，模型应该从输入中丢弃性别信息特征。然而，结果显示，系统的预测对性别特定的单词和短语的依赖性很大。我们认为，这种偏见可以通过从词嵌入中去除性别特征来减少。因此，对于BERT中的每一层，我们识别主要编码性别信息的方向。由这些方向形成的空间被称为词嵌入语义空间中的性别子空间。我们提出了一种算法，发现细粒度的性别方向，即，每个BERT层有一个主方向。这就避免了在多个维度上实现性别子空间的需要，也避免了其他关键信息的遗漏。实验表明，去除这些方向的嵌入组件在减少下游任务中的BERT引起的偏差方面取得了很大的成功。
2020-09-10 cs.CL
On Measuring and Mitigating Biased Inferences of Word Embeddings
University of Utah（犹他大学）
词嵌入带有来自它们所训练的文本的刻板内涵，这可能导致依赖它们的下游模型中的无效推断。我们利用这一观察设计了一个机制，用于测量定型使用的任务自然语言推理。我们证明了减少无效的推断，通过偏见缓解策略静态词嵌入（GloVe）。此外，我们表明，性别偏见，这些技术扩展到语境化嵌入时，选择性地只适用于静态组件的语境化嵌入（ELMo，BERT）。
2019-11-26 cs.CL cs.LG
An Empirical Study on Post-processing Methods for Word Embeddings
University of California, San Diego（加利福尼亚大学圣迭戈分校）
从大型语料库中学习的词嵌入已被广泛应用于自然语言处理中，并作为学习系统的通用输入表示。近年来，人们提出了一系列的后处理方法来提高词嵌入在相似性比较和类比检索任务中的性能，其中一些方法已被应用于句子表征。这些方法背后的一般假设是，通过强制嵌入空间更加各向同性，可以更好地表达单词之间的相似性。我们认为这些方法作为一种方法来缩小协方差/克矩阵，这是通过学习词向量估计，对一个缩放的单位矩阵。通过使用集中式核对齐（CKA）优化半黎曼流形中的目标，我们能够搜索最佳收缩参数，并提供一种后处理方法来平滑学习单词向量的频谱，从而提高下游任务的性能。
2019-10-23 cs.CL cs.LG stat.ML
Mitigating Gender Bias in Contextual Word Embeddings
本文提出新的掩码语言建模目标函数和评估指标，用于缓解上下文词嵌入中的性别偏见，同时证明静态嵌入偏见主要源于刻板印象名字而非性别化词语本身。
2024-11-18 cs.CL cs.LG
A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
自回归语言模型，使用大型文本语料库进行预训练，以便在下一个单词预测方面做得很好，已经成功地解决了许多下游任务，即使使用了zero-shot。然而，对这种成功的理论认识很少。本文通过考虑以下问题对这一现象进行了数学研究：（1）下一个词预测的预训练任务和文本分类之间的直观联系是什么？(2)我们如何在数学上形式化这种联系，并量化语言建模的好处？对于（1），我们假设并经验验证了感兴趣的分类任务可以重新表述为句子完成任务，从而使语言建模成为有意义的预训练任务。通过对这一假设的数学形式化，我们朝着（2）取得了进展，并表明在交叉熵（对数困惑度）中是$ε$最优的语言模型学习特征，这些特征可以线性地解决具有$\mathcal{O}(\sqrtε)$错误的分类任务，从而证明在语言建模方面做得好可以有利于下游任务。我们通过实验验证了各种假设和理论发现，并利用分析中的见解设计了一个新的目标函数，该函数在某些分类任务中表现良好。
2021-04-14 cs.AI cs.CL cs.LG
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
A Word is Worth 4-bit: Efficient Log Parsing with Binary Coded Decimal Recognition
SAP Labs Mougins, France（法国SAP实验室）
针对现有日志解析器难以捕捉细粒度模板细节导致准确率低的问题，提出一种聚合字符嵌入的字符级日志解析器，通过估计二进制编码十进制序列提取细粒度模板，在准确率上匹敌LLM解析器且效率更高。
2025-06-01 cs.CL cs.LG
CBOW Is Not All You Need: Combining CBOW with the Compositional Matrix Space Model
Idiap Research Institute（Idiap研究所）；Kiel University / ZBW（基尔大学 / ZBW）；University of Essex（埃塞克斯大学）
连续词袋（CBOW）是一种强大的文本嵌入方法。由于其强大的文字内容编码能力，CBOW嵌入在广泛的下游任务中表现良好，同时计算效率高。但是，CBOW不能捕获词序。原因是CBOW的词嵌入的计算是可交换的，即，XYZ和ZYX的嵌入是相同的。为了解决这个问题，我们提出了一个学习算法的连续矩阵空间模型，我们称之为连续字乘法（CMOW）。我们的算法是word 2 vec的一种改编，因此它可以在大量未标记的文本上进行训练。我们的经验表明，CMOW更好地捕捉语言特性，但它是劣于CBOW记忆单词内容。受这些发现的启发，我们提出了一个结合CBOW和CMOW优势的混合模型。我们的研究结果表明，混合CBOW-CMOW模型保留了CBOW的强大的记忆单词内容的能力，而在同一时间大幅提高其编码其他语言信息的能力8%。因此，混合算法在11个有监督的下游任务中的8个上也表现得更好，平均提高了1.2%。
2019-02-18 cs.CL cs.LG
An Unsupervised Character-Aware Neural Approach to Word and Context Representation Learning
University of Siena（锡耶纳大学）；University of Firenze（佛罗伦萨大学）
在过去的几年中，神经网络已被广泛用于开发有意义的单词和上下文的分布式表示。当这些表征，也被称为“嵌入”，从无监督的大型语料库中学习，它们可以被转移到不同的任务中，在性能方面具有积极的影响，特别是当只有少数监督可用时。在这项工作中，我们进一步扩展了这一概念，并提出了一种无监督的神经架构，它可以联合学习单词和上下文嵌入，将单词作为字符序列进行处理。这使得我们的模型能够发现由于单词形态而导致的错误，并避免需要固定大小的单词输入词汇表。我们表明，我们可以学习紧凑的编码器，尽管参数数量相对较少，但在下游任务中达到高水平的性能，将它们与相关的最先进的方法或完全监督的方法进行比较。
2019-07-19 cs.CL cs.LG stat.ML
How to (Properly) Evaluate Cross-Lingual Word Embeddings: On Strong Baselines, Comparative Analyses, and Some Misconceptions
University of Mannheim（曼海姆大学）；National University of Ireland, Galway（爱尔兰国立高威大学）；Aylien Ltd.（Aylien有限公司）；University of Cambridge（剑桥大学）；PolyAI Ltd.（PolyAI有限公司）
跨语言词嵌入（CLE）支持语义的多语言建模，并促进NLP模型的跨语言迁移。尽管它们在下游任务中无处不在，但最近越来越流行的基于投影的CLE模型几乎只在一个任务上进行评估：双语词典归纳（BLI）。即使BLI评估也有很大差异，这阻碍了我们正确解释不同CLE模型的性能和属性的能力。在这项工作中，我们跨语言词嵌入的全面评估的第一步。我们在BLI任务和三个下游任务中对大量语言对的监督和无监督CLE模型进行了彻底的评估，为尖端CLE模型支持跨语言NLP的能力提供了新的见解。我们的经验表明，CLE模型的性能在很大程度上取决于手头的任务，优化CLE模型BLI可能会导致下游性能恶化。我们指出了最强大的监督和无监督CLE模型，并强调需要重新评估现有的基线，这些基线仍然显示出全面的竞争力。我们希望，我们的工作将催化进一步的CLE评估和模型分析的工作。
2019-02-01 cs.CL
Hierarchical Multitask Learning Approach for BERT
Boğaziçi University（海峡大学）
最近的工作表明，学习上下文嵌入的话是有益的下游任务。BERT就是这种方法的一个成功例子。它通过解决两个任务来学习嵌入，这两个任务是掩码语言模型（掩码LM）和下一句预测（NSP）。BERT的预训练也可以被视为一个多任务学习问题。在这项工作中，我们采用分层多任务学习方法进行BERT预训练。预训练任务在不同的层而不是最后一层求解，并且来自NSP任务的信息被传输到掩蔽的LM任务。此外，我们提出了一个新的预训练任务bigram移位来编码词序信息。我们选择了两个下游任务，其中一个需要文本级嵌入（文本蕴涵），另一个需要上下文化的单词嵌入（问答）。由于计算限制，我们使用下游任务数据而不是大型数据集进行预训练，以查看给定受限数据集时所提出模型的性能。我们测试了他们的性能在几个探测任务分析学习嵌入。我们的研究结果表明，在预训练中实施任务层次结构可以提高嵌入的性能。
2020-10-17 cs.CL cs.LG
Learning to Compute Word Embeddings On the Fly
ElementAI（元素人工智能公司）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；DeepMind（深度思维公司）；Facebook AI Research（脸书人工智能研究院）
自然语言中的词遵循齐普夫分布，即一些词是频繁的，但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差，需要我们在外部数据上预训练嵌入，或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法，用于从少量辅助数据中动态预测稀有词的嵌入，并为下游任务训练端到端的网络。我们表明，这改善了基线的结果，其中嵌入是在阅读理解，识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Causally Denoise Word Embeddings Using Half-Sibling Regression
City University of Hong Kong（香港城市大学）；Friedrich Miescher Institute for Biomedical Research（弗里德里希·米歇尔生物医学研究所）
词的分布表示，也称为词向量，由于其广泛的应用，已经成为现代自然语言处理任务的关键。最近，出现了越来越多的词向量后处理算法，旨在使现成的词向量更加强大。根据这些调查，我们引入了一个新的词向量后处理方案下的因果推理框架。具体地说，后处理流水线是通过半同胞回归（HSR）实现的，它允许我们识别和去除词向量中包含的混淆噪声。与以前的工作相比，我们提出的方法具有可解释性和透明性的优点，由于其因果推理接地。在一组标准的词汇级评估任务和下游的情感分析任务上进行评估，我们的方法达到了最先进的性能。
2019-11-24 cs.CL cs.LG
Pre-training with Meta Learning for Chinese Word Segmentation
Xiaomi Inc（小米公司）；Xiaomi AI Lab（小米人工智能实验室）；Fudan University（复旦大学）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
最近的研究表明，预训练模型（PTM）是有益的中文分词（CWS）。然而，在以往的工作中使用的PTM通常采用语言建模作为预训练任务，缺乏特定于任务的先验分割知识，忽略了预训练任务和下游CWS任务之间的差异。在本文中，我们提出了一个CWS特定的预训练模型METASEG，它采用了一个统一的架构，并将Meta学习算法到一个多标准的预训练任务。实验结果表明，METASEG可以利用来自不同现有标准的共同先验分割知识，并减轻预训练模型和下游CWS任务之间的差异。此外，METASEG可以在12个广泛使用的CWS数据集上实现新的最先进的性能，并在低资源设置下显着提高模型性能。
2021-03-15 cs.CL
PETA: Evaluating the Impact of Protein Transfer Learning with Sub-word Tokenization on Downstream Applications
East China University of Science and Technology（华东理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
PETA通过在不同分词方法下训练14种词汇表大小的蛋白质语言模型，并在33个下游数据集上系统评估迁移学习能力，发现50-200的词汇表大小最优，超过800则损害表示性能。
2023-10-26 cs.AI cs.CL q-bio.BM
On the Effects of Knowledge-Augmented Data in Word Embeddings
University College London（伦敦大学学院）
本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的，并且通常不利用来自语言知识库的句法和语义信息，这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法，通过数据增强学习词嵌入，从数据中执行语义关系，并系统地评估其对所产生的表示的影响。我们表明，我们的知识增强方法提高了学习嵌入的内在特征，同时不会显着改变下游文本分类任务的结果。
2020-10-05 cs.CL cs.LG
[RE] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
Thapar University（塔帕尔大学）
尽管在自然语言处理（NLP）任务中广泛使用，但词嵌入因继承了训练语料库的非故意性别偏见而受到批评。程序员与男人的关系更密切，家庭主妇与女人的关系更密切。这种性别偏见也被证明在下游任务中传播。
2021-04-14 cs.AI cs.CL
Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
University of Virginia（弗吉尼亚大学）；Salesforce Research（赛富时研究院）
源自人类生成语料库的词嵌入继承了强烈的性别偏见，这可以通过下游模型进一步放大。一些常用的去偏方法，包括开创性的硬去偏算法，应用后处理过程，将预先训练的词嵌入投影到与推断的性别子空间正交的子空间中。我们发现，语义不可知的语料库，如词频捕获的词嵌入负面影响这些算法的性能。我们提出了一个简单但有效的技术，双硬Debias，净化词嵌入对这样的语料库的错误之前，推断和删除性别子空间。三个偏见缓解基准的实验表明，我们的方法保留了预训练的词嵌入的分布语义，同时减少性别偏见，以显着更大的程度比以前的方法。
2020-05-03 cs.CL cs.LG
Evaluating Embedding Frameworks for Scientific Domain
University of Oxford（牛津大学）；QunaSys
针对科学领域，本研究旨在寻找最优词表示与分词方法，并构建评估套件以测试多种算法，用于下游NLP任务。
2025-10-03 cs.AI cs.CL cs.LG
Mapping Unseen Words to Task-Trained Embedding Spaces
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑监督训练设置，在其中我们学习特定于任务的词嵌入。我们假设我们从从未标记数据中学习的初始嵌入开始，并更新它们以学习监督训练数据中单词的特定任务嵌入。然而，对于测试集中的新词，我们必须使用它们的初始嵌入或单个未知嵌入，这通常会导致错误。我们通过学习一个神经网络来解决这个问题，通过多损失目标函数从初始嵌入映射到特定于任务的嵌入空间。该技术是通用的，但在这里，我们将展示其用于改进的依存句法分析（特别是对于含有词汇表外单词的句子），以及用于情感分析的下游改进。
2016-06-23 cs.CL cs.LG
Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
向量空间词嵌入及其在自然语言处理中的应用越来越受到人们的关注，特别是最近提出的在非常大的规模上进行快速估计的方法。然而，几乎所有这些工作都假设每个单词类型只有一个向量，忽略了多义词，从而危及它们对下游任务的有用性。我们对Skip-gram模型进行了扩展，可以有效地学习每个单词类型的多个嵌入。它与最近的相关工作不同，联合执行词义判别和嵌入学习，通过非参数化估计每个单词类型的含义数量，以及其效率和可扩展性。我们在上下文任务中提出了最新的单词相似性结果，并通过在不到6小时的时间内在近10亿个令牌的语料库上使用一台机器进行训练来展示其可扩展性。
2015-04-24 cs.CL stat.ML
A Probabilistic Framework for Learning Domain Specific Hierarchical Word Embeddings
Amazon（亚马逊）；University of Melbourne（墨尔本大学）
一个词的含义往往因其在不同领域的用法而异。标准的词嵌入模型很难表示这种变化，因为它们学习一个词的单一全局表示。我们提出了一种方法来学习特定领域的词嵌入，从文本组织成层次结构的领域，如在电子商务网站的评论，其中产品遵循分类。我们的结构化概率模型允许向量表示相同的词漂移远离对方的分类法中的遥远的领域，以适应其特定领域的含义。通过联合学习特定于领域的单词表示集，我们的模型可以利用领域关系，并且它可以随着领域的数量而扩展。使用大型真实世界的评论数据集，我们证明了我们的模型与最先进的方法相比的有效性，在学习特定领域的词嵌入，这对人类来说是直观的，并有利于下游NLP任务。
2019-10-20 cs.CL cs.LG
Grammatical gender associations outweigh topical gender bias in crosslinguistic word embeddings
Babbel（巴巴贝尔（语言学习公司））
最近的研究表明，语义的向量空间模型可以反映人类文化中不受欢迎的偏见。我们对跨语言词嵌入的研究表明，主题性别偏见与语法性别联想的影响相互作用，并且在程度上被语法性别联想的影响所超越，并且两者都可以通过语料库词形化来减弱。这一发现对诸如机器翻译等下游应用具有启示意义。
2020-05-18 cs.CL
Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（坎佩伦智能技术研究院）；University of Pittsburgh（匹兹堡大学）
本研究考察众包中成熟的三种文本多样性激励方法（禁忌词、异常值提示、异常值链式处理）在基于LLM的文本增强中的作用，发现禁忌词提升多样性最显著，提示方法则使下游模型性能最高。
2024-08-18 cs.CL
Making Sense of Word Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）；Moscow State University（莫斯科国立大学）
我们提出了一个简单而有效的方法来学习词义嵌入。与现有的直接从语料库中学习语义表征或依赖于词汇资源中的语义库存的技术相比，我们的方法可以通过聚类相关词的自我网络从现有的词嵌入中诱导出一个语义库存。一个集成的WSD机制，使标签的单词在上下文中学习的意义向量，这引起了下游的应用程序。实验表明，我们的方法的性能是最先进的无监督的WSD系统相媲美。
2017-08-10 cs.CL
Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
Thomson Reuters Labs（汤森路透实验室）
研究表明，一些自然语言处理（NLP）系统编码和复制有害的偏见，对我们的社会产生潜在的不良道德影响。在这篇文章中，我们提出了一种方法来识别性别和种族刻板印象的词嵌入培训的司法意见，从美国判例法。当下游系统用于分类、信息抽取、问答或用于构建法律研究工具的其他机器学习系统时，包含原型信息的嵌入可能会造成伤害。我们首先解释了以前提出的识别这些偏见的方法是如何不适合用于在法律意见文本上训练的词嵌入的。然后，我们提出了一个域适应的方法来识别性别和种族偏见在法律领域。我们使用这些方法进行的分析表明，种族和性别偏见被编码到经过法律意见训练的词嵌入中。这些偏见并没有通过排除历史数据来减轻，并且出现在法律的多个大的主题领域。下游系统，使用法律意见词嵌入和潜在的缓解策略的建议，根据我们的观察的影响进行了讨论。
2022-04-12 cs.AI cs.CL
Evaluating Bias In Dutch Word Embeddings
Maastricht University（马斯特里赫特大学）
自然语言处理的最新研究表明，词嵌入可以对训练数据中存在的社会偏见进行编码，这可能会影响现实世界应用中的少数群体。本文探讨了荷兰语嵌入隐含的性别偏见，同时调查是否英语为基础的方法也可以在荷兰语中使用。我们实现了词嵌入关联测试（WEAT），聚类和句子嵌入关联测试（SEAT）的方法来量化荷兰语词嵌入中的性别偏见，然后我们继续减少与硬Debias和发送Debias缓解方法的偏见，最后我们评估的下游任务中的debiased嵌入的性能。结果表明，除其他外，性别偏见是存在于传统的和语境化的荷兰语词嵌入。我们强调如何使用的技术来衡量和减少偏见创建英语可以在荷兰嵌入充分翻译的数据，并考虑到语言的独特性。此外，我们分析了去偏置技术对下游任务的影响，这些任务对传统嵌入的影响可以忽略不计，而在上下文化嵌入中，性能下降了2%。最后，我们将翻译后的荷兰语数据集与传统的嵌入一起发布给公众，以减轻偏见。
2020-11-03 cs.CL
Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
University of Alberta（阿尔伯塔大学）；University of Essex（埃塞克斯大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
随着自然语言处理（NLP）在日常生活中的广泛应用，NLP模型中继承的社会偏见变得更加严重和成问题。先前的研究表明，在人类生成的语料库上训练的词嵌入具有强烈的性别偏见，可以在下游任务中产生歧视性结果。以前的去偏见方法主要集中在对偏见进行建模，只隐含地考虑语义信息，而完全忽视了偏见和语义成分之间复杂的潜在因果结构。为了解决这些问题，我们提出了一种新的方法，利用因果推理框架，以有效地消除性别偏见。所提出的方法使我们能够构建和分析复杂的因果机制，促进性别信息流，同时保留词嵌入内的甲骨文语义信息。我们的综合实验表明，该方法在性别去偏见任务中取得了最先进的结果。此外，我们的方法在单词相似性评估和各种外部下游NLP任务中具有更好的性能。
2021-12-09 cs.CL cs.CY
Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation
Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
本文研究了一种无监督的方法，以获得一个通用的，跨语言的词嵌入空间，其中具有相似语义的词从不同的语言是接近彼此。以前的对抗性方法在诱导跨语言词嵌入而无需并行数据方面显示出有希望的结果。然而，训练阶段表现出不稳定的遥远的语言对。我们建议使用一系列中间空间来实现平滑的桥接，而不是将源语言空间直接映射到目标语言空间。每个中间空间可以被认为是一个伪语言空间，并通过简单的线性插值引入。这种方法是仿照计算机视觉中的域流，但具有修改的目标函数。在本征双语词典归纳任务上的实验表明，该方法可以提高对抗模型的鲁棒性，并具有相当甚至更好的精度。在跨语言自然语言推理的下游任务上的进一步实验表明，与最先进的对抗和非对抗模型相比，该模型在下游任务中实现了远距离语言对的性能显著提高。
2022-10-07 cs.CL
Supervised Phrase-boundary Embeddings
Department of Computer Science and Information Systems, Birkbeck, University of London（伦敦大学伯贝克学院计算机科学与信息系统系）
我们提出了一个新的词嵌入模型，称为SPhrase，它结合了监督短语信息。我们的方法通过确保短语中的所有目标词具有完全相同的上下文来修改传统的词嵌入。我们证明，包括这些信息在一个上下文窗口产生优越的嵌入为内在的评价任务和下游的外在任务。
2020-02-15 cs.CL cs.IR cs.LG
Unsupervised POS Induction with Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
无监督词嵌入已被证明是有价值的监督学习问题的功能，但是，他们在无监督的问题中的作用还没有彻底探讨。在本文中，我们表明，嵌入同样可以增加价值的问题，无监督POS归纳。在两个有代表性的模型的POS归纳，我们取代多项分布的词汇与多元高斯分布的词嵌入，并观察到一致的改进，在八种语言。我们还分析了诱导词嵌入时的各种选择对“下游”词性诱导结果的影响。
2015-03-23 cs.CL
Interactive Refinement of Cross-Lingual Word Embeddings
University of Maryland（马里兰大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）
跨语言词嵌入在语言之间传递知识：在高资源语言上训练的模型可以在低资源语言中进行预测。我们介绍CLIME，一个交互式系统，快速完善跨语言的词嵌入为一个给定的分类问题。首先，CLIME根据单词对下游任务的显著性对单词进行排名。然后，用户在嵌入空间中标记关键字与其最近邻居之间的相似性。最后，CLIME使用注释更新嵌入。我们评估CLIME识别四种低资源语言中与健康相关的文本：伊洛卡诺语，僧伽罗语，提格里尼亚语和维吾尔语。由CLIME改进的嵌入捕获了更细微的单词语义，并且比原始嵌入具有更高的测试准确率。CLIME通常比主动学习基线更快地提高准确性，并且可以很容易地与主动学习相结合以改善结果。
2021-06-03 cs.CL cs.LG
