Relational Word Embeddings
Cardiff University(卡迪夫大学)
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识,但它们捕获关系信息的程度要有限得多。在以前的工作中,这个限制已经解决了从外部知识库的关系知识时,学习词嵌入。然而,这种战略可能不是最佳的,因为它们受到现有资源覆盖范围的限制,并将相似性与其他形式的相关性混为一谈。作为一种替代方案,在本文中,我们提出了一个单独的词嵌入,这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的,因此即使在没有外部知识库可用时也可以使用。我们的分析表明,关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
Dictionary-based Debiasing of Pre-trained Word Embeddings
Tokyo Metropolitan University(东京都立大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
在大型语料库上训练的词嵌入显示出高度的不公平歧视性性别、种族、宗教和民族偏见。相比之下,人类编写的词典以简洁、客观和公正的方式描述单词的含义。我们提出了一种使用字典对预训练的词嵌入进行去偏置的方法,而不需要访问原始训练资源或关于所使用的词嵌入算法的任何知识。与以前的工作不同,我们所提出的方法不需要的类型的偏见被预先定义的单词列表的形式,并学习的约束,必须满足无偏词嵌入自动从字典定义的话。具体地,我们学习编码器以生成输入词嵌入的去偏版本,使得它(a)保留预训练的词嵌入的语义,(b)根据字典同意词的无偏定义,以及(c)保持与由预训练的词嵌入空间中的任何偏置基向量所跨越的向量空间正交。标准基准数据集上的实验结果表明,该方法可以准确地去除预训练词嵌入中编码的不公平偏见,同时保留有用的语义。
2021-01-23 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
WordBias: An Interactive Visual Tool for Discovering Intersectional Biases Encoded in Word Embeddings
Stony Brook University(石溪大学)
交叉偏见是由多种社会因素如性别,性,种族,残疾,宗教等的重叠造成的偏见。最近的一项研究表明,词嵌入模型可能充满对交叉群体的偏见,如非洲裔美国女性等。解决这种交叉偏见的第一步是识别它们。然而,发现对不同交叉群体的偏见仍然是一项具有挑战性的任务。在这项工作中,我们提出了WordBias,一个交互式的视觉工具,旨在探讨偏见对静态词嵌入编码的交叉组。给定一个预训练的静态词嵌入,WordBias根据种族、年龄等计算每个词与不同群体的关联,然后使用一个新颖的交互式界面将它们可视化。使用一个案例研究,我们展示了如何字偏见可以帮助发现偏见对交叉群体,如黑人穆斯林男性,贫困女性等编码在词嵌入。此外,我们还使用来自专家访谈的定性反馈来评估我们的工具。该工具的源代码可以在github.com/bhavyaghai/WordBias上公开访问,以供复制。
2021-09-06 cs.AI cs.CL cs.HC
Word-level Lexical Normalisation using Context-Dependent Embeddings
The University of Western Australia(西澳大利亚大学)
词汇规范化(LN)是将数据集中的每个单词校正为其规范形式的过程,以便更容易,更准确地分析。大多数词汇规范化系统都是在字符级别上运行的,而单词级别的模型很少使用。最近的语言模型提供了解决方案的缺点,词级LN模型,然而,据我们所知,没有研究已经调查他们的有效性LN。在本文中,我们介绍了一个词级的基于GRU的LN模型和最近的嵌入技术的有效性字级LN。我们的研究结果表明,我们基于GRU的单词级模型比字符级模型产生更好的结果,并且在Twitter数据上优于现有的基于深度学习的LN技术。我们还发现,在某些情况下,随机初始化的嵌入能够优于预先训练的嵌入模型。最后,我们向社区发布了大量的词汇规范化数据集。
2019-11-13 cs.CL
Radical-level Ideograph Encoder for RNN-based Sentiment Analysis of Chinese and Japanese
Keio University(庆应义塾大学)
在非字母语言如汉语和日语中,字符词汇量可能非常大,这使得神经网络模型非常庞大以处理此类语言。我们探索了一种情感分类模型,该模型采用汉字的偏旁部首,即汉语的汉字和日语的汉字的嵌入。我们的模型由一个CNN词特征编码器和一个双向RNN文档特征编码器组成。所取得的结果与基于字符嵌入的模型相当,并且接近于最先进的基于词嵌入的模型,词汇量比基于字符嵌入的模型和基于词嵌入的模型小90%,并且参数分别比基于字符嵌入的模型和基于词嵌入的模型少至少13%和80%。实验结果表明,基于激进嵌入的方法对于中文和日文的机器学习是具有成本效益的。
2017-08-10 cs.CL
Context encoders as a simple but powerful extension of word2vec
Technische Universität Berlin(柏林工业大学)
凭借简单的架构和从包含数十亿单词的文本中有效学习有意义的单词嵌入的能力,word2vec仍然是当今最受欢迎的神经语言模型之一。然而,由于对词汇表中的每个单词只学习一个嵌入,因此该模型无法最佳地表示具有多种含义的单词。此外,不可能当场为新(词汇表外)单词创建嵌入。基于一个直观的解释连续袋的话(CBOW)word2vec模型的负采样训练目标预测上下文的相似性,我们激励扩展的模型,我们称之为上下文编码器(ConEc)。通过将已训练的word2vec嵌入矩阵与单词的平均上下文向量相乘,可以基于单词的本地上下文创建具有多个含义的单词的词汇外(OOV)嵌入和表示。这种方法的好处是通过使用这些词嵌入的功能,在CoNLL 2003命名实体识别(NER)的任务。
2017-06-08 cs.CL cs.LG stat.ML
Solving Cosine Similarity Underestimation between High Frequency Words by L2 Norm Discounting
University of Liverpool(利物浦大学);Cardiff University(卡迪夫大学);Amazon(亚马逊)
针对BERT等掩码语言模型中高频词余弦相似度低估问题,提出基于词频的L2范数折扣方法,并针对停用词特殊处理,有效解决了相似度低估现象。
2023-05-17 cs.CL
On Measuring Social Biases in Sentence Encoders
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
词嵌入关联测试表明,GloVe和word2vec词嵌入表现出基于性别、种族和其他社会结构的类似人类的内隐偏见(Caliskan等人,2017年)的报告。与此同时,学习可重用文本表示的研究已经开始探索高级文本,一些句子编码器看到了热情的采用。因此,我们扩展了词嵌入关联测试来测量句子编码器中的偏差。然后,我们测试了几个句子编码器,包括最先进的方法,如ELMo和BERT,在以前的工作中研究的社会偏见和两个重要的偏见,很难或不可能在单词水平上测试。我们观察到混合的结果,包括可疑的敏感性模式,这表明测试的假设可能并不普遍。最后,我们提出了未来工作的方向,衡量句子编码器的偏见。
2019-03-25 cs.CL cs.CY
Contextualized Sensorimotor Norms: multi-dimensional measures of sensorimotor strength for ambiguous English words, in context
University of California, San Diego(加州大学圣迭戈分校)
大多数大语言模型都是在语言输入的基础上训练的,但人类似乎是在感觉运动经验中理解单词的。一个自然的解决方案是用人类对单词的感觉运动关联的判断来增强LM表示(例如,兰开斯特感觉运动规范),但这提出了另一个挑战:大多数单词是模糊的,并且孤立地对单词的判断不能解释这种意义的多样性(例如,"木桌"与"数据表")。我们试图解决这个问题,通过建立一个新的词汇资源的语境化感觉运动判断的112个英语单词,每个在四个不同的背景下(448句)。我们表明,这些评级编码重叠,但不同的信息从兰开斯特感觉运动规范,他们也预测其他措施的兴趣(例如,相关性),高于和超出从BERT得出的测量。除了阐明理论问题之外,我们建议这些评级可以作为研究人员建立接地语言模型的"挑战集"。
2022-03-10 cs.CL
Spoken Word2Vec: Learning Skipgram Embeddings from Speech
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文针对口语词语义嵌入易编码语音而非语义的问题,分析浅层 skipgram 失效原因,并提出深度端到端变体以改善嵌入空间的语义相关性。
2024-07-01 cs.AI cs.CL
Semantics or spelling? Probing contextual word embeddings with orthographic noise
Cornell University(康奈尔大学)
通过向输入单词引入单字符交换的正字法噪声,发现预训练语言模型生成的上下文词嵌入对噪声高度敏感,且敏感性与子词分词相关,表明这些表示可能不是可靠的语义代理。
2024-08-08 cs.CL
Post-Processing of Word Representations via Variance Normalization and Dynamic Embedding
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
虽然嵌入式向量表示的单词提供了令人印象深刻的性能在许多自然语言处理(NLP)的应用,有序的输入序列的信息在一定程度上丢失,如果只有基于上下文的样本在训练中使用。为了进一步提高性能,两个新的后处理技术,称为后处理通过方差归一化(PVN)和后处理通过动态嵌入(PDE),提出了这项工作。PVN方法将词向量的主成分方差归一化,而PDE方法从有序输入序列中学习正交潜变量。PVN和PDE方法可以集成以实现更好的性能。我们将这些后处理技术应用于两种流行的词嵌入方法(即,word2vec和GloVe)以产生它们的后处理表示。进行了大量的实验,以证明所提出的后处理技术的有效性。
2019-02-04 cs.CL
Model Choices Influence Attributive Word Associations: A Semi-supervised Analysis of Static Word Embeddings
Purdue University(普渡大学)
静态词嵌入编码词关联,广泛用于下游NLP任务。虽然先前的研究已经讨论了这些词的联想的性质的偏见和词汇的重复捕获,嵌入训练过程的基础上的词的联想的变化仍然是模糊的。这项工作旨在通过评估五种不同静态词嵌入架构的属性词关联、分析模型架构、上下文学习风格和训练语料库的选择的影响来解决这一差距。我们的方法利用半监督聚类方法聚类注释专有名词和形容词,基于他们的词嵌入功能,揭示潜在的属性词的关联形成的嵌入空间,而不引入任何确认偏见。我们的研究结果表明,在嵌入训练(CBOW与skip-gram)的上下文学习风味的选择影响词的联想可扩展性和词嵌入的敏感性的偏差在训练语料库。此外,经验表明,即使在相同的语料库上训练时,在不同的词嵌入模型之间的编码词关联中也存在显著的模型间差异和模型内相似性,从而以为每个嵌入架构创建嵌入空间的方式描绘特定模式。
2020-12-14 cs.CL
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University(斯泰伦博斯大学)
我们调查的无监督模型,可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中,这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督,如单词或音素边界。在这里,我们提出了编码器-解码器对应自动编码器(EncDec-CAE),它不是真正的单词段,而是使用自动发现的段:一个无监督的术语发现系统发现相同的未知类型的单词对,并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器(AE),具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models
Uppsala University(乌普萨拉大学);University of Edinburgh(爱丁堡大学);University of Zurich(苏黎世大学)
本文通过简化神经机器翻译(NMT)结构和训练无编码器的NMT模型来理解NMT。在无编码器模型中,词嵌入和位置嵌入的总和表示源。解码器是一个标准的Transformer或递归神经网络,通过注意力机制直接处理嵌入。实验结果表明:(1)无编码器模型中的注意力机制是一个强的特征提取器;(2)无编码器模型中的词嵌入与传统模型中的词嵌入相比具有竞争力;(3)非语境化的源表示导致性能大幅下降;(4)无编码器模型对德英和汉英对齐质量的影响不同。
2019-07-18 cs.CL
From the New World of Word Embeddings: A Comparative Study of Small-World Lexico-Semantic Networks in LLMs
School of Humanities, Tsinghua University(清华大学人文学院);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本研究构建不同参数规模LLMs输入嵌入的词汇语义网络,发现其具有小世界特性,且更大规模LLMs的网络更复杂、小世界效应更弱,还通过多类分析验证了方法有效性。
2025-05-19 cs.CL
Verb Argument Structure Alternations in Word and Sentence Embeddings
New York University(纽约大学)
动词出现在不同的句法环境或框架中。我们调查是否人工神经网络编码语法的区别推断动词的特质框架选择属性。我们介绍了五个数据集,统称为FAVA,包含在聚合近10K的句子标记为语法的可接受性,说明不同的口头论点结构的交替。然后,我们测试模型是否可以区分可接受的英语动词框架组合从不可接受的单独使用句子嵌入。为了获得收敛的证据,我们进一步构建了相应的词级数据集LaVA,并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些语言变化进行了可靠的分类,但对其他语言变化则没有,这表明虽然这些表示确实编码了细粒度的词汇信息,但它是不完整的,或者很难提取。此外,词级模型和句子级模型之间的差异表明,词嵌入中存在的一些信息不会传递给下游的句子嵌入。
2018-11-27 cs.CL
Spying on your neighbors: Fine-grained probing of contextual embeddings for information about surrounding words
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学)
虽然使用上下文词嵌入的模型在许多NLP任务上取得了最先进的结果,但人们对这些嵌入编码的上下文词的确切信息知之甚少。为了解决这个问题,我们引入了一套探测任务,使细粒度测试的上下文嵌入编码的信息周围的话。我们应用这些任务来检查流行的BERT,ELMo和GPT上下文编码器,并发现我们测试的每种信息类型确实被编码为跨令牌的上下文信息,通常具有近乎完美的可恢复性,但编码器在将哪些特征分配给哪些令牌,它们的分布有多细微,以及每个特征的编码对距离的鲁棒性方面有所不同。我们讨论了这些结果的影响,不同类型的模型如何分解和优先级词级上下文信息时,构建令牌嵌入。
2020-05-04 cs.AI cs.CL
Analyzing autoencoder-based acoustic word embeddings
University of Edinburgh(爱丁堡大学);Stellenbosch University(斯泰伦博斯大学)
最近的研究介绍了学习声学词嵌入(AWE)的方法--固定大小的矢量表示的单词编码其声学特征。尽管AWE在语音处理研究中被广泛使用,但它们仅在区分整个单词标记的能力方面进行了定量评估。为了更好地理解AWE在各种下游任务和认知建模中的应用,我们需要分析AWE的表示空间。在这里,我们分析了AWE空间的基本属性学习序列到序列编码器-解码器模型在六个类型不同的语言。我们首先表明,这些AWE保留了一些关于单词的绝对持续时间和扬声器的信息。同时,这些AWE的表示空间被组织成使得词的嵌入之间的距离随着那些词的语音相异性而增加。最后,AWE表现出一个词的起始偏差,类似于人类语音处理和词汇访问的各种研究中报道的模式。我们认为,这是一个有前途的结果,并鼓励进一步评估AWE作为一个潜在的有用的工具,在认知科学,它可以提供语音处理和词汇记忆之间的联系。
2020-04-03 cs.CL
Universal Sentence Encoder
Google Research(谷歌研究院)
我们提出了将句子编码为嵌入向量的模型,这些嵌入向量专门针对迁移学习到其他NLP任务。该模型是有效的,并导致在不同的传输任务的准确性能。编码模型的两种变体允许在准确性和计算资源之间进行权衡。对于这两种变体,我们调查和报告模型复杂性,资源消耗,传输任务训练数据的可用性和任务性能之间的关系。与通过预训练的词嵌入使用词级迁移学习的基线以及不使用任何迁移学习的基线进行比较。我们发现使用句子嵌入的迁移学习往往优于单词水平的迁移。通过句子嵌入的迁移学习,我们观察到了令人惊讶的良好性能,并且对于迁移任务使用了最少量的监督训练数据。我们获得了令人鼓舞的结果词嵌入关联测试(WEAT)针对检测模型的偏见。我们的预训练句子编码模型可在TF Hub上免费下载。
2018-04-12 cs.CL
Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models
Paralleldots, Inc.(Paralleldots公司)
当对句子中的不同单词执行极性检测时,我们需要查看周围的单词来理解情绪。像BERT这样的大规模预训练语言模型不仅可以对文档中的单词进行编码,还可以对单词周围的上下文进行编码。这就引出了一个问题,“预训练语言模型是否也会自动编码每个单词的情感信息?“和“它可以用来推断极性对不同的方面?".在这项工作中,我们试图回答这个问题,表明训练的比较上下文嵌入从BERT和通用的词嵌入可以用来推断情绪。我们还表明,如果我们微调一个子集的权重的模型建立在比较BERT和通用词嵌入,它可以得到最先进的结果极性检测方面基于情感分类数据集。
2020-11-23 cs.CL
Gender Bias in Contextualized Word Embeddings
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学);University of Cambridge(剑桥大学)
在本文中,我们量化,分析和减轻ELMo的语境化词向量中表现出的性别偏见。首先,我们进行了几个内在的分析,发现(1)训练数据ELMo包含显着更多的男性比女性实体,(2)训练ELMo嵌入系统编码性别信息和(3)ELMo不平等地编码性别信息的男性和女性实体。然后,我们表明,一个国家的最先进的共指系统,依赖于ELMo继承其偏见,并表现出显着的偏见WinoBias探测语料库。最后,我们探索了两种方法来减轻这种性别偏见,并表明WinoBias上的偏见可以消除。
2019-04-05 cs.CL
Contextualized Word Vector-based Methods for Discovering Semantic Differences with No Training nor Word Alignment
Konan University(甲南大学);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Tokyo University of Foreign Studies(东京外国语大学);University of Tokyo(东京大学)
本文提出基于上下文化词向量范数的方法,无需训练和词对齐即可发现两个语料库中词语的语义差异,在母语与非母语及历史语料库中验证了其对语料规模偏斜的鲁棒性及低频词检测能力。
2023-05-19 cs.CL
Word Rotator's Distance
Tohoku University(东北大学);RIKEN(理化学研究所)
文本相似性评估的一个关键原则是通过考虑词对齐来衡量两个文本之间的语义重叠程度。这种基于语义的方法是直观和可解释的,然而,它们在经验上不如通用句子向量之间的简单余弦相似性。为了解决这个问题,我们专注于并证明了这样一个事实,即词向量的范数是一个很好的代理字的重要性,和他们的角度是一个很好的代理字的相似性。基于对齐的方法不区分它们,而基于对齐向量的方法自动使用规范作为单词重要性。因此,我们提出了一种方法,该方法首先将词向量分解成它们的范数和方向,然后使用推土机的距离(即,最优传输成本),我们称之为单词旋转器距离。此外,我们发现如何增长的范数和方向的词向量(向量转换器),这是一个新的系统的方法,来自于搜索向量估计方法。在几个文本相似性数据集上,这些简单的方法的组合不仅优于基于验证的方法,而且还优于强基线。源代码可在www.example.com上获得
2020-11-16 cs.CL
An exploration of the encoding of grammatical gender in word embeddings
Uppsala University(乌普萨拉大学)
词的向量表示,即词嵌入,开辟了语言学研究的新途径。这些表示可以捕获关于单词的不同类型的信息。名词语法性是根据名词的形式和语义特征对名词进行的一种典型分类。基于词嵌入的语法性研究有助于深入探讨语法性是如何决定的。在这项研究中,我们比较了不同的词嵌入集,根据神经分类器的准确性,确定语法性别的名词。研究发现,在瑞典语、丹麦语和荷兰语的嵌入中,语法性别的编码方式存在重叠。我们的实验结果的上下文嵌入指出,添加更多的上下文信息的嵌入是有害的分类器的性能。我们还观察到,从嵌入的训练语料库中删除诸如冠词之类的形态句法特征会显着降低分类性能,这表明很大一部分信息被编码在名词和冠词之间的关系中。
2020-11-03 cs.CL
Cross-Lingual Word Alignment for ASEAN Languages with Contrastive Learning
College of Computer and Software Engineering, Hohai University(河海大学计算机与软件学院)
针对低资源东盟语言词对齐,本文在基于 BiLSTM 的编码器-解码器框架中引入对比学习与多视角负采样,显式建模词嵌入差异,并在四个语种、五个数据集上验证其持续提升对齐准确率。
2024-07-06 cs.CL
Are We Consistently Biased? Multidimensional Analysis of Biases in Distributional Word Vectors
University of Mannheim(曼海姆大学)
词嵌入最近被证明反映了许多明显的社会偏见(例如,性别偏见或种族偏见)。然而,现有的研究范围有限,并且没有调查嵌入模型,文本类型和不同语言等相关维度的偏差的一致性。在这项工作中,我们提出了一个系统的研究编码在分布式词向量空间的偏见:我们分析如何一致的偏见影响是跨语言,语料库和嵌入模型。此外,我们分析了双语嵌入空间中编码的跨语言偏差,表明NLP模型的跨语言迁移中包含的偏差迁移的影响。我们的研究产生了一些意想不到的发现,例如,偏见可以通过不同的嵌入模型来强调或淡化,或者用户生成的内容可能比百科全书文本的偏见更少。我们希望我们的工作能够促进NLP中的偏见研究,并为偏见减少技术的发展提供信息。
2019-04-29 cs.CL
Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses
Université Paris-Saclay(巴黎-萨克雷大学);CNRS, LISN(法国国家科学研究中心,LISN);University of Helsinki(赫尔辛基大学)
预训练的语言模型(LM)编码了丰富的语言结构信息,但它们对词汇多义的认识仍然不清楚。我们提出了一种新的实验装置,专门训练用于不同语言(英语,法语,西班牙语和希腊语)和多语种BERT的LM分析这种知识。我们对精心设计的数据集进行分析,以反映不同的意义分布,并控制与多义词高度相关的参数,如频率和语法类别。我们证明,BERT派生的表征反映了词的多义性水平和他们的分割成意义。英语BERT嵌入中的多义词相关信息更清晰,但其他语言中的模型也设法在不同的多义词水平上建立相关的区别。我们的研究结果有助于更好地理解语境化表征中编码的知识,并为多语言词汇语义研究开辟了新的途径。
2021-04-29 cs.CL
On the Curious Case of $\ell_2$ norm of Sense Embeddings
University of Liverpool(利物浦大学);Amazon(亚马逊)
我们表明,$\ell_2$规范的静态意义嵌入编码的信息相关的频率的意义上的训练语料库用于学习的意义嵌入。这一发现可以被看作是一个先前已知的词嵌入的关系,意义嵌入的延伸。我们的实验结果表明,尽管它的简单性,$\ell_2$规范的意义嵌入是一个令人惊讶的有效功能的几个词义相关的任务,如(a)最常见的意义预测,(b)词在上下文(WiC),(c)词义消歧(WSD)。特别是,通过简单地包括$\ell_2$规范的意义嵌入作为一个功能的分类器,我们表明,我们可以改善WiC和WSD方法,使用静态的意义嵌入。
2022-10-26 cs.CL
The statistical trade-off between word order and word structure - large-scale evidence for the principle of least effort
Institute for the German Language (IDS), Mannheim, Germany(德语语言研究所(IDS),曼海姆,德国)
语言使用不同的策略来传递结构和语法信息。例如,虽然句子中的语法依赖关系主要通过汉语普通话或越南语等语言的单词排序来传达,但对于因纽特语或克丘亚语等语言,单词排序的限制要少得多,因为这些语言(也)使用单词的内部结构(例如屈折形态)来标记句子中的语法关系。基于对1,500多个独特的翻译圣经不同的书籍在1,100多个不同的语言,作为母语约60亿人的定量分析(超过世界人口的80%),我们提供了大量的统计贸易证据-单词排序所传达的信息量和单词内部结构所传达的信息量之间的差异:更强烈地依赖于词序信息的语言倾向于更少地依赖于词结构信息,反之亦然。此外,我们发现,尽管信息表达方式存在差异,但也有证据表明圣经正典的不同书籍之间存在权衡,这种权衡在不同语言之间几乎没有变化:书的词序信息量越多,其文字结构的信息量就越少,反之亦然。我们认为,这可能表明,一方面,语言编码信息的方式非常不同(但有效)。另一方面,与内容相关的特征和风格特征以非常相似的方式进行统计编码。
2016-08-25 cs.CL
The "Small World of Words" German Free-Association Norms
Center for Cognitive and Decision Sciences, Faculty of Psychology, University of Basel(巴塞尔大学心理学系认知与决策科学中心);Center for Adaptive Rationality, Max Planck Institute for Human Development, Berlin(柏林洪堡人类发展研究所适应性理性中心);Institute of Estonian and General Linguistics, University of Tartu(塔尔图大学爱沙尼亚与一般语言学研究所);Melbourne School of Psychological Sciences, University of Melbourne(墨尔本大学心理科学学院)
本文介绍了德语自由联想规范数据集SWOW-DE,通过三种心理语言学实验范式展示其在词汇决策任务和相关性判断中的预测能力,并与现有德语资源进行比较,揭示共性与语言特异性关联模式。
2026-04-21 cs.CL
Morphological Word Embeddings
Johns Hopkins University(约翰斯·霍普金斯大学);University of Munich(慕尼黑大学)
语言的相似性是多方面的。例如,两个单词可以在语义、句法或词法等方面相似。连续词嵌入已经被证明在某种程度上捕捉了这些相似性的大部分。这项工作考虑用形态注释数据指导词嵌入,这是一种半监督学习的形式,鼓励向量对词的形态进行编码,即,在嵌入空间中接近的词共享形态特征。为此,我们扩展了对数双线性模型,并表明我们的学习嵌入确实实现了这一点,使用德国作为案例研究。
2019-07-04 cs.CL
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP(圣保罗大学数学与计算机科学研究所)
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展,也不可互换,这使得它们不适合规范化用户生成内容(UGC)。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中,我们提出了一种技术的基础上分布式表示的话(或词嵌入)。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式,以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点,我们提出了一个完全无监督的,可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论,优于目前可用的工具,巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Semantic Word Clouds with Background Corpus Normalization and t-distributed Stochastic Neighbor Embedding
Heidelberg University(海德堡大学);LMU Munich(慕尼黑大学)
许多单词云不提供单词放置的语义,而是使用仅出于美学目的而优化的随机布局。我们提出了一种新的方法来模型的词的重要性和词的亲和力在一个文件中,并在一个大型的背景语料库相比。我们证明了它的有用性,生成更有意义的词云作为一个给定的文档的视觉摘要。然后,我们根据关键词的重要性选择关键词,并根据派生的亲和力构建词云。基于修改的t分布随机邻居嵌入(t-SNE),我们生成语义词放置。对于共现显着的话,我们包括边缘,并根据它们的共现聚类的话。为此,我们设计了一个可扩展的和内存高效的基于草图的方法,可用于商品硬件聚合所需的语料库统计数据进行规范化,并确定关键字以及显着的cooccupancy。我们经验验证我们的方法使用大型维基百科语料库。
2017-08-11 cs.CL cs.IR
Towards the quantification of the semantic information encoded in written language
The University of Manchester(曼彻斯特大学);Consejo Nacional de Investigaciones Científicas y Técnicas(阿根廷国家科学技术研究委员会);Centro Atómico Bariloche(巴里洛切原子中心);Instituto Balseiro(巴尔塞罗研究所)
书面语言是一种复杂的通信信号,能够以有序的单词序列的形式传达信息。除了语法所规定的局部顺序之外,语义和主题结构也影响着词汇使用的长期模式。在这里,我们表明,直接应用信息理论量化的统计分布的单词和文本的语义内容之间的关系。我们发现,有一个特征的规模,大约几千字,建立了典型的大小最翔实的部分在书面语言。此外,我们还发现,那些对整体信息贡献较大的词,往往与文章的主题和主题联系得更紧密。这种情况可以用一个词语使用模型来解释,该模型假设词语沿着文本分布在具有特征大小的域中,这些域的频率高于其他地方。我们的结论是基于一个大型数据库的书面语言,不同的主题和风格的分析,因此可能适用于一般的语言序列编码复杂的信息。
2009-07-27 cs.CL physics.data-an physics.soc-ph
Paraphrases do not explain word analogies
CNRS-EHESS-INRIA(法国国家科学研究中心-法国社会科学高等研究院-法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);University of Toronto(多伦多大学)
许多类型的分布式词嵌入(弱)将语言学意义编码为方向(“jump”和“jumped”之间的差异与“walk”和“walked”之间的差异类似)。人们曾多次试图解释这一事实。我们回应Allen和Hospedales最近(ICML,2019)的理论解释,该解释声称,只要规则性中涉及的四个词之间存在特定的释义关系,word2vec和GloVe就会编码语言学意义。我们证明,解释不通过:在这种解释下所需要的释义关系不成立的经验。
2021-02-23 cs.AI cs.CL
WEST: Word Encoded Sequence Transducers
Google Inc.(谷歌公司)
大词汇表模型中的大多数参数都用于嵌入层,将分类特征映射到向量,并用于softmax层的分类权重。这是存储器约束设备上训练应用(如联邦学习)和设备上推理应用(如自动语音识别(ASR))中的瓶颈。压缩嵌入层和softmax层的一种方法是用较小的子单元(如字符)替换较大的单元(如单词)。然而,与较大的单元模型相比,子单元模型的性能通常较差。我们提出了WEST,一种算法,用于编码分类功能和输出类的随机或域相关的子单元的序列,并证明这种转导可以导致显着的压缩,而不影响性能。WEST弥合了较大单元和子单元模型之间的差距,可以被解释为子单元特征上的MaxEnt模型,这可以是独立的兴趣。
2018-11-20 cs.CL cs.LG stat.ML
An Empirical Study on Leveraging Position Embeddings for Target-oriented Opinion Words Extraction
University of Sheffield(谢菲尔德大学);Beihang University(北京航空航天大学)
面向目标的意见词提取(TOWE)(Fan等人,2019 b)是面向目标的情感分析的一个新的子任务,其目的是为文本中的给定方面提取意见词。当前最先进的方法利用位置嵌入来捕获单词与目标的相对位置。然而,这些方法的性能取决于将这些信息合并到单词表示中的能力。在本文中,我们探索了各种基于预训练的词嵌入或利用词性和位置嵌入的语言模型的文本编码器,旨在检查TOWE中每个组件的实际贡献。我们还采用了一个图卷积网络(GCN),以提高单词表示,通过纳入句法信息。我们的实验结果表明,基于BiLSTM的模型可以有效地将位置信息编码成单词表示,而使用GCN只能获得边际收益。有趣的是,我们的简单方法优于几种最先进的复杂神经结构。
2021-09-02 cs.AI cs.CL
Words that make SENSE: Sensorimotor Norms in Learned Lexical Token Representations
University of Southern California(南加州大学)
本文提出SENSE模型,通过词嵌入预测Lancaster感觉运动规范,并通过行为研究验证了人类选择与SENSE评分之间的显著相关性。
2026-04-23 cs.AI cs.CL
Unseen Word Representation by Aligning Heterogeneous Lexical Semantic Spaces
University of Cambridge(剑桥大学);Iran University of Science and Technology(伊朗科技大学);Apple(苹果公司)
词嵌入技术严重依赖于单个词的大量训练数据。给定自然语言文本中的词的齐普菲分布,大量的词通常不频繁地或根本不出现在训练数据中。在本文中,我们提出了一种技术,利用知识编码的词汇资源,如WordNet,诱导嵌入看不见的话。我们的方法适应图嵌入和跨语言向量空间变换技术,以合并词汇知识编码的本体与来自语料库统计。我们表明,该方法可以在多个评估基准中提供一致的性能改进:在体外,在多个稀有词相似性数据集上,以及在体内,在两个下游文本分类任务中。
2018-11-12 cs.AI cs.CL cs.LG
A Computational Model to Disentangle Semantic Information Embedded in Word Association Norms
Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
两个著名的数据库之间的语义关系的词对心理语言学,基于特征和联想为基础的,作为复杂网络进行了研究。我们提出了一个算法来解开基于特征的关系,从自由联想语义网络。该算法使用自由联想语义网络的丰富拓扑结构来产生一组新的词之间的关系,类似于在特征产生规范中观察到的那些关系。
2008-12-16 cs.AI cs.CL physics.data-an
Word-Class Embeddings for Multiclass Text Classification
Istituto di Scienza e Tecnologie dell’Informazione(信息科学与技术研究所);Consiglio Nazionale delle Ricerche(国家研究委员会)
预训练的词嵌入对自然语言的一般单词语义和词汇语义进行编码,并且已经证明在许多NLP任务中是有用的,包括词义消歧,机器翻译和情感分析,仅举几例。在有监督的任务中,如多类文本分类(本文的重点),似乎很有吸引力,可以通过对特定于任务的信息进行编码的特设嵌入来增强单词表示。我们提出了(监督)词类嵌入(WCE),并表明,当连接到(无监督)预训练的词嵌入时,它们大大促进了深度学习模型在多类分类中的训练。我们展示了经验证据,表明WCE在多类分类准确性方面得到了一致的提高,使用了四种流行的神经架构和六种广泛使用和公开可用的多类文本分类数据集。我们实现WCE的代码可在https://github.com/AlexMoreo/word-class-embeddings上公开获取
2019-11-26 cs.CL cs.LG stat.ML
Assessing Social and Intersectional Biases in Contextualized Word Representations
Yale University(耶鲁大学)
机器学习中的社会偏见已经引起了人们的极大关注,工作范围从在众多应用程序中展示偏见,为不同的上下文策划公平的定义,到开发算法来减轻偏见。在自然语言处理中,性别偏见已经被证明存在于上下文无关的词嵌入中。最近,上下文单词表示在几个下游NLP任务中的表现优于词嵌入。这些单词表示取决于它们在句子中的上下文,也可以用于编码整个句子。在本文中,我们分析了在何种程度上的最先进的模型上下文单词表示,如BERT和GPT-2,编码偏见与性别,种族和交叉身份。为此,我们建议在上下文单词水平上评估偏见。这种新颖的方法捕捉上下文无关的词嵌入中的偏差缺失的上下文效应,但避免了混淆效应,低估了偏见在句子编码水平。我们证明了在语料库水平上的偏见的证据,发现不同的证据嵌入关联测试中的偏见,特别是显示,种族偏见是强烈编码的上下文单词模型,并观察到交叉少数民族的偏见影响加剧超越其组成少数民族的身份。此外,在上下文单词水平上评估偏见效应可以捕获在句子水平上无法捕获的偏见,这证实了我们新方法的必要性。
2019-11-04 cs.AI cs.CL cs.CY
Words of Warmth: Trust and Sociability Norms for over 26k English Words
National Research Council Canada(加拿大国家研究委员会)
本文构建了首个覆盖2.6万余英语单词的温暖、信任与社交性人工标注词典Words of Warmth,验证其高可靠性,并展示其在儿童词汇习得及偏见与刻板印象研究中的应用价值。
2025-06-04 cs.CL cs.CY
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们介绍了一种方法,用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合,在标准的词嵌入方法,在我们的贝叶斯模型中,我们从一个词特定的先验密度为每个给定的词的出现。直觉上,对于每个单词,先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是,与高斯嵌入不同,我们还可以获得上下文特定的密度:它们编码了给定上下文的单词意义的不确定性,并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用:例如,我们表明,它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
Vision Transformers Learn Word Meaning from Images Alone
Technical University of Denmark(丹麦技术大学)
本文研究仅图像自监督预训练的DINOv3视觉Transformer能否从图像中学习词义,发现其能呈现显著语义结构,对比对齐可增强其单词级语义结构,表明仅图像训练能让视觉模型掌握词义关联。
2026-10-12 cs.CL cs.CV
Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所);Nanyang Technological University(南洋理工大学)
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词,因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中,我们提出了Word 2 Pix:一个基于编码器-解码器Transformer架构的一级视觉接地网络,它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入,对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式,每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO,RefCOCO+和RefCOCOg数据集上进行了实验,所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明,Word 2 Pix超越了两阶段视觉基础模型,同时保持了一阶段范式的优点,即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
Thomson Reuters Labs(汤森路透实验室)
研究表明,一些自然语言处理(NLP)系统编码和复制有害的偏见,对我们的社会产生潜在的不良道德影响。在这篇文章中,我们提出了一种方法来识别性别和种族刻板印象的词嵌入培训的司法意见,从美国判例法。当下游系统用于分类、信息抽取、问答或用于构建法律研究工具的其他机器学习系统时,包含原型信息的嵌入可能会造成伤害。我们首先解释了以前提出的识别这些偏见的方法是如何不适合用于在法律意见文本上训练的词嵌入的。然后,我们提出了一个域适应的方法来识别性别和种族偏见在法律领域。我们使用这些方法进行的分析表明,种族和性别偏见被编码到经过法律意见训练的词嵌入中。这些偏见并没有通过排除历史数据来减轻,并且出现在法律的多个大的主题领域。下游系统,使用法律意见词嵌入和潜在的缓解策略的建议,根据我们的观察的影响进行了讨论。
2022-04-12 cs.AI cs.CL
Word-level Embeddings for Cross-Task Transfer Learning in Speech Processing
Swiss Federal Institute of Technology Lausanne(洛桑联邦理工学院);Imperial College London(伦敦帝国学院);Logitech Europe S.A.(罗技欧洲公司)
深度学习的最新突破通常依赖于表示学习和知识转移。近年来,用于学习语音表示的无监督和自监督技术被开发以促进自动语音识别。到目前为止,这些方法中的大多数是特定于任务的,并且被设计用于不同数据集或特定任务的设置之间的任务内迁移学习。反过来,学习任务独立的语音表示和迁移学习的跨任务应用仍然不太常见。在这里,我们介绍了一个编码器捕捉词级表示的语音跨任务迁移学习。我们展示了预训练编码器在四个不同的语音和音频处理任务中的应用:(i)语音增强,(ii)语言识别,(iii)语音,噪声和音乐分类,以及(iv)说话人辨识。在每个任务中,我们将跨任务迁移学习方法的性能与特定任务的基线进行比较。我们的研究结果表明,编码器通过预训练捕获的语音表示在不同的语音处理任务和数据集之间是可转移的。值得注意的是,即使是我们预先训练的编码器的简单应用程序也优于特定于任务的方法,或者是相当的,这取决于任务。
2021-12-14 cs.CL cs.SD eess.AS
Cross-Lingual Word Embedding Refinement by $\ell_{1}$ Norm Optimisation
The University of Sheffield(谢菲尔德大学)
跨语言词嵌入(CLWE)在共享的高维空间中对来自两种或更多种语言的词进行编码,在所述高维空间中,表示具有相似含义(与语言无关)的词的向量紧密地定位。用于构建高质量CLWE的现有方法学习使$\ell_{2}$范数损失函数最小化的映射。然而,这种优化目标已被证明是敏感的离群值。基于更强大的曼哈顿规范(又名。$\ell_{1}$ norm)拟合优度准则,提出了一种简单的后处理步骤来改进CLWEs。这种方法的一个优点是,它是完全不可知的原始CLWE的训练过程,因此可以广泛应用。进行了广泛的实验,涉及十种不同的语言和不同语料库上训练的嵌入。基于自然语言推理任务的双语词典归纳和跨语言迁移的评估结果表明,$\ell_{1}$细化大大优于四个国家的最先进的基线在监督和无监督的设置。因此,建议采用该策略作为CLWE方法的标准。
2021-04-11 cs.CL cs.LG stat.ML
A Neurobiologically Motivated Analysis of Distributional Semantic Models
The University of Electro-Communications(电子通信大学)
分布式语义模型或词嵌入在各种研究领域中的广泛使用是由于它们在实际应用和认知建模中表示词的含义的显着能力。然而,很少有人知道什么样的信息是编码在基于文本的词向量。当词向量被视为抽象概念的语义表示模型时,这种理解的缺乏尤其成问题。本文利用Binder等人的分析方法,试图揭示分布词向量的内在信息。’s(2016)brain-based vectors,基于神经生物学动机属性的显式结构化概念表征。在分析中,训练从基于文本的向量到基于大脑的向量的映射,并通过比较估计的和原始的基于大脑的向量来评估预测性能。分析表明,社会和认知信息更好地编码在基于文本的词向量,但情感信息不是。这一结果将从抽象概念的具身理论的角度进行讨论。
2018-02-06 cs.CL q-bio.NC
Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学)
口语语言理解(SLU)是将自动语音识别器(ASR)中的假设转换为结构化的语义表示。ASR识别错误会严重降低后续SLU模块的性能。为了解决这个问题,单词混淆网络(WCN)已被用来编码的输入SLU,它包含比1-最好或n-最好的假设列表更丰富的信息。为了进一步消除歧义,对话上下文的最后一个系统动作也被用作附加输入。本文提出了一种基于BERT的SLU模型(WCN-BERT SLU),用于对WCN和对话上下文进行联合编码。它可以在BERT架构中集成WCN的结构信息和ASR后验概率。在DSTC 2上的实验结果表明,该方法是有效的,可以显着优于以前的最先进的模型。
2020-09-08 cs.CL cs.LG
The "LLM World of Words" English free association norms generated by large language models
University of Pisa(比萨大学);University of Trento(特伦托大学);National Research Council of Italy(意大利国家研究委员会)
本文构建约12,000词的 LWOW 自由联想数据集,通过 Mistral、Llama3 和 Haiku 对齐 SWOW,并建立语义记忆网络以分析人类与 LLM 的隐性偏见。
2024-12-02 cs.AI cs.CL