Outperforming Word2Vec on Analogy Tasks with Random Projections
我们提出了一个分布式矢量表示的基础上简化的BEAGLE系统,设计的背景下,西格玛认知架构。我们的方法不需要神经网络的基于梯度的训练,不需要像LSA那样的矩阵分解,也不需要像BEAGLE那样的卷积。所涉及的只是随机向量和它们的逐点乘积的和。尽管这种技术很简单,但它在类比问题上给出了最先进的结果,在大多数情况下优于Word2Vec。为了解释这一成功,我们将其解释为通过随机投影的降维。
2015-02-17 cs.CL cs.LG
Take and Took, Gaggle and Goose, Book and Read: Evaluating the Utility of Vector Differences for Lexical Relation Learning
University of Melbourne(墨尔本大学);University of Cambridge(剑桥大学)
最近关于词嵌入的工作表明,在预先训练的嵌入上进行简单的向量减法在捕获不同的词汇关系方面是惊人的有效,尽管缺乏明确的监督。先前的工作已经评估了这个有趣的结果,使用一个词的类比预测公式和手工选择的关系,但在更广泛的词汇关系类型和不同的学习设置的发现的一般性还没有得到评估。在本文中,我们进行了这样的评估,在两个学习设置:(1)谱聚类诱导词的关系,和(2)监督学习分类向量差异到关系类型。我们发现,词嵌入捕获了惊人的信息量,并且在适当的监督训练下,向量减法可以很好地推广到广泛的关系,包括看不见的词汇项。
2016-08-13 cs.CL
Analogies minus analogy test: measuring regularities in word embeddings
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)(认知机器学习(巴黎高等师范学院-法国国家科学研究中心-法国社会科学高等研究院-法国国家信息与自动化研究所-巴黎文理研究大学));Facebook A.I. Research(Facebook人工智能研究院);Laboratoire de Linguistique Formelle (CNRS - Paris Diderot - Sorbonne Paris Cite)(形式语言学实验室(法国国家科学研究中心-巴黎狄德罗大学-巴黎索邦大学));University of Toronto(多伦多大学)
长期以来,词的向量空间模型一直被认为是简单的向量翻译,但这一说法存在问题。我们分解和经验分析的经典算术词类比测试,激发两个新的指标,解决问题的标准测试,并区分类明智的偏移浓度(从不同的广泛类,如法国-伦敦,中国-渥太华,.)配对一致性(正确匹配的配对之间存在规则转换,如法国:巴黎::中国:北京)。我们发现,虽然标准的类比测试是有缺陷的,但几个流行的词嵌入编码语言学的错误。
2020-10-07 cs.AI cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Issues in evaluating semantic spaces using word analogies
LSCP & IJN(LSCP与IJN);École Normale Supérieure(巴黎高等师范学院);PSL Research University(PSL研究大学)
解决词类比的偏移方法已经成为向量空间语义模型的标准评估工具:它被认为是理想的空间表示语义关系作为一致的向量偏移。我们表明,该方法对余弦相似性的依赖混淆了偏移一致性与很大程度上不相关的邻域结构,并提出了简单的基线,应用于提高该方法在向量空间评估中的实用性。
2016-06-24 cs.CL
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Construction of a Japanese Word Similarity Dataset
JustSystems Corporation(株式会社ジャストシステム)
分布式单词表示的评估通常使用单词相似性任务和/或单词类比任务来进行。有许多数据集可用于这些任务的英语。然而,在没有这种资源的语言中评估分布式表示(例如,日语很难。因此,作为评估日语分布式表示的第一步,我们构建了一个日语单词相似度数据集。据我们所知,我们的数据集是第一个可用于评估日语分布式表示的资源。此外,我们的数据集包含各种词性,除了常用词外,还包括罕见词。
2018-02-22 cs.CL
Evaluating the Robustness of Analogical Reasoning in Large Language Models
University of Amsterdam(阿姆斯特丹大学);Santa Fe Institute(圣塔菲研究所)
本文通过字母串、数字矩阵和故事类比三类变体任务,评估LLMs类比推理的鲁棒性,发现GPT模型在多数变体上表现脆弱,缺乏人类零样本类比推理的鲁棒性,强调评估AI认知能力需同时关注准确性与鲁棒性。
2024-11-21 cs.AI cs.CL cs.LG
Word2Bits - Quantized Word Vectors
词向量需要大量的内存和存储,这给移动电话和GPU等资源有限的设备带来了问题。我们表明,高质量的量化字向量,每个参数使用1-2位,可以通过引入量化函数Word 2 Vec学习。我们还表明,训练与量化函数作为一个正则化。我们在英文维基百科(2017)上训练词向量,并在标准词相似性和类比任务以及问答(SQuAD)上对其进行评估。我们的量化词向量不仅比全精度(32位)词向量占用的空间少8- 16倍,而且在词相似性任务和问答方面也优于它们。
2018-03-31 cs.CL
SAT Based Analogy Evaluation Framework for Persian Word Embeddings
Shahid Beheshti University(沙希德·贝赫什提大学)
近年来,词嵌入作为一种将词转换为向量的新方法引起了人们的特别兴趣。如何理解词的语义有多少被转化到嵌入向量中已经成为一个焦点。这一点很重要,因为嵌入将被用作下游NLP应用程序的基础,并且端到端评估应用程序以识别所使用的嵌入模型的质量将是昂贵的。一般来说,词嵌入是通过一系列测试来评估的,包括类比测试。在本文中,我们提出了一个波斯语嵌入模型的测试框架。波斯语是一种低资源语言,没有丰富的语义基准来评估这种语言的词嵌入模型。在本文中,我们介绍了一个评估框架,包括手工制作的波斯SAT的类比数据集,colliquial测试集(特定于波斯语)和基准研究的语义评估任务的各种参数的影响。
2021-06-29 cs.AI cs.CL cs.LG
Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);UniVie Doctoral School Computer Science, University of Vienna(维也纳大学计算机科学博士学院);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学文学与文化研究系)
本文通过对比选择和投影方法,发现有针对性的组件选择在LLM训练数据解释中更有效且计算更高效。
2026-07-31 cs.CL
Wasserstein distances for evaluating cross-lingual embeddings
Salesforce(赛富时);Expedia Group(亿客行集团)
词嵌入是词的高维向量表示,其在向量空间中捕获它们的语义相似性。有几种算法用于学习这种嵌入,既为一种语言,以及为几种语言联合。在这项工作中,我们建议通过适应下游自然语言任务的最佳运输框架,以评估集合的嵌入。我们展示了如何家庭的Wasserstein距离可以用来解决跨语言的文档检索和跨语言的文档分类问题。我们认为这种方法的优势相比,更传统的评价方法,如双语词汇归纳嵌入。我们的实验结果表明,在这些问题上使用Wasserstein距离的性能优于几个强基线,并与最先进的模型相当。
2019-11-11 cs.CL
Reproducing and learning new algebraic operations on word embeddings using genetic programming
University of the Basque Country (UPV/EHU)(巴斯克大学)
词向量表示将高维实向量与语料库中的每个词相关联。最近,已经提出了基于神经网络的方法来从大型语料库中学习这种表示。这种类型的词到向量嵌入能够在学习的向量空间中保持原始词语料库中存在的一些句法和语义关系。这反过来又通过对向量进行定义的代数运算来解决不同类型的语言分类任务。一般的做法是假设词之间的语义关系可以通过应用先验指定的代数运算来推断。我们在本文中的总体目标是表明,它是可以学习的方法,在语义空间中的词组成。我们将把复合方法编码为一个程序,它可以是线性的,非线性的,或者涉及更复杂的表达式,而不是将其表示为代数运算。更值得注意的是,该程序将通过遗传编程(GP)从一组初始随机程序进化而来。我们表明,我们的方法能够再现与人类设计的代数运算符相同的行为。使用一个词的类比任务作为基准,我们还表明,GP生成的程序能够获得的准确度值以上的常用的人类设计的规则代数操作的词向量。最后,我们通过在word2vec GoogleNews向量上执行进化程序,学习了超过30亿个运行单词,并在相同的单词类比任务中评估其准确性,展示了我们方法的鲁棒性。
2017-02-18 cs.CL
Evaluating Neural Word Representations in Tensor-Based Compositional Settings
Queen Mary University of London(伦敦玛丽女王大学);University of Oxford(牛津大学)
我们提供了一个比较研究神经词表示和传统的向量空间的基础上共现计数,在一些组成的任务。我们使用三种不同的语义空间,并实现了七个基于张量的组合模型,然后我们在涉及动词消歧和句子相似性的任务中进行测试(以及更简单的加法和乘法方法)。为了检查它们的可扩展性,我们还使用简单的合成方法对具有较少约束的语言的大规模任务进行了空间评估:释义检测和对话行为标记。在更受约束的任务中,同现向量是有竞争力的,尽管组合方法的选择很重要;在大规模的任务中,它们被神经词嵌入胜过,神经词嵌入在整个任务中表现出鲁棒、稳定的性能。
2014-08-26 cs.CL
Sentence Analogies: Exploring Linguistic Relationships and Regularities in Sentence Embeddings
Rutgers University(罗格斯大学)
虽然词向量表征的重要性质已被广泛研究,但对句子向量表征的性质知之甚少。词向量的评估通常是通过评估它们在词类比中考虑的那种关系方面表现出多大程度的相似性来进行的。在本文中,我们调查在何种程度上常用的句子向量表示空间,以及反映某些类型的语义。我们提出了一些计划,以诱导评估数据,词汇类比数据的基础上,以及句子之间的语义关系。我们的实验考虑了广泛的句子嵌入方法,包括基于BERT风格的上下文嵌入。我们发现,不同的模型有很大的不同,在他们的能力,以反映这种不确定性。
2020-03-09 cs.CL
Re-evaluating Word Mover's Distance
Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
词移动者距离(WMD)是度量两个文档相似性的基本技术。作为大规模杀伤性武器的关键,它可以通过采用最佳传输公式来利用字空间的潜在几何。关于大规模毁灭性武器的最初研究报告说,大规模毁灭性武器在各种数据集中的表现都超过了经典的基线,如词袋(BOW)和TF-IDF。在本文中,我们指出,在原来的研究中的评价可能是误导。我们重新评估了大规模杀伤性武器和经典基线的性能,发现如果我们采用适当的预处理,即,L1正常化。此外,我们引入了WMD和L1-归一化BOW之间的类比,发现在高维空间中,不仅WMD的性能,而且距离值类似于BOW。
2022-06-15 cs.CL cs.IR cs.LG
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施,主要是关注属性相似性。最近的向量空间模型(VSM)的信息检索已被改编为测量关系相似性的任务,实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)模式是从语料库中自动导出的(它们不是预定义的),(2)奇异值分解(SVD)用于平滑频率数据(在潜在语义分析中也以这种方式使用),以及(3)自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上,LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Beyond Multiple Choice: Evaluating Steering Vectors for Summarization
University of Tübingen(图宾根大学)
本文评估引导向量在摘要生成中对主题焦点、情感、毒性及可读性的控制效果,发现高引导强度会导致重复和事实性幻觉,混合方法在中等强度下表现最佳。
2026-05-11 cs.CL cs.LG
Low-Rank Approximation of Matrices for PMI-based Word Embeddings
Nazarbayev University(纳扎尔巴耶夫大学)
我们进行了实证评估的几种方法的低秩近似的问题,获得基于PMI的词嵌入。所有的词向量都是在从英文维基百科(enwik9)中提取的大型语料库的一部分上训练的,该语料库被分成两个大小相等的数据集,从中获得PMI矩阵。使用重复测量设计将低秩近似(SVD、NMF、QR)方法和向量维数(250、500)分配给每个PMI矩阵重复样本。实验结果表明,与其他两种低秩近似方法相比,截断SVD方法得到的词向量在相似性和类比性两个下游任务上的性能最好。
2019-09-21 cs.CL
Learning to Remove: Towards Isotropic Pre-trained BERT Embedding
Northwest University(西北大学);Shannxi Normal University(陕西师范大学)
预先训练的语言模型,如BERT,已成为自然语言处理(NLP)任务的更常见选择。单词表示的研究表明,各向同性嵌入可以显着提高下游任务的性能。然而,我们测量和分析预训练的BERT嵌入的几何形状,发现它远非各向同性。我们发现词向量并不以原点为中心,两个随机词之间的平均余弦相似度远高于零,这表明词向量分布在一个狭窄的圆锥体中,恶化了词嵌入的表示能力。我们提出了一个简单而有效的方法来解决这个问题:用一组可学习的权重去除BERT嵌入的几个主导方向。我们训练单词相似性任务的权重,并表明处理后的嵌入更各向同性。我们的方法进行评估三个标准化的任务:词相似性,词的类比,语义文本相似性。在所有任务中,我们的方法处理的词嵌入始终优于原始嵌入(词类比平均提高13%,语义文本相似性平均提高16%)和两个基线方法。我们的方法也被证明是更强大的超参数的变化。
2021-08-27 cs.CL
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量,其中两个是在本研究中在大量爬行的法语数据上训练的,其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外,我们对多个真实的NLP任务进行了评估,结果表明,与现有的和随机的词向量相比,预训练的词向量的性能有了重要的提高。最后,我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain
Isfahan University of Technology(伊斯法罕理工大学);Isfahan University of Medical Sciences(伊斯法罕医科大学)
词嵌入已经在包括生物医学领域的自然语言处理任务中找到了它们的方式。虽然这些矢量表示成功地捕捉语义和句法词的关系,隐藏的模式和趋势的数据,他们无法提供可解释性。可解释性是论证的关键手段,而论证是生物医学应用中不可或缺的一部分。我们提出了一个包容性的研究在医学领域的词嵌入的可解释性,侧重于稀疏方法的作用。提供了词向量表示的可解释性的定性和定量测量和度量。对于定量评估,我们引入了一个广泛的分类数据集,可用于量化基于类别理论的可解释性。还提出了所研究的方法的内在和外在评价。至于后者,我们提出了数据集,可用于有效的外在评价的词向量在生物医学领域。基于我们的实验,可以看出,稀疏的词向量显示出更好的可解释性,同时保留了其原始向量在下游任务中的性能。
2020-05-11 cs.CL cs.LG
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool(利物浦大学);Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学)
表示两个给定单词(或实体)之间存在的语义关系是自然语言处理(NLP)广泛应用的重要第一步,如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移(\PairDiff)。尽管取得了经验上的成功,但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子,可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明,如果词嵌入是标准化的和不相关的,这样的操作将是独立的双线性项,并可以简化为一个线性形式,其中\PairDiff是一个特殊情况。对于众多的词嵌入类型,我们实证验证了不相关的假设,证明了我们的理论结果的普遍适用性。此外,我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Large Language Models provide support for the parallelogram theory of analogy
Princeton University(普林斯顿大学);The University of Hong Kong(香港大学)
研究比较了人类和LLM在类比任务中的表现,发现LLM生成的类比更符合平行四边形结构,且人类在生成关系保持的类比时表现较差。
2026-08-05 cs.AI cs.CL
Analyzing Structures in the Semantic Vector Space: A Framework for Decomposing Word Embeddings
Technische Universität Darmstadt(达姆施塔特工业大学)
词嵌入是丰富的词表示,与深度神经网络相结合,可以为许多NLP任务带来巨大的性能提升。然而,词嵌入由密集的实值向量表示,因此它们不能直接解释。因此,基于它们的计算操作也没有得到很好的理解。在本文中,我们提出了一种方法来分析语义向量空间中的结构,以更好地理解潜在的语义编码原则。我们提出了一个框架分解词嵌入到更小的有意义的单位,我们称之为子向量。该框架开辟了一个广泛的可能性分析现象的向量空间语义,以及解决具体的自然语言处理问题:我们介绍了类别完成任务,并表明,基于子向量的方法优于监督技术;我们提出了一个基于子向量的方法来解决单词类比任务,大大优于传统的向量偏移方法的不同变体。
2019-12-17 cs.CL cs.LG
Evaluating the Underlying Gender Bias in Contextualized Word Embeddings
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别偏见严重影响着自然语言处理应用。词嵌入已被明确证明既保持又放大了当前数据源中存在的性别偏见。最近,上下文化的词嵌入通过计算依赖于它们出现在其中的句子的词向量表示来增强先前的词嵌入技术。在本文中,我们研究的影响,这种概念的变化,在词嵌入计算与性别偏见。我们的分析包括不同的措施,以前在文献中应用到标准的词嵌入。我们的研究结果表明,语境化的词嵌入是更少的偏见比标准的,即使后者是去偏见。
2019-04-18 cs.CL cs.LG