Evaluation of Croatian Word Embeddings
University of West Bohemia(西波西米亚大学);University of Rijeka(里耶卡大学)
克罗地亚语是斯拉夫语系的一种资源贫乏且高度曲折的语言。目前,研究主要集中在英语上。我们创建了一个新的词类比语料库的基础上,原来的英语Word2vec词类比语料库,并添加了一些具体的语言方面的克罗地亚语。接下来,我们创建了克罗地亚语WordSim353和RG65语料库,用于单词相似性的基本评估。我们比较了基于Word2Vec工具和基于fastText工具的两种流行的词表示模型所创建的语料库。模型已在1.37 B令牌训练数据语料库上进行了训练,并在一个新的强大的克罗地亚语单词类比语料库上进行了测试。结果表明,模型能够创建有意义的单词表示。这项研究表明,自由的词序和克罗地亚语的形态复杂性较高的影响质量的词嵌入。
2017-11-07 cs.CL
Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型(LLMs)解决数学应用题(MWPs)的推理难题,本文提出基于计算图检索相似问题作为示例的类比学习方法,在六个数据集上实现平均6.7%的绝对性能提升,有效增强LLMs的MWP求解能力。
2024-11-25 cs.CL
Predicting drug-gene relations via analogy tasks with word embeddings
Kyoto University(京都大学);Recruit Co., Ltd.(Recruit公司);Institute for Protein Research(蛋白质研究所);Osaka University(大阪大学);Research Institute of Molecular Pathology(分子病理研究所);RIKEN(理化学研究所)
本研究利用词嵌入的类比运算,从药物向量预测靶基因,证明生物嵌入可捕捉药物-基因关系,性能媲美GPT-4,且通路分类和时序划分可提升预测效果。
2025-05-27 cs.CL
A Probabilistic Approach to Pronunciation by Analogy
University of Jyväskylä(于韦斯屈莱大学)
书面语和口头语之间的关系在诸如英语这样的具有深层拼写的语言中是错综复杂的,因此很难设计出用于生成未看到的单词的发音的明确规则。类比发音(PbA)是一种数据驱动的方法,用于从已知单词及其发音的串联片段中构建新单词的发音。PbA在英语中表现相对较好,并且优于其他几种提出的方法。不过,最好的发表词准确率为65.5%(对于20,000字的NETtalk语料库)表明它有很大的改进空间。以前的PbA算法使用了几种不同的评分策略,例如片段的分量发音的频率的乘积,或者产生相同发音的不同片段的数量,以及这些方法的不同组合,来评估候选发音。在本文中,我们建议使用概率合理的评分规则。我们表明,这种原则性的方法单独产生更好的准确性(66.21%的NETtalk语料库)比任何以前发表的PbA算法。此外,结合某些特定的修改,早期算法的动机,性能攀升到66.6%,并进一步改善是可能的,通过结合这种方法与其他方法。
2011-09-21 cs.CL
One Size Does Not Fit All: Finding the Optimal Subword Sizes for FastText Models across Languages
Masaryk University(马萨里克大学)
对来自大型多语言语料库的单词的无监督表示学习对于诸如词义消歧、语义文本相似性和信息检索之类的下游任务是有用的。对数双线性fastText模型的表示精度主要是由于它们使用子字信息。在以前的工作中,fastText的子字大小的优化还没有得到充分的探索,非英语fastText模型使用针对英语和德语单词类比任务优化的子字大小进行训练。在我们的工作中,我们找到了最佳的子字大小的英语,德语,捷克语,意大利语,西班牙语,法语,印地语,土耳其语和俄语单词类比任务。然后,我们提出了一个简单的n-gram覆盖模型,我们表明,它预测优于默认的西班牙语,法语,印地语,土耳其语和俄语单词类比任务的子字大小。我们表明,优化fastText的子字大小的事项,并在捷克语单词类比任务的14%的改善结果。我们还表明,昂贵的参数优化可以被一个简单的n-gram覆盖模型所取代,与默认子字大小相比,该模型可以将fastText模型在单词类比任务上的准确性提高高达3%,并且其准确性在最佳子字大小的1%以内。
2021-09-20 cs.CL
Analogies minus analogy test: measuring regularities in word embeddings
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)(认知机器学习(巴黎高等师范学院-法国国家科学研究中心-法国社会科学高等研究院-法国国家信息与自动化研究所-巴黎文理研究大学));Facebook A.I. Research(Facebook人工智能研究院);Laboratoire de Linguistique Formelle (CNRS - Paris Diderot - Sorbonne Paris Cite)(形式语言学实验室(法国国家科学研究中心-巴黎狄德罗大学-巴黎索邦大学));University of Toronto(多伦多大学)
长期以来,词的向量空间模型一直被认为是简单的向量翻译,但这一说法存在问题。我们分解和经验分析的经典算术词类比测试,激发两个新的指标,解决问题的标准测试,并区分类明智的偏移浓度(从不同的广泛类,如法国-伦敦,中国-渥太华,.)配对一致性(正确匹配的配对之间存在规则转换,如法国:巴黎::中国:北京)。我们发现,虽然标准的类比测试是有缺陷的,但几个流行的词嵌入编码语言学的错误。
2020-10-07 cs.AI cs.CL
Reflection-based Word Attribute Transfer
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
词嵌入可以用来改变词的属性,包括词的性别,它通常代表诸如国王-男人+女人=女王之类的类比关系。为了以这种基于类比的方式将国王转换为王后,我们基于国王是男性的知识减去差向量man-woman。然而,开发这样的知识对于单词和属性来说是非常昂贵的。在这项工作中,我们提出了一种新的方法,字属性转移反射映射的基础上,没有这样的类比操作。实验结果表明,该方法可以在不改变不具有目标属性的词的情况下,转移给定词的词属性。
2020-07-07 cs.CL
Outperforming Word2Vec on Analogy Tasks with Random Projections
我们提出了一个分布式矢量表示的基础上简化的BEAGLE系统,设计的背景下,西格玛认知架构。我们的方法不需要神经网络的基于梯度的训练,不需要像LSA那样的矩阵分解,也不需要像BEAGLE那样的卷积。所涉及的只是随机向量和它们的逐点乘积的和。尽管这种技术很简单,但它在类比问题上给出了最先进的结果,在大多数情况下优于Word2Vec。为了解释这一成功,我们将其解释为通过随机投影的降维。
2015-02-17 cs.CL cs.LG
Analogy perception applied to seven tests of word comprehension
Institute for Information Technology(信息技术研究所);National Research Council of Canada(加拿大国家研究委员会)
类比是认知的核心,这一观点一直被争论不休。在人工智能研究中,类比算法通常受到需要手工编码的高级表示作为输入的限制。另一种方法是使用高级感知,其中从原始数据自动生成高级表示。类比知觉是运用高级知觉对类比进行再认识的过程。我们提出了PairClass,类比感知算法,识别词汇比例类比使用表示自动生成的原始文本数据的大型语料库。比例类比是A:B::C:D形式的类比,意思是“A对B就像C对D一样”。词汇比例类比是与单词的比例类比,如carpenter:wood::mason:stone。PairClass使用高维特征向量来表示两个词之间的语义关系,其中的元素基于语料库中模式的频率。PairClass通过将标准监督机器学习技术应用于特征向量来识别类比。我们展示了如何七种不同的测试的单词理解可以被框定为类比知觉的问题,然后我们应用PairClass的七个类比知觉问题。我们在所有七项测试中都取得了有竞争力的结果。这是第一次用统一的方法处理如此广泛的单词理解测试。
2011-07-22 cs.AI cs.CL cs.LG
On the Information Content of Predictions in Word Analogy Tests
Federal University of Sergipe(塞尔希培联邦大学)
提出了一种方法来量化,在比特的信息,类比测试中的类比的实际相关性。这种方法的主要组成部分是一个softaccuracy估计,也产生熵估计与补偿偏差。使用预训练的GloVe 300-D向量和两个公共类比测试集获得的实验结果表明,从信息内容的角度来看,在类比测试中,接近提示比类比更相关。因此,一个简单的词嵌入模型被用来预测,类比携带约一位的信息,这是实验证实。
2022-10-18 cs.CL cs.IT cs.LG
Evaluating vector-space models of analogy
University of California, Berkeley(加州大学伯克利分校)
向量空间表示提供了几何工具,用于推理一组对象的相似性及其关系。最近的用于导出词的向量空间嵌入的机器学习方法(例如,Word2VEC)在自然语言处理中取得了相当大的成功。这些向量空间也被证明表现出惊人的能力来捕捉言语类比,对自然图像也有类似的结果,为认知科学家首次提出的平行四边形类比的经典模型赋予了新的生命。我们评估的类比模型应用于现代词嵌入,提供了一个详细的分析,在何种程度上,这种方法捕捉人类关系的相似性判断在一个大型的基准数据集。我们发现,一些语义关系比其他更好地捕捉。然后,我们提供的证据,更深层次的限制的基础上的内在几何约束的向量空间,平行的经典结果的一阶相似性的ESTA模型。
2017-06-08 cs.CL
SAT Based Analogy Evaluation Framework for Persian Word Embeddings
Shahid Beheshti University(沙希德·贝赫什提大学)
近年来,词嵌入作为一种将词转换为向量的新方法引起了人们的特别兴趣。如何理解词的语义有多少被转化到嵌入向量中已经成为一个焦点。这一点很重要,因为嵌入将被用作下游NLP应用程序的基础,并且端到端评估应用程序以识别所使用的嵌入模型的质量将是昂贵的。一般来说,词嵌入是通过一系列测试来评估的,包括类比测试。在本文中,我们提出了一个波斯语嵌入模型的测试框架。波斯语是一种低资源语言,没有丰富的语义基准来评估这种语言的词嵌入模型。在本文中,我们介绍了一个评估框架,包括手工制作的波斯SAT的类比数据集,colliquial测试集(特定于波斯语)和基准研究的语义评估任务的各种参数的影响。
2021-06-29 cs.AI cs.CL cs.LG
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada(加拿大国家研究委员会)
已经有一些努力将分布式语义扩展到单个单词之外,以测量单词对,短语和句子的相似性(简单地说,元组;单词的有序集合,连续或不连续)。扩展到单词之外的一种方法是使用一个函数来比较两个元组,该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性(类比)和组成相似性(释义)。然而,过去的工作需要手工编码的组合功能,为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性(SAT类比和SemEval~2012任务2)以及测量名词修饰语短语和一元词之间的成分相似性(多项选择释义问题)方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
Learning by Analogy: Diverse Questions Generation in Math Word Problem
Liverpool University(利物浦大学);Duke Kunshan University(昆山杜克大学)
针对现有数学应用题求解器因缺乏多样化问题样本而仅能学到浅层启发式的问题,本文提出通过启发式规则生成一致方程、结合场景生成多样化问题并过滤的方法,构建DiverseMath23K数据集,有效提升求解器性能。
2023-06-15 cs.CL
Cross-lingual Word Embeddings in Hyperbolic Space
The Chinese University of Hong Kong(香港中文大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
跨语言词嵌入可以应用于跨多种语言的若干自然语言处理应用。不同于以往的作品,使用基于欧几里德空间的词嵌入,这篇短文提出了一个简单而有效的跨语言Word2Vec模型,适应双曲空间的庞加莱球模型学习无监督跨语言的词表示从德英平行语料库。已经表明,双曲嵌入可以捕获和保持层次关系。我们评估模型上的hypernymy和类比任务。该模型在跨语言类比任务上取得了与普通Word2Vec模型相当的性能,上位词任务表明,跨语言Poincaré Word2Vec模型可以从跨语言的自由文本中捕获潜在的层次结构,这是基于欧几里得的Word2Vec表示所缺乏的。我们的研究结果表明,通过保留潜在的层次信息,双曲空间可以提供更好的跨语言嵌入表示。
2022-06-26 cs.CL
Compositional Approaches for Representing Relations Between Words: A Comparative Study
The University of Liverpool(利物浦大学)
识别词(或实体)之间存在的关系对于各种自然语言处理任务(诸如,关系搜索、名词修饰语分类和类比检测)是重要的。从语料库中提取词与词共现的模式,并为每个词对分配一个模式频率向量,是表示词对之间关系的一种流行方法。尽管这种方法很简单,但它存在数据稀疏性,信息可扩展性和语言创造性的问题,因为该模型无法处理语料库中以前未见过的单词对。相比之下,用于表示单词之间的关系的合成方法通过使用每个单独单词的属性来间接地组成两个单词之间的共同关系的表示来克服这些问题。本研究的目的是比较不同的操作创建关系表征的词级表示。我们调查的组合方法的性能,通过测量的关系相似性,使用几个基准数据集的词类比。此外,我们评估了不同的关系表示在知识库完成任务。
2017-09-04 cs.CL
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Learning Word Representations from Relational Graphs
The University of Liverpool(利物浦大学);National Institute of Informatics(国立信息学研究所);Preferred Infrastructure, Inc.(Preferred Infrastructure公司)
词的属性和两个词之间的关系是人工智能中许多任务的核心,例如知识表示,相似性度量和类比检测。当两个词有一个或多个共同的属性时,它们通常通过某种语义关系连接起来。另一方面,如果两个词之间有许多语义关系,我们可以预期其中一个词的某些属性会被另一个词继承。由于属性和关系之间的这种紧密联系,给定一个关系图,其中单词通过许多语义关系相互连接,我们提出了一种方法来学习单个单词的潜在表示。该方法不仅考虑了现有的词表示学习方法所做的词的共现,而且还考虑了两个词共现的语义关系。为了评估使用所提出的方法学习的单词表示的准确性,我们使用学习的单词表示来解决语义单词类比问题。我们的实验结果表明,它是可能的,以学习更好的词表示,通过使用词之间的语义语义。
2014-12-07 cs.CL
Poincaré GloVe: Hyperbolic Word Embeddings
ETH Zürich(苏黎世联邦理工学院)
语言是不平等的。事实上,它们形成了一个贵族图,具有潜在的层次结构,下一代无监督学习词嵌入应该揭示这种结构。在本文中,证明了三角形双曲或树状的空间的概念,我们建议嵌入的双曲空间,我们理论上连接到高斯词嵌入和Fisher几何的笛卡尔积的字。这种联系使我们能够引入一个新的原则性上位分数的词嵌入。此外,我们适应著名的手套算法学习无监督的词嵌入在这种类型的黎曼流形。我们进一步解释如何解决类比任务使用黎曼并行运输,推广向量算术这种新类型的几何。从经验上讲,基于广泛的实验,我们证明了我们的嵌入,经过训练的无监督,是第一个在相似性,类比和上位检测任务上同时优于强大和流行的基线。特别是,对于词上位,我们获得了新的国家的最先进的完全无监督WBLESS分类精度。
2018-11-22 cs.CL
Splitting Compounds by Semantic Analogy
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);Graduate School of Informatics(信息学研究生院)
在某些语言中,复合是一种高生产力的构词过程,这对于自然语言处理应用程序来说常常是有问题的。在本文中,我们研究了词嵌入形式的分布语义是否可以实现更深层次的,即,比标准的基于字符串的方法更丰富的知识,处理化合物。我们提出了一种无监督的方法,利用语义向量空间(基于类比,如“书店是商店的书架是货架”),以产生高质量的复合分析。基于这些分析的后续化合物拆分算法非常有效,特别是对于不明确的化合物。德语到英语的机器翻译实验表明,这种基于语义类比的复合分割器比常用的基于频率的方法得到更好的翻译。
2015-09-15 cs.CL
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施,主要是关注属性相似性。最近的向量空间模型(VSM)的信息检索已被改编为测量关系相似性的任务,实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)模式是从语料库中自动导出的(它们不是预定义的),(2)奇异值分解(SVD)用于平滑频率数据(在潜在语义分析中也以这种方式使用),以及(3)自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上,LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
One-to-X analogical reasoning on word embeddings: a case for diachronic armed conflict prediction from news texts
University of Oslo(奥斯陆大学)
我们将著名的词类比任务扩展到一对X的制定,包括一对零的情况下,没有正确的答案存在。该任务被转换为一个关系发现问题,并应用于历史的武装冲突数据集,试图预测新的关系类型的“位置:武装集团”的基础上有关过去的事件的数据。作为语义信息的来源,我们使用英语新闻文本训练的历时词嵌入模型。一个简单的技术,以提高在这样的任务的历时性能证明,使用阈值的基础上的函数的余弦距离,以减少误报的数量,这种方法被证明是有益的两个不同的语料库。最后,我们发布了一个现成的测试集,用于对历史武装冲突数据进行一对X类比评估。
2019-07-29 cs.CL
Embedding Semantic Relations into Word Representations
University of Liverpool(利物浦大学);Shizuoka University(静冈大学);National Institute of Informatics(国立信息学研究所)
学习语义关系的表示对于各种任务(例如类比检测、关系搜索和关系分类)都很重要。虽然已经有几个建议,学习表示为个别的话,学习词表示,明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话,这样学习的表示是敏感的语义关系,存在于两个词之间。首先,我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次,我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三,我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说,词汇模式对,我们使用的训练数据是自动采样的语料库,而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测,证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business(雅典经济与商业大学)
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中,我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具,用于测试希腊词嵌入,通过提供“类比”,“相似度得分”和“最相似的话”的功能。通过我们的探索者,人们可以与希腊词向量互动。
2018-10-26 cs.CL
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool(利物浦大学);Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学)
表示两个给定单词(或实体)之间存在的语义关系是自然语言处理(NLP)广泛应用的重要第一步,如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移(\PairDiff)。尽管取得了经验上的成功,但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子,可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明,如果词嵌入是标准化的和不相关的,这样的操作将是独立的双线性项,并可以简化为一个线性形式,其中\PairDiff是一个特殊情况。对于众多的词嵌入类型,我们实证验证了不相关的假设,证明了我们的理论结果的普遍适用性。此外,我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Solving Hard Analogy Questions with Relation Embedding Chains
Cardiff University(卡迪夫大学)
本文提出结合知识图谱路径与语言模型提取的关系嵌入,将关系建模为边关联关系嵌入的路径,实验证明该方法能有效解决困难类比问题。
2023-10-18 cs.AI cs.CL
ANALOGICAL -- A Novel Benchmark for Long Text Analogy Evaluation in Large Language Models
AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Nirma University(尼玛大学);BITS Pilani(博拉理工学院皮拉尼校区);IIIT Delhi(德里印度信息技术学院);Amazon AI(亚马逊人工智能);Stanford(斯坦福大学);Amazon(亚马逊)
本文提出长文本类比评估基准ANALOGICAL,涵盖六个复杂度级别,并通过13个数据集和3种距离度量评估8个大语言模型,发现类比层级越高,模型识别越困难。
2023-05-25 cs.AI cs.CL
Analytical Methods for Interpretable Ultradense Word Embeddings
词嵌入对各种各样的任务都很有用,但它们缺乏可解释性。通过旋转词空间,可以识别可解释的维度,同时保留嵌入中包含的信息而不会有任何损失。在这项工作中,我们研究了三种通过旋转使词空间可解释的方法:2016)、线性支持向量机和我们提出的新方法DensRay。与Densifier相比,DensRay可以以封闭形式计算,无超参数,因此比Densifier更强大。我们对词汇归纳法和基于集合的词语类比法这三种方法进行了评价。此外,我们提供了定性的见解,如何解释的词空间可以用来消除性别偏见的嵌入。
2019-09-13 cs.CL
Semantic Representations of Word Senses and Concepts
Sapienza University of Rome(罗马大学);University of Cambridge(剑桥大学)
以机器可解释的形式表示语言项的语义一直是自然语言处理的主要目标。在众多的语言项目中,词汇是最受关注的研究对象。然而,单词表示有一个重要的限制:它们将单词的不同含义合并到一个向量中。词义的表征有可能克服这种固有的局限性。事实上,个别词义和概念的表示最近越来越受欢迎,几个实验结果表明,在从单词级别移动到更深的意义和概念级别时,可以在不同的NLP应用程序中实现相当大的性能改进。关于概念和词义的表示的另一个有趣的点是,这些模型可以无缝地应用于其他语言项目,如单词,短语和句子。
2016-08-02 cs.CL
Recall and Learn: A Memory-augmented Solver for Math Word Problems
CVTE Research(CVTE研究院);Hunan University(湖南大学)
本文研究数学应用题,即根据文本描述自动回答数学问题。虽然最近的方法已经证明了他们有前途的结果,这些方法大多是基于模板的生成方案,导致有限的泛化能力。为此,我们提出了一种新的类似人类的类比学习方法的回忆和学习的方式。我们提出的框架是由记忆,表征,类比和推理模块,这是为了使一个新的练习,参考过去学习的练习。具体来说,给定一个数学应用题,该模型首先通过记忆模块检索相似的问题,然后使用表示模块对未解决的问题和每个检索到的问题进行编码。此外,为了以类比的方式解决问题,提出了一个类比模块和一个具有复制机制的推理模块来建模问题和每个检索到的问题之间的相互关系。在两个著名的数据集上进行的大量实验表明,与其他最先进的竞争对手相比,我们所提出的算法具有整体性能比较和微观研究的优越性。
2021-09-27 cs.AI cs.CL
Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Enriching WordNet concepts with topic signatures
本文探讨了丰富现有本体论内容的可能性。总体目标是克服WordNet中概念之间缺乏主题链接的问题。每个概念将与主题签名相关联,即,一组具有相关权重的相关词。签名可以从WWW或从有意义标记的语料库中自动构造。这两种方法进行了比较和评价的词义消歧任务。结果表明,使用一些过滤技术可以从万维网中构造干净的签名。
2001-09-19 cs.CL
On the Emergence of Linear Analogies in Word Embeddings
Google DeepMind(谷歌DeepMind);Johns Hopkins & EPFL(约翰霍普金斯大学与EPFL)
本文提出理论生成模型,以二元语义属性定义单词并推导共现概率,解析地解释了词嵌入中线性类比结构的涌现及其四个观测性质,且与真实数据吻合。
2025-10-23 cond-mat.dis-nn cs.CL cs.LG
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用,但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中,我们评估如何以及这些表示可以预测具体概念的感知和概念特征,借鉴两个语义规范数据集来自人类参与者。我们发现,几个标准的单词表征未能编码概念的许多显着的感知特征,并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机,这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Clinical Concept Extraction with Contextual Word Embedding
Boston University(波士顿大学);Philips Research North America(飞利浦北美研究院)
临床概念的自动提取是将临床笔记中的非结构化数据转化为结构化和可操作信息的重要步骤。在这项工作中,我们提出了一个临床概念提取模型的自动注释的临床问题,治疗和测试的临床笔记,利用特定领域的上下文词嵌入。首先在具有临床领域中的临床报告和相关维基百科页面的混合物的语料库上训练上下文词嵌入模型。接下来,使用上下文词嵌入模型训练双向LSTM-CRF模型用于临床概念提取。我们在I2 B2 2010挑战数据集上测试了我们提出的模型。我们提出的模型在报告的基线模型中取得了最好的性能,在F1得分方面比最先进的模型高出3.4%。
2018-11-26 cs.CL
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva(日内瓦大学);Idiap Research Institute(Idiap研究所)
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明,可以构建一个映射矩阵,将两组单语词嵌入对齐在一起,而无需高质量的并行数据,如字典或词典对齐语料库。然而,如果没有后细化,这些方法的初步映射的性能并不好,导致在类型学上遥远的语言的性能差。在本文中,我们提出了一种弱监督对抗训练方法来克服这一限制,基于直觉,即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法,对于大多数语言,它提高了以前无监督对抗方法的性能,特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Reasoning about Linguistic Regularities in Word Embeddings using Matrix Manifolds
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research(IBM研究院)
最近的工作已经探索了用于学习反映单词的潜在语义的连续向量空间单词表示的方法。简单的向量空间算法,使用余弦距离已被证明捕捉某些类型的类比,如推理从单数复数,过去时态从现在时态等,在本文中,我们介绍了一种新的方法来捕捉类比连续词表示,建模的基础上不只是个别字向量,而是由字组跨越的子空间。我们利用的属性,在n维欧氏空间的子空间的集合形成一个弯曲的流形空间称为格拉斯曼,一个商子群的李群旋转在n维。基于这个数学模型,我们开发了一个修改后的余弦距离模型的基础上测地线内核,捕捉特定的关系跨词类别的距离。类比任务的实验表明,我们的方法比以前的方法执行给定的任务显着更好。
2015-07-28 cs.CL
Cross-lingual Word Analogies using Linear Transformations between Semantic Spaces
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术);University of West Bohemia(西波希米亚大学)
我们推广了跨语言的词类比任务,为跨语言语义空间提供了一种新的内在评价方法。我们在不同的语系中尝试了六种语言,包括英语,德语,西班牙语,意大利语,捷克语和克罗地亚语。国家的最先进的单语语义空间转换成一个共享的空间使用字典的单词翻译。我们比较了几种线性变换,并将它们与单语(无变换),双语(一个语义空间转换为另一个)和多语言(所有语义空间转换为英语空间)版本的语义空间进行了实验。我们表明,测试的线性变换保持词(词类比)之间的关系,并导致令人印象深刻的结果。单语、双语和多语言语义空间的平均准确率分别为51.1%、43.1%和38.2%。
2018-07-11 cs.CL
Enriching very large ontologies using the WWW
本文探讨了利用万维网上的文本,以丰富现有的本体中的概念的可能性。首先,描述了从WWW检索与概念相关的文档的方法。这些文档集合用于1)为WordNet中的每个概念构建主题签名(主题相关单词的列表),以及2)构建词汇化给定单词的概念(单词含义)的分层集群。总体目标是克服WordNet的两个缺点:概念之间缺乏主题链接,以及意义的扩散。主题签名在词义消歧任务上进行了验证,取得了良好的效果,当使用层次聚类时,效果有所改善。
2000-10-17 cs.CL
To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
University of Lille(里尔大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);UMR 9189 - CRIStAL
本文提出概念归纳任务,通过结合局部词元视角和全局跨词表视角的双层无监督方法,从数据中学习词间软聚类以定义概念,并在SemCor和Word-in-Context任务上验证了其有效性。
2025-11-07 cs.CL
Large Language Models provide support for the parallelogram theory of analogy
Princeton University(普林斯顿大学);The University of Hong Kong(香港大学)
研究比较了人类和LLM在类比任务中的表现,发现LLM生成的类比更符合平行四边形结构,且人类在生成关系保持的类比时表现较差。
2026-08-05 cs.AI cs.CL
Teaching Through Analogies: A Modular Pipeline for Educational Analogy Generation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出一个模块化流水线,将教育类比生成分解为四个阶段,基于结构映射理论,评估12个LLM在两个数据集上的表现,发现子概念显著提升解释质量和封闭检索精度,并引入LLM作为评判的评估方法。
2026-05-22 cs.AI cs.CL
Contrastive Loss is All You Need to Recover Analogies as Parallel Lines
Columbia University(哥伦比亚大学)
本研究揭示静态词嵌入类比平行结构的形成机制,发现基础对比式方法在类比恢复任务上性能媲美主流模型且训练更快,证明对比损失可构建平行结构并建立共现统计与嵌入几何的精确关系。
2023-06-14 cs.CL
Embedding Learning Through Multilingual Concept Induction
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们提出了一种新的方法来估计词的向量空间表示:嵌入学习的概念归纳。我们在高度并行的语料库上测试了这种方法,并在单个公共空间中学习了1259种不同语言的单词的语义表示。一个广泛的实验评估跨语言词相似度和情感分析表明,基于概念的多语言嵌入学习比以前的方法表现更好。
2018-06-27 cs.CL
Assessing the Lexico-Semantic Relational Knowledge Captured by Word and Concept Embeddings
Expert System Cogito Labs(Expert System Cogito Labs(专家系统Cogito实验室))
深度学习目前在各种NLP任务的基准测试中占据主导地位,并且在这些系统的基础上,单词经常被表示为嵌入-低维空间中的向量-从大型文本语料库中学习,并且已经提出了各种算法来学习单词和概念嵌入。这种嵌入的好处之一是它们捕获了关于语义关系的知识。这种嵌入通常是通过预测人类评价的相似性和类比等任务来评估的,这些任务只测试了一些通常定义不清的关系。在本文中,我们提出了一种方法(i)可靠地生成单词和概念对数据集的广泛数量的关系,通过使用知识图谱和(ii)评估在何种程度上预先训练的嵌入捕捉这些关系。我们对专有和公共知识图谱的方法进行评估,并分析结果,显示当前嵌入式学习方法捕获的词汇语义关系知识。
2019-09-24 cs.CL
Understanding the Stability of Medical Concept Embeddings
Nanyang Technological University(南洋理工大学)
本文分析医学概念嵌入稳定性,发现低频概念同样高度稳定,并提出上下文词噪声程度这一与频率无关的影响因素。
2020-05-10 cs.CL
Neologism Learning for Controllability and Self-Verbalization
Google DeepMind(谷歌DeepMind)
本研究提出新词学习方法,通过向LLM添加新词嵌入并训练,实现对奉承、错误答案等概念的控制,并利用自我言语化与插件式评估加深模型理解,支持多概念联合学习。
2025-10-09 cs.CL
Word reuse and combination support efficient communication of emerging concepts
University of Toronto(多伦多大学);University of Melbourne(墨尔本大学)
本文提出信息论框架,解释词汇复用与组合受沟通效率权衡制约,并通过英语、法语和芬兰语的历史数据验证,表明这两种策略均符合高效沟通的统一词汇化理论。
2024-11-08 cs.CL
Linguistic Legal Concept Extraction in Portuguese
FGV/Direito Rio(热图利奥·瓦加斯基金会里约法学院);FGV/EMAp(热图利奥·瓦加斯基金会应用数学与计算学院);IBM Research(IBM研究院);Nuance Communications(Nuance通讯公司)
这项工作调查了法律概念及其在葡萄牙语中的表达,集中在“巴西律师协会”律师考试中。使用由多项选择题组成的语料库,与OAB考试的道德部分相关的三个规范,语言资源(Princeton WordNet和OpenWordNet-PT)和工具(AntConc和Freeling),我们开始调查我们在葡萄牙语中的概念和单词库中缺少的概念和单词,知识库OpenWordNet-PT。我们将这些概念和单词添加到OpenWordNet-PT中,从而获得这些文本的“包含”在词汇知识库中的表示。
2018-10-22 cs.CL
A Novel Comprehensive Approach for Estimating Concept Semantic Similarity in WordNet
Zhejiang University(浙江大学);Tarim University(塔里木大学);Princeton University(普林斯顿大学)
概念间语义相似度的计算是许多研究工作的重要基础。本文重点研究了概念相似度计算方法和概念相似度度量,即利用分类法的拓扑参数来估计概念之间的语义相似度。在分析了典型的语义相似度计算方法和典型的语义相似度度量方法的基础上,提出了一种新的混合语义相似度计算方法。通过引入参数dhyp和lch,利用新的概念间相似度计算方法,提出了一种新的概念间语义相似度的综合度量方法。基于WordNet“is a”分类法,在基准数据集R&G上进行了实验,结果表明该方法能明显提高相似度的准确性。我们评估所提出的方法,通过比较五个措施和人工数据之间的相关系数。结果表明,我们的建议优于以前的措施。
2017-03-06 cs.CL
Boosting Scientific Concepts Understanding: Can Analogy from Teacher Models Empower Student Models?
School of Data Science, Fudan University(复旦大学数据科学学院);The Hong Kong University of Science and Technology(香港科技大学);Shanghai Jiao Tong University(上海交通大学)
本文提出研究教师语言模型生成的类比如何辅助学生语言模型理解科学概念,实验证明自由形式的类比能有效提升模型理解能力,且学生模型自行生成的类比可提高其在科学问答中的表现并实现自我学习。
2024-09-25 cs.AI cs.CL
Vector Embedding of Wikipedia Concepts and Entities
Dalhousie University(达尔豪斯大学)
将深度学习用于不同的机器学习任务,例如图像分类和词嵌入,最近受到了很多关注。与其他方法相比,其在特定自然语言处理(NLP)任务中报告的吸引人的性能是其受欢迎的原因。词嵌入是将词或短语映射到低维数值向量的任务。在本文中,我们使用深度学习来嵌入维基百科的概念和实体。维基百科的英文版包含超过500万页,这表明它有能力涵盖许多英语实体,短语和概念。维基百科的每一页都被视为一个概念。有些概念对应于实体,如人名、组织或地点。与词嵌入相反,维基百科概念嵌入并不模糊,因此对于表面形式相似但提及不同的概念有不同的向量。我们提出了几种方法,并评估其性能的基础上概念类比和概念相似性任务。结果表明,所提出的方法具有相当的性能,在某些情况下,甚至高于国家的最先进的方法。
2017-02-12 cs.CL
Intrinsic analysis for dual word embedding space models
Tata Consultancy Service(塔塔咨询服务公司)
最近的词嵌入技术在连续向量空间中表示词,远离过去的原子和稀疏表示。每种这样的技术可以进一步基于超参数的不同设置创建多种嵌入,所述超参数如嵌入维度大小、上下文窗口大小和训练方法。当我们特别考虑生成不是一个而是两个词嵌入作为输出的对偶嵌入空间技术时,出现了另一种变体。这就引出了一个有趣的问题--“是否存在一种或两种词嵌入的组合,哪一种更适合特定的任务?".本文试图通过考虑所有这些变化来回答这个问题。在这里,我们比较了属于两种不同方法的两种经典嵌入方法-基于窗口的Word 2 Vec和基于计数的Glove。为了在考虑所有变化后进行广泛的评估,将总共84个不同的模型与由9个开源语言学数据集组成的语义,关联和类比评估任务进行了比较。最终的Word 2 vec报告展示了3个任务中有2个任务的非默认模型的首选项。在Glove的情况下,非默认模型在所有3个评估任务中表现出色。
2020-12-05 cs.CL
Learning Geometric Word Meta-Embeddings
Microsoft India(微软印度)
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间,例如,简单的平均不同的嵌入(一个给定的词)是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML