CA-EHN: Commonsense Analogy from E-HowNet
Academia Sinica(中央研究院)
嵌入常识知识对于端到端模型在训练语料库之外推广推理至关重要。然而,现有的单词类比数据集往往是手工制作的,涉及数百个单词的排列,只有几十个预定义的关系,主要是形态关系和命名实体。在这项工作中,我们利用E-HowNet,本体,注释88 K中文单词与他们的结构化意义定义和英语翻译的常识知识模型到单词级的类比推理。我们提出了CA-EHN,第一个常识词类比数据集,包含90,505个类比,涵盖5,656个词和763个关系。实验表明,CA-EHN是一个很好的指标,可以很好地显示单词表示嵌入常识知识的程度。该数据集可在https://github.com/ckiplab/CA-EHN上公开获得。
2020-05-29 cs.CL
Analogies minus analogy test: measuring regularities in word embeddings
Cognitive Machine Learning (ENS - CNRS - EHESS - INRIA - PSL Research University)(认知机器学习(巴黎高等师范学院-法国国家科学研究中心-法国社会科学高等研究院-法国国家信息与自动化研究所-巴黎文理研究大学));Facebook A.I. Research(Facebook人工智能研究院);Laboratoire de Linguistique Formelle (CNRS - Paris Diderot - Sorbonne Paris Cite)(形式语言学实验室(法国国家科学研究中心-巴黎狄德罗大学-巴黎索邦大学));University of Toronto(多伦多大学)
长期以来,词的向量空间模型一直被认为是简单的向量翻译,但这一说法存在问题。我们分解和经验分析的经典算术词类比测试,激发两个新的指标,解决问题的标准测试,并区分类明智的偏移浓度(从不同的广泛类,如法国-伦敦,中国-渥太华,.)配对一致性(正确匹配的配对之间存在规则转换,如法国:巴黎::中国:北京)。我们发现,虽然标准的类比测试是有缺陷的,但几个流行的词嵌入编码语言学的错误。
2020-10-07 cs.AI cs.CL
Evaluating Word Embedding Hyper-Parameters for Similarity and Analogy Tasks
Duke University(杜克大学);IBM Research(IBM研究院)
词嵌入在各种应用中的多功能性吸引了来自各个领域的研究人员。然而,超参数在训练嵌入模型时的影响往往知之甚少。向量维度和语料库大小等超参数对嵌入质量的影响有多大,这些结果如何转化为下游应用?使用标准的嵌入评估指标和数据集,我们进行了一项研究,以实证方式衡量这些超参数的影响。
2018-04-11 cs.CL
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Generating Sense Embeddings for Syntactic and Semantic Analogy for Portuguese
Federal University of São Carlos(圣卡洛斯联邦大学)
词嵌入是在低维连续空间中表示词或概念的数值向量。这些向量能够捕获有用的句法和语义信息。Word2Vec、GloVe和FastText等传统方法有一个严重的缺点:它们为每个单词生成一个单一的向量表示,忽略了歧义单词可能具有不同含义的事实。在本文中,我们使用的技术来生成意义嵌入,并提出了第一个实验进行葡萄牙语。我们的实验表明,意义向量优于传统的词向量在句法和语义类比任务,证明这里生成的语言资源可以提高葡萄牙语的NLP任务的性能。
2020-01-21 cs.CL
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施,主要是关注属性相似性。最近的向量空间模型(VSM)的信息检索已被改编为测量关系相似性的任务,实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)模式是从语料库中自动导出的(它们不是预定义的),(2)奇异值分解(SVD)用于平滑频率数据(在潜在语义分析中也以这种方式使用),以及(3)自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上,LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Words, Concepts, and the Geometry of Analogy
Queen Mary University of London(伦敦玛丽女王大学)
本文提出了一种几何方法来模拟词和概念之间的关系,特别是在语言和认知中的类比现象。接地在最近的几何概念空间的理论,我们开始与现有的静态分布语义模型的分析,并移动到一个动态的方法,使用高维空间的词义项目子空间,类比可以潜在地解决在一个在线的,contextualised方式的探索。这一分析的关键要素是将统计数据置于一个充满解释机会的几何环境中。
2016-08-04 cs.CL
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool(利物浦大学);Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学)
表示两个给定单词(或实体)之间存在的语义关系是自然语言处理(NLP)广泛应用的重要第一步,如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移(\PairDiff)。尽管取得了经验上的成功,但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子,可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明,如果词嵌入是标准化的和不相关的,这样的操作将是独立的双线性项,并可以简化为一个线性形式,其中\PairDiff是一个特殊情况。对于众多的词嵌入类型,我们实证验证了不相关的假设,证明了我们的理论结果的普遍适用性。此外,我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Evaluation of Croatian Word Embeddings
University of West Bohemia(西波西米亚大学);University of Rijeka(里耶卡大学)
克罗地亚语是斯拉夫语系的一种资源贫乏且高度曲折的语言。目前,研究主要集中在英语上。我们创建了一个新的词类比语料库的基础上,原来的英语Word2vec词类比语料库,并添加了一些具体的语言方面的克罗地亚语。接下来,我们创建了克罗地亚语WordSim353和RG65语料库,用于单词相似性的基本评估。我们比较了基于Word2Vec工具和基于fastText工具的两种流行的词表示模型所创建的语料库。模型已在1.37 B令牌训练数据语料库上进行了训练,并在一个新的强大的克罗地亚语单词类比语料库上进行了测试。结果表明,模型能够创建有意义的单词表示。这项研究表明,自由的词序和克罗地亚语的形态复杂性较高的影响质量的词嵌入。
2017-11-07 cs.CL
Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型(LLMs)解决数学应用题(MWPs)的推理难题,本文提出基于计算图检索相似问题作为示例的类比学习方法,在六个数据集上实现平均6.7%的绝对性能提升,有效增强LLMs的MWP求解能力。
2024-11-25 cs.CL
Predicting drug-gene relations via analogy tasks with word embeddings
Kyoto University(京都大学);Recruit Co., Ltd.(Recruit公司);Institute for Protein Research(蛋白质研究所);Osaka University(大阪大学);Research Institute of Molecular Pathology(分子病理研究所);RIKEN(理化学研究所)
本研究利用词嵌入的类比运算,从药物向量预测靶基因,证明生物嵌入可捕捉药物-基因关系,性能媲美GPT-4,且通路分类和时序划分可提升预测效果。
2025-05-27 cs.CL
A Probabilistic Approach to Pronunciation by Analogy
University of Jyväskylä(于韦斯屈莱大学)
书面语和口头语之间的关系在诸如英语这样的具有深层拼写的语言中是错综复杂的,因此很难设计出用于生成未看到的单词的发音的明确规则。类比发音(PbA)是一种数据驱动的方法,用于从已知单词及其发音的串联片段中构建新单词的发音。PbA在英语中表现相对较好,并且优于其他几种提出的方法。不过,最好的发表词准确率为65.5%(对于20,000字的NETtalk语料库)表明它有很大的改进空间。以前的PbA算法使用了几种不同的评分策略,例如片段的分量发音的频率的乘积,或者产生相同发音的不同片段的数量,以及这些方法的不同组合,来评估候选发音。在本文中,我们建议使用概率合理的评分规则。我们表明,这种原则性的方法单独产生更好的准确性(66.21%的NETtalk语料库)比任何以前发表的PbA算法。此外,结合某些特定的修改,早期算法的动机,性能攀升到66.6%,并进一步改善是可能的,通过结合这种方法与其他方法。
2011-09-21 cs.CL
One Size Does Not Fit All: Finding the Optimal Subword Sizes for FastText Models across Languages
Masaryk University(马萨里克大学)
对来自大型多语言语料库的单词的无监督表示学习对于诸如词义消歧、语义文本相似性和信息检索之类的下游任务是有用的。对数双线性fastText模型的表示精度主要是由于它们使用子字信息。在以前的工作中,fastText的子字大小的优化还没有得到充分的探索,非英语fastText模型使用针对英语和德语单词类比任务优化的子字大小进行训练。在我们的工作中,我们找到了最佳的子字大小的英语,德语,捷克语,意大利语,西班牙语,法语,印地语,土耳其语和俄语单词类比任务。然后,我们提出了一个简单的n-gram覆盖模型,我们表明,它预测优于默认的西班牙语,法语,印地语,土耳其语和俄语单词类比任务的子字大小。我们表明,优化fastText的子字大小的事项,并在捷克语单词类比任务的14%的改善结果。我们还表明,昂贵的参数优化可以被一个简单的n-gram覆盖模型所取代,与默认子字大小相比,该模型可以将fastText模型在单词类比任务上的准确性提高高达3%,并且其准确性在最佳子字大小的1%以内。
2021-09-20 cs.CL
Reflection-based Word Attribute Transfer
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
词嵌入可以用来改变词的属性,包括词的性别,它通常代表诸如国王-男人+女人=女王之类的类比关系。为了以这种基于类比的方式将国王转换为王后,我们基于国王是男性的知识减去差向量man-woman。然而,开发这样的知识对于单词和属性来说是非常昂贵的。在这项工作中,我们提出了一种新的方法,字属性转移反射映射的基础上,没有这样的类比操作。实验结果表明,该方法可以在不改变不具有目标属性的词的情况下,转移给定词的词属性。
2020-07-07 cs.CL
On the Emergence of Linear Analogies in Word Embeddings
Google DeepMind(谷歌DeepMind);Johns Hopkins & EPFL(约翰霍普金斯大学与EPFL)
本文提出理论生成模型,以二元语义属性定义单词并推导共现概率,解析地解释了词嵌入中线性类比结构的涌现及其四个观测性质,且与真实数据吻合。
2025-10-23 cond-mat.dis-nn cs.CL cs.LG
Linear Ensembles of Word Embedding Models
University of Tartu(塔尔图大学)
本文探讨了线性方法结合成一个整体的几个词嵌入模型。我们使用基于普通最小二乘回归或正交Procrustes问题的解决方案的迭代法构建组合模型。我们评估爱沙尼亚语-一种形态复杂的语言,可用的语料库训练词嵌入是相对较小的建议的方法。我们比较两个组合模型彼此之间,并与输入词嵌入模型使用同义词和类比测试。实验结果表明,普通最小二乘回归方法在实验中表现不佳,而正交Procrustes方法将多个词嵌入模型组合成一个集成模型,在同义词测试中比初始模型的平均结果相对提高了7-10%,在类比测试中比初始模型的平均结果相对提高了19-47%。
2017-04-05 cs.CL
Solving Hard Analogy Questions with Relation Embedding Chains
Cardiff University(卡迪夫大学)
本文提出结合知识图谱路径与语言模型提取的关系嵌入,将关系建模为边关联关系嵌入的路径,实验证明该方法能有效解决困难类比问题。
2023-10-18 cs.AI cs.CL
ANALOGICAL -- A Novel Benchmark for Long Text Analogy Evaluation in Large Language Models
AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);Nirma University(尼玛大学);BITS Pilani(博拉理工学院皮拉尼校区);IIIT Delhi(德里印度信息技术学院);Amazon AI(亚马逊人工智能);Stanford(斯坦福大学);Amazon(亚马逊)
本文提出长文本类比评估基准ANALOGICAL,涵盖六个复杂度级别,并通过13个数据集和3种距离度量评估8个大语言模型,发现类比层级越高,模型识别越困难。
2023-05-25 cs.AI cs.CL
Learning by Analogy: Diverse Questions Generation in Math Word Problem
Liverpool University(利物浦大学);Duke Kunshan University(昆山杜克大学)
针对现有数学应用题求解器因缺乏多样化问题样本而仅能学到浅层启发式的问题,本文提出通过启发式规则生成一致方程、结合场景生成多样化问题并过滤的方法,构建DiverseMath23K数据集,有效提升求解器性能。
2023-06-15 cs.CL
Compositional Approaches for Representing Relations Between Words: A Comparative Study
The University of Liverpool(利物浦大学)
识别词(或实体)之间存在的关系对于各种自然语言处理任务(诸如,关系搜索、名词修饰语分类和类比检测)是重要的。从语料库中提取词与词共现的模式,并为每个词对分配一个模式频率向量,是表示词对之间关系的一种流行方法。尽管这种方法很简单,但它存在数据稀疏性,信息可扩展性和语言创造性的问题,因为该模型无法处理语料库中以前未见过的单词对。相比之下,用于表示单词之间的关系的合成方法通过使用每个单独单词的属性来间接地组成两个单词之间的共同关系的表示来克服这些问题。本研究的目的是比较不同的操作创建关系表征的词级表示。我们调查的组合方法的性能,通过测量的关系相似性,使用几个基准数据集的词类比。此外,我们评估了不同的关系表示在知识库完成任务。
2017-09-04 cs.CL
Splitting Compounds by Semantic Analogy
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学);Graduate School of Informatics(信息学研究生院)
在某些语言中,复合是一种高生产力的构词过程,这对于自然语言处理应用程序来说常常是有问题的。在本文中,我们研究了词嵌入形式的分布语义是否可以实现更深层次的,即,比标准的基于字符串的方法更丰富的知识,处理化合物。我们提出了一种无监督的方法,利用语义向量空间(基于类比,如“书店是商店的书架是货架”),以产生高质量的复合分析。基于这些分析的后续化合物拆分算法非常有效,特别是对于不明确的化合物。德语到英语的机器翻译实验表明,这种基于语义类比的复合分割器比常用的基于频率的方法得到更好的翻译。
2015-09-15 cs.CL
Recall and Learn: A Memory-augmented Solver for Math Word Problems
CVTE Research(CVTE研究院);Hunan University(湖南大学)
本文研究数学应用题,即根据文本描述自动回答数学问题。虽然最近的方法已经证明了他们有前途的结果,这些方法大多是基于模板的生成方案,导致有限的泛化能力。为此,我们提出了一种新的类似人类的类比学习方法的回忆和学习的方式。我们提出的框架是由记忆,表征,类比和推理模块,这是为了使一个新的练习,参考过去学习的练习。具体来说,给定一个数学应用题,该模型首先通过记忆模块检索相似的问题,然后使用表示模块对未解决的问题和每个检索到的问题进行编码。此外,为了以类比的方式解决问题,提出了一个类比模块和一个具有复制机制的推理模块来建模问题和每个检索到的问题之间的相互关系。在两个著名的数据集上进行的大量实验表明,与其他最先进的竞争对手相比,我们所提出的算法具有整体性能比较和微观研究的优越性。
2021-09-27 cs.AI cs.CL
Probing for Semantic Classes: Diagnosing the Meaning Content of Word Embeddings
Microsoft Research(微软研究院);New York University(纽约大学);University of the Basque Country(巴斯克大学)
词嵌入通常在单个合并向量中表示词的不同含义。模糊词嵌入的实证分析目前受到手动注释资源的小尺寸和词义被视为不相关的个体概念的事实的限制。我们提出了一个大型数据集的基础上手动维基百科的注释和词义,从不同的词的词义相关的语义类。这是一个嵌入的内容的新的诊断测试的基础:我们探测词嵌入的语义类和分析嵌入空间通过分类嵌入到语义类。我们的主要发现是:(i)关于一个意义的信息通常在单向量嵌入中表现良好-如果意义是频繁的。(ii)一个分类器可以准确地预测一个词是单义还是多义,只基于它的嵌入。(iii)虽然稀有意义在单向量嵌入中没有很好地表示,但这不会对性能依赖于频繁意义的NLP应用程序产生负面影响。
2019-06-09 cs.CL cs.LG
One-to-X analogical reasoning on word embeddings: a case for diachronic armed conflict prediction from news texts
University of Oslo(奥斯陆大学)
我们将著名的词类比任务扩展到一对X的制定,包括一对零的情况下,没有正确的答案存在。该任务被转换为一个关系发现问题,并应用于历史的武装冲突数据集,试图预测新的关系类型的“位置:武装集团”的基础上有关过去的事件的数据。作为语义信息的来源,我们使用英语新闻文本训练的历时词嵌入模型。一个简单的技术,以提高在这样的任务的历时性能证明,使用阈值的基础上的函数的余弦距离,以减少误报的数量,这种方法被证明是有益的两个不同的语料库。最后,我们发布了一个现成的测试集,用于对历史武装冲突数据进行一对X类比评估。
2019-07-29 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business(雅典经济与商业大学)
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中,我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具,用于测试希腊词嵌入,通过提供“类比”,“相似度得分”和“最相似的话”的功能。通过我们的探索者,人们可以与希腊词向量互动。
2018-10-26 cs.CL
Domain-Specific Word Embeddings with Structure Prediction
TU Berlin(柏林工业大学);University of Copenhagen(哥本哈根大学);BIFOLD(柏林学习与数据基础研究所);Le Mans Université(勒芒大学);RIKEN Center for AIP(理化学研究所先进智能项目中心)
作为寻找良好的一般词嵌入的补充,表示学习的一个重要问题是寻找动态词嵌入,例如,跨越时间或领域。目前的方法没有提供一种方法来使用或预测子语料库,时间或域之间的结构和动态嵌入的信息,只能比较后对齐。我们提出了新的词嵌入方法,提供一般的词表示为整个语料库,特定领域的表示为每个子语料库,子语料库结构,并同时嵌入对齐。我们提出了一个经验评估纽约时报的文章和两个英文维基百科数据集的文章科学和哲学。我们的方法,称为Word2Vec与结构预测(W2VPred),提供了更好的性能比基线的一般类比测试,特定领域的类比测试,和多个特定的词嵌入评估以及结构预测性能时,没有结构是先验的。作为数字人文领域的一个用例,我们展示了如何从德国文本档案馆提出高等文学的新研究问题。
2022-10-06 cs.CL
Implicitly Incorporating Morphological Information into Word Embedding
University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了三个新的模型来增强词嵌入隐式使用形态信息。词汇相似度和句法类比实验表明,隐式模型优于传统的显式模型。我们的模型优于所有最先进的基线,并显着提高了这两项任务的性能。此外,我们在最小语料库上的性能与CBOW在五倍于我们的语料库上的性能相似。参数分析表明,隐式模型可以在词嵌入训练过程中补充语义信息。
2017-05-08 cs.CL cs.LG
Social-Group-Agnostic Word Embedding Debiasing via the Stereotype Content Model
University of Southern California(南加州大学)
现有的词嵌入去偏置方法需要社会群体特定的词对(例如,“男人”-“女人”)的每个社会属性(例如,性别),这不能用于减轻对其他社会群体的偏见,使得这些方法不切实际或成本高昂,以将未充分研究的社会群体纳入去偏见。我们建议,刻板印象内容模型(SCM),在社会心理学中开发的理论框架,了解刻板印象的内容,结构刻板印象的内容沿两个心理维度-“温暖”和“能力”-可以帮助去偏见的努力,成为社会群体不可知论通过捕捉偏见和刻板印象之间的潜在联系。只使用成对的温暖术语(例如,“真的”-“假的”)和能力(例如,“聪明”-“愚蠢”),我们用既定的方法进行去偏置,并发现,在性别,种族和年龄上,基于SCM的去偏置执行与特定于组的去偏置相同的去偏置
2022-10-11 cs.AI cs.CL cs.LG
Riddle Quest : The Enigma of Words
Kazunov1AI;AdvaitAI
本文提出了一种生成和评估基于类比谜题的流程,研究大型语言模型在不同谜题类型中恢复完整答案集的能力,发现模型在推理覆盖和歧义处理方面存在不足。
2026-01-27 cs.AI cs.CL cs.IT
Content Word-based Sentence Decoding and Evaluating for Open-domain Neural Response Generation
各种编码器-解码器模型已经被应用于开放域对话中的响应生成,但是大多数传统模型直接学习从词汇输入到词汇输出的映射,而没有显式地对中间表示进行建模。利用语言层次结构和建模中间信息已被证明有利于许多语言理解和生成任务。Broca失语症的动机,我们建议使用一个内容词序列作为一个中间表示的开放域响应生成。实验结果表明,该方法提高了产生的响应的内容相关性,我们的模型通常可以选择正确的语法生成的内容词。同时,而不是评估完整的句子,我们建议计算传统的内容词序列,这是一个更好的指标的内容相关性的指标。
2019-06-26 cs.AI cs.CL
Information content versus word length in random typing
Institut Rhône-Alpin de Systèmes Complexes(罗讷-阿尔卑斯复杂系统研究所)
最近,已经声称,从字长优化中预期信息内容的度量与字长之间的线性关系,并且已经表明,在许多语言中,这种线性得到信息内容与字长之间的强相关性的支持(Piantadosi等人,2011,PNAS 108,3825-3826)。在这里,我们详细研究了这种措施和标准信息理论之间的一些联系。本文研究了随机打字过程中的度量与词长之间的关系。随机打字过程是指在一个包含字母和空格的键盘上随机按下一个字符串而形成的文本。虽然这种随机过程并不根据信息内容优化字长,但它表现出信息内容和字长之间的线性关系。给出了随机分型过程的三种主要变体的精确斜率和截距。信息内容和单词长度之间的强相关性可以简单地从构成单词的单元(例如,字母),而不一定是Piantadosi等人提出的词与其上下文之间的相互作用。
2012-09-08 cond-mat.stat-mech cs.CL physics.data-an
Solving morphological analogies: from retrieval to generation
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室)
本研究提出一种深度学习框架,结合检索式与生成式方法处理词形态类比的检测与求解任务,在多语言数据集上性能优于传统符号方法与基线模型,并给出应用指导。
2024-04-17 cs.AI cs.CL cs.LG
Large Language Models provide support for the parallelogram theory of analogy
Princeton University(普林斯顿大学);The University of Hong Kong(香港大学)
研究比较了人类和LLM在类比任务中的表现,发现LLM生成的类比更符合平行四边形结构,且人类在生成关系保持的类比时表现较差。
2026-08-05 cs.AI cs.CL
Positive words carry less information than negative words
ETH Zurich(苏黎世联邦理工学院)
我们发现,词的使用频率不仅决定于字长\cite{Zipf1935}和平均信息含量\cite{Piantadosi2011},但也由其情感内容。我们分析了英语、德语和西班牙语中三个已建立的情感词汇用法词典,以验证这些词典具有中性、无偏见、情感内容。考虑到词语的使用频率,我们发现具有积极情感内容的词语使用频率更高。这支持了Pollyanna假说\cite{Boucher1969},即人类表达中应该存在正偏倚。我们还发现,消极词比积极词包含更多的信息,因为一个词的信息量增加一致,其配价降低。我们的研究结果支持了早期关于(i)词频和信息内容之间的关系,以及(ii)积极情绪对沟通和社会联系的影响的假设。
2012-05-27 cs.CL cs.IR physics.soc-ph
The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);INRIA(法国国家信息与自动化研究所)
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示,并通过语义相似性任务评估不同模型嵌入质量,发现被切分词的表示通常但并非总是更差,且其相似度值需谨慎解读。
2024-02-22 cs.CL
Analogies Explained: Towards Understanding Word Embeddings
University of Edinburgh(爱丁堡大学)
众所周知,由诸如word2vec(W2V)的神经网络方法生成的词嵌入表现出看似线性的行为,例如,类比“woman is to queen as man is to king”的嵌入近似地描述了一个单词。这个属性特别有趣,因为嵌入并没有经过训练来实现它。已经提出了几种解释,但每一种都引入了在实践中不成立的假设。我们得出一个概率接地释义,我们重新解释为词的转换,数学描述“$w_x$是$w_y$“的定义。从这些概念,我们证明存在的线性关系的W2V型嵌入的类比现象的基础,确定明确的错误条款。
2019-05-11 cs.CL cs.LG stat.ML
Enriching Word Vectors with Subword Information
Facebook AI Research(Facebook人工智能研究院)
在大型未标记语料库上训练的连续单词表示对于许多自然语言处理任务都很有用。学习这种表示的流行模型通过为每个单词分配不同的向量来忽略单词的形态。这是一个限制,特别是对于词汇量大和有许多罕见单词的语言。在本文中,我们提出了一种新的方法的基础上skipgram模型,其中每个字表示为一袋字符$n$ -gram。矢量表示与每个字符$n$ -语法相关联;单词被表示为这些表示的和。我们的方法是快速的,允许在大型语料库上快速训练模型,并允许我们计算没有出现在训练数据中的单词的单词表示。我们评估我们的词表征九种不同的语言,无论是在词的相似性和类比任务。通过比较最近提出的形态字表示,我们表明,我们的矢量实现这些任务的最先进的性能。
2017-06-19 cs.CL cs.LG
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量,其中两个是在本研究中在大量爬行的法语数据上训练的,其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外,我们对多个真实的NLP任务进行了评估,结果表明,与现有的和随机的词向量相比,预训练的词向量的性能有了重要的提高。最后,我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
Exploring Word Embeddings for Unsupervised Textual User-Generated Content Normalization
ICMC-USP(圣保罗大学数学与计算机科学研究所)
基于规则、词典或需要大型语料库的监督训练的文本规范化技术不可扩展,也不可互换,这使得它们不适合规范化用户生成内容(UGC)。巴西葡萄牙语现有的工具利用了这些技术。在这项工作中,我们提出了一种技术的基础上分布式表示的话(或词嵌入)。它生成连续的高维数字向量来表示单词。这些向量明确地编码了许多语言学的术语和模式,以及句法和语义词的关系。共享语义相似性的词由相似向量表示。基于这些特点,我们提出了一个完全无监督的,可扩展的和语言和领域无关的方法来学习规范化的词汇从词嵌入。我们的方法获得了很高的更正率的正字法错误和网络俚语的产品评论,优于目前可用的工具,巴西葡萄牙语。
2017-04-10 cs.AI cs.CL
Multi-task Prompt Words Learning for Social Media Content Generation
School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西交利物浦大学先进技术学院)
针对AI在社交媒体内容创作应用空白的问题,提出融合多任务的多模态提示词生成框架,结合模板引导ChatGPT生成推文,并用其实现大规模评估,效果优于人工及其他提示技术。
2024-07-10 cs.CL cs.CV cs.MM
Emotional Embeddings: Refining Word Embeddings to Capture Emotional Content of Words
UNC Charlotte(北卡罗来纳大学夏洛特分校);University of Virginia(弗吉尼亚大学)
词嵌入是现代自然语言处理专家工具包中最有用的工具之一。它们包含关于每个单词的各种类型的信息,这使得它们成为在任何NLP任务中表示术语的最佳方式。但有些类型的信息是这些模型无法学习的。词语的情感信息就是其中之一。在本文中,我们提出了一种方法,将情感信息的话到这些模型。我们通过增加一个二级训练阶段来实现这一点,该阶段使用情感词汇和基本情感的心理模型。我们表明,将情感模型拟合到预先训练的词向量中可以提高这些模型在情感相似性度量方面的性能。重新训练的模型比原来的模型表现更好,Word2Vec模型提高了13%,GloVe向量提高了29%。这是文献中提出的第一个这样的模型,虽然是初步的,但这些情感敏感模型可以开辟提高各种情感检测技术性能的途径。
2019-06-19 cs.CL cs.IR
Advancing the Arabic WordNet: Elevating Content Quality
University of Trento(特伦托大学);Palestine Technical University – Kadoorie(巴勒斯坦技术大学卡杜里分校);IMT Atlantique(IMT大西洋高等矿业电信学校)
本文针对阿拉伯语词网存在的正确性与完整性问题进行重大修订,更新超过58%的同义词集,并引入短语集和词汇空缺等新结构,以提升词汇语义资源质量。
2024-03-29 cs.CL
A Poisson convolution model for characterizing topical content with word frequency and exclusivity
Harvard University(哈佛大学)
在分析文档集合中的一个持续的挑战是如何根据一组推断的主题来概括内容,这些主题可以根据主题进行实质性解释。目前的做法是根据最常见的单词来参数化主题,这种做法忽略了不同主题之间单词的差异使用,从而限制了可解释性。我们认为,共同和专属的主题的话更有效地表征主题内容。我们考虑一个设置,专业编辑注释文档的主题类别的集合,组织成一个树,其中叶节点对应于最具体的主题。每个文档都被注释到树的不同级别的多个类别中。我们引入了一个层次泊松卷积模型来分析在这种设置的注释文档。该模型利用专业编辑定义的类别之间的结构,推断出一个明确的语义描述,为每个主题的话,是频繁和排他性的。我们在Amazon Turk上进行了一个大型的随机实验,以证明基于FREX分数的主题摘要比目前建立的基于频率的摘要更具可解释性,并且所提出的模型比目前的模型更有效地估计排他性。我们还开发了一个并行化的哈密顿蒙特卡罗采样器,允许的推断规模以百万计的文件。
2014-07-28 cs.CL cs.IR cs.LG
Category Enhanced Word Embedding
The University of Hong Kong(香港大学);Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
分布式词表示已被证明是有效的,在捕捉语义和句法的错误。来自大型未标记语料库的无监督表示学习可以为呈现相似共现统计的那些单词学习相似的表示。除了局部出现统计之外,全局主题信息也是重要的知识,可以帮助区分一个词。在本文中,我们将文档的类别信息纳入单词表示的学习中,并以文档方式学习所提出的模型。我们的模型在单词类比和单词相似性任务中优于几个最先进的模型。此外,我们评估学习的词向量的情感分析和文本分类任务,这表明我们学习的词向量的优越性。我们还学习了反映主题意义的高质量类别嵌入。
2015-11-30 cs.CL
Part-of-Speech Relevance Weights for Learning Word Embeddings
National Engineering Laboratory for Speech and Language Information Processing(语音及语言信息处理国家工程实验室);University of Science and Technology of China(中国科学技术大学);York University(约克大学);iFLYTEK Research(科大讯飞研究院)
本文提出了一种基于词性相关度加权上下文的词嵌入学习模型。词性是自然语言的基本要素。然而,现有的词嵌入模型没有考虑到这一点,本文提出了一种基于位置相关的词性相关加权矩阵来描述上下文窗口中词之间的内在句法关系。在词嵌入训练过程中,我们利用词性相关性权重来对每个词上下文对进行建模。本文提出的模型对词向量和词性相关矩阵进行联合优化.在流行词类比和词相似度任务上的实验都证明了该方法的有效性。
2016-03-24 cs.CL
Learning Analogies and Semantic Relations
本文提出了一种基于信息检索的向量空间模型(VSM)的无标记文本学习算法,该算法可以解决学术能力倾向测验(SAT)中的语言类比问题。动词类比的形式为A:B::C:D,意思是“A对B就像C对D一样”;例如,mason:stone::carpenter:wood。SAT类比题提供了一个单词对A:B,问题是从五个选项中选择最相似的单词对C:D。VSM算法正确回答了374个大学水平类比问题中的47%(随机猜测将产生20%的正确率)。我们将其与认知科学和语言学的工作联系起来,并将其应用于自然语言处理中的一个难题,确定名词修饰语对中的语义关系,从而激发了这项研究。问题是根据名词(printer)和修饰语(laser)之间的语义关系,对名词-修饰语对(如“激光打印机“)进行分类。我们使用一个有监督的最近邻算法,通过在训练数据中找到最相似的名词修饰语对来为给定的名词修饰语对分配一个类。对于30类语义关系,在600个标记的名词修饰语对的集合上,学习算法获得了26.5%的F值(随机猜测:3.3%)。在5类语义关系下,F值为43.2%(随机:20%)。对于这些具有挑战性的问题,性能是最先进的。
2003-07-24 cs.CL cs.IR cs.LG
Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval
National Taiwan University(台湾大学)
词嵌入或Word2Vec已经成功地为从词的上下文学习的文本词提供语义。音频Word2Vec被证明可以为从口语单词中的信号中学习到的口语单词(单词的信号片段)提供语音结构。本文提出了一个两阶段的框架来执行语音和语义嵌入的口语单词考虑的上下文。阶段1执行语音嵌入,并解开说话者特征。阶段2然后另外执行语义嵌入。我们进一步建议通过与文本嵌入并行化来评估在阶段2中获得的音频嵌入的语音和语义性质。语音结构和语义之间的相互干扰是不可避免的。例如,“兄弟”和“姐妹”在语义上很接近,但在语音结构上却有很大的不同,而“兄弟”和“麻烦”则相反。但是语音和语义嵌入是有吸引力的,正如在口语文档检索的初步实验中所示。不仅可以基于语音结构来检索包括口头查询的口头文档,而且还可以基于语义来检索语义上与查询相关但不包括查询的口头文档。
2019-01-19 cs.CL cs.SD eess.AS
Identifying Intensity of the Structure and Content in Tweets and the Discriminative Power of Attributes in Context with Referential Translation Machines
AI Enablement(AI赋能部门);Huawei Türkiye R&D Center(华为土耳其研发中心)
本文提出用堆叠RTM将属性—词语相似性及多语言推文情感强度预测建模为MTPP,在任务10与任务1上均取得良好效果。
2024-07-06 cs.AI cs.CL
Information content versus word length in natural language: A reply to Ferrer-i-Cancho and Moscoso del Prado Martin [arXiv:1209.1751]
最近,Ferrer i Cancho和Moscoso del Prado Martin [arXiv:1209.1751]认为,观察到的字长和平均口语之间的线性关系(Piantadosi,Tily和Gibson,2011)并不是人类语言交际效率的证据。我们讨论了他们的方法和批评的几个缺点:他们的模型关键依赖于不准确的假设,是无法解释关键的语言模式,是不符合最近的行为结果。更一般地说,我们认为,统计模型不能严格依赖于假设,是不符合实际系统的研究。
2013-07-25 cs.CL math.PR physics.data-an
How Does Latent Semantic Analysis Work? A Visualisation Approach
University of Canterbury(坎特伯雷大学)
通过使用一个小的例子,一个类似于摄影压缩,和一个简单的可视化使用热图,我们表明,潜在语义分析(LSA)是能够提取什么似乎是从一组文档中的单词的语义含义模糊的话之间的区别。
2014-02-03 cs.CL cs.IR
Paying Attention to Function Words
Institute for Logic, Language and Computation, Universiteit van Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
所有自然语言都表现出实词(如名词和形容词)和虚词(如限定词、助动词、介词)之间的区别。然而,令人惊讶的是,关于自然语言的这种普遍结构特征的出现,人们却很少提及。为什么人类的语言会进化成内容词和功能词之间的分工?这种区别最初是如何出现的?本文采取步骤来回答这些问题,展示了如何通过强化学习的区别可以出现在代理人玩信号游戏的上下文中,其中包含多个对象,拥有多个感知显着的可分级属性。
2019-09-24 cs.AI cs.CL cs.LG
Analogy Search Engine: Finding Analogies in Cross-Domain Research Papers
Carnegie Mellon University(卡内基梅隆大学)
近年来,随着人工智能领域研究出版物的快速增长,研究人员越来越难以有效地跟上自己领域的所有最新研究。然而,历史表明,科学突破往往来自不同领域研究人员的合作。传统的搜索算法如词法搜索,主要是寻找查询词的字面匹配或同义词和变体,不能有效地发现跨领域的研究论文,也不能满足当今信息泛滥时代研究人员的需求。在本文中,我们开发并测试了一个创新的语义搜索引擎,类比搜索引擎(ASE),用于2000年人工智能研究论文摘要,这些论文摘要涉及语言技术,机器人学,机器学习,计算生物学,人机交互,ASE结合了计算类比和自然语言处理的最新理论和方法,超越了关键字-基于词汇检索,发现学术论文摘要之间更深层次的类比关系。我们的实验表明,ASE是能够找到更多有趣的和有用的研究论文比基线elasticsearch。此外,我们相信ASE中使用的方法超越了学术论文,并将有益于许多其他文档搜索任务。
2018-12-17 cs.CL cs.IR cs.LG
Chinese Embedding via Stroke and Glyph Information: A Dual-channel View
University of Science and Technology of China(中国科学技术大学)
近年来的研究表明,形态学有助于丰富词嵌入。本文认为,隐藏在汉字中的形态信息不仅在笔画顺序上得到反映,而且在空间上也反映在汉字字形中,从而丰富了中文词嵌入。在此基础上,提出了一种新的双通道词嵌入(DWE)模型,实现了字符序列信息和空间信息的联合学习。通过对词相似度和词类比任务的评价,表明了该模型在汉语词法建模方面的合理性和优越性。
2019-06-03 cs.CL
CTG-KrEW: Generating Synthetic Structured Contextually Correlated Content by Conditional Tabular GAN with K-Means Clustering and Efficient Word Embedding
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Missouri University of Science and Technology(密苏里科技大学)
本文提出CTG-KrEW框架,结合K-Means聚类和词嵌入改进CTGAN,以高效生成语义连贯的合成表格数据,并在Upwork数据集上验证其效果,显著降低CPU时间和内存占用。
2024-09-03 cs.CL cs.LG