Learning Word Embeddings from Intrinsic and Extrinsic Views
Fudan University(复旦大学);New York University Shanghai(上海纽约大学)
虽然词嵌入目前在自然语言处理中占主导地位,但大多数现有模型仅从上下文中学习它们。然而,这些基于上下文的词嵌入是有限的,因为不是所有的词的含义可以只基于上下文学习。此外,由于数据稀疏性问题,学习稀有词的表示也是困难的。在这项工作中,我们解决这些问题,通过学习的表征的话,整合其内在(描述性)和外在(上下文)的信息。为了证明我们的模型的有效性,我们评估它的四个任务,包括词相似度,反向字典,维基链接预测,和文档分类。实验结果表明,该模型在单词和文档建模方面都具有很好的性能。
2016-08-20 cs.AI cs.CL
More than Word Frequencies: Authorship Attribution via Natural Frequency Zoned Word Distribution Analysis
随着数字文本数据的日益普及和可用性,由于易于复制和解析,数字文本的作者身份不能被视为理所当然。本文提出了一种新的文本风格分析方法--自然频率分区词分布分析(NFZ-WDA),并在此基础上提出了一种基本的数字文本作者归属方案和一种开放的数字文本作者归属方案。NFZ-WDA是基于这样一种观察,即所有作者都会在他们所写的文本中留下独特的内在词汇使用痕迹,这些内在风格可以被识别并用于分析作者身份。通过分析词在文本中的分布,可以估计出文本中的固有的词使用风格,这比一般的词频分析更有意义,可以表示为:文本中使用了哪些组词;每组词出现的频率如何;每组词在文本中的出现分布如何。接下来,基本作者归属方案和开放作者归属方案为封闭和开放作者归属问题提供了解决方案。通过分析和大量的实验研究,本文证明了所提出的方法的有效性的作者归属。
2012-08-15 cs.CL
Chinese Embedding via Stroke and Glyph Information: A Dual-channel View
University of Science and Technology of China(中国科学技术大学)
近年来的研究表明,形态学有助于丰富词嵌入。本文认为,隐藏在汉字中的形态信息不仅在笔画顺序上得到反映,而且在空间上也反映在汉字字形中,从而丰富了中文词嵌入。在此基础上,提出了一种新的双通道词嵌入(DWE)模型,实现了字符序列信息和空间信息的联合学习。通过对词相似度和词类比任务的评价,表明了该模型在汉语词法建模方面的合理性和优越性。
2019-06-03 cs.CL
Extracting and Validating Explanatory Word Archipelagoes using Dual Entropy
The University of Tokyo(东京大学)
本文提出利用基于窗口的熵A提取词语群岛,并用基于图的熵B评估文本逻辑连通性,证明无先验知识下提取的解释性文本部分熵更低。
2024-09-28 cs.CL
Can Large Language Models Faithfully Express Their Intrinsic Uncertainty in Words?
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
研究提出基于模型内在信心与传达果断性差距的忠实回应不确定性指标,发现现代LLMs在知识密集型问答中表现不佳,需改进对齐以提升可信度。
2024-09-26 cs.CL
The Limitations of Cross-language Word Embeddings Evaluation
National Research University Higher School of Economics(国立研究型大学高等经济学院);Federal Research Center ‘Computer Science and Control’ of the Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究所(斯科尔泰克))
本研究的目的是探讨现有跨语言词嵌入评价方法的局限性,解决内在和外在跨语言评价方法之间缺乏相关性的问题。为了证明这一假设,我们构建了英语-俄语数据集的外部和内部评估任务,并比较了5种不同的跨语言模型对他们的表现。结果表明,即使在不同的内在基准上,分数也彼此不相关。我们可以得出这样的结论,使用人类参考作为跨语言词嵌入的基础事实是不合适的,除非你不明白母语者在他们的认知中是如何处理语义的。
2018-06-06 cs.CL
Visual Word Sense Disambiguation with CLIP through Dual-Channel Text Prompting and Image Augmentations
2 The Bredesen Center for Interdisciplinary Research;3 Department of Electrical Engineering \& Computer Science, University of Tennessee, Knoxville, TN 37916;4 Oak Ridge National Laboratory (ORNL), Oak Ridge, TN 37830
本文提出通过CLIP和双通道提示与图像增强实现视觉词义消歧,提升MRR和命中率,验证了精确提示的有效性。
2026-02-06 cs.CL
An Evaluation of Sindhi Word Embedding in Semantic Analogies and Downstream Tasks
Institute of Business Management(商业管理学院);Heidelberg University(海德堡大学);Dalhousie University(达尔豪斯大学)
本文构建了超6100万词的Sindhi语料库,利用CBOW、skip-gram和GloVe训练词嵌入,并证明CBOW和skip-gram在内外评估中优于GloVe及现有fastText。
2024-08-28 cs.CL
The Role of Context Types and Dimensionality in Learning Word Embeddings
IBM Watson(IBM沃森);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Bar-Ilan University(巴伊兰大学);Google(谷歌)
我们提供了第一个广泛的评估,如何使用不同类型的上下文来学习跳过语法词嵌入影响性能的范围广泛的内在和外在的NLP任务。我们的研究结果表明,虽然内在的任务往往表现出明确的偏好,特定类型的上下文和更高的维度,更仔细的调整,需要找到最佳的设置,我们考虑的大多数外在的任务。此外,对于这些外部任务,我们发现,一旦增加嵌入维数的好处大部分耗尽,简单的串联词嵌入,学习不同的上下文类型,可以产生进一步的性能增益。作为一个额外的贡献,我们提出了一个新的变化的跳跃语法模型,学习词嵌入从加权上下文的替代词。
2017-07-19 cs.CL
Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation
IXA NLP Group(IXA自然语言处理研究组);University of the Basque Country (UPV/EHU)(巴斯克大学)
随着最近词嵌入的成功,有人认为没有词的理想表示,因为不同的模型往往会捕获不同的,往往是相互不兼容的方面,如语义/语法和相似性/相关性。在本文中,我们表明,每个嵌入模型捕获更多的信息比直接明显。一个线性变换,调整模型的相似性顺序,没有任何外部资源,可以定制它,以实现更好的结果,在这些方面,提供了一个新的视角如何嵌入编码不同的语言信息。此外,我们还探讨了内在和外在评价之间的关系,因为我们在下游任务中的转换效果对于无监督系统比监督系统更高。
2018-09-06 cs.AI cs.CL cs.LG
Principal Word Vectors
我们推广主成分分析嵌入到向量空间的话。概括起来主要有两个层次。第一种是将语料库的概念概括为一个计数过程,它由三个关键元素词汇集、特征(注释)集和上下文定义。这种概括使得主要的词嵌入方法能够生成关于为语料库提供的不同类型的上下文和不同类型的注释的词向量。第二个是概括大多数词嵌入方法中使用的转换步骤。为此,我们定义了两个层次的转换。第一种是二次变换,它考虑了词汇单元和上下文特征的不同类型的权重。第二种是自适应非线性变换,它重塑了数据分布,使其对主成分分析有意义。这些概括对词向量的影响本质上是关于词向量的传播和可辨别性的研究。我们还提供了一个外在的评价的贡献的主要词向量的词相似度基准和任务的依存句法分析。我们的实验最后通过比较的主要词向量和其他集的词向量与流行的词嵌入方法。从我们的内在评价指标得到的结果表明,传播和主词向量的区分度高于其他词嵌入方法。从外部评价指标获得的结果表明,主词向量优于某些词嵌入方法,并与流行的词嵌入方法相当。
2020-07-09 cs.CL
Cross-Discourse and Multilingual Exploration of Textual Corpora with the DualNeighbors Algorithm
University of Richmond(里士满大学)
词汇的选择取决于作者及其主题的文化背景。不同的词语被用来描述类似的行为,物体,以及基于诸如阶级,种族,性别,地理和政治亲和力等因素的特征。因此,基于定位和计数单词的探索性技术可能会得出加强文化影响边界的结论。我们提供了一种新的方法,DualNeighbors算法,用于链接主题相似的文件内和跨话语和语言障碍,以揭示跨文化的联系。这种技术的定性和定量评价显示为应用于两个文化数据集的兴趣,研究人员在人文和社会科学。提供了DualNeighbors算法的开源实现以帮助其应用。
2018-06-28 cs.CL
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China(电子科技大学)
将词和短语表示为密集的实数向量,并将其语义和句法属性编码,是自然语言处理的一个重要组成部分。神经网络(NN)模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言,在巴基斯坦和印度有大量人口使用,但缺乏语料库,而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中,超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具,对如此庞大的语料库进行预处理成为一个具有挑战性的问题,特别是从Web资源中提取的噪声数据的清理。因此,采用预处理流水线来过滤噪声文本。然后,使用最先进的GloVe、Skip-Gram(SG)和连续词袋(CBoW)word 2 vec算法,利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外,我们比较建议的词嵌入与最近发现的信德快速文本(SdfastText)的单词表示。我们的内在评估结果表明,我们生成的信德语词嵌入使用SG,CBoW和GloVe相比,SdfastText词表示的高品质。
2020-12-30 cs.CL
Problems With Evaluation of Word Embeddings Using Word Similarity Tasks
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
由于缺乏用于词的向量表示的标准化外部评估方法,NLP社区严重依赖于词相似性任务作为词向量的内在评估的代理。词语相似性评估将向量之间的距离与人类对语义相似性的判断相关联,这是有吸引力的,因为它在计算上是廉价的且快速的。在本文中,我们提出了几个问题与词相似度数据集上的词向量的评估,并总结现有的解决方案。我们的研究表明,使用词相似度任务来评估词向量是不可持续的,需要进一步研究评估方法。
2016-06-22 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Applying Intrinsic Debiasing on Downstream Tasks: Challenges and Considerations for Machine Translation
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
本研究系统测试了内在去偏方法对神经机器翻译模型的影响,揭示了去偏嵌入选择、单词与子词标记不匹配及目标语言差异三大挑战,并证明这些因素显著影响下游性能与去偏效果。
2024-06-02 cs.CL
On the Convergent Properties of Word Embedding Methods
Stony Brook University(石溪大学)
词嵌入在不同的初始化过程中会收敛到学习类似的东西吗?词嵌入实验的可重复性如何?所有的词嵌入技术都同样可靠吗?在本文中,我们提出了评估方法,学习词表示的一致性跨越初始化。我们提出了一个措施来量化学习的单词表示在此设置下(其中他们受到不同的随机初始化)的相似性。我们的初步结果表明,我们的度量不仅测量了词嵌入方法的内在属性,而且与下游任务的其他评估指标相关。我们相信我们的方法在描述鲁棒性方面是有用的--这是开发新的词嵌入方法时要考虑的一个重要属性。
2016-05-12 cs.CL
Learning Word Embeddings from the Portuguese Twitter Stream: A Study of some Practical Aspects
FEUP, LIACC, INESC TEC, Universidade do Porto(波尔图大学工程学院、人工智能与计算机科学实验室、INESC TEC、波尔图大学)
本文介绍了一个初步的研究,生产和分发一个大规模的数据库的嵌入从葡萄牙Twitter流。我们从一个相对较小的样本开始实验,并专注于三个挑战:训练数据量,词汇量和内在评估指标。使用单个GPU,我们能够将词汇量从嵌入的2048个单词和500 K训练样本扩展到超过10 M训练样本的32768个单词,同时保持稳定的验证损失和每个时期训练时间的近似线性趋势。我们还观察到,对于每个词汇量,使用少于50%的可用训练样本可能会导致过拟合。内在评价的结果显示有前途的表现为32768字的词汇量。然而,固有的评价指标遭受过度敏感,其相应的余弦相似性阈值,这表明需要开发更广泛的指标来跟踪进展。
2017-09-04 cs.CL cs.LG
Robust and Consistent Estimation of Word Embedding for Bangla Language by fine-tuning Word2Vec Model
Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);Southeast University(东南大学)
词的词嵌入或向量表示保持词的句法和语义特征,其可以是自然语言处理的任何基于机器学习的模型的信息特征。有几种基于深度学习的单词向量化模型,如word 2 vec,fasttext,gensim,glove等。在这项研究中,我们通过调整不同的超参数来分析用于学习单词向量的word 2 vec模型,并为孟加拉语提供最有效的词嵌入。为了测试word 2 vec模型的微调所产生的不同词嵌入的性能,我们进行了内在和外在的评价。我们对词向量进行聚类,以检测词之间的关系相似度,进行内在评价,并使用不同的词嵌入作为新闻文章分类器的特征,进行外在评价。从我们的实验中,我们发现,300维的词向量,从word 2 vec模型的“skip-gram”方法使用的滑动窗口大小为4,给出了最强大的孟加拉语的矢量表示。
2021-05-03 cs.CL cs.LG
The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);INRIA(法国国家信息与自动化研究所)
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示,并通过语义相似性任务评估不同模型嵌入质量,发现被切分词的表示通常但并非总是更差,且其相似度值需谨慎解读。
2024-02-22 cs.CL
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.(Yik Yak公司);Georgia Institute of Technology(佐治亚理工学院)
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计,这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入,结合形态信息,捕捉共享的子词特征。与以前的工作,直接从语素构建词嵌入,我们结合形态和分布信息在一个统一的概率框架,其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布,这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进,也在下游的词性标注任务。
2016-09-24 cs.CL
A Survey of Word Embeddings Evaluation Methods
Institute for System Analysis of Russian Academy of Sciences (ISA RAS)(俄罗斯科学院系统分析研究所(ISA RAS));The National Research University Higher School of Economics(俄罗斯国家研究型高等经济大学)
词嵌入是能够捕获词汇语义并在自然语言语料库上训练的实值词表示。近年来,提出这些表示的模型已经流行起来,但最适当的评估方法的问题仍然是开放的。本文综述了词嵌入评价领域的研究现状,指出了存在的主要问题,提出了评价方法的类型,总结了16种内在评价方法和12种外在评价方法。我描述了广泛使用的和实验性的方法,系统化有关评估数据集的信息,并讨论了一些关键挑战。
2018-01-21 cs.CL
Russian word sense induction by clustering averaged word embeddings
University of Oslo(奥斯陆大学)
本文报告了我们参与俄语词义归纳和消歧的共同任务(RUSSE-2018)。在所有19名参与者中,我们的团队在wiki-wiki数据集(主要包含同音异义词)中排名第二,在bts-tags和active-dict数据集(主要包含多义词)中排名第五。我们采用的方法是非常幼稚的。它意味着使用现成的预训练分布模型将歧义词的上下文表示为平均词嵌入向量。然后,这些向量表示聚类与主流的聚类技术,从而产生组对应的歧义词义。作为一个附带的结果,我们表明,在小而平衡的语料库上训练的词嵌入模型可以优于在大而嘈杂的数据上训练的模型-不仅在内在评估方面,而且在词义归纳等下游任务中。
2018-05-06 cs.CL
Mimicking Word Embeddings using Subword RNNs
词嵌入通过使用从未标记数据获得的分布信息将每个词放置在低维空间中来改善词汇特征的泛化。然而,词嵌入对于下游NLP任务的有效性受到词汇表外(OOV)词的限制,对于这些词,嵌入不存在。在本文中,我们提出了MIMICK,一种方法来生成OOV词嵌入组成,通过学习一个函数的拼写分布嵌入。与之前的工作不同,MIMICK不需要对原始词嵌入语料库进行重新训练;相反,学习是在类型级别执行的。内在和外在的评估证明了这种简单方法的力量。在23种语言上,MIMICK在标记词性和形态句法属性方面比基于单词的基线提高了性能。在低资源环境中,它与有监督的基于字符的模型具有竞争力(和互补性)。
2017-07-21 cs.CL
Learning Intrinsic Dimension via Information Bottleneck for Explainable Aspect-based Sentiment Analysis
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
针对ABSA中梯度解释默认各维度等权的问题,提出IBG框架,用信息瓶颈学习词嵌入的内在维度,从而提升模型性能与可解释性。
2024-02-28 cs.CL
Marked Attribute Bias in Natural Language Inference
University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
报告和提供NLP应用程序中有害偏差的测试集对于建立对当前问题的强大理解至关重要。我们提出了一个新的观察性别偏见在下游的NLP应用程序:显着的属性偏见在自然语言推理。下游应用程序中的偏差可能源于训练数据、词嵌入,或者被使用中的模型放大。然而,关注有偏见的词嵌入可能是最有影响力的第一步,因为它们具有普遍性。在这里,我们试图了解如何的内在属性的词嵌入有助于这种观察到的显着属性效应,以及目前的后处理方法是否成功地解决了偏见。目前的去偏置景观的调查揭示了两个开放的问题:没有一个当前的去偏置嵌入减轻显着的属性错误,没有一个内在的偏见措施是预测的显着的属性效果。通过注意到一种新的类型的内在偏见措施有意义的相关性与标记属性效应,我们提出了一个新的静态词嵌入的后处理去偏置方案。所提出的方法应用到现有的嵌入实现新的最佳结果的标记属性偏差测试集。请访问https://github.com/hillary-dawkins/MAB。
2021-09-28 cs.CL
A Dual-Attention Neural Network for Pun Location and Using Pun-Gloss Pairs for Interpretation
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Shanghai Transsion Co., Ltd(上海传音有限公司)
双关定位是指在一个给定的短文中识别出双关词(通常是使文章具有歧义的词或短语),双关解读是指找出双关词的两种不同含义。以往的研究大多采用词义消歧技术获得有限的词义或孤立的语音信息来确定双关的位置。对于双关语的理解,相关的工作关注于各种词义消歧算法。本文提出了一种双注意神经网络(Dual-Attentive Neural Network,DANN)的双关语定位模型,该模型有效地将词义、发音和上下文信息结合起来,能够同时处理两类双关语。此外,我们把双关语的解释作为一个分类任务,并构建双关语对作为处理数据来解决这个任务。两个基准数据集上的实验表明,我们提出的方法取得了新的国家的最先进的结果。我们的源代码可以在公共代码库中找到。
2021-10-14 cs.AI cs.CL
Towards robust word embeddings for noisy texts
Universidade de Vigo(维戈大学);Universidade da Coruña(拉科鲁尼亚大学)
对词嵌入的研究主要集中在提高它们在标准语料库上的性能,而忽略了来自社交媒体的推特和其他类型的非标准写作形式的嘈杂文本所带来的困难。在这项工作中,我们提出了一个简单的扩展skipgram模型中,我们引入了桥字的概念,这是人工的话添加到模型中,以加强标准的话和他们的噪声变体之间的相似性。我们的新嵌入在各种内在和外在的评估任务上都优于噪声文本的基线模型,同时在标准文本上保持良好的性能。据我们所知,这是在词嵌入级别处理这种类型的噪声文本的第一个明确的方法,它超越了对词汇表外词的支持。
2020-09-30 cs.CL
A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity
University of Colorado(科罗拉多大学);University of Maryland(马里兰大学)
跨语言词嵌入将不同语言的词的含义编码到共享的低维空间中。许多下游任务的重要要求是单词相似性应该独立于语言-即,一种语言中的词向量彼此之间的相似性不应超过与另一种语言中的词之间的相似性。我们使用模块化来衡量这一特性,模块化是一种网络测量方法,可以测量图中集群的强度。模块化与三个下游任务有中度到强烈的相关性,即使模块化仅基于嵌入的结构,并且不需要任何外部资源。我们通过实验表明,模块化可以作为一个内在的验证指标,以提高无监督的跨语言词嵌入,特别是在低资源设置的遥远的语言对。
2019-06-05 cs.CL
Toward Interpretability of Dual-Encoder Models for Dialogue Response Suggestions
Duke University(杜克大学);University of Washington(华盛顿大学);Google Research(谷歌研究院)
这项工作显示了如何改进和解释常用的双编码器模型的对话中的响应建议。我们提出了一个专注的双编码器模型,其中包括一个注意力机制上提取的词级特征,从两个编码器,一个上下文和标签分别。为了提高双编码器模型的可解释性,我们设计了一种新的正则化损失,以最大限度地减少不重要的单词和所需的标签之间的互信息,除了原来的注意力方法,使重要的单词被强调,而不重要的单词被去强调。这不仅有助于模型的可解释性,还可以进一步提高模型的准确性。我们提出了一种近似方法,使用神经网络来计算的互信息。此外,通过在原始词嵌入和最终编码的上下文特征之间添加残余层,在模型的最终预测处保留了词级可解释性。我们比较了两个公共数据集(Persona和Ubuntu)的对话响应任务的现有方法与所提出的模型。实验结果表明,该模型具有更好的Recall@1准确率和可视化可解释性。
2020-03-02 cs.CL cs.LG stat.ML
Supervised Fine Tuning for Word Embedding with Integrated Knowledge
Nanyang Technological University(南洋理工大学)
词的学习向量表示是一个重要的研究领域,它可以帮助许多自然语言处理任务。现有的模型都存在两个局限性,即语境定义的偏差和知识利用的不足。它们很难处理,因为这些算法本质上是无监督学习方法。受深度学习的启发,作者提出了一个用于学习单词矢量表示的监督框架,以在无监督学习之后提供额外的监督微调。该框架是知识丰富的方法,并与任何数字矢量词表示兼容。作者进行内在评价,如归因和关系相似性预测和外在评价,如句子完成和情感分析。在6个嵌入和4个任务10个数据集上的实验结果表明,所提出的微调框架可以显着提高词的向量表示的质量。
2015-05-29 cs.CL
PWESuite: Phonetic Word Embeddings and Tasks They Facilitate
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学);Brigham Young University(杨百翰大学)
针对现有词嵌入忽略语音信息及评估不一致的问题,开发了三种基于发音特征的语音词嵌入方法,并构建PWESuite任务套件以全面评估其内在属性和外在任务性能,促进可复现性。
2024-03-26 cs.CL
Just Rank: Rethinking Evaluation with Word and Sentence Similarities
National University of Singapore(新加坡国立大学);University of Southern California(南加州大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI(科通智能)
在自然语言处理中,词和句子嵌入是非常有用的特征表示。然而,嵌入的内在评估远远落后,自过去十年以来一直没有重大更新。词语和句子相似性任务已经成为事实上的评价方法。它导致模型过度拟合这些评估,对嵌入模型的开发产生负面影响。本文首先指出了使用语义相似度作为词和句子嵌入评价的金标准存在的问题。此外,我们提出了一种新的内在评估方法,称为EvalRank,它与下游任务的相关性要强得多。基于60多个模型和流行的数据集进行了广泛的实验,以证明我们的判断。最后,发布了实用评价工具包,以供今后制定基准之用。
2022-03-21 cs.AI cs.CL
Eyettention II: A Dual-Sequence Architecture for Modeling Fixation Location, Within-Word Landing Position, and Fixation Duration in Reading
Department of Computer Science, University of Potsdam(波恩大学计算机科学系);Department of Computational Linguistics, University of Zurich(苏黎世大学计算语言学系);Department of Informatics, University of Zurich(苏黎世大学信息学系)
提出端到端训练的轻量级深度学习模型Eyettention II,通过双序列架构生成包含注视位置、词内着陆位置和注视持续时间的完整扫描路径,在预测性能上超越现有模型并捕捉关键心理语言学现象。
2026-06-01 cs.CL
Cross-lingual Word Analogies using Linear Transformations between Semantic Spaces
NTIS – New Technologies for the Information Society(NTIS——信息社会新技术);University of West Bohemia(西波希米亚大学)
我们推广了跨语言的词类比任务,为跨语言语义空间提供了一种新的内在评价方法。我们在不同的语系中尝试了六种语言,包括英语,德语,西班牙语,意大利语,捷克语和克罗地亚语。国家的最先进的单语语义空间转换成一个共享的空间使用字典的单词翻译。我们比较了几种线性变换,并将它们与单语(无变换),双语(一个语义空间转换为另一个)和多语言(所有语义空间转换为英语空间)版本的语义空间进行了实验。我们表明,测试的线性变换保持词(词类比)之间的关系,并导致令人印象深刻的结果。单语、双语和多语言语义空间的平均准确率分别为51.1%、43.1%和38.2%。
2018-07-11 cs.CL
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier(爱思唯尔)
我们评估了化学专利词嵌入对已知的生物医学嵌入,并表明他们优于后者的外在和内在。我们还表明,使用上下文嵌入可以诱导预测模型的合理性能,这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
NP Animacy Identification for Anaphora Resolution
University of Wolverhampton(伍尔弗汉普顿大学)
在英语回指消解中,生命性识别可以在代词和候选词之间的一致性限制的应用中发挥不可或缺的作用,从而提高回指消解系统的准确性。在本文中,提出了两种方法的生命识别和评估使用的内在和外在的措施。第一种方法是基于规则的方法,它使用WordNet中独特的初学者的信息,根据他们的生命力对NP进行分类。第二种方法依赖于一个机器学习算法,该算法利用了一个富含每种意义的生命信息的WordNet。词义消歧对这两种方法的影响也进行了评估。内在评估表明,机器学习方法达到了人类的性能水平。外部评估表明,生命识别可以是有益的回指解决,特别是在有生命的实体识别精度高的情况下。
2011-10-10 cs.CL
Cross-lingual Models of Word Embeddings: An Empirical Comparison
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
尽管人们对使用跨语言知识来学习各种任务的词嵌入感兴趣,但文献中缺乏对可能方法的系统比较。我们进行了广泛的评估,四个流行的方法诱导跨语言嵌入,每一个需要不同形式的监督,在四个排版不同的语言对。我们的评估设置跨越四个不同的任务,包括单语言和跨语言相似性的内在评估,以及下游语义和句法应用程序的外在评估。我们发现,需要昂贵的跨语言知识的模型几乎总是表现得更好,但廉价的监督模型往往在某些任务上具有竞争力。
2016-06-08 cs.CL
Dual Mechanism Priming Effects in Hindi Word Order
IIT Delhi(德里印度理工学院);Cornell University(康奈尔大学);IISER Bhopal(博帕尔印度科学教育与研究院)
句子产生过程中的语序选择可以由前面的句子启动。在这项工作中,我们测试的双重机制的假设,启动是由多个不同的来源。使用印地语语料库的文本生产,我们的词汇启动模型与n元语法缓存模型,我们捕捉更抽象的句法启动与自适应神经语言模型。我们置换语料库句子的前动词成分,然后使用逻辑回归模型来预测哪些句子实际上发生在语料库中对人工生成的意义等价的变体。我们的研究结果表明,词汇启动和词汇独立的句法启动影响动词类的互补集。通过显示不同的启动影响是相互分离的,我们的研究结果支持的假设,多个不同的认知机制下启动。
2022-10-25 cs.AI cs.CL cs.IT
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute(魁北克人工智能研究所Mila);McGill University(麦吉尔大学);Bank of Montréal(蒙特利尔银行)
词嵌入被训练来预测词的共现统计,这使得它们具有不同的词汇属性(句法,语义等)。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时,以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时,这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入,并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜:一种简单有效的元嵌入方法,它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入,这使得它们在推理时非常有效。我们评估字棱镜相比,其他元嵌入方法的六个外在的评价,并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Evaluation method of word embedding by roots and affixes
School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学)
词嵌入在许多自然语言处理任务中已被证明是非常有效的。然而,现有的模型在解释词向量的维度方面仍然存在一些局限性。本文提出了一种从自然语言的内在结构出发来解释词根词缀的新方法--词根词缀模型(RAAM)。它也可以作为评价词嵌入质量的一个指标。我们在模型中引入了信息熵的概念,并将维度分为词根和词缀两类。然后把每个类别作为一个整体来考虑,而不是单独考虑。我们尝试了英文维基百科语料库。我们的研究结果表明,这两个属性之间存在负线性关系,我们的模型和下游的语义评估任务之间有很高的正相关性。
2016-06-24 cs.CL
Meta-Embedding as Auxiliary Task Regularization
University of Liverpool(利物浦大学)
词嵌入已被证明受益于对多个词嵌入源进行采样,通常使用词向量集上的直接数学运算来执行。最近,自监督学习已被用于寻找低维表示,其大小类似于集合中的单个词嵌入。然而,这些方法不使用通常仅用于评估目的的可用手动标记的数据集。我们建议重建一个整体的词嵌入作为一个辅助任务,regularises一个主要的任务,而这两个任务共享学习元嵌入层。我们进行内在评估(6个单词相似度数据集和3个类比数据集)和外在评估(4个下游任务)。对于内在任务评估,监督来自各种标记的单词相似性数据集。我们的实验结果表明,与自监督学习方法相比,所有单词相似度数据集的性能都有所提高,Spearman相关性平均增加了$11.33$。具体而言,该方法显示出最好的性能在4的6个字相似性数据集时,使用余弦重建损失和Brier的字相似性损失。此外,在序列标注和句子元嵌入中进行词元嵌入重构时也进行了改进,用于句子分类。
2020-01-24 cs.CL cs.LG
Evaluating Word Embeddings with Categorical Modularity
Harvard University(哈佛大学);MPI for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所);HSE University(高等经济学院)
我们引入范畴模块性,一种新的低资源的内在度量来评估词嵌入质量。类别模块度是一种基于$k$ -最近邻图的图模块度度量,该图是用来自一组固定语义类别的词的嵌入向量构建的,其目标是度量在同一类别中具有最近邻的词的比例。我们使用的核心集属于59神经生物学动机的语义类别在29种语言的500个单词,并分析每种语言的三个词嵌入模型(FastText,MUSE和subs 2 vec)。我们发现中度到强烈的正相关性之间的分类模块和性能的单语任务的情感分析和词相似度计算和跨语言任务的双语词汇归纳和英语。总的来说,我们认为,分类模块化提供了非平凡的预测信息下游任务的性能,与故障的相关性模型提出了一些元预测属性的语义信息丢失以及。
2021-06-02 cs.CL
Dual-Attention Neural Transducers for Efficient Wake Word Spotting in Speech Recognition
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出Dual-Attention Neural Biasing架构,通过WW spotting动态选择注意力网络分支,在仅增加1%参数的情况下将WW音频帧计算成本降低90%,WW F1分数相对提升16%。
2023-04-05 cs.CL cs.LG cs.SD
Gender Bias in Contextualized Word Embeddings
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Los Angeles(加州大学洛杉矶分校);University of Virginia(弗吉尼亚大学);University of Cambridge(剑桥大学)
在本文中,我们量化,分析和减轻ELMo的语境化词向量中表现出的性别偏见。首先,我们进行了几个内在的分析,发现(1)训练数据ELMo包含显着更多的男性比女性实体,(2)训练ELMo嵌入系统编码性别信息和(3)ELMo不平等地编码性别信息的男性和女性实体。然后,我们表明,一个国家的最先进的共指系统,依赖于ELMo继承其偏见,并表现出显着的偏见WinoBias探测语料库。最后,我们探索了两种方法来减轻这种性别偏见,并表明WinoBias上的偏见可以消除。
2019-04-05 cs.CL
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
词向量专业化(也称为改造)是一种便携式,轻量级的方法,通过从丰富的词汇资源(如WordNet)注入外部知识来微调任意分布的词向量空间。通过设计,这些后处理方法只更新外部词典中出现的单词的向量,而保留所有未看到的单词的表示。在本文中,我们表明,约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法,该方法:a)保留了有用的语言知识,为看到的话;而b)传播这个外部信号,以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量,以深度神经网络的形式解释了非线性专业化函数。然后,学习的函数用于专门化未见过的单词的向量。这种方法,适用于任何后处理模型,产生相当大的收益,无论是在内在的词相似性任务,并在两个下游任务:对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在,表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
CogniVal: A Framework for Cognitive Word Embedding Evaluation
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
一种有趣的评估单词表征的方法是通过它们在多大程度上反映了人脑中的语义表征。然而,大多数,如果不是全部,以前的工作只集中在小数据集和一个单一的模态。在本文中,我们提出了第一个多模态的框架来评估英语词汇表征的认知词汇语义的基础上。通过将六种类型的词嵌入与15个在语言处理过程中记录的眼动跟踪、EEG和fMRI信号数据集拟合来评估它们。为了在所有评估假设中获得全局分数,我们应用统计显著性检验来解决多重比较问题。这个框架是很容易扩展的,并可用于包括其他内在和外在的评估方法。我们发现认知数据集之间的结果,跨记录方式和他们的外在NLP任务的表现有很强的相关性。
2019-10-29 cs.CL
Comparison of Turkish Word Representations Trained on Different Morphological Forms
Istanbul Technical University(伊斯坦布尔理工大学)
不同文本表示的日益普及也带来了自然语言处理(NLP)任务的许多改进。在不需要监督数据的情况下,在大型语料库上训练的嵌入为我们提供了用于不同NLP任务的有意义的关系。尽管使用最近的方法训练这些向量相对容易,但从数据中获得的信息在很大程度上取决于语料库语言的结构。由于人们普遍研究的语言具有相似的形态结构,形态丰富的语言所出现的问题在研究中往往被忽视。对于形态丰富的语言,上下文无关词向量忽略了语言的形态结构。在这项研究中,我们准备了文本在形态上不同的形式在形态丰富的语言,土耳其语,并比较了不同的内在和外在的任务的结果。为了观察形态结构的效果,我们在词元和后缀被不同处理的文本上训练word2vec模型。我们还训练了子词模型fastText,并比较了词类比,文本分类,情感分析和语言模型任务的嵌入。
2020-02-13 cs.CL
Evaluating Neural Word Embeddings for Sanskrit
IIT Kanpur(印度理工学院坎普尔分校);Vellore Institute of Technology(韦洛尔理工大学);Tata Consultancy Services(塔塔咨询服务公司);IIT Kharagpur(印度理工学院卡拉格普尔分校)
最近,监督学习范式令人惊讶的显着性能已经获得了相当大的关注,从梵文计算语言学家。因此,梵语社区为各种下游自然语言处理(NLP)任务构建特定于任务的标记数据做出了值得称赞的努力。这些方法的主要组成部分来自词嵌入的表示。词嵌入有助于转移从现成的未标记数据中学习到的知识,以提高低资源环境下的特定任务绩效。在过去的十年里,梵语数字化领域有很多令人兴奋的事情。为了有效地利用这些现成的资源,有必要对梵语的词嵌入方法进行系统的研究。在这项工作中,我们调查的有效性词嵌入。我们将词嵌入分为大类,以促进系统的实验,并在四个内在任务中对其进行评估。我们调查的嵌入方法(最初提出的梵语以外的语言)的梵语以及语言所带来的各种挑战的有效性。
2021-04-01 cs.CL
How Do Source-side Monolingual Word Embeddings Impact Neural Machine Translation?
Johns Hopkins University(约翰斯·霍普金斯大学)
使用预训练的词嵌入作为输入层是许多自然语言处理(NLP)任务中的常见做法,但对于神经机器翻译(NMT)来说,它在很大程度上被忽视了。本文系统地分析了在NMT中使用预训练的源端单语词嵌入的效果。我们比较了几种策略,例如在不同数据量的NMT训练过程中固定或更新嵌入,我们还提出了一种称为双嵌入的新策略,它融合了固定和更新策略。我们的研究结果表明,如果适当地纳入NMT,预训练的嵌入可能是有帮助的,特别是当并行数据有限或附加的域内单语数据很容易获得时。
2018-06-14 cs.CL
Solving Math Word Problems with Reexamination
National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种与模型无关的伪对偶(PseDual)学习方案,通过引入数字填充任务及计划融合策略实现训练中的复查过程,有效提升了多种数学应用题求解器的性能。
2023-11-20 cs.AI cs.CL
Superbizarre Is Not Superb: Derivational Morphology Improves BERT's Interpretation of Complex Words
University of Oxford(牛津大学);LMU Munich(慕尼黑大学)
预训练的语言模型(PLM)的输入分割如何影响它们对复杂单词的解释?我们提出了第一个研究调查这一问题,以BERT为例PLM,并侧重于其英语派生词的语义表征。我们表明,PLM可以被解释为串行双路线模型,即,复杂单词的含义或者被存储,或者需要根据子单词来计算,这意味着最大意义的输入标记应该允许对新词的最佳概括。一系列语义探测任务证实了这一假设,其中DelBERT(Derivation leveraging BERT)是一种具有派生输入分割的模型,其性能大大优于具有WordPiece分割的BERT。我们的研究结果表明,PLM的泛化能力,可以进一步提高,如果使用的输入标记的形态信息词汇。
2021-06-02 cs.CL
ConceptNet 5.5: An Open Multilingual Graph of General Knowledge
Luminoso Technologies, Inc.(卢米诺索技术公司);Union College(联合学院)
关于语言的机器学习可以通过提供特定的知识和外部信息源来改进。我们在这里介绍一个新版本的链接开放数据资源ConceptNet,它特别适合与现代NLP技术(如词嵌入)一起使用。ConceptNet是一个知识图谱,它将自然语言的单词和短语与标记的边连接起来。它的知识是从许多来源收集的,包括专家创建的资源,众包和有目的的游戏。它旨在表示理解语言所涉及的一般知识,通过允许应用程序更好地理解人们使用的单词背后的含义来改进自然语言应用程序。当ConceptNet与从分布式语义(如word2vec)获取的词嵌入相结合时,它为应用程序提供了理解,这些应用程序不会单独从分布式语义获取,也不会从更窄的资源(如WordNet或DBPedia)获取。我们证明了这一点与国家的最先进的内在评价的词相关性转化为改进的应用程序的词向量,包括解决SAT风格的类比。
2018-12-11 cs.CL
Misspelling Oblivious Word Embeddings
Facebook AI(Facebook人工智能);Spotify(Spotify(声田))
在本文中,我们提出了一种方法来学习词嵌入,是弹性的拼写错误。现有的词嵌入对包含不可忽略数量的词汇表外词的畸形文本的适用性有限。我们提出了一种方法结合FastText与子词和监督任务学习拼写错误模式。在我们的方法中,每个单词的拼写错误都嵌入到正确的变体附近。我们在公开发布的新数据集上训练这些嵌入。最后,我们通过实验证明了这种方法在使用公共测试集的内在和外在NLP任务上的优势。
2019-05-23 cs.CL cs.LG