Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch
University of Toronto(多伦多大学);University of Alberta(阿尔伯塔大学)
本文针对语言模型内部与外部不匹配问题,研究了Encoder-only、Decoder-only和Encoder-Decoder预训练模型在词语义理解上的差异,揭示了提示与内部表征间的知识不一致性。
2024-09-21 cs.CL
Cross-lingual Models of Word Embeddings: An Empirical Comparison
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
尽管人们对使用跨语言知识来学习各种任务的词嵌入感兴趣,但文献中缺乏对可能方法的系统比较。我们进行了广泛的评估,四个流行的方法诱导跨语言嵌入,每一个需要不同形式的监督,在四个排版不同的语言对。我们的评估设置跨越四个不同的任务,包括单语言和跨语言相似性的内在评估,以及下游语义和句法应用程序的外在评估。我们发现,需要昂贵的跨语言知识的模型几乎总是表现得更好,但廉价的监督模型往往在某些任务上具有竞争力。
2016-06-08 cs.CL
Empirical Study of Named Entity Recognition Performance Using Distribution-aware Word Embedding
University of Illinois(伊利诺伊大学)
本文针对NER在陌生实体类型与文档下的识别难题,提出分布感知词嵌入并通过三种方式融入NER框架,验证了词语特异度信息可提升识别性能。
2024-01-22 cs.CL cs.LG
An Empirical Study on Leveraging Position Embeddings for Target-oriented Opinion Words Extraction
University of Sheffield(谢菲尔德大学);Beihang University(北京航空航天大学)
面向目标的意见词提取(TOWE)(Fan等人,2019 b)是面向目标的情感分析的一个新的子任务,其目的是为文本中的给定方面提取意见词。当前最先进的方法利用位置嵌入来捕获单词与目标的相对位置。然而,这些方法的性能取决于将这些信息合并到单词表示中的能力。在本文中,我们探索了各种基于预训练的词嵌入或利用词性和位置嵌入的语言模型的文本编码器,旨在检查TOWE中每个组件的实际贡献。我们还采用了一个图卷积网络(GCN),以提高单词表示,通过纳入句法信息。我们的实验结果表明,基于BiLSTM的模型可以有效地将位置信息编码成单词表示,而使用GCN只能获得边际收益。有趣的是,我们的简单方法优于几种最先进的复杂神经结构。
2021-09-02 cs.AI cs.CL
Harmonic Grammar, Optimality Theory, and Syntax Learnability: An Empirical Exploration of Czech Word Order
Johns Hopkins University(约翰斯·霍普金斯大学)
这项工作提出了一个系统的理论和经验比较的主要算法,已经提出了学习谐波和优化理论语法(HG和OT,分别)。通过比较学习算法,我们也能够比较密切相关的OT和HG框架本身。实验结果表明,额外的表现力的HG框架在OT提供的性能增益的任务预测的表面词序的捷克语句子。我们比较了感知器与经典的渐进学习算法(GLA),它学习OT语法,以及流行的最大熵模型。除了表明感知器在理论上是有吸引力的,我们的工作还表明,它学习的HG模型的性能接近在一个保持的测试集上的预测精度的上限,并且它能够准确地建模观察到的变化。
2017-02-19 cs.CL
Empirical observations of ultraslow diffusion driven by the fractional dynamics in languages: Dynamical statistical properties of word counts of already popular words
The Institute of Statistical Mathematics(统计数理研究所);The Research Organization of Information and Systems(信息与系统研究机构)
超低扩散(即对数扩散)已被广泛研究的理论,但几乎没有观察到经验。在本文中,首先,我们通过分析三个不同的全国性语言数据库:(i)报纸文章(日语),(ii)博客文章(日语),和(iii)维基百科的页面浏览量(英语,法语,中文和日语),发现已经流行的单词的字数的时间序列的超慢扩散。其次,我们用理论分析表明,这种扩散基本上是由指数为$β\approx 0.5$的幂律遗忘的随机行走模型解释的,它与分数朗之万方程有关。指数$β$表征遗忘的速度,并且$β\approx 0.5$对应于(i)平稳和非平稳之间的边界(或阈值)以及(ii)$β=1$的IID噪声和$β=0$的正常随机游走之间的中间动态。第三,流行词词数时间序列的生成模型是一种Poisson过程,其参数由上述随机游走模型采样得到,该模型不仅能近似地再现经验均方位移,而且能近似地再现功率谱密度和概率密度函数。
2018-06-29 cs.CL cs.CY physics.soc-ph
An Empirical Study on Sentiment Classification of Chinese Review using Word Embedding
School of Information and Software Engineering(信息与软件工程学院);University of Electronic Science and Technology of China(电子科技大学)
本文提出了如何将词嵌入作为中文情感分类的特征。首先,建立了一个中文评论语料库,其中包含了来自酒店评论网站的100万条评论。然后将代表每个评论的词嵌入用作不同机器学习方法的输入用于情感分类,包括SVM,Logistic回归,卷积神经网络(CNN)和集成方法。这些方法得到更好的性能相比,使用朴素贝叶斯(NB)和最大熵(ME)的N-gram模型。最后,提出了一种组合机器学习方法,该方法在查准率、查全率和F1得分方面都有较好的表现。在选择最有用的方法来构建组合模型并在语料库上测试之后,最终的F1得分为0.920。
2015-11-05 cs.CL
Do Acoustic Word Embeddings Capture Phonological Similarity? An Empirical Study
Saarland University(萨尔兰大学)
深度神经网络的几种变体已经成功地用于构建参数模型,该参数模型将可变持续时间的口语单词段投影到固定大小的向量表示或声学词嵌入(AWE)上。然而,目前还不清楚我们可以在多大程度上依赖新兴的AWE空间中的距离作为对单词形式相似性的估计。在本文中,我们问:在声学嵌入空间的距离与语音相异性?为了回答这个问题,我们实证研究了具有不同神经架构和学习目标的AWE的监督方法的性能。我们训练AWE模型在两种语言(德语和捷克语)的控制设置和评估两个任务的嵌入:单词歧视和语音相似性。我们的实验表明:(1)在最好的情况下,嵌入空间中的距离与语音距离只有适度的相关性,(2)提高单词辨别任务的性能并不一定会产生更好地反映单词语音相似性的模型。我们的研究结果强调了重新思考AWE当前内在评价的必要性。
2021-06-16 cs.CL cs.SD eess.AS
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute of Informatics, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所)
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来,大多数序列到序列模型都使用了注意力机制[2,3,4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐,但我们缺乏量化其质量的指标,不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型(CNN,RNN和基于Transformer-based)的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对,并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言(都与法语对齐)的低资源场景中的实验表明,RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵(ANE)的内在评价对齐质量。最后,我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型,该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
Gender Bias in Word Embeddings: A Comprehensive Analysis of Frequency, Syntax, and Semantics
University of Washington(华盛顿大学);Information School(信息学院);Birla Institute of Technology and Science(比尔拉科学技术学院);Harvard University(哈佛大学)
语言语料库中的统计数据将众所周知的社会偏见编码到词嵌入中。在这里,我们专注于性别,以全面分析在互联网语料库上训练的广泛使用的静态英语词嵌入中基于群体的偏见(GloVe 2014,fastText 2017)。使用单类别词嵌入关联测试,我们证明了性别偏见的普遍存在,也显示出差异:(1)与男性和女性相关的词的频率;(b)性别相关词的词性标签;(c)性别相关词的语义类别;(d)性别相关词的效价,唤醒和优势。首先,在词频方面:我们发现,在词汇表中最常见的1,000个单词中,77%与男性的联系比女性更多,这为英语世界的日常语言中男性默认提供了直接证据。第二,转向词性:与男性相关的词最多的通常是动词(例如,fight,overpower),而与女性相关的最多的词通常是形容词和副词(例如,情感上的,情感上的)。嵌入中的性别偏见也渗透到词性中。第三,对于语义类别:自下而上,对与每个性别相关的前1,000个词进行聚类分析。与男性相关的概念包括大型科技、工程、宗教、体育和暴力的角色和领域;相比之下,与女性相关的概念则不太关注角色,包括女性特有的诽谤和性内容,以及外观和厨房术语。第四,从一个约20,000字的词汇,使用人类的评级的字的效价,唤醒,和优势,我们发现,男性相关的词更高的唤醒和优势,而女性相关的词更高的效价。
2022-06-07 cs.AI cs.CL cs.CY
An Empirical Study on Post-processing Methods for Word Embeddings
University of California, San Diego(加利福尼亚大学圣迭戈分校)
从大型语料库中学习的词嵌入已被广泛应用于自然语言处理中,并作为学习系统的通用输入表示。近年来,人们提出了一系列的后处理方法来提高词嵌入在相似性比较和类比检索任务中的性能,其中一些方法已被应用于句子表征。这些方法背后的一般假设是,通过强制嵌入空间更加各向同性,可以更好地表达单词之间的相似性。我们认为这些方法作为一种方法来缩小协方差/克矩阵,这是通过学习词向量估计,对一个缩放的单位矩阵。通过使用集中式核对齐(CKA)优化半黎曼流形中的目标,我们能够搜索最佳收缩参数,并提供一种后处理方法来平滑学习单词向量的频谱,从而提高下游任务的性能。
2019-10-23 cs.CL cs.LG stat.ML
Empirical Evaluation of Character-Based Model on Neural Named-Entity Recognition in Indonesian Conversational Texts
Kata Research Team(Kata研究团队);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
尽管命名实体识别(NER)任务在自然语言处理领域有着悠久的历史,但以往的工作很少针对会话文本进行研究。这样的文本是具有挑战性的,因为它们包含大量的单词变体,这增加了词汇表外(OOV)单词的数量。大量的OOV单词给基于单词的神经模型带来了困难。与此同时,有大量证据表明基于字符的神经模型在缓解OOV问题方面的有效性。我们报告了一个实证评估的神经序列标记模型与字符嵌入,以解决印尼语会话文本的NER任务。我们的实验表明:(1)字符模型比仅词嵌入的模型的性能高出多达4个$F_1$点,(2)字符模型在OOV情况下的性能更好,提高高达15个$F_1$点,(3)字符模型对非常高的OOV率是鲁棒的。
2018-09-19 cs.CL
A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization
Clova AI(Clova人工智能);NAVER Corp(NAVER公司)
我们提出了SQLova,第一个自然语言到SQL(NL 2SQL)模型,以实现人类在WikiSQL数据集的性能。我们重新审视并讨论NL 2SQL文献中的各种流行方法,充分利用BERT {Devlin et al.,2018),并将它们连贯地结合起来,在逻辑形式和执行准确性上分别优于之前的最新技术水平8.2%和2.5%。我们特别注意到,带有seq 2seq解码器的BERT会导致任务性能不佳,这表明在使用这种大型预训练模型时仔细设计的重要性。我们还对数据集和模型进行了全面的分析,这有助于设计未来的NL 2SQL数据集和模型。我们特别指出,我们的模型的性能接近WikiSQL的上限,我们观察到很大一部分评估错误是由于错误的注释,我们的模型在执行准确性方面已经超过人类性能1.3%。
2019-11-11 cs.CL
Novel Language Resources for Hindi: An Aesthetics Text Corpus and a Comprehensive Stop Lemma List
Symbiosis Institute of Computer Studies and Research, Symbiosis International (Deemed University)(共生国际(被视为)大学共生计算机研究学院);Symbiosis Centre for Information Technology, Symbiosis International (Deemed University)(共生国际(被视为)大学共生信息技术中心)
这篇论文是对致力于将非英语语言纳入自然语言处理研究的研究人员所做贡献的补充。两个新的印地语资源已经创建并发布供公众消费。第一个资源是一个语料库,包括近千个预处理的虚构和非虚构文本跨越百年。第二个资源是一个详尽的停止词元列表,由12个跨多个领域的语料库创建,由超过1300万个单词组成,从中产生了超过20万个词元,以及11个公开可用的停止词列表,包括超过1000个单词,从中产生了近400个独特的词元。本研究强调使用停用词元而不是停用词,因为停用词列表中存在一个词的各种但不是所有形态形式,而不是只存在该词的根形式,如果需要,可以从中派生出变化。还观察到,停止词元在多个来源中比停止词更一致。为了生成停止词元列表,研究词元的词性,但是被拒绝,因为发现在频率列表中的单词的等级与其词性之间没有显著的相关性。停止引理列表使用比较方法进行评估。一个正式的评估方法,建议作为未来的工作,从这项研究中产生的。
2020-02-01 cs.CL
Comprehensive Analysis of Aspect Term Extraction Methods using Various Text Embeddings
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
最近,在情感分析领域的背景下,各种模型设计和方法已经蓬勃发展。然而,目前还缺乏对基于方面的情感分析(ABSA)的广泛而全面的研究。我们想填补这一空白,并提出了一个比较消融分析方面的长期提取使用各种文本嵌入方法。我们特别关注基于长短期记忆(LSTM)的架构,其中使用不同的预训练词嵌入进行可选的条件随机场(CRF)增强。此外,我们还分析了字符嵌入对扩展词向量化步骤性能的影响。在SemEval数据集上的实验结果表明,不仅双向长短期记忆(BiLSTM)优于常规LSTM,而且词嵌入覆盖率及其来源高度影响方面检测性能。一个额外的CRF层也会持续改善结果。
2020-12-10 cs.CL
A Comprehensive Analysis of Static Word Embeddings for Turkish
Boğaziçi University(博阿济济大学)
本研究针对土耳其语,将上下文嵌入转换为静态嵌入后,在内在与外在评估中细粒度对比了多类静态和上下文词嵌入模型的句法语义性能,构建并公开了土耳其语词嵌入库及相关资源。
2024-05-13 cs.AI cs.CL
Neural or Statistical: An Empirical Study on Language Models for Chinese Input Recommendation on Mobile
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
中文输入推荐对于减轻中文输入的人工成本具有重要作用,特别是在移动应用场景中。基本问题是预测给定前一个单词序列的下一个单词的条件概率。因此,统计语言模型,即~基于n-gram的模型已经在实际应用中被广泛用于该任务。然而,极端不同的打字行为的特性通常会导致严重的稀疏性问题,即使是平滑的n-gram也会失败。解决这个问题的一个合理的方法是使用最近提出的神经模型,如概率神经语言模型,递归神经网络和word 2 vec。他们可以利用语义上更相似的单词来估计概率。然而,这两种方法中的哪一种在实际应用中更好,还没有结论。在本文中,我们进行了广泛的实证研究,以显示统计和神经语言模型之间的差异。实验结果表明,两种不同的方法各有优势,混合方法将带来显着的改善。
2019-07-09 cs.CL
Word Embedding-based Text Processing for Comprehensive Summarization and Distinct Information Extraction
School of Systems and Enterprises, Stevens Institute of Technology(史蒂文斯理工学院系统与企业学院)
在本文中,我们提出了两个自动化的文本处理框架,专门设计用于分析在线评论。第一个框架的目标是通过提取基本句子来总结评论数据集。这是通过将句子转换为数字向量并使用基于其相似性水平的社区发现算法对其进行聚类来执行的。然后,测量每个句子的相关性得分,以确定其在每个聚类中的重要性级别,并将其分配为该社区的标签。第二个框架是基于一个问答神经网络模型训练,以提取多个不同的问题的答案。收集的答案被有效地聚类,以找到客户可能提出的单个问题的多个不同答案。拟议的框架比现有的审查处理解决方案更全面。
2020-04-21 cs.CL cs.LG
A Comprehensive Comparison of Word Embeddings in Event & Entity Coreference Resolution
ULiege/HEC Liege(列日大学/列日高等商学院)
共指消解是一项重要的自然语言处理任务,大多数最先进的方法都依赖于词嵌入来表示词。然而,在文献中很大程度上被忽视的一个问题是,在这项任务中,比较不同嵌入的性能。因此,我们在事件和实体共指消解(EvCR & EnCR)的背景下构建我们的研究,并解决两个问题:1)在性能(预测和运行时间)和嵌入大小之间是否存在权衡?2)嵌入的性能在家族内部和家族之间如何比较?我们的实验揭示了几个有趣的发现。首先,我们观察到嵌入大小的性能收益递减。例如,仅使用字符嵌入的模型实现了最大模型(Elmo,GloVe,Character)的86%的性能,而其大小为1.2%。其次,使用多个嵌入的较大模型总体上学习得更快,尽管每个时期较慢。但是,在测试时仍然较慢。最后,Elmo在EvCR和EnCR上表现最好,而GloVe和FastText分别在EvCR和EnCR上表现最好。
2021-10-11 cs.CL cs.LG
Word Sense Disambiguation in Native Spanish: A Comprehensive Lexical Evaluation Resource
Telef\'onica Innovación Digital, Research, Spain
本文针对西班牙语词义消歧资源匮乏且偏重英语的问题,构建了基于西班牙皇家学院词典的义项清单和词汇数据集,并用最先进系统评估了现有西班牙语资源。
2024-09-30 cs.AI cs.CL
The empirical structure of word frequency distributions
Eberhard Karls Universität Tübingen(蒂宾根大学)
各个单词在不同语言中出现的频率遵循幂律分布,这一发现模式被称为齐普夫定律。大量的文献争论这是否有助于优化人类通信的效率,然而这种说法必然是事后的,并且有人认为齐普夫定律实际上可能描述了其他分布的混合物。从这个角度来看,最近的发现,Sinosphere的第一个(家庭)名字是几何分布是值得注意的,因为这实际上是一致的信息理论预测最佳编码。在大多数语言中,第一个名字形成自然的交际分布,我表明,当分析有关的社区中,他们被使用,在一个不同的语言集的第一个名字分布都是几何和历史上,非常相似,与幂律分布只有出现时,经验分布汇总。然后,我展示了这种模式的研究结果复制在英语名词和动词的交际分布。这些结果表明,如果词汇分布支持有效的沟通,他们这样做,因为他们的功能结构直接满足信息论所描述的约束,而不是因为齐普夫定律。理解这些信息结构的功能可能是解释人类非凡的交际能力的关键。
2020-01-09 cs.CL
Word, Subword or Character? An Empirical Study of Granularity in Chinese-English NMT
National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
神经机器翻译(NMT)是一种新的机器翻译方法,它在多种语言对上的翻译性能优于传统的统计机器翻译(SMT)。翻译是一个开放词汇的问题,但现有的NMT系统大多使用固定词汇,这导致了对稀有词汇的翻译能力不足。这个问题可以通过使用不同的翻译粒度,如字符,子字和混合字字符来缓解。中文翻译是机器翻译中最困难的任务之一,然而,据我们所知,目前还没有任何其他的工作探索哪种翻译粒度最适合于中文翻译。本文以汉英非母语翻译为例进行了广泛的对比研究。此外,我们详细讨论了各种翻译粒度的优点和缺点。实验结果表明,在词汇量不大的情况下,子词模型的翻译效果最好,而词字混合模型的翻译效果最好。不同粒度的实验结果表明,Hybrid_BPE方法在汉英翻译任务中取得了最佳的效果。
2017-11-13 cs.CL
SinSpell: A Comprehensive Spelling Checker for Sinhala
University of Moratuwa(莫拉图瓦大学)
我们已经建立了SinSpell,这是一个全面的僧伽罗语拼写检查器,有超过1600万人使用,主要在斯里兰卡。然而,直到最近,僧伽罗语还没有覆盖范围可以接受的拼写检查程序。Sinspell仍然是唯一的开源僧伽罗语拼写检查器。SinSpell识别可能的拼写错误并提出更正建议。它还包含一个自动纠正明显错误的模块。为了保持准确性,SinSpell被设计为基于Hunspell的规则系统。从几个来源汇编了一套文字,并加以验证。这些词被分为形态类,每类的有效词根、后缀和前缀都被识别出来,还有不规则词和例外词的列表。对僧伽罗语文件语料库中的错误进行了分析,并确定了常见的拼写错误单词和常见错误类型。我们发现,最常见的错误是在元音长度和相似的发音字母。由于不正确的输入和编码的错误也被发现。这个分析被用来开发建议生成器和自动校正器。
2021-07-07 cs.CL
An Empirical Analysis of the Role of Amplifiers, Downtoners, and Negations in Emotion Classification in Microblogs
University of Stuttgart(斯图加特大学)
放大器、降调器和否定的效果已经被广泛研究,特别是在情感分析的背景下。然而,只有有限的工作,旨在转移的结果和方法,以离散类的情绪,如。例如,在一个实施例中,喜悦愤怒恐惧悲伤惊讶和厌恶例如,解释“不快乐”这个短语表达的是哪种情绪并不直接。通过本文,我们的目标是更好地理解这种修饰语的背景下,情感承载的话,他们的影响,文件级的情感分类,即微博在Twitter上。我们选择了一个适当的范围检测方法的情感词的修饰语,将其作为额外的词袋在文档级的情感分类模型,并表明这种方法提高了情感分类的性能。此外,我们还建立了一个基于不同修饰语的词汇加权方法,用于分析修饰语的语义及其对情感意义的影响。我们表明,放大器分离的情绪表达的情绪,一个情绪轴承字更清楚地从其他次要内涵。低调的人有相反的效果。此外,我们还讨论了情感词的否定意义。例如,我们的经验表明,“不快乐”更接近悲伤,而不是愤怒,在低调的范围内,表达恐惧的词往往表示惊讶。
2018-10-02 cs.CL
Phrase Based Language Model for Statistical Machine Translation: Empirical Study
重排序是机器翻译系统面临的一个挑战。在机器翻译中,广泛使用的方法是应用基于词的语言模型(LM),它将句子的组成单位视为词。在语音识别(SR)中,已经提出了一些基于短语的LM。然而,这些LM不一定适合于重新排序或对于重新排序是最佳的。我们提出了两个短语为基础的LM认为一个句子的组成单位作为短语。实验表明,我们的短语为基础的LM优于基于词的LM方面的困惑和n-best列表重新排名。
2015-02-18 cs.CL
Language Models Explain Word Reading Times Better Than Empirical Predictability
University of Wuppertal(伍珀塔尔大学);Universität Hamburg(汉堡大学);International Psychoanalytic University(国际精神分析大学);University of Exeter(埃克塞特大学);The University of Sydney(悉尼大学);McGill University(麦吉尔大学);Washington University in St. Louis(圣路易斯华盛顿大学);Indiana University(印第安纳大学)
尽管人们普遍认为字长和频率是决定心理词典视觉拼写访问的最重要的单字特征,但对于如何最好地捕捉句法和语义因素,人们的共识较少。认知阅读研究的传统方法认为,从句子语境中预测单词的最佳方法是从人的表现数据中推导出的完形填空概率。我们回顾了最近的研究表明,概率语言模型提供更深入的解释句法和语义的影响比CCP。然后,我们比较了CCP与(1)符号n-gram模型通过计算一个词出现的概率来巩固句法和语义的短程关系,给定两个前面的词。(2)主题模型依赖于子符号表示,以捕捉长期的语义相似度的词共现计数的文件。(3)在递归神经网络(RNN)中,子符号单元被训练来预测下一个单词,给定句子中所有前面的单词。为了检查词汇检索,这些模型被用来预测单固定持续时间和凝视持续时间,以捕捉快速成功和标准的词汇访问,和总观看时间捕捉后期语义整合。线性项目水平分析显示,所有语言模型与所有眼动测量的相关性大于CCP。然后,我们研究了不同类型的可预测性和阅读时间之间的非线性关系,使用广义加性模型。与主题模型或CCP相比,当前单词的N-gram和RNN概率更一致地预测阅读成绩。
2022-02-02 cs.AI cs.CL
What Have Been Learned & What Should Be Learned? An Empirical Study of How to Selectively Augment Text for Classification
Shanghai University of Finance and Economics(上海财经大学)
文本增强技术被广泛应用于文本分类问题,以提高分类器的性能,特别是在低资源的情况下。虽然已经设计了许多创造性的文本增强方法,但它们以非选择性的方式增强文本,这意味着不太重要或嘈杂的词与信息词有相同的机会被增强,从而限制了增强的性能。本文系统地总结了三类对文本分类具有不同功能的角色关键词,并设计了有效的方法从文本中提取角色关键词。基于这些提取的角色关键字,我们提出STA(选择性文本增强)选择性地增强文本,其中信息,类指示词被强调,但不相关或嘈杂的话被减少。在四个英文和中文文本分类基准数据集上的大量实验表明,STA可以大大优于非选择性文本增强方法。
2021-09-01 cs.CL
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA(语言学系,布法罗大学,布法罗纽约州)
针对库尔德语低资源词嵌入任务,对比三类分词策略,发现BPE存在评估偏差,基于语素的分词综合表现更优,为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces
Nazarbayev University(纳扎尔巴耶夫大学)
我们发现,删除sigmoid变换的跳跃-gram与负采样(SGNS)的目标不会损害字向量的质量显着,并在同一时间有关的因式分解的压缩移位PMI矩阵,反过来,可以被视为一个连接概率矩阵的随机图。从经验上讲,这种图是一个复杂的网络,即它具有强聚类性和无标度分布,并且与双曲空间紧密相连。简而言之,我们使用分析和经验方法,通过压缩移位PMI矩阵,展示了静态词嵌入和双曲空间之间的联系。
2020-09-26 cs.CL stat.ML
CogniFNN: A Fuzzy Neural Network Framework for Cognitive Word Embedding Evaluation
词嵌入能够反映语义表征,嵌入质量可以用人类自然阅读相关认知数据源进行综合评价。在本文中,我们提出了CogniFNN框架,这是第一次尝试使用模糊神经网络来提取非线性和非平稳特性的英语词嵌入对相应的认知数据集的评价。在我们的实验中,我们使用了15个人类认知数据集在三种模式:EEG,fMRI和眼动跟踪,并选择均方误差和多假设检验作为指标来评估我们提出的CogniFNN框架。与最近的先驱框架相比,我们提出的CogniFNN对上下文无关(GloVe)和上下文相关(BERT)词嵌入的预测误差较小,并且对随机生成的词嵌入实现了更高的显著性比率。我们的研究结果表明,CogniFNN框架可以提供一个更准确和全面的认知词嵌入的评估。这对于进一步的外部自然语言处理任务的词嵌入评价具有潜在的意义。
2021-07-29 cs.AI cs.CL
Frequency-aware Dimension Selection for Static Word Embedding by Mixed Product Distance
Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
本文提出基于混合乘积距离的维度选择方法,利用词频信息无需训练词嵌入即可为静态词嵌入选择合适维度,在无上下文和有上下文任务中实现更优的效率-性能平衡。
2023-05-13 cs.CL
Beyond Next Word Prediction: Developing Comprehensive Evaluation Frameworks for measuring LLM performance on real world applications
AMD(超威半导体公司);LayerLens;UCLA(加利福尼亚大学洛杉矶分校)
本文提出一种基于游戏与工具架构的通用评估框架,以超越静态数据集的方式全面衡量大语言模型在供应链、金融推理及伦理安全等现实场景中的综合能力。
2025-03-05 cs.AI cs.CL cs.LG
Empirical Gaussian priors for cross-lingual transfer learning
Center for Language Technology(语言技术中心);University of Copenhagen(哥本哈根大学)
序列模型学习算法通常最大化对数似然减去模型的范数(或最小化汉明损失+范数)。在跨语言词性(POS)标记中,我们的目标语言训练数据由句子序列组成,这些句子序列具有从$k$语言中的翻译投射的逐词标签,我们通过单词对齐标记了这些语言的数据。因此,我们的训练数据非常嘈杂,如果Rademacher复杂度很高,学习算法很容易过拟合。基于范数的正则化假设一个恒定的宽度和零均值先验。相反,我们建议使用$k$源语言模型来估计高斯先验的参数,以学习新的POS标签。这导致在多源传输设置中显著更好的性能。我们还提出了一个辍学的版本,注入(经验)高斯噪声在在线学习。最后,我们注意到,使用经验高斯先验导致更低的Rademacher复杂性,并且优于最优加权模型插值。
2016-01-09 cs.CL
Isometric Lineation in English Texts: An Empirical and Mathematical Examination of its Character and Consequences
在本文中,我们建立在早期的观察和理论,关于单词的长度频率和顺序分布,开发一个数学表征的一些语言功能区分等距线文本从unlineated文本,换句话说,功能区分等距诗从散文。结果表明,音节的频率,使完整的话产生一个平坦的分布散文,而诗句表现出的行长度的位置和随后的倍数的位置的峰值。数据从几个诗句作者,包括一个详细的数学分析的动力学基础高峰创建,并提供评论的过程中,作者构建线。我们注意到,散文的词长序列是随机的,而划线则需要非随机的词长序列,这可能会给原本高度有序的语法序列带来一定程度的随机性。此外,我们观察到,这种效果可以改善减少平均文字长度的文本(确认早期的观察,诗句往往使用较短的话)和使用不同的线从核心等距集。变异行的频率与多音节词的频率一致,这表明变异行的使用是由多音节词的位置。探讨了不同诗行长度的制约作用、格律制约与诗歌效果的关系以及格律的共性。
1998-08-14 cmp-lg cs.CL
Is space a word, too?
Drexel University(德雷塞尔大学)
换句话说,秩-频分布长期以来一直被认为符合一个潜在的普遍现象,即齐普夫定律。这一经验现象的假设形式被本尼迪克特·曼德尔布罗特提炼为现在被称为齐普夫-曼德尔布罗特定律的形式。与此同时,Herbet Simon提出了一个可能解释齐普夫定律的选择模型。然而,西蒙和曼德尔布罗特之间的重大争议,显着的经验例外,以及西蒙的模型和齐普夫-曼德尔布罗特定律之间缺乏强有力的经验联系,留下了普遍性和机械生成的问题。我们通过展示分词的暗物质,即,空格、标点等,把齐普夫-曼德布洛定律和西蒙的机械过程联系起来。这就解释了曼德尔布罗特的改进只不过是一个模糊因子,适应了排除秩频暗物质的影响。因此,整合这些非词对象解决了更普遍的等级频率定律。由于这依赖于空间等的整合,我们发现支持的假设,$all$产生的共同进程,从物理的角度来看,空间是一个字,太。
2017-10-20 cond-mat.stat-mech cs.CL
A comprehensive empirical analysis on cross-domain semantic enrichment for detection of depressive language
University of Alberta(阿尔伯塔大学)
我们分析了创建词嵌入特征表示的过程,这些特征表示是为当注释数据稀缺时的学习任务而设计的,例如,在推文中的抑郁语言检测中。我们从一个从大型通用数据集预训练的丰富的词嵌入开始,然后通过一个简单的非线性映射机制,从一个更小、更具体的领域数据集学习嵌入。我们还尝试了其他几种更复杂的映射方法,包括几种基于自动编码器和基于自定义损失函数的方法,这些方法通过逐渐学习接近相似语义的单词和远离不相似语义的单词来学习嵌入表示。我们的强化表征更好地捕捉了抑郁领域的语义,因为它结合了从特定领域学到的语义和一般语言的词汇覆盖。我们还提出了一个比较性能分析我们的词嵌入表示与一个简单的词袋模型,众所周知的情感和心理语言学词典,和一般的预训练词嵌入。当用作几种不同的机器学习方法的特征表示时,包括抑郁推文识别任务中的深度学习模型,我们表明我们的增强词嵌入表示比其他表示获得了更好的F1分数,特别是当应用于高质量数据集时。此外,我们提出了几个数据消融测试,证实了我们的增强技术的有效性。
2021-06-24 cs.AI cs.CL cs.LG
Speech Emotion Recognition with ASR Transcripts: A Comprehensive Study on Word Error Rate and Fusion Techniques
University of Edinburgh(爱丁堡大学);Centre for Speech Technology Research(言语技术研究中心)
本研究针对现有语音情感识别依赖人工转录文本的问题,在多语料库上测试不同词错误率的ASR转录文本及多种融合技术的SER性能,并提出整合纠错与模态门控融合的抗错框架,提升了真实场景下的SER效果。
2025-03-23 cs.CL cs.MM cs.SD
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego(加州大学圣迭戈分校)
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集,系统评估单语与多语BERT模型的语境化语义表征,揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
An empirical investigation into the properties of standard word embeddings
African Institute for Mathematical Sciences (AIMS)(非洲数学科学研究所);North-West University(西北大学)
研究词嵌入属性,回顾计算词嵌入的机制,研究公共领域的工具包和矩阵,通过选定实现进行实验以了解其特征
2026-07-28 cs.AI cs.CL
CKMorph: A Comprehensive Morphological Analyzer for Central Kurdish
Sharif University of Technology(谢里夫理工大学);University of Tehran(德黑兰大学);Ryerson University(瑞尔森大学);Avignon University(阿维尼翁大学)
形态分析器是许多自然语言处理应用的重要组成部分,特别是对于形态丰富的语言,它将输入的单词划分为所有组成词素并识别它们的形态角色。在本文中,我们介绍了一个全面的形态分析器中央库尔德语(CK),一个低资源的语言与丰富的形态。在有限的现有文献的基础上,我们首先组装和系统地分类了一个全面的收集形态和形态音位规则的语言。此外,我们收集并手动标记了一个生成词典,其中包含近10,000个动词,名词和形容词词干,命名实体和其他类型的词干。我们使用这些规则集和资源来实现基于有限状态转换器的CKMorph Analyzer。为了为未来的研究提供基准,我们收集,手动标记,并公开共享测试集,以评估分析仪的准确性和覆盖率。CKMorph能够正确分析95.9%的准确率测试集,包含根据上下文进行形态分析的1,000个CK单词。此外,CKMorph对覆盖测试集的422万个CK标记中的95.5%给出了至少一个分析。该应用程序的演示和资源,包括CK动词数据库和测试集,可在https://github.com/CKMorph上公开访问。
2022-03-02 cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);University of Wollongong(伍伦贡大学)
最近的工作将预训练的词嵌入(如BERT嵌入)纳入神经主题模型(NTM),生成高度连贯的主题。然而,有了高质量的上下文文档表示,我们真的需要复杂的神经模型来获得连贯和可解释的主题吗?在本文中,我们进行了深入的实验表明,直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM,也实现了更高的效率和简单性。
2022-04-21 cs.CL
Factors Influencing the Surprising Instability of Word Embeddings
University of Michigan(密歇根大学)
尽管最近流行的词嵌入方法,只有一个小的身体的工作,探索这些表示的局限性。在本文中,我们考虑嵌入空间的一个方面,即其稳定性。我们发现,即使是相对较高的频率的话(100-200次)往往是不稳定的。我们提供了经验证据,各种因素如何有助于词嵌入的稳定性,我们分析了稳定性对下游任务的影响。
2018-04-25 cs.CL
Memory-Efficient FastText: A Comprehensive Approach Using Double-Array Trie Structures and Mark-Compact Memory Management
Independent Researcher(独立研究者)
研究提出内存高效的FastText变体,基于先精确后压缩原则,用双数组trie索引替换哈希桶,经合并和重排压缩矩阵,在中文基准测试中显著减少内存、提升加载速度并保持下游质量。
2026-07-07 cs.CL
Recent advancements in computational morphology : A comprehensive survey
Dharmsinh Desai University(达尔明辛德赛大学)
本文按时间顺序系统综述了计算形态学从传统方法到深度学习方法的发展,梳理了跨语言数据集,并分析了神经模型的有效性、独特挑战及开放问题。
2024-06-08 cs.CL cs.LG
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool(利物浦大学);Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学)
表示两个给定单词(或实体)之间存在的语义关系是自然语言处理(NLP)广泛应用的重要第一步,如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移(\PairDiff)。尽管取得了经验上的成功,但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子,可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明,如果词嵌入是标准化的和不相关的,这样的操作将是独立的双线性项,并可以简化为一个线性形式,其中\PairDiff是一个特殊情况。对于众多的词嵌入类型,我们实证验证了不相关的假设,证明了我们的理论结果的普遍适用性。此外,我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Streaming Word Embeddings with the Space-Saving Algorithm
Johns Hopkins University(约翰斯·霍普金斯大学);Denison University(丹尼森大学)
我们开发了一个流(一次通过,有界内存)词嵌入算法的基础上,规范的跳跃与负采样算法在word2vec。我们比较我们的流媒体算法word2vec经验,通过测量每个算法下的单词对之间的余弦相似性,并通过应用每个算法在Twitter样本流的两个月间隔的主题标签预测的下游任务。然后,我们讨论了这些实验的结果,得出结论,他们提供了部分验证我们的方法作为一个流替代word2vec。最后,我们讨论了潜在的故障模式,并建议今后的工作方向。
2017-04-24 cs.CL
An empirical study on large scale text classification with skip-gram embeddings
University of Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Coffreo(Coffreo公司)
我们研究了在大规模文本分类的背景下,将词嵌入作为分类特征。这种表示已被用于过多的任务,但它们在分类场景中的应用与成千上万的类还没有得到广泛的研究,部分是由于硬件的限制。在这项工作中,我们研究了有效的组合功能,以获得文档级的字级嵌入,我们随后调查他们的组合与传统的一热编码表示。通过对大型、多类、多标签分类问题的经验证据,我们证明了这种组合的效率和性能优势。
2016-06-21 cs.CL cs.IR
Better Language Model with Hypernym Class Prediction
University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
基于类的语言模型(LM)长期以来一直被设计用于解决$n$ -文法LM中的上下文稀疏性。在这项研究中,我们重新审视这种方法的背景下,神经LM。我们假设,基于类的预测导致一个隐式的上下文聚合相似的话,从而可以提高稀有词的泛化。我们将具有共同WordNet上位词的单词映射到相同的类,并通过在训练期间从预测类逐渐退火到令牌预测来训练大型神经LM。从经验上讲,这种课程学习策略始终改善了两个数据集WikiText-103和Arxiv上各种大型,高性能的最先进的基于Transformer的模型的困惑。我们的分析表明,在不牺牲稀有词的性能的情况下,实现了性能的提高。最后,我们记录了其他尝试,未能产生实证收益,并讨论了未来的方向,采用基于类的LM在更大的规模。
2022-03-21 cs.CL
The optimality of word lengths. Theoretical foundations and an empirical study
Universitat Politècnica de Catalunya (UPC), Barcelona School of Informatics(加泰罗尼亚理工大学,巴塞罗那信息学院);Department of Language Science and Technology, Saarland University(语言科学与技术系,萨尔大学);Chair of Multilingual Computational Linguistics, University of Passau(多语言计算语言学教席,帕绍大学)
本文通过理论分析和实证研究,提出两种双标准化优化评分,评估语言词长的优化程度,发现语言在字符和时间上的平均优化率为62%-67%。
2026-03-30 cs.CL cs.IT math.IT
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,随着词的连续表示(词嵌入)和深层神经网络结构的发展,关系抽取领域的研究成果不断涌现,大量的论文已经难以统计。为了帮助未来的研究,我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取,这些网络在公开可用的数据集上实现了最先进的性能。在本调查中,我们涵盖了文档级关系提取,基于管道的方法联合提取方法,注释数据集,远程监督数据集以及一些最近的研究方向,如zero-shot或Few-Shot关系抽取,远程监督数据集的噪声缓解。关于神经架构,我们在本调查中涵盖了卷积模型,递归网络模型,注意力网络模型和图卷积模型。
2021-03-31 cs.CL
Empirical Study of Mutual Reinforcement Effect and Application in Few-shot Text Classification Tasks via Prompt
Yokohama National University(横滨国立大学)
本文通过实证实验验证了文本分类中词级与文本级任务间的互增强效应(MRE),并将其应用于提示学习,利用词级信息作为verbalizer提升小样本文本分类性能,在21个数据集中有18个显著超越基线。
2024-10-13 cs.CL
Evaluating Word Embedding Hyper-Parameters for Similarity and Analogy Tasks
Duke University(杜克大学);IBM Research(IBM研究院)
词嵌入在各种应用中的多功能性吸引了来自各个领域的研究人员。然而,超参数在训练嵌入模型时的影响往往知之甚少。向量维度和语料库大小等超参数对嵌入质量的影响有多大,这些结果如何转化为下游应用?使用标准的嵌入评估指标和数据集,我们进行了一项研究,以实证方式衡量这些超参数的影响。
2018-04-11 cs.CL
Learning Geometric Word Meta-Embeddings
Microsoft India(微软印度)
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间,例如,简单的平均不同的嵌入(一个给定的词)是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
An Empirical Evaluation of doc2vec with Practical Insights into Document Embedding Generation
IBM Research(IBM研究院);The University of Melbourne(墨尔本大学)
最近,Le和Mikolov(2014)提出了doc2vec作为word2vec的扩展(Mikolov et al.,2013a)学习文档级嵌入。尽管原始论文中的结果很有希望,但其他人一直在努力重现这些结果。本文提出了一个严格的实证评估doc2vec在两个任务。我们将doc2vec与两个基线和两种最先进的文档嵌入方法进行了比较。我们发现,当使用在大型外部语料库上训练的模型时,doc2vec表现稳健,并且可以通过使用预训练的词嵌入来进一步改进。我们还为通用应用程序的超参数设置提供了建议,并发布了源代码,以使用我们训练的doc2vec模型来诱导文档嵌入。
2016-07-19 cs.CL