Bangla Word Clustering Based on Tri-gram, 4-gram and 5-gram Language Model
Shahjalal University of Science and Technology(沙赫贾拉勒科技大学)
在本文中,我们描述了一种研究方法,产生孟加拉语词集群的基础上,有关的意义在语言和上下文相似性。词聚类的重要性在于词性标注、词义消歧、文本分类、推荐系统、拼写检查、语法检查、知识发现以及许多其他自然语言处理(NLP)应用。在词聚类的历史上,英语和其他一些语言已经实现了一些有效的词聚类方法。但是由于资源的缺乏,孟加拉语的词聚类仍然没有得到有效的实现。目前,其执行工作正处于起步阶段。在一些基于一个关键词的前后五个词的英语词聚类研究中,他们发现了一个有效的结果。现在,我们正在尝试为孟加拉语实现词聚类的三元组,4元组和5元组模型,以观察其中哪一个是最好的。我们已经开始了我们的研究与相当大的语料库约1万孟加拉语单词。我们在这项研究中使用了机器学习技术。我们将生成词聚类,并通过测试一些不同的阈值来分析聚类。
2017-01-27 cs.CL
Towards Understanding Language through Perception in Situated Human-Robot Interaction: From Word Grounding to Grammar Induction
Ritsumeikan University(立命馆大学)
机器人在不同的任务中与人类用户广泛合作,这些任务需要高水平的认知功能,使它们能够发现周围的环境。我们在这篇短文中强调的一个困难的挑战是推断语言的潜在语法结构,其中包括基础词性(例如,动词、名词、形容词和介词),并对短语进行组合范畴语法(CCG)归纳。这为基础短语铺平了道路,以便使机器人能够在交互过程中适当地理解人类指令。
2020-03-13 cs.AI cs.CL
SubGram: Extending Skip-gram Word Representation with Substrings
Charles University in Prague(布拉格查理大学)
Skip-gram(word 2 vec)是一种使用神经网络创建单词的矢量表示(“分布式单词表示”)的最新方法。这种表示在自然语言处理的各个领域都很流行,因为它似乎可以捕获单词的语法和语义信息,而无需任何明确的监督。我们提出了SubGram,这是Skip-gram模型的一种改进,在训练过程中也考虑了单词结构,在Skip-gram原始测试集上获得了很大的收益。
2018-06-18 cs.CL
Breaking Sticks and Ambiguities with Adaptive Skip-gram
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院)
最近提出的Skip-gram模型是一个强大的方法来学习高维词表示,捕捉丰富的语义之间的关系。然而,Skip-gram以及大多数关于学习单词表示的先前工作没有考虑单词歧义并且每个单词仅保持单个表示。虽然提出了一些Skip-gram修改来克服这一限制并学习多原型单词表示,但它们要么需要已知数量的单词含义,要么使用贪婪启发式方法来学习它们。在本文中,我们提出了自适应Skip-gram模型,这是一个非参数贝叶斯扩展的Skip-gram能够自动学习所需数量的表示为所有单词在所需的语义分辨率。我们推导出有效的在线变分学习算法的模型和经验证明其有效性的词义归纳任务。
2015-11-15 cs.CL
Exploration on Grounded Word Embedding: Matching Words and Images with Image-Enhanced Skip-Gram Model
Peking University(北京大学)
词嵌入的目的是用低维向量表示词的语义。学习词嵌入(word 2 vec和GloVe)的最新方法仅使用词共现信息。学习的嵌入是实数向量,这对人类来说是模糊的。在本文中,我们提出了一个图像增强的Skip-Gram模型来学习接地词嵌入通过表示在同一个超平面与图像向量的词向量。实验表明,该模型学习的图像向量和词嵌入具有高度的相关性,表明该模型能够为词嵌入提供生动的图像解释。
2018-09-08 cs.CL
Variable Word Rate N-grams
单词的出现率并不统一,而是因文件而异。尽管有这种观察,常规的n元语言模型的参数通常使用恒定字率的假设来导出。在本文中,我们研究使用可变字率假设,模拟泊松分布或连续混合泊松。我们提出了一种方法来估计相对频率的话或n-grams考虑到他们的出现先验信息。还考虑了贴现和平滑方案。使用广播新闻任务,该方法表明,减少困惑高达10%。
2000-03-29 cs.CL
Measuring Gender Bias in Word Embeddings of Gendered Languages Requires Disentangling Grammatical Gender Signals
George Washington University(乔治华盛顿大学);University of Washington(华盛顿大学)
当衡量一种语言的词嵌入所捕获的语义性别信息时,语言的语法性别是否会产生干扰?一些在性别语言嵌入中的异常性别偏见测量表明了这种可能性。我们证明,词嵌入学习语法性别的语言,这可能会扭曲社会性别偏见的测量名词和它的语法性别之间的关联。因此,词嵌入后处理方法被引入到量化,解开,和评估语法性别信号。该评估是在印欧语系的日耳曼语、罗曼语和斯拉夫语分支的五种性别语言上进行的。我们的方法降低了语法性别信号的强度,这是衡量的效果大小(科恩的d),由一个显着的平均值d = 1.3为法语,德语和意大利语,和d = 0.56为波兰语和西班牙语。一旦语法性别被解开,超过90%的10,000无生命名词和他们的语法性别之间的关联减弱,跨语言的偏见结果从词嵌入协会测试(WEAT)变得更加符合国家级的内隐偏见测量。结果进一步表明,从词嵌入中解开语法性别信号可能会导致语义机器学习任务的改进。
2022-06-03 cs.AI cs.CL cs.CY
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL(洛桑联邦理工学院);Iprova SA(Iprova公司)
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中,我们展示了如何训练词嵌入联合二元组,甚至三元组嵌入,结果在改进的unigram嵌入。我们声称,训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息,从而产生更好的独立词嵌入。我们的经验表明,我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Compressing Word Embeddings Using Syllables
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven Institute for AI(鲁汶人工智能研究院)
这项工作探讨了使用音节嵌入的可能性,而不是经常使用的$n$ -gram嵌入,作为子词嵌入。我们调查了两种语言:英语和荷兰语。为此,我们还将两个标准的英语词嵌入评估数据集WordSim 353和SemEval-2017翻译成荷兰语。此外,我们还为研究界提供了两种语言的音节分解数据集。我们比较我们的方法,全字和$n$ -gram嵌入。与完整的词嵌入相比,我们获得的英语模型小20到30倍,同时保留80%的性能。对于荷兰人来说,模型小了15倍,性能保持率为70%。虽然不如我们使用的$n$ -gram基线准确,但我们的模型可以在几分钟内完成训练,而$n$ -gram方法则需要数小时。我们确定了一条在未来工作中提升性能的途径。所有代码都是公开的,以及我们收集的英语和荷兰语音节分解和荷兰语评估集翻译。
2022-01-13 cs.AI cs.CL
An exploration of the encoding of grammatical gender in word embeddings
Uppsala University(乌普萨拉大学)
词的向量表示,即词嵌入,开辟了语言学研究的新途径。这些表示可以捕获关于单词的不同类型的信息。名词语法性是根据名词的形式和语义特征对名词进行的一种典型分类。基于词嵌入的语法性研究有助于深入探讨语法性是如何决定的。在这项研究中,我们比较了不同的词嵌入集,根据神经分类器的准确性,确定语法性别的名词。研究发现,在瑞典语、丹麦语和荷兰语的嵌入中,语法性别的编码方式存在重叠。我们的实验结果的上下文嵌入指出,添加更多的上下文信息的嵌入是有害的分类器的性能。我们还观察到,从嵌入的训练语料库中删除诸如冠词之类的形态句法特征会显着降低分类性能,这表明很大一部分信息被编码在名词和冠词之间的关系中。
2020-11-03 cs.CL
Skip-gram word embeddings in hyperbolic space
Lateral GmbH(Lateral有限公司)
最近的工作表明,双曲空间中的树型图的嵌入在性能上大大超过了它们的欧几里得对应物。受这些结果和词同现图中的无标度结构的启发,我们提出了一种从自由文本中学习双曲空间中的词嵌入的算法。基于双曲线距离的目标函数推导并包含在word2vec的跳跃文法负采样架构中。双曲词嵌入,然后评估词相似性和类比基准。结果表明,双曲词嵌入的潜力,特别是在低维,虽然没有明显的优势,他们的欧几里德同行。我们进一步讨论微妙的制定类比任务在弯曲的空间。
2019-05-27 cs.AI cs.CL cs.LG
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
该研究首次将基于预群语法的量子组合自然语言处理应用于阿拉伯语,通过将句子转换为拓扑反映语法结构的量子电路进行实验,对比量子电路方法与经典基线,为阿拉伯语处理提供新途径。
2026-07-17 cs.CL
Trans-gram, Fast Cross-lingual Word-embeddings
Proxem(Proxem公司)
我们介绍了Trans-gram,一种简单且计算效率高的方法,可以同时学习和对齐各种语言的单词,仅使用单语数据和较小的一组对齐数据。我们使用我们的新方法来计算对齐wordbeddings二十一种语言使用英语作为一个枢纽语言。我们表明,一些语言特征是跨语言对齐的,我们没有对齐的数据,即使这些属性不存在于枢轴语言。我们还在标准的跨语言文本分类和单词翻译任务上取得了最先进的结果。
2016-01-11 cs.CL
Charagram: Embedding Words and Sentences via Character n-grams
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出了Charagram嵌入,一个简单的方法学习基于字符的组成模型嵌入文本序列。一个单词或句子使用字符n-gram计数向量表示,然后进行单个非线性变换以产生低维嵌入。我们使用三个任务进行评估:单词相似性,句子相似性和词性标记。我们证明了Charagram嵌入优于基于字符级递归和卷积神经网络的更复杂的架构,在几个相似性任务上实现了新的最先进的性能。
2016-07-10 cs.CL
Next word prediction based on the N-gram model for Kurdish Sorani and Kurmanji
Sulaimani Polytechnic University(苏莱曼尼理工大学);University of Kurdistan Hewler(库尔德斯坦休勒大学)
下一个单词预测是一种输入技术,它通过建议用户选择下一个单词来简化打字过程,因为在对话中打字会消耗时间。以前的一些研究集中在库尔德语上,包括使用下一个单词预测。然而,缺乏库尔德语文本语料库是一个挑战。此外,库尔德语缺乏足够数量的N元语法,例如五个元语法,这是很少使用下一个库尔德词预测的原因。此外,Rstudio软件中几个库尔德字母的不正确显示是另一个问题。本文提供了一个库尔德语语料库,创建了五个,并提出了一个独特的研究工作,下一个词的预测库尔德语索拉尼和库尔曼吉。N-gram模型已用于下一个单词预测,以减少库尔德语打字的时间。此外,很少有工作已经进行了下一个库尔德语单词预测,因此,N-gram模型被用来准确地建议文本。为此,使用R编程和RStudio来构建应用程序。该模型的准确率为96.3%。
2020-07-27 cs.CL
Any-gram Kernels for Sentence Classification: A Sentiment Analysis Case Study
ADAPT Centre(ADAPT中心);School of Computing(计算机学院);Dublin City University(都柏林城市大学)
Any-gram内核是一种灵活有效的方法,可以在从文本数据中学习时使用bag-of-n-gram特征。它们还与词嵌入的使用兼容,以便可以考虑词的相似性。虽然原始的任意文法核是在树核之上实现的,但我们提出了一种新的方法,该方法独立于树核,并且更有效。我们还提出了一个更有效的方式来利用词嵌入比原来的任意语法公式。当应用于情感分类的任务时,我们的新配方实现了显着更好的性能。
2017-12-19 cs.AI cs.CL stat.ML
Morphological Skip-Gram: Using morphological knowledge to improve word representation
Federal University of Pernambuco(伯南布哥联邦大学);Federal University of Sergipe(塞尔希培联邦大学)
自然语言处理模型在深度学习社区中引起了很大的兴趣。这一分支的研究是由一些应用,如机器翻译,情感分析,命名实体识别,问答,和其他。词嵌入是连续的词表示,它们是这些应用程序的基本模块,通常用作深度学习模型的输入词表示。Word 2 Vec和GloVe是学习词嵌入的两种流行方法。它们实现了很好的单词表示,但是,它们学习的表示信息有限,因为它们忽略了单词的形态信息,并且每个单词只考虑一个表示向量。这种方法意味着Word 2 Vec和GloVe不知道单词的内部结构。为了缓解这个问题,FastText模型将每个单词表示为一袋字符n-gram。因此,每个n-gram都有一个连续的向量表示,最终的单词表示是其字符n-gram向量的总和。然而,使用一个词的所有n-gram字符是一种糟糕的方法,因为一些n-gram与它们的词没有语义关系,并且增加了潜在无用信息的量。这种方法也增加了训练阶段的时间。在这项工作中,我们提出了一种新的方法来训练词嵌入,其目标是取代FastText袋字符n-gram袋词词素通过形态分析的话。因此,具有相似上下文和词素的词由彼此接近的向量表示。为了评估我们的新方法,我们考虑了15个不同的任务进行了内在评估,结果显示与FastText相比具有竞争力的性能。
2020-07-21 cs.CL cs.LG
Word Frequency Does Not Predict Grammatical Knowledge in Language Models
University of California, San Diego(加利福尼亚大学圣迭戈分校)
神经语言模型以不同的准确度学习自然语言的语法属性。在这项工作中,我们调查是否有系统的变化来源的语言模型的准确性。通过关注主谓一致和反身回指,我们发现某些名词比其他名词更容易被系统地理解,这种效果在语法任务和不同的语言模型中表现得很强。令人惊讶的是,我们发现,在四个数量级,语料库频率是无关的名词的语法任务的表现。最后,我们发现一个新名词的语法属性可以从各种类型的训练数据中Few-Shot学习。结果提出了一个悖论:在语法性能的变化应该比实际观察到的要少。
2020-10-26 cs.CL
Semantics- and Syntax-related Subvectors in the Skip-gram Embeddings
Nazarbayev University(纳扎尔巴耶夫大学)
我们发现,任何字的跳图嵌入可以被分解成两个子向量,大致对应的语义和句法角色的字。
2019-12-23 cs.CL
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心应用数学研究所);Petrozavodsk State University(彼得罗扎沃茨克国立大学);Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所)
本研究致力于低资源Veps和卡累利阿语言。本文介绍了为词分配词性标记和为词分配语法属性的算法。这些算法使用我们的形态词典,其中每个单词形式的词元、词性和一组语法特征(语法集)都是已知的。该算法基于相似性假设,即具有相同后缀的词可能具有相同的屈折模式、相同的词性和语法集。对这些算法的精度进行了评价和比较。31.3万Vepsian和6.6万卡累利阿词被用来验证这些算法的准确性。特殊功能的设计,以评估开发的算法的结果的质量。92.4%的Vepsian词和86.8%的卡累利阿词被分配了一个正确的词性由开发的算法。我们的算法为95.3%的Vepsian词和90.7%的Karelian词分配了正确的语法集。本文介绍了语料库处理过程中密切相关、不可分割的词形标注和语义标注。
2021-03-22 cs.CL cs.IR
Embedding Words as Distributions with a Bayesian Skip-gram Model
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们介绍了一种方法,用于嵌入单词的概率密度在低维空间。而不是假设一个词嵌入是固定的整个文本集合,在标准的词嵌入方法,在我们的贝叶斯模型中,我们从一个词特定的先验密度为每个给定的词的出现。直觉上,对于每个单词,先验密度编码了其潜在“含义”的分布。这些先验密度在概念上类似于高斯嵌入。有趣的是,与高斯嵌入不同,我们还可以获得上下文特定的密度:它们编码了给定上下文的单词意义的不确定性,并对应于我们模型中的后验分布。上下文相关的密度有许多潜在的应用:例如,我们表明,它们可以直接用于词汇替换任务。我们描述了一种有效的估计方法的基础上变分自编码框架。我们还证明了我们的嵌入在标准基准测试中取得了有竞争力的结果。
2018-06-10 cs.AI cs.CL cs.LG
SATLab at SemEval-2022 Task 4: Trying to Detect Patronizing and Condescending Language with only Character and Word N-grams
Statistical Analysis of Text Laboratory (SATLab)(文本统计分析实验室(SATLab));Université catholique de Louvain(鲁汶天主教大学)
提出了一个逻辑回归模型,只喂养字符和单词n元语法SemEval-2022任务4上的Patronizing和居高临下的语言检测(PCL)。它获得了一个平均水平的性能,远高于一个系统的性能,试图猜测没有使用任何知识的任务,但远低于最好的团队。由于所提出的模型非常类似于在需要自动识别仇恨言论和攻击性内容的任务上表现良好的模型,因此本文证实了PCL检测的难度。
2022-03-10 cs.CL
Exploring phrase-compositionality in skip-gram models
在本文中,我们介绍了一个变化的跳跃语法模型,共同学习分布式词向量表示和他们的方式组成,以形成短语嵌入。特别是,我们提出了一个学习过程,采用了一个短语组合功能,可以捕捉我们想要如何组成短语向量,从他们的组成词向量。我们的实验表明,改进的单词和短语的相似性任务,以及句法任务,如依存句法分析使用建议的联合模型。
2016-07-21 cs.CL
Improving Graph-Based Text Representations with Character and Word Level N-grams
University of Sheffield(谢菲尔德大学)
基于图的文本表示关注如何将文本文档表示为图,以利用语料库中的令牌和文档之间的依赖信息。尽管对图表示学习的兴趣越来越大,但在探索基于图的文本表示的新方法方面的研究有限,这在下游自然语言处理任务中很重要。在本文中,我们首先提出了一个新的异构单词字符文本图,它将单词和字符n-gram节点与文档节点结合在一起,使我们能够更好地学习这些实体之间的依赖关系。此外,我们提出了两个新的基于图的神经模型,WCTextGCN和WCTextGAT,为我们提出的文本图建模。在文本分类和自动文本摘要基准测试中的大量实验表明,我们提出的模型始终优于竞争基线和最先进的基于图的模型。
2022-10-12 cs.CL
Enhancing Bangla Language Next Word Prediction and Sentence Completion through Extended RNN with Bi-LSTM Model On N-gram Language
Uttara University(乌塔拉大学);BRAC University(BRAC大学)
本文提出一种基于Bi-LSTM的扩展RNN模型,利用孟加拉语新闻语料实现下一词预测与句子补全,在4-gram和5-gram上达到99%准确率,并显著优于现有方法。
2024-05-03 cs.CL cs.LG
How does Grammatical Gender Affect Noun Representations in Gender-Marking Languages?
Bar-Ilan University(巴伊兰大学);University of Copenhagen(哥本哈根大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
许多自然语言也将语法性别赋予语言中的无生命名词。在这些语言中,与有性别标记的名词相关的词会发生屈折变化以与名词的性别一致。我们发现,这会影响无生命名词的词表征,导致具有相同性别的名词比具有不同性别的名词更接近彼此。虽然“嵌入去偏”方法无法消除这种影响,但我们证明,在训练词嵌入时,仔细应用中和单词上下文中语法性别信号的方法可以有效地消除这种影响。无论是在单语还是跨语环境中,修复语法性别偏见都会对所得到的词嵌入的质量产生积极影响。我们注意到,成功地消除性别信号,而可以实现的,是不是微不足道的,一个语言特定的形态分析仪,连同它的谨慎使用,是必不可少的,以取得良好的效果。
2019-10-30 cs.CL
Approximate N-Gram Markov Model for Natural Language Generation
本文提出了一个近似的n-gram马尔可夫模型的袋子生成。使用具有距离的有向词关联对来近似(n-1)-gram和n-gram训练表。该模型具有词关联模型的参数,又兼有词关联模型和马尔可夫模型的优点。生成包的训练知识也可以应用于机器翻译设计中的词汇选择。
1994-08-24 cmp-lg cs.CL
Less is More: Understanding Word-level Textual Adversarial Attack via n-gram Frequency Descend
Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学);Agency for Science, Technology and Research(新加坡科技研究局);Tencent AI Lab(腾讯AI实验室);OPPO Mobile Telecommunications Corp.(OPPO移动通信公司)
该研究通过分析词级文本对抗攻击的n-gram频率模式,发现约90%的攻击会产生n-gram频率下降的样本,据此提出用该类样本做对抗训练的方法,其提升模型鲁棒性的效果与梯度法相当。
2024-04-15 cs.AI cs.CL cs.CR
Segmentation-free Compositional $n$-gram Embedding
Kyoto University(京都大学);RIKEN(理化学研究所)
我们提出了一种新型的表示学习方法,无缝地建模单词,短语和句子。我们的方法不依赖于分词和任何人类注释的资源(例如,词典),但它是非常有效的噪音语料库写的未分割的语言,如中文和日语。我们方法的主要思想是完全忽略单词边界(即,无分段),并利用合成子$n$-元的嵌入来构造原始语料库中的所有字符$n$ -元的表示。尽管这个想法很简单,但我们在各种基准和真实世界数据集上的实验表明了我们的提议的有效性。
2019-05-29 cs.CL cs.LG
An Analysis on the Learning Rules of the Skip-Gram Model
Florida State University(佛罗里达州立大学)
为了改进用于自然语言处理任务的表示的泛化,通常使用向量来表示单词,其中向量之间的距离与单词的相似性相关。虽然word 2 vec是skip-gram模型的最先进的实现,被广泛使用并提高了许多自然语言处理任务的性能,但其机制尚未得到很好的理解。在这项工作中,我们推导出的学习规则的跳跃gram模型,并建立其密切的关系,竞争学习。此外,我们提供了全局最优解的约束条件的跳跃gram模型,并验证了它们的实验结果。
2020-03-18 cs.CL
Character n-gram Embeddings to Improve RNN Language Models
Tokyo Institute of Technology(东京工业大学);NTT Communication Science Laboratories(NTT通信科学实验室);Tohoku University(东北大学)
提出了一种利用字符信息的递归神经网络(RNN)语言模型。我们专注于基于词嵌入构造领域研究的字符n-gram(Wieting et al. 2016)。我们提出的方法构造词嵌入字符n-gram嵌入,并将它们与普通的词嵌入。我们证明了所提出的方法在语言建模数据集上实现了最佳的困惑:Penn Treebank,WikiText-2和WikiText-103。此外,我们进行了实验的应用任务:机器翻译和标题生成。实验结果表明,我们提出的方法也积极影响这些任务。
2019-06-13 cs.CL
A Hierarchical N-Gram Framework for Zero-Shot Link Prediction
Georgia State University(佐治亚州立大学);University of Sheffield(谢菲尔德大学);Beihang University(北京航空航天大学)
由于知识图谱的不完备性,旨在预测知识图中未观测关系的zero-shot链接预测(zero-shot prediction,简称ZLP)近年来引起了研究者的兴趣。一种常见的解决方案是使用关系的文本特征(例如,表面名称或文本描述)作为辅助信息,以弥合可见和不可见关系之间的差距。目前的方法学习文本中每个单词标记的嵌入。这些方法缺乏鲁棒性,因为它们遭受词汇表外(OOV)问题。同时,建立在字符n-gram上的模型具有生成OOV词的表达表示的能力。因此,在本文中,我们提出了一个层次的N-Gram框架Zero-Shot链接预测(HNGRAM LP),它考虑了字符之间的依赖关系表面名称的NGRAM LP。我们的方法首先在表面名称上构建一个层次化的n-gram图,以模拟导致表面名称的n-gram的组织结构。在Transformer的基础上,提出了一个GramTransformer模型,对层次n-gram图进行建模,从而构造了基于层次n-gram图的关系嵌入。实验结果表明,所提出的HNNLP实现了国家的最先进的性能在两个CNOLP数据集。
2023-01-07 cs.AI cs.CL
An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams
Microsoft Corporation(微软公司);Guru Gobind Singh Indraprastha University(古鲁·戈宾德·辛格因德拉普拉斯塔大学)
一个人的写作风格可以被确认为一个独特的身份标志;使用的词语和句子的结构是可以识别特定作品作者的明确措施。文体学及其子集--作者归属,从19世纪开始就有着悠久的历史,直到现代我们仍然可以找到它们的应用。互联网的出现使归因研究的应用转向了非标准文本,这些文本相对较短,并且与大多数研究所做的长文本不同。本文的目的是重点研究从WhatsApp消息应用程序检索的简短在线文本,并使用监督学习方法研究马卡罗语(印度式英语)的独特特征,然后比较模型。各种特征,如单词n-gram和字符n-gram,通过方法进行比较,朴素贝叶斯分类器,支持向量机,条件树,和随机森林,以找到最好的分类,这样的语料库。我们的结果表明,SVM的测试准确率高达95.079%,而同样,Naive Bayes的数据集准确率高达94.455%。条件树和随机森林的性能不如预期。我们还发现,单词单字和字符3-grams功能更有可能区分作者准确比其他功能。
2018-12-26 cs.CL
Comparing Neural- and N-Gram-Based Language Models for Word Segmentation
Universidade de Vigo(维戈大学);Universidade da Coruña(拉科鲁尼亚大学)
分词是插入或删除词的边界字符,以分离字符序列对应的词在某种语言的任务。在这篇文章中,我们提出了一种方法的基础上的束搜索算法和语言模型工作在字节/字符级,后者的组件实现为一个n-gram模型或递归神经网络。所得到的系统一次一个标记地分析没有单词边界的文本输入,该标记可以是字符或字节,并且使用由语言模型收集的信息来确定是否必须将边界放置在当前位置。我们的目标是使用这个系统在一个预处理步骤的缩微文本规范化系统。这意味着它需要有效地处理这种文本上存在的数据稀疏性。我们还努力超越两个现成的分词系统的性能:微软著名的和可访问的Word Breaker,以及Grant Jenks的Python模块WordSegment。结果表明,我们已经达到了我们的目标,我们希望在未来继续提高我们的系统的精度和效率。
2018-12-03 cs.CL
The MeSH-gram Neural Network Model: Extending Word Embedding Vectors with MeSH Concepts for UMLS Semantic Similarity and Relatedness in the Biomedical Domain
Normandie Univ.(诺曼底大学);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);INSA Rouen(鲁昂国立应用科学学院);LITIS(信息处理、图像与系统实验室)
在生物医学领域中提取概念之间的语义相似性仍然是一项具有挑战性的任务。最近基于嵌入向量的方法越来越受欢迎,因为它们可以有效地捕捉语义关系。其基本思想是,两个含义接近的单词会收集类似的上下文。在这项研究中,我们提出了一个新的神经网络模型命名为MeSH-gram,它依赖于一个直截了当的方法,扩展了skip-gram神经网络模型考虑MeSH(医学主题词)描述符,而不是单词。在公开可用的语料库PubMed MEDLINE上训练,MeSH-gram在手动注释语义相似性的参考标准上进行评估。首先将MeSH-gram与具有大小为300的向量的skip-gram在几个窗口上下文中进行比较。更深入的比较与现有的十几个模型。所有获得的人类分数和计算的相似性之间的Spearman等级相关性的结果表明,MeSH-gram优于skip-gram模型,并且与最好的方法相当,但需要更多的计算和外部资源。
2018-11-28 cs.CL cs.DL cs.IR
Context-sensitive Spelling Correction Using Google Web 1T 5-Gram Information
Lebanese Association for Computational Sciences (LACSC)(黎巴嫩计算科学协会)
在计算机中,拼写检查是检测文本中拼写错误的单词并有时提供拼写建议的过程。基本上,拼写检查器是一种使用单词字典来执行拼写检查的计算机程序。字典越大,错误检测率越高。拼写检查器基于常规词典的事实,它们遭受数据稀疏问题,因为它们不能捕获大量词汇,包括专有名称,特定领域术语,技术术语,特殊首字母缩略词和术语。因此,它们表现出较低的错误检测率,并且经常无法捕获文本中的主要错误。本文提出了一种新的上下文相关的拼写校正方法,用于检测和纠正数字文本文档中的非单词和真实单词错误。该方法基于Google Web 1 T 5-gram数据集的数据统计,该数据集由从万维网中提取的大量n-gram单词序列组成。基本上,所提出的方法包括检测拼写错误的错误检测器、基于字符2-gram模型生成校正建议的候选拼写生成器以及执行上下文错误校正的错误校正器。在一组来自不同领域的文本文档上进行的实验表明,该方法具有出色的拼写错误纠正率,并大大减少了非单词和真实单词错误。在进一步的研究中,所提出的算法是并行化,以降低错误检测和纠正过程的计算成本。
2012-04-26 cs.CL
Beyond Word N-Grams
我们描述,分析和实验评估一个新的概率模型预测后缀树(PST)的基础上的自然语言中的词序列预测。通过使用有效的数据结构,我们扩展的概念PST无限的词汇。我们还展示了如何使用贝叶斯方法的基础上递归先验在所有可能的PST有效地保持树的混合。这些混合物具有可证明的和实际上比几乎任何单一模型更好的性能。我们评估了几个语料库的模型。相对较小的PST混合模型实现的低困惑表明,它们可能是一个有利的替代方案,在理论上和实践中,广泛使用的n-gram模型。
1996-07-13 cmp-lg cs.CL
Grammatical Gender, Neo-Whorfianism, and Word Embeddings: A Data-Driven Approach to Linguistic Relativity
New York University(纽约大学)
语言与思维的关系问题已经困扰了语言学家至少一个世纪。新沃尔夫主义是有争议的萨皮尔-沃尔夫假说的一个弱版本,认为我们的思想受到母语语法结构的微妙影响。这方面的一个研究领域集中在名词的语法性如何影响我们感知相应对象的方式。例如,在德语中音调是阳性的(der Schlüssel),而在西班牙语中音调是阴性的(la llave),这一事实是否改变了说话者对这些对象的看法?Boroditsky et al.(2003,§4)提出的心理语言学证据表明,答案可能是肯定的:当被要求说出最能描述一个调的形容词时,德语和西班牙语使用者分别说出了更具刻板印象的男性和女性形容词。然而,最近重复这些实验的尝试失败了(Mickan等人,2014年)。在这项工作中,我们提供了一个计算模拟Boroditsky等人(2003,§4)的实验设计的9种语言,找到证据反对新沃尔夫主义。
2019-10-22 cs.CL
Bayesian Neural Word Embedding
Tel Aviv University(特拉维夫大学);Microsoft(微软)
最近,在自然语言处理领域中的一些工作提出了用于词嵌入的成功方法。其中,具有负采样的Skip-Gram,也称为word 2 vec,推进了各种语言学任务的最新发展。在本文中,我们提出了一个可扩展的贝叶斯神经词嵌入算法。该算法依赖于一个变分贝叶斯解决方案的跳跃-革兰氏目标和详细的一步一步的描述。我们目前的实验结果表明,该算法的性能为词的类比和相似性的任务,在六个不同的数据集,并显示它是有竞争力的原始Skip-Gram方法。
2017-02-20 cs.CL cs.LG
N-gram-Based Low-Dimensional Representation for Document Classification
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Facebook AI Research(Facebook人工智能研究院)
词袋(BOW)模型是对文档进行分类的常用方法,其中单词被用作训练分类器的特征。这通常涉及大量的特征。一些技术,如潜在语义分析(LSA)或潜在狄利克雷分配(LDA),已被设计为在较低的维度中以最少的语义信息损失来总结文档。然而,一些语义信息总是丢失,因为只考虑单词。相反,我们的目标是使用来自n-gram的信息来克服这一限制,同时保持在低维空间中。许多方法,如Skip-gram模型,可以非常快速地提供良好的词向量表示。我们建议平均这些表示,以获得表示的n-gram。所有的n-gram都被嵌入到同一个语义空间中。K-means聚类可以将它们分组为语义概念。因此,特征的数量大大减少,文档可以表示为一袋语义概念。我们表明,该模型优于LSA和LDA的情感分类任务,并产生类似的结果比传统的BOW模型少得多的功能。
2015-04-10 cs.CL
Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
尽管从大规模预训练模型生成的上下文化嵌入在许多任务中表现良好,但传统的静态嵌入(例如,Skip-gram,Word 2 Vec)由于其低计算成本,易于部署和稳定性,仍然在低资源和轻量级设置中发挥重要作用。在本文中,我们的目标是通过以下方式改进词嵌入:1)将来自现有预训练模型的更多上下文信息纳入Skip-gram框架,我们称之为Context-to-Vec; 2)通过采用先验同义词知识和加权向量分布,提出一种独立于训练的静态嵌入后处理改进方法。通过外在和内在的任务,我们的方法被很好地证明了优于基线的大幅度。
2023-03-23 cs.AI cs.CL
Combining Language and Vision with a Multimodal Skip-gram Model
Center for Mind/Brain Sciences(心智/脑科学中心);University of Trento(特伦托大学)
我们通过考虑视觉信息扩展了Mikolov等人(2013 a)的SKIP-EQUIPMENT模型。与SKIP-ESTA一样,我们的多模态模型(MMSKIP-ESTA)通过学习预测文本语料库中的语言上下文来构建基于向量的单词表示。然而,对于一组有限的单词,模型也暴露于它们所表示的对象的视觉表示(从自然图像中提取),并且必须联合预测语言和视觉特征。MMSKIP-PNN模型在各种语义基准测试中取得了良好的性能。此外,由于它们将视觉信息传播到所有单词,因此我们使用它们来改进zero-shot设置中的图像标记和检索,其中在模型训练期间从未看到测试概念。最后,MMSKIP-ESTO模型发现了抽象词的有趣的视觉特性,为现实的意义体现理论的实现铺平了道路。
2015-03-12 cs.CL cs.CV cs.LG
Examining Gender Bias in Languages with Grammatical Gender
University of California Los Angeles(加州大学洛杉矶分校);University of Southern California(南加州大学);University of Pennsylvania(宾夕法尼亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
最近的研究表明,词嵌入表现出从训练语料库继承的性别偏见。然而,迄今为止,大多数研究都集中在量化和减轻这种偏见只在英语。这些分析不能直接扩展到语言,表现出形态的性别协议,如西班牙语和法语。在本文中,我们提出了新的衡量标准,这些语言的词嵌入中的性别偏见,并进一步证明了双语嵌入,这些语言与英语对齐的性别偏见的证据。最后,我们扩展了现有的方法,以减轻性别偏见的词嵌入下单语和双语设置。在改进的词嵌入联想测试、词相似度、词翻译和词对翻译任务上的实验表明,该方法在保持嵌入效用的同时,有效地减少了性别偏见。
2019-09-09 cs.CL
Corrected CBOW Performs as well as Skip-gram
Bloomberg(彭博社);Rutgers University(罗格斯大学)
Mikolov et al.(2013 a)观察到连续词袋(CBOW)词嵌入往往表现不佳Skip-gram(SG)嵌入,这一发现已在后续工作中报道。我们发现,这些观察结果不是由其训练目标的根本差异驱动的,而是更有可能是在流行库中错误的负采样CBOW实现,如官方实现,word2vec.c和Gensim。我们表明,在纠正CBOW梯度更新中的错误后,可以学习CBOW词嵌入,在各种内在和外在任务上与SG完全竞争,同时训练速度快了许多倍。
2021-11-09 cs.CL stat.ML
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA(Iprova股份公司);EPFL(洛桑联邦理工学院)
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题,即是否也可以导出类似的方法来改进词序列的嵌入(即语义表示)。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型,突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
N-gram Statistical Stemmer for Bangla Corpus
University of Chittagong(吉大港大学);University of Saarland(萨尔大学)
词干提取是一个可以用来将词形变化修剪成词干或词根形式的过程。这对于提高检索效率,特别是文本检索,解决不匹配问题是非常有用的。以往的孟加拉语词干提取研究主要是通过递归规则的方法从一个单词中去除多个后缀来逐步恢复适用的相对词根。我们提出的系统通过实现一种称为N-gram词干提取的词干提取算法,增强了上述探索。通过利用一种称为骰子系数的关联度量,相关的词集根据它们的字符结构进行聚类。一个簇中最小的词可以被认为是词干。我们还分析了相似性传播聚类算法的系数相似性以及中值相似性。我们的结果表明,N-gram词干技术通常是有效的,它给了我们大约87%的准确聚类。
2019-12-25 cs.CL cs.IR
Modeling informational novelty in a conversational system with a hybrid statistical and grammar-based approach to natural language generation
我们提出了一个混合统计和基于语法的系统,表面自然语言生成(NLG),使用语法规则,使用这些语法规则的条件,和语料库统计,以确定词序。我们还描述了如何在一个原型会话系统中实现这个表面NLG模块,以及它如何试图通过改变词序来模拟信息新奇。使用规则和统计信息的组合,会话系统根据运行时对话状态以与给定信息不同的方式表达新信息。我们还讨论了我们的计划,评估发电战略。
2001-06-21 cs.CL
FASTSUBS: An Efficient and Exact Procedure for Finding the Most Likely Lexical Substitutes Based on an N-gram Language Model
Koç University(科奇大学)
词汇替代已经在诸如释义、文本简化、机器翻译、词义消歧和词性归纳等领域得到了应用。然而,准确识别单词的最可能替代的计算复杂性使得大规模实验变得困难。在本文中,我介绍了一种新的搜索算法,FASTSUBS,这是保证找到K个最可能的词汇替代一个给定的词在一个句子的基础上的n元语言模型。计算在K和词汇量V方面都是次线性的。该算法的实现和Penn Treebank的WSJ部分中每个标记的前100个替代的数据集可以在http://goo.gl/jzKH0上获得。
2012-09-01 cs.CL
Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood
The University of Tokyo(东京大学)
在本文中,我们提出了一种新的信息准则为基础的方法来选择的维度的字2vec跳图(SG)。从概率论的角度出发,在假设词之间存在真实的上下文分布的前提下,SG被认为是一种隐含的概率分布估计。因此,我们应用信息准则,目的是选择最佳的维数,使相应的模型可以尽可能接近真实的分布。我们研究了以下信息标准的维度选择问题:赤池信息标准,贝叶斯信息标准,序列归一化最大似然(SNML)标准。SNML是在最小描述长度的基础上对数据序列进行顺序编码所需的总代码长度。将该方法应用于原始SG模型和SG负采样模型,以阐明使用信息准则的思想。此外,由于原始SNML存在计算上的缺点,我们引入了新的算法来提高计算效率。此外,我们的经验表明,SNML优于BIC和AIC。与其他词嵌入评价方法相比,SNML选择的维度更接近于词类比或词相似性任务的最优维度。
2020-08-25 cs.CL cs.LG stat.ML
Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室)
尽管端到端(E2 E)自动语音识别(ASR)的快速发展,但是已经表明,将外部语言模型(LM)并入解码中可以进一步提高E2 E ASR系统的识别性能。为了与E2 E ASR系统中采用的建模单元保持一致,字符、BPE)LM通常用于与当前的E2 E ASR系统协作。然而,使用子字级LM将忽略字级信息,这可能限制E2 E ASR中外部LM的强度。虽然已经提出了几种方法来将词级外部LM合并到E2 E ASR中,但是这些方法主要是针对具有清晰词边界的语言(例如英语)而设计的,并且不能直接应用于像普通话这样的语言,其中每个字符序列可以具有多个对应的词序列。为此,我们提出了一种新的解码算法,其中构建一个字级格上的飞行考虑所有可能的字序列的每个部分假设。然后,通过将生成的格与外部词N-gram LM相交来获得假设的LM得分。该方法在基于注意力的编码器-解码器(AED)和神经传感器(NT)框架上进行了研究。实验表明,我们的方法始终优于子字级LM,包括N-gram LM和神经网络LM。我们在Aishell-1(CER 4.18%)和Aishell-2(CER 5.06%)数据集上都获得了最先进的结果,并在21 K小时的普通话数据集上将CER相对减少了14.8%。
2022-01-06 cs.CL cs.SD eess.AS
Improving Chinese Segmentation-free Word Embedding With Unsupervised Association Measure
University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);Shanghai Advanced Research Institute(上海高等研究院);Shanghai Carbon Data Research Center(上海碳数据研究中心);Centre for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心)
最近关于无分割词嵌入(sembei)的工作为未分割的语言开发了一种新的词嵌入管道,同时避免了作为预处理步骤的分割。然而,在嵌入词汇表中存在太多的噪声n-gram,这些噪声n-gram在字符之间不具有强的关联强度,这将限制学习的词嵌入的质量。针对这一问题,提出了一种新的无分割词嵌入模型,该模型通过一种新的无监督关联测度--带时间信息的逐点关联(PATI)来收集n-gram词汇。与常用的n-gram过滤方法(如sembei中使用的频率和逐点互信息(PMI))相比,该方法利用了语料库中更多的潜在信息,从而能够在未分割的语言数据(如中文文本)中收集更多具有更强凝聚力的有效n-gram作为嵌入目标。在中文SNS数据上的进一步实验表明,该模型提高了下游任务中词嵌入的性能。
2020-07-05 cs.CL cs.LG
NN-grams: Unifying neural network and n-gram language models for Speech Recognition
Google Inc.(谷歌公司)
我们提出了NN-元,一种新的,混合的语言模型集成了n-gram和神经网络(NN)的语音识别。该模型将单词历史和n-gram计数作为输入。因此,它结合了n-gram模型的记忆能力和可扩展性与神经网络的泛化能力。我们报告了在26 B单词上训练模型的实验。NN元语法在运行时是高效的,因为它们不包括输出soft-max层。该模型使用噪声对比估计(NCE)进行训练,该方法将神经网络的估计问题转化为数据样本和噪声样本之间的二元分类问题。我们目前的结果与噪声样本来自一个n-gram分布或从语音识别晶格。在意大利语语音识别听写任务中,NN-gram的性能优于n-gram模型。
2016-06-23 cs.CL stat.ML
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University(平顶山学院)
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类,在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性,这忽略了单词本身的情感极性。为了解决这个问题,我们提出了学习特定的情感词嵌入,同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法,该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明,我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Context is Key: Grammatical Error Detection with Contextual Word Representations
University of Cambridge(剑桥大学)
非母语写作中的语法错误检测(GED)要求系统识别语言学习者所写文本中的各种错误。错误检测作为一项纯粹的监督任务可能具有挑战性,因为GED数据集大小有限,并且标签分布高度不平衡。上下文化的单词表示提供了一种可能的解决方案,因为它们可以有效地捕获语言中的成分信息,并且可以在大量无监督数据上进行优化。在本文中,我们对ELMo、BERT和Flair嵌入进行了系统的比较(Peters等人,2017; Devlin等人,2018; Akbik等人,2018)在一系列公共GED数据集上进行,并提出一种将此类表示有效集成到当前方法中的方法,从而实现GED的新技术水平。我们进一步分析了不同上下文嵌入的优势和劣势,并详细分析了它们对不同类型错误的影响。
2020-05-01 cs.CL cs.LG