Reduce Indonesian Vocabularies with an Indonesian Sub-word Separator
Beijing Institute of Technology(北京理工大学)
印尼语是一种黏着语,因为它有一个复合的构词过程。因此,这种语言的翻译模型需要一种甚至低于单词级别的机制,称为子单词级别。这个复合过程导致了一个罕见的单词问题,因为词汇的数量爆炸。我们提出了一种策略,以解决独特的字的神经机器翻译(NMT)系统,它使用印尼语作为一对语言的问题。我们的方法使用基于规则的方法来转换一个词到它的根和伴随的词缀,以保持其含义和上下文。使用基于规则的算法有更多的优点:它不需要语料库数据,只应用标准的印尼规则。实验证明该方法是可行的。它将词汇量显著减少了57%,并且在英语到印度尼西亚语的翻译中,这种策略比不使用这种技术的类似NMT系统提供了高达5个BLEU点的改进。
2022-07-01 cs.CL
Syllable-level Neural Language Model for Agglutinative Language
Samsung Electronics Co. Ltd.(三星电子株式会社)
过去,由于任何给定的词都可能通过各种词缀产生无数的粘着,因此粘着语言的语言模型一直受到阻碍。我们提出了一种方法,以减少的词汇外的问题,通过引入一个嵌入来自音节和词素,利用凝集属性。我们的模型在复杂度方面优于字符级嵌入16.87,参数为9.50 M。所提出的方法在键击节省方面实现了现有输入预测方法的最新性能,并且已经商业化。
2017-08-18 cs.CL
Arabic Multi-Dialect Segmentation: bi-LSTM-CRF vs. SVM
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);University of Düsseldorf(杜塞尔多夫大学);Google Inc.(谷歌公司)
阿拉伯语分词对于机器翻译和信息检索等各种NLP应用程序至关重要。切分就是把词分解成词干、词缀和附缀。在本文中,我们比较了两种方法分割四个主要的阿拉伯语方言,每个方言只有几千个训练样本。这两种方法涉及将问题作为一个排名问题,其中SVM排名器选择最佳分割,以及作为一个序列标记问题,其中与CRF耦合的bi-LSTM RNN确定最佳分割单词的位置。我们能够使用相当有限的训练数据实现所有方言的坚实的分割结果。我们还表明,采用现代标准阿拉伯语数据的领域自适应和假设上下文独立提高整体结果。
2017-08-19 cs.CL
Uzbek affix finite state machine for stemming
Urgench State University(乌尔根奇国立大学)
这项工作提出了一个形态分析器的乌兹别克语使用有限状态机。建议的方法是一个形态分析乌兹别克语的话,使用词缀条纹找到一个根,不包括任何词汇。这种方法有助于从大量文本中高速地执行单词的形态分析,并且不需要使用存储器来保持词汇。根据Uzbek的说法,可以用有限状态机(FSM)来设计粘合语言。与以前的作品相比,本研究通过使用乌兹别克语的形态规则从右到左的顺序为所有词类建模完成的FSM。本文展示了该方法的各个阶段,包括词缀的分类,每个词缀类的有限状态机的生成,以及组合成一个头部机器来分析一个词。
2022-05-20 cs.CL
The "handedness" of language: Directional symmetry breaking of sign usage in words
The Institute of Mathematical Sciences(数学科学研究所);B. S. Abdur Rahman University(B. S. 阿卜杜勒·拉赫曼大学);National Institute of Advanced Study(国家高级研究院)
语言是我们人类的一个特征,它允许复杂的思想通过符号序列进行交流,并以多种形式表现出来。使用大量的书面语料库,许多不同的语言和脚本,我们表明,在左,右两端的话的符号的出现概率分布有一个明显的异质性。这种不对称性的特点,使用定量的不平等措施,即信息熵和基尼指数,我们表明,一个字的开头是限制性的符号使用比结束。这一属性并不简单地归因于普通词缀的使用,因为即使只考虑词根也可以看到这一点。我们利用这种不对称的存在来推断未破译的铭文中的书写方向,这与考古证据一致。与传统的调查侧重于特定语言的模式,我们的研究揭示了跨语言和书写系统的有效属性的音位限制。由于语言和文字都是我们物种的独特方面,这种普遍的签名可能反映了人类认知现象的固有特征。
2018-01-16 cs.CL
Spell Correction for Azerbaijani Language using Deep Neural Networks
Kapital Bank(卡皮塔尔银行);Khazar University(哈扎尔大学);Lumos Extension School of Data(Lumos数据扩展学校)
拼写校正用于检测和纠正文本中的拼写错误。大多数时候,传统的字典查找与字符串相似性的方法是适合的语言,具有较低的复杂结构,如英语。然而,阿塞拜疆语具有更复杂的结构,由于其形态结构,单词的派生很多,有几个单词是通过添加足够的词缀来派生的。因此,在本文中,序列到序列模型与注意力机制是用来开发拼写纠正阿塞拜疆语。共有12000个错误和正确的句子对用于训练,该模型在1000个真实世界的拼写错误单词上进行测试,F1得分结果为距离0为75%,距离1为90%,距离2为96%。
2021-02-05 cs.AI cs.CL
An Exploratory Analysis on the Explanatory Potential of Embedding-Based Measures of Semantic Transparency for Malay Word Recognition
University of Tübingen(图宾根大学)
本研究通过词嵌入和位移向量等方法构建语义透明度测量指标,并在马来语前缀词数据上验证其对词汇判断反应时的预测作用,发现词与质心相关性模型拟合最佳。
2025-05-09 cs.CL
Machine Learning of Phonologically Conditioned Noun Declensions For Tamil Morphological Generators
Muthiah Polytechnic College(穆蒂亚理工学院);Annamalai University(安纳马莱大学)
本文提出了机器学习解决方案的自然语言生成(NLG)的实际问题,特别是在黏着语言如泰米尔语的构词,在监督的方式。形态发生器是人工智能中自然语言处理的重要组成部分。它生成给定词根和词缀的单词形式。词素的变化,如增加,删除,改变等,当两个或两个以上的词素或词连接在一起时出现。在基于规则的词法分析器和生成器中,应该明确地指定连读规则。在机器学习框架中,这些规则可以由系统从训练样本中自动学习,随后应用于新的输入。本文提出了从给定的训练数据中学习名词变格的形态音素规则的机器学习模型。利用各种学习算法训练这些模型学习连读变调规则,并给出了这些算法的性能。由此,我们得出结论,机器学习的形态处理,如词的形式生成可以成功地学习在监督的方式,没有明确的规则描述。讨论了决策树和贝叶斯机器学习算法在名词变格问题上的性能。
2014-02-14 cs.CL
Improving Character-based Decoding Using Target-Side Morphological Information for Neural Machine Translation
ADAPT Centre(ADAPT研究中心);School of Computing(计算学院);Dublin City University(都柏林城市大学)
最近,神经机器翻译(NMT)已经成为传统统计方法的一个强大的替代方案。然而,它的性能大大下降,在形态丰富的语言(MRL)的存在。神经引擎通常无法解决MRL的大词汇量和高词汇外(OOV)单词率。因此,不适合利用现有的基于单词的模型来翻译这组语言。在本文中,我们提出了对Chung et al.(2016)的最先进模型的扩展,该模型在字符级别工作,并通过目标侧形态信息增强解码器。在我们的架构中,一个额外的形态表插入到模型中。每次解码器从目标词汇采样时,该表从最相关的词缀发送辅助信号,以丰富解码器的当前状态并约束它以提供更好的预测。我们评估了我们的模型,将英语翻译成德语,俄语和土耳其语作为三个MRL,并观察到显着的改进。
2018-04-17 cs.CL
Correspondence Analysis and PMI-Based Word Embeddings: A Comparative Study
Hangzhou Dianzi University(杭州电子科技大学);Utrecht University(乌特勒支大学);University of Southampton(南安普顿大学);Southampton Statistical Sciences Research Institute(南安普顿统计科学研究院)
本文比较了基于PMI的词嵌入方法与对应分析的变种,发现ROOT-CA和ROOTROOT-CA在词相似性任务中表现优于传统方法并接近BERT性能。
2026-03-10 cs.CL
SS4MCT: A Statistical Stemmer for Morphologically Complex Texts
University of Tehran(德黑兰大学)
已经有多种尝试来解决信息检索中的各种变形匹配问题。词干分析是实现这一目标的常用方法。在众多的词干提取技术中,统计词干提取在许多语言中,特别是高度屈折的语言中已经被证明是有效的。在本文中,我们提出了一种方法来寻找词缀在不同的位置的一个词。常用的统计技术在很大程度上依赖于前缀和后缀匹配方面的字符串相似性。由于中缀在形态复杂的文本中常见于不规则/非正式的屈折变化,因此需要找到中缀以进行词干提取。在本文中,我们提出了一种方法,其目的是发现统计的屈折变化规则的基础上最小编辑距离表的词对和规则的可能性在一种语言中。这些规则用于统计词干,并可用于不同的文本挖掘任务。在CLEF 2008和CLEF 2009英语-波斯语CLIR任务上的实验结果表明,该方法在MAP方面明显优于所有基线。
2016-06-20 cs.CL cs.IR
A comparative study of root-based and stem-based approaches for measuring the similarity between arabic words for arabic text mining applications
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
任何阿拉伯语文本挖掘应用程序都需要对单词中包含的语义信息进行表示。更确切地说,其目的是更好地考虑由这些词的共现频率表示的词之间的语义依赖性。已经有许多建议,以计算相似性的基础上,他们的分布在上下文中的话。本文对两种预处理技术应用于阿拉伯语语料库的效果进行了比较和对比:基于根的(Stemming)和基于Stem-based(光词干)方法,用于利用众所周知的抽象模型-潜在语义分析(LSA)-利用各种各样的距离函数和相似性度量,诸如欧几里得距离、余弦相似性、Jaccard系数,Pearson相关系数实验结果表明,一方面,语料库的多样性使结果更加准确;另一方面,基于词干的方法优于基于词根的方法,因为后者影响了词义。
2012-12-14 cs.CL cs.IR
Fixing the Infix: Unsupervised Discovery of Root-and-Pattern Morphology
University of Illinois(伊利诺伊大学)
我们提出了一个无监督和语言无关的方法学习根和模式形态在闪族语言。这种形式的形态,丰富的闪米特语言,还没有处理在以前的无监督的方法。我们利用分布式单词表示的句法语义信息来解决闪米特语言中长期存在的根源和模式发现问题。此外,我们构造了一个无监督的根提取器的基础上学习的规则。我们证明了阿拉伯语,希伯来语和阿姆哈拉语中学习规则的有效性,同时表明我们的根提取器与广泛使用的精心设计的根提取器ISRI相比毫不逊色。
2017-02-11 cs.CL
Word-Embeddings Distinguish Denominal and Root-Derived Verbs in Semitic
MIT(麻省理工学院)
分布式形态学框架的支持者假设存在两个层次的形态构词:一个较低的层次,导致松散的输入-输出语义关系;和一个较高的层次,导致紧密的输入-输出语义关系。在这项工作中,我们建议在希伯来语词嵌入的背景下测试这一假设的有效性。如果两级假设成立,我们预计国家的最先进的希伯来语词嵌入编码(1)一个名词,(2)一个名词派生(通过上层操作),以及(3)与名词相关的动词(通过对名词词根的低级操作),以这样的方式,在嵌入空间中,名词(2)应该比相关动词(3)更靠近名词(1)。我们报告说,这一假设是验证了四个嵌入模型的希伯来语:fastText,GloVe,Word 2 Vec和AlephBERT。这表明,词嵌入模型能够捕捉复杂的和细粒度的语义属性,形态动机。
2022-08-11 cs.AI cs.CL cs.LG
Lexicon and Rule-based Word Lemmatization Approach for the Somali Language
Jamhuriya University(贾姆胡里亚大学);Aston University(阿斯顿大学)
本文针对低资源的索马里语,开发了基于词典和规则的词形还原器,构建了包含1247个词根和7173个派生词的初始词典及还原规则,在120篇文档测试中短文本准确率达95.87%。
2023-08-03 cs.CL
CBAS: context based arabic stemmer
College of Computing and Information Technology, AAST(阿拉伯科学技术学院计算与信息技术学院)
阿拉伯语的词法包含了许多有价值的特征,如词根。阿拉伯词根被用于许多任务;提取词根的过程被称为词干提取。词干是大多数自然语言处理任务的重要组成部分,特别是对于阿拉伯语等衍生语言。然而,词干提取面临着歧义的问题,即从同一个词中可以提取两个或多个词根。另一方面,分布式语义是一个强大的共现模型。它根据上下文捕捉单词的含义。本文利用平滑逐点互信息(SPMI)构造了一个分布式语义模型,以研究其在词干分析任务中的有效性。它的准确率为81.5%,比其他词干分析器至少提高了9.4%。
2015-10-28 cs.CL cs.IR
Rule Based Stemmer in Urdu
Banasthali University(班纳斯塔利大学)
乌尔都语是阿拉伯语、印地语、英语、土耳其语、梵语等几种语言的结合体,它有着复杂而丰富的形态。这就是为什么在乌尔都语处理方面没有做太多工作的原因。词干提取用于将单词转换为相应的词根形式。在词干提取中,我们将单词的后缀和前缀分开。它在搜索引擎、自然语言处理和字处理、拼写检查、字解析、词频和计数研究中很有用。本文提出了一种基于规则的乌尔都语词干提取器。我们在这里讨论的词干分析器用于信息检索。我们还通过与人类专家进行验证来评估我们的结果。
2013-10-02 cs.CL
Context Aware Lemmatization and Morphological Tagging Method in Turkish
Kocaeli University(科贾埃利大学)
本文面向土耳其语提出结合双向 LSTM 与 Turkish BERT 的上下文感知词形还原和形态标注模型,并在 IMST、PUD 上验证其优于 SIGMORPHON 2019 结果。
2025-01-04 cs.AI cs.CL
Synonym Discovery with Etymology-based Word Embeddings
Seoul National University(首尔大学);Google Inc.(谷歌公司)
我们提出了一种新的方法来学习词嵌入的基础上扩展版本的分布假设。我们的模型使用单词的词源组成而不是它们出现的上下文来推导词嵌入向量。它的优点是不需要大型文本语料库,但它需要可靠地访问单词的词源,使其特别适合于具有语标书写系统的语言。该模型包括三个步骤:(1)建立词源图,它是一个由词和词根组成的二分网络;(2)获得词源图的双邻接矩阵并对其进行降维;(3)将所得矩阵的列/行作为嵌入向量。我们测试我们的模型在中国和中韩词汇。我们的图由一组117,000个中文单词和一组135,000个中韩单词组成。在这两种情况下,我们表明,我们的模型表现良好的同义词发现的任务。
2017-12-12 cs.AI cs.CL
Stemmers for Tamil Language: Performance Analysis
K.S.Rangasamy College of Arts and Science(K.S.兰加斯米文理学院)
词干提取是从给定的屈折词中提取词根的过程,在自然语言处理(NLP)的众多应用中起着重要的作用。泰米尔语对NLP提出了一些挑战,因为它比其他语言有丰富的形态模式。本文提出了基于规则的方法轻词干,找到干词的变形泰米尔语单词。所提出的方法的性能相比,基于规则的后缀去除词干的基础上正确和不正确的预测。实验结果清楚地表明,所提出的方法轻词干泰米尔语比后缀去除词干,也更有效的信息检索系统(IRS)。
2013-10-02 cs.CL
Clustering Algorithm for Gujarati Language
GCET(GCET工程学院)
自然语言处理领域仍处于研究阶段。但现在,它已经成为全球研究人员的平台。自然语言处理包括基于其结构分析语言,然后使用其语法基础适当地标记每个单词。在这里,我们有50,000个标记的单词集,我们尝试根据所提出的算法对这些古吉拉特语单词进行聚类,我们定义了自己的处理算法。许多聚类技术是可用的,例如。单一连锁、完全连锁、连锁、平均连锁、听说没有要形成的聚类是未知的,所以这一切都取决于所提供的数据集的类型。聚类是词干分析的预处理。词干提取是从单词中提取词根的过程。Ex. cats= cat+S,意思是。猫:名词和复数形式。
2013-07-20 cs.CL
Overview of Stemming Algorithms for Indian and Non-Indian Languages
BVM Engineering College(BVM工程学院);Charusat University(查鲁萨特大学)
词干提取是文本挖掘应用程序中的预处理步骤,也是自然语言处理功能的一个非常常见的要求。词干提取是将词形变化还原为词干的过程。词干提取的主要目的是将一个词的不同语法形式/词的形式,如名词,形容词,动词,副词等,还原为它的根形式。词干技术广泛应用于信息检索系统中,它可以减少索引文件的大小。我们可以说词干提取的目的是将词的屈折形式和有时派生相关的形式减少到一个共同的基本形式。在本文中,我们讨论了不同的词干算法为非印度和印度的语言,词干的方法,准确性和错误。
2014-04-10 cs.CL
Hierarchies over Vector Space: Orienting Word and Graph Embeddings
Stony Brook University(石溪大学)
本文提出一种从向量嵌入中构建有向根树的数据结构,通过按实体影响力降序插入节点来捕获层级方向,在超词关系、LCA发现和维基链接恢复任务上显著优于基线。
2024-11-09 cs.CL
Rule-Based Spanish Morphological Analyzer Built From Spell Checking Lexicon
University of California, Berkeley(加州大学伯克利分校)
用于自动文本分析的预处理工具已在主要语言中得到更广泛的使用,但非英语工具的功能往往仍然有限。在处理西班牙语文本时,研究人员可以很容易地找到用于标记和词干分析的工具,但可能无法提取更复杂的单词特征,如动词时态或语气。然而,西班牙语是一种形态丰富的语言,这些特征通常可以从单词形式中识别出来。动词和名词的搭配规则是一致的,但许多特殊动词和名词的搭配规则却不尽相同。虽然构建已知单词及其形态规则的完整词典将是劳动密集型的,但是在设计用于生成已知单词的有效形式的拼写检查器中已经存在这样做的资源。本文介绍了一套工具,西班牙语的形态分析,建立使用COES拼写检查工具,标记人,情绪,紧张,性别和数量,推导出一个词的根名词或动词不定式,并将动词转换为他们的名词形式。
2017-07-23 cs.CL
How Does Language Influence Documentation Workflow? Unsupervised Word Discovery Using Translations in Multiple Languages
Laboratoire d’Informatique de Grenoble (LIG)(格勒诺布尔计算机实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Sheffield(谢菲尔德大学);UFRGS(南里奥格兰德联邦大学)
对于语言文档举措,转录是一种昂贵的资源:一分钟的音频估计需要语言学家平均一个半小时的工作(Austin和Sallabank,2013年)。最近,在资源丰富的语言中收集对齐的翻译成为确保记录的事后可解释性的流行解决方案(Adda et al. 2016)。在本文中,我们调查语言相关的影响,在自动方法计算语言文档。我们将双语Mboshi-French平行语料库(Godard et al. 2017)翻译成其他四种语言,并执行双语根无监督单词发现。我们的研究结果暗示了资源丰富的语言对输出质量的影响。然而,通过结合不同双语模型学习到的信息,我们只能略微提高分割的质量。
2019-10-11 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida(JSS诺伊达技术教育学院)
印地语是一种高度屈折的语言,基于FST(有限状态转换器)的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST(斯图加特有限状态传感器)工具生成FST。创建了一个词根词典。然后添加规则,用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练,然后使用Stanford POS tagger的MAXENT(最大熵)方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度,并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Automatic Extraction of Bengali Root Verbs using Paninian Grammar
Jadavpur University(贾达普大学)
在这项研究工作中,我们提出了一种基于监督学习方法的算法,利用Panini [1]在Ashtadhyayi中提出的语法规则提取孟加拉语动词的根形式。这种方法可以应用于从梵语派生出来的语言。提出的系统已经开发的动词的时态,人称和形态变化的基础上,找到他们的根形式。研究工作分两个阶段进行:第一,将动词的表层形式或屈折形式分成一定数量的时态和人称相似的组。在这项任务中,使用了孟加拉语的标准模式。接下来,我们应用一套规则从动词的表层形式中提取词根形式。该系统已进行了测试,从孟加拉语文本语料库中开发的TDIL项目的印度政府收集的10000个动词。输出的准确率已达到98%,这是由语言专家验证。根动词识别是语义搜索、多句子搜索查询处理、语义理解、词义消歧、句子分类等过程中的关键步骤。
2020-03-31 cs.CL
A Literature Review: Stemming Algorithms for Indian Languages
K.S.Rangasamy College of Arts and Science(K.S.兰加斯米文理学院)
词干提取是从给定的屈折词中提取词根的过程。它在自然语言处理(NLP)的众多应用中也起着重要的作用。词干问题已经在许多背景下被许多学科的研究人员所解决。本文介绍了数据采掘中词干提取算法的一些最新进展,并提出了一些解决方案,各种印度语言词干提取算法的结果。
2013-08-25 cs.CL
Learning to Embed Sentences Using Attentive Recursive Trees
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
句子嵌入是大多数基于深度学习的NLP任务的有效特征表示。一种流行的方法是使用递归潜在树结构网络来嵌入具有特定任务结构的句子。然而,现有的模型没有明确的机制,强调任务信息的字在树结构。为此,我们提出了一个注意递归树模型(AR树),其中的话是动态定位根据其在任务中的重要性。具体来说,我们构造的潜在树的一个句子在一个建议的重要优先战略,并把更多的关注的话更接近根,因此,AR树可以内在地强调重要的话在自下而上的组成句子嵌入。我们提出了一个端到端的强化训练策略的AR树,这被证明是一贯优于,或至少是可比的,国家的最先进的句子嵌入方法对三个句子理解任务。
2018-11-15 cs.CL
N-gram Statistical Stemmer for Bangla Corpus
University of Chittagong(吉大港大学);University of Saarland(萨尔大学)
词干提取是一个可以用来将词形变化修剪成词干或词根形式的过程。这对于提高检索效率,特别是文本检索,解决不匹配问题是非常有用的。以往的孟加拉语词干提取研究主要是通过递归规则的方法从一个单词中去除多个后缀来逐步恢复适用的相对词根。我们提出的系统通过实现一种称为N-gram词干提取的词干提取算法,增强了上述探索。通过利用一种称为骰子系数的关联度量,相关的词集根据它们的字符结构进行聚类。一个簇中最小的词可以被认为是词干。我们还分析了相似性传播聚类算法的系数相似性以及中值相似性。我们的结果表明,N-gram词干技术通常是有效的,它给了我们大约87%的准确聚类。
2019-12-25 cs.CL cs.IR
Unsupervised Stemming based Language Model for Telugu Broadcast News Transcription
Osmania University(奥斯曼尼亚大学)
在印度语言中,母语者能够理解通过组合或修改具有时态和/或性别的词根而形成的新词。由于数据不足,自动语音识别系统(ASR)可能无法容纳语言模型中的所有单词,无论文本语料库的大小如何。如果数据量由于词根的形态变化而呈指数级增加,则计算也变得具有挑战性。本文在印地语无监督方法的基础上,提出了一种新的无监督方法来生成语言模型中的词汇外(OOV)词。通过使用平滑和插值的预处理数据与监督和无监督的词干,不同的问题在语言模型印度语:泰卢固语的技术已经解决。我们观察到,平滑技术Witten-Bell和Kneser-Ney相比,其他技术的预处理数据从监督学习。有监督和无监督词干提取分别提高了ASRs的准确率0.76%和0.94%。
2019-08-10 cs.CL eess.AS
Domain Lexical Knowledge-based Word Embedding Learning for Text Classification under Small Data
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子与电气工程学院,南洋理工大学,新加坡)
针对BERT在关键词驱动的文本分类中嵌入判别性不足的问题,本文提出利用领域词汇知识增强词嵌入的模型及自动知识获取算法,并在情感分析、情感识别和问答任务上验证了有效性。
2025-06-02 cs.CL
Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish
Independent Researcher(独立研究者)
针对土耳其语粘着特性,提出Morpheus神经词素边界模型,实现无损可逆分词与结构化词嵌入,在可逆分词器中达到最低比特每字符(1.425),词素对齐F1提升至0.61,GPU内存节省约19%。
2026-10-05 cs.AI cs.CL
Stemmer for Serbian language
在语言形态学和信息检索中,词干提取是将词形变化(有时是派生)的词还原为词干、词根或词根形式的过程;通常是书面形式。在这项工作中,后缀剥离词干的塞尔维亚语,高度曲折的语言之一。
2012-09-20 cs.CL cs.IR
Estimator Vectors: OOV Word Embeddings based on Subword and Context Clue Estimates
George Mason University(乔治梅森大学)
使用神经网络模型如word2vec,已经成功地从未标记的语料库中提取了词的语义表示。这些表示通常是高质量的,并且训练在计算上是便宜的,这使得它们很受欢迎。然而,这些方法通常无法近似出词汇(OOV)的话,人类可以很容易地完成任务,使用词根和上下文线索。本文提出了一种联合学习高质量词表示、子词表示和上下文线索表示的神经网络模型。一起学习所有三种类型的表示增强了对每种表示的学习,从而通过相应的上下文线索和子词嵌入的组合来丰富词向量,以及对OOV词的强估计。我们的模型,称为估计向量(EV),学习强大的词嵌入,并与最先进的方法进行OOV估计的竞争。
2019-10-18 cs.CL cs.LG stat.ML
RSD: Moving Local Triangular Charts for Auditing Language-Model Hidden States
HSE University(俄罗斯高等经济大学)
提出RSD(关系语义分解)作为局部三角剖分审计方法,通过拟合单纯形成员关系和坐标极点,结合关系解码器和坐标残差,实现学习向量块的可解释性审计。
2026-06-29 cs.CL cs.LG
Hahahahaha, Duuuuude, Yeeessss!: A two-parameter characterization of stretchable words and the dynamics of mistypings and misspellings
The University of Vermont(佛蒙特大学)
像“heelllllp”或“heyyyyy”这样的延伸词是口语中的一个常规特征,通常用于强调或夸大词根的潜在含义。虽然延伸词很少出现在正式的书面语言和字典中,但它们在社交媒体中很普遍。在本文中,我们研究的频率分布的“可延伸的话”发现在大约100亿推文创作了8年的时间。我们引入了两个中心参数,“平衡”和“拉伸”,捕捉他们的主要特点,并通过创建我们称之为“平衡图”和“拼写树”的视觉工具来探索他们的动态。我们讨论了我们在这里开发的工具和方法如何用于研究错误输入和拼写错误的统计模式,以及在扩充词典,改善语言处理以及序列构建重要的任何领域(如遗传学)中的潜在应用。
2019-07-09 cs.CL physics.soc-ph
IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces
Johns Hopkins University(约翰斯·霍普金斯大学)
IsoVec通过将同构性全局度量直接纳入Skip-gram损失函数,提升词嵌入空间的相对同构性,从而改善跨语言映射与双语词典归纳性能。
2023-07-04 cs.CL cs.LG
Closed Form Word Embedding Alignment
School of Computing(计算学院)
我们开发了一系列技术来对齐来自不同源数据集或使用不同机制(例如,GloVe或word2vec)。我们的方法很简单,并且有一个封闭的形式来优化旋转,平移和缩放,以最大限度地减少均方根误差或最大限度地提高相同词汇的两个嵌入到同一维空间之间的平均余弦相似性。我们的方法扩展了称为绝对方向的方法,这种方法在三维中对齐对象时很流行,并推广了Smith等人的方法(ICLR 2017)。我们证明了新的最佳缩放和最大限度地提高余弦相似性的结果。然后,我们演示了如何评估来自不同来源或机制的嵌入的相似性,以及在嵌入中保留某些属性(如同义词和类比),并且可以通过简单地对齐和平均嵌入集合来增强。
2020-11-17 cs.CL stat.ML
Improvement of electronic Governance and mobile Governance in Multilingual Countries with Digital Etymology using Sanskrit Grammar
Jadavpur University(贾达普大学)
随着数字连接(Wifi,3G,4G)和数字设备接入互联网的巨大改善,现在已经到达了最偏远的角落。农村人民可以很容易地从PDA、笔记本电脑、智能手机等访问网络或应用程序。这是政府接触大量公民的机会,得到他们的反馈,将他们与电子政务的政策决策联系起来,而无需部署大量的人力、物力或资源。但多语国家的政府在成功实施政府对公民(G2 C)和公民对政府(C2 G)治理方面面临着许多问题,因为农村人民倾向于并更喜欢用母语进行互动。通过网络或应用程序向不同语言的演讲者群体提供平等的体验是一个真正的挑战。在这项研究中,我们整理出了印度雅利安语网民所面临的问题,这在一般情况下也适用于任何语系群体或亚群体。然后,我们试图用词源学给出可能的解决方案。词源学是用来关联的话,使用他们的根形式。公元前5世纪,帕尼尼写了Astadhyayi,他描绘了佛经或规则-一个词如何根据人称,时态,性别,数字等变化。我们已经训练了我们的系统,用于使用Panian语法规则从单词的表层或变形形式自动提取词根。我们已经测试了我们的系统超过10000孟加拉语动词和提取的根形式与98%的准确率。我们现在正在努力扩展程序,成功地将任何语言的任何单词进行词形化,并通过在人工神经网络中应用这些规则集将它们关联起来。
2020-03-31 cs.CL cs.CY
On Hilberg's Law and Its Links with Guiraud's Law
Hilberg(1990)假设随机人类文本的有限阶超额熵与文本长度的平方根成正比。假设Hilberg的假设是正确的,我们得到Guiraud定律,它指出文本中的词类型的数量大于文本长度的平方根的比例。我们的推导是基于编码理论中的一些数学猜想和一些实验,这些实验表明,词可以近似地定义为文本的最短上下文无关文法的非终结符。这样的词的操作定义甚至可以应用于没有空格的文本,这不允许曼德尔布罗特对齐普夫定律和吉罗定律的“间歇性沉默”解释。与Mandelbrot的相反,我们的模型假设了人类叙述中的一些概率性长记忆效应,并且可能能够解释Menzerath定律。
2005-07-07 cs.CL cs.IT math.IT
Probabilistic FastText for Multi-Sense Word Embeddings
Cornell University(康奈尔大学);AWS & Caltech(亚马逊云服务与加州理工学院)
我们介绍了概率快速文本,一个新的词嵌入模型,可以捕捉多个词的意义,子词结构,和不确定性信息。特别是,我们用高斯混合密度表示每个单词,其中混合成分的平均值由n元语法的总和给出。这种表示允许模型在子词结构(例如拉丁词根)之间共享统计强度,从而产生罕见的,拼写错误的,甚至看不见的单词的准确表示。此外,混合物的每种成分都可以捕捉不同的词义。ProbabilityFastText在几个单词相似性基准测试(包括英语RareWord和外语数据集)上优于没有概率模型的FastText和不包含子词结构的字典级概率嵌入。我们还在衡量辨别不同含义的能力的基准上实现了最先进的性能。因此,该模型是第一个实现多意义表示,同时具有丰富的语义上罕见的话。
2018-06-07 cs.AI cs.CL cs.LG
Patterns versus Characters in Subword-aware Neural Language Modeling
Nazarbayev University(纳扎尔巴耶夫大学)
某些自然语言中的词可以具有复合结构。这种结构的元素包括词根(也可以是复合词)、前缀和后缀,可以表达与其他词的各种细微差别和关系。因此,为了建立一个正确的单词表示,必须考虑其内部结构。从文本的语料库中,我们提取一组频繁的子词,并从后者的集合中,我们选择模式,即封装信息的字符$n$ -文法的子词。使用基于模式的条件随机场模型和$l_1$正则化进行选择。此外,对于每个单词,我们在一个模式字母表上构造一个新的序列。新字母表的符号限制了比字符更强的局部统计上下文,因此它们允许在${\mathbb{R}}^n$中进行更好的表示,并且是单词表示的更好的构建块。在子词感知语言建模的任务中,基于模式的模型比基于字符的类似物高出2-20个困惑点。此外,将单词表示为其模式嵌入之和的递归神经网络与具有竞争力且更复杂的基于字符的卷积架构相当。
2017-09-02 cs.CL cs.LG
Automated words stability and languages phylogeny
Università la Sapienza(罗马智慧大学);Università dell'Aquila(拉奎拉大学)
测量语言之间距离的想法似乎起源于法国探险家Dumont D'Urville的工作(D'Urville 1832)。他在1826年至1829年的星盘航行中收集了各种语言的比较词汇表,在他关于太平洋地理划分的著作中,他提出了一种衡量语言之间联系程度的方法。现代声门年代学所使用的方法,由Morris Swadesh在20世纪50年代发展(Swadesh 1952),测量与共享同源词的百分比的距离,这些同源词是具有共同历史起源的词。最近,我们提出了一种新的自动化方法,该方法使用具有相同含义的单词之间的归一化Levenshtein距离和列表中包含的单词的平均值。声门年代学的另一个经典问题是研究对应不同意义的词的稳定性。事实上,由于词汇的变化、借用和替换,词汇的发展速度并不相同。词汇演变的速度对于不同的含义是不同的,这可能与相关词的使用频率有关(Pagel et al. 2007)。这个问题是解决这里的自动化方法,只基于归一化Levenshtein距离。
2009-12-05 cs.CL physics.soc-ph q-bio.PE
Toward Incorporation of Relevant Documents in word2vec
TU Wien(维也纳技术大学);University College London(伦敦大学学院);Microsoft(微软公司)
神经词嵌入的最新进展为各种信息检索任务提供了显着的好处。然而,最近的研究表明,适应嵌入模型的IR任务的需要,可以带来相当大的进一步改善。嵌入模型通常通过利用术语在短窗口上下文中的同现来定义术语相关性。在IR中,对于查询的相关术语的另一种(并且被充分研究的)方法是使用本地信息,即一组顶部检索的文档。鉴于这两种方法的术语相关性,在这项工作中,我们报告我们的研究,将本地信息的查询的词嵌入。在这个方向上的一个主要挑战是,词嵌入的密集向量和它们对术语间相关性的估计仍然难以解释和分析。作为一种替代方案,明确的词表示提出的向量的维度是很容易解释的,最近的方法显示出竞争力的性能密集的向量。我们引入了一个基于神经的显式表示,植根于word 2 vec Skip-Gram模型的概念思想。该方法在保持Skip-Gram模型有效性的同时,提供了可解释的显式向量。对词关联集合的各种显式表示的评估表明,新提出的方法在对高度相似的术语进行排名时表现出最先进的显式表示。基于引入的显式表示,我们讨论了我们在全局训练的嵌入模型中集成本地文档的方法,并讨论了初步结果。
2018-04-04 cs.CL cs.IR
Measures of lexical distance between languages
Università di Roma "La Sapienza"(罗马大学(罗马第一大学));Università dell’Aquila(拉奎拉大学)
测量语言之间距离的想法似乎起源于法国探险家Dumont D 'Urville \cite{Urv}的工作。他在1826年至1829年的星盘航行中收集了各种语言的比较词汇表,在他关于太平洋地理划分的著作中,他提出了一种衡量语言之间关系程度的方法。现代声门年代学所使用的方法是由莫里斯·斯瓦迪什(Morris Swadesh)在20世纪50年代开发的,它测量了与共享同源词的百分比的距离,这些同源词是具有共同历史起源的词。最近,我们提出了一种新的自动化方法,该方法使用具有相同含义的单词之间的归一化Levenshtein距离和列表中包含的单词的平均值。最近,另一组学者\cite{Bak, Hol}提出了一个完善的定义,包括第二个规范化。在本文中,我们比较我们的定义与改进版本的信息内容,以决定两者中的哪一个可以更成功地解决语言之间的关系。
2009-12-09 cs.CL physics.soc-ph
A Semantic Approach to Negation Detection and Word Disambiguation with Natural Language Processing
University of Cincinnati(辛辛那提大学);Penn State University(宾夕法尼亚州立大学)
本研究提出基于词义消歧评估文本词汇结构的否定检测框架,利用WordHoard知识库发现并反义化被否定单词,相比传统方法,使SentiWordNet等情感分析工具准确率显著提升。
2023-02-22 cs.AI cs.CL cs.IR