Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings
Kohli Center On Intelligent Systems (KCIS)（科利智能系统中心）；International Institute of Information Technology Hyderabad (IIIT-H)（海得拉巴国际信息技术学院）
我们提出了一种独立于语言的，无监督的方法来构建词嵌入使用形态扩展的文本。我们的模型处理数据稀疏的问题，并通过依赖于人工生成的句子上的训练词嵌入来产生改进的词嵌入。我们评估我们的方法使用小规模的训练集11个测试集的词相似性任务在七种语言。此外，对于英语，我们使用三个标准测试集的大型训练集评估了我们的方法的影响。我们的方法改进了所有语言的结果。
2017-11-15 cs.CL
Acquisition of morphological families and derivational series from a machine readable dictionary
Université de Toulouse（图卢兹大学）
本文提出了一种语言学和计算模型，旨在使词汇的形态结构从其所包含的词的形式和语义的描述中显现出来。该模型是基于单词的。所提出的形态结构包括：（1）二元关系，它将每个中心词与形态上相关的词联系起来，特别是与其形态家族及其派生系列的成员联系起来;（2）词之间的类比。该模型已被测试的法语词典使用TLFi机器可读词典。
2009-05-11 cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
An implementation of Apertium based Assamese morphological analyzer
Gauhati University（高哈蒂大学）
词法分析是任何自然语言处理技术的一个重要的语言学分支。形态学研究语言的词的结构和构词法。在当前的自然语言处理研究中，形态分析技术日益受到重视。对于任何一种语言的处理，都应该首先分析词的形态。阿萨姆语包含非常复杂的形态结构。在我们的工作中，我们使用了基于氚的原子态转换器来开发阿萨姆语的形态分析器，在某些有限的领域，我们得到了72.7%的准确率
2015-03-13 cs.CL
More than Just Statistical Recurrence: Human and Machine Unsupervised Learning of Māori Word Segmentation across Morphological Processes
University of California Santa Barbara（加州大学圣巴巴拉分校）；University of Canterbury（坎特伯雷大学）
本研究比较非毛利语新西兰人与Morfessor模型在毛利语词语切分上的表现，发现人类能利用模板等超越统计递归的线索切分复杂形态词汇，揭示了人类无监督学习机制超越纯统计递归的敏感性。
2024-03-21 cs.CL
Derivational Morphological Relations in Word Embeddings
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
派生是一种通过增加、改变或删除词缀而从已有的词中创造新词的构词过程。在本文中，我们探讨了潜在的词嵌入，以确定在形态丰富的捷克语的词派生的属性。我们从DeriNet（一个捷克词汇网络）中提取词对之间的派生关系，DeriNet将近一百万个捷克词元组织成派生树。对于每个这样的对，我们计算两个词的嵌入的差异，并对所得向量进行无监督聚类。我们的研究结果表明，这些集群在很大程度上匹配手动注释的语义类别的派生关系（例如，关系'烤-面包师'属于类别'演员'，和一个正确的聚类把它放在同一个集群的'统治-总督'）。
2019-06-06 cs.CL
A Trie-Structured Bayesian Model for Unsupervised Morphological Segmentation
Middle East Technical University（中东技术大学）；Hacettepe University（哈杰泰佩大学）
在本文中，我们介绍了一个trie-structured贝叶斯模型的无监督形态分割。我们在模型中采用了不同来源的先验信息。我们使用神经词嵌入来发现在形态上彼此派生的词，从而发现语义相似的词。我们使用从由神经词嵌入构建的尝试中获得的字母后继变量计数。我们的研究结果表明，使用不同的信息源，如神经词嵌入和字母后继品种作为先验信息，提高了贝叶斯模型中的形态分割。我们的模型在土耳其语上的表现优于其他无监督形态分割模型，并在英语和德语上为稀缺资源提供了有希望的结果。
2017-04-24 cs.CL
Unsupervised discovery of morphologically related words based on orthographic and semantic similarity
我们提出了一个算法，以一个未注释的语料库作为输入，并返回一个排名列表的可能形态相关的对作为其输出。该算法试图发现形态相关的对，通过寻找对都是正字法和语义相似，其中正字法的相似性是衡量的最小编辑距离，和语义相似性是衡量的互信息。该过程不依赖于词素连接模型，也不依赖于单词子串的分布特性（如词缀频率）。德语和英语输入的实验给出了令人鼓舞的结果，无论是在精度方面（在不同的截止点的排名列表中发现的好对的比例），并在定性分析的算法发现的形态模式的类型。
2002-05-08 cs.CL
Neural Morphological Tagging from Characters for Morphologically Rich Languages
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）
本文研究了基于神经特征的词法标注方法，该方法适用于词法复杂且标注集较大的语言。我们系统地探索了各种神经架构（DNN，CNN，CNNHighway，LSTM，BLSTM），以获得基于字符的词向量，并结合双向LSTM，在端到端环境中对跨词上下文进行建模。我们探索基于大量未标记数据训练的基于单词的向量的补充使用。我们的形态标记实验表明，对于“简单”模型配置，网络架构的选择（CNN与CNNHighway与LSTM与BLSTM）或使用预训练的词嵌入的增强可能很重要，并明显影响准确性。例如，通过增加深度来增加模型容量，并仔细优化神经网络可以带来实质性的改进，并且准确性（但不是训练时间）的差异变得更小，甚至可以忽略不计。总的来说，我们最好的形态标记为德国和捷克优于最好的结果，在文献中报道了很大的利润。
2016-06-21 cs.CL
A Joint Model for Word Embedding and Word Morphology
University of Cambridge（剑桥大学）
本文提出了一种联合模型，用于对单词进行无监督的形态分析，并学习从词素到词嵌入的字符级组合函数。我们的模型将单个单词分成几个部分，并根据其预测上下文单词的能力对每个部分进行加权。我们的形态分析是专门的形态分析仪在词素边界恢复的任务，也比基于单词的嵌入模型在句法类比回答的任务表现更好。最后，我们表明，将形态显式地纳入字符级模型，帮助他们产生嵌入看不见的话，更好地与人类的判断。
2016-06-08 cs.CL
Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages
Boğaziçi University（海峡大学）；Huawei R&D Center（华为研发中心）
在这项工作中，我们提出了土耳其和捷克命名实体识别的93.59，%和79.59，%的新的最先进的结果（Lample等人，2016）。我们的贡献，提出了几个方案表示一个词的形态分析的背景下，命名实体识别。我们表明，这种表示与单词和字符嵌入的串联提高了性能。这些表示方案上的标记性能的效果也进行了研究。
2017-06-01 cs.CL
The Interplay of Semantics and Morphology in Word Embeddings
Bar-Ilan University（巴伊兰大学）
我们探讨的能力，词嵌入捕捉语义和形态的相似性，受不同类型的语言属性（表面形式，引理，形态标签）组成的表示每个字。我们训练几个模型，每个模型使用这些属性的不同子集来组成其表示。通过对语义和形态测量的模型进行评估，我们揭示了语义和形态之间的关系的一些有用的见解。
2017-04-06 cs.CL
Rule-Based Spanish Morphological Analyzer Built From Spell Checking Lexicon
University of California, Berkeley（加州大学伯克利分校）
用于自动文本分析的预处理工具已在主要语言中得到更广泛的使用，但非英语工具的功能往往仍然有限。在处理西班牙语文本时，研究人员可以很容易地找到用于标记和词干分析的工具，但可能无法提取更复杂的单词特征，如动词时态或语气。然而，西班牙语是一种形态丰富的语言，这些特征通常可以从单词形式中识别出来。动词和名词的搭配规则是一致的，但许多特殊动词和名词的搭配规则却不尽相同。虽然构建已知单词及其形态规则的完整词典将是劳动密集型的，但是在设计用于生成已知单词的有效形式的拼写检查器中已经存在这样做的资源。本文介绍了一套工具，西班牙语的形态分析，建立使用COES拼写检查工具，标记人，情绪，紧张，性别和数量，推导出一个词的根名词或动词不定式，并将动词转换为他们的名词形式。
2017-07-23 cs.CL
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University（约翰斯·霍普金斯大学）；LMU Munich（慕尼黑大学）
就像句子由单词组成一样，单词本身也是由更小的单位组成的。例如，英语单词questionably可以分析为question+able+ly。然而，这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则，词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中，我们提出了一种新的概率模型的单词形成，捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素，并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase（Zeller等人，2013）数据。我们发现，联合建模语义提高了分割精度和词素F1之间的3%和5%。此外，我们研究了不同的向量组合模型，表明递归神经网络比简单的加法模型有改进。最后，我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
Morphonette: a morphological network of French
Université de Toulouse（图卢兹大学）
本文详细介绍了Morphonette的第一个版本，一个新的法语形态资源和一个新的基于词素的形态分析方法。本研究基于派生形态学的范式概念，即形态结构是整个词汇的结构，而不是它所包含的单个词。这种结构的发现依赖于词之间形态相似性的度量、形式类比和两种形态范式的性质：
2010-05-21 cs.CL
On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
NLP, Department of Computer Science, KU Leuven（自然语言处理，计算机科学系，鲁汶大学）
针对语言模型架构因先适配英语而可能对结构差异语言性能下降的问题，本文以位置编码为对象，结合形态复杂性与词序灵活性的权衡假设，通过7种语言的单语模型预训练与4项下游任务评估，发现位置编码与该权衡无明确相互作用，强调任务、语言和指标选择对结论稳定性的重要性。
2025-11-11 cs.CL
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur（印度理工学院克勒格布尔分校）；Flipkart（Flipkart公司）；University of Waterloo（滑铁卢大学）；American Express India Pvt Ltd（美国运通印度私人有限公司）；Chinmaya Vishwavidyapeeth（钦玛雅大学）
在自由词序语言（如梵语）的句子中，构形信息的使用是有限的。因此，即使对于诸如分词之类的基本处理任务，整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架，共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型，其中我们采用了基于图的解析技术中通常采用的方法（McDonald等人，2005 a; Carreras，2007）。我们的模型以96.92的F分数（7.06%的百分比提高）优于最先进的技术，同时使用不到十分之一的特定于任务的训练数据。我们发现，使用基于图的方法，而不是传统的基于网格的顺序标记方法，导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
Neural disambiguation of lemma and part of speech in morphologically rich languages
University of Helsinki（赫尔辛基大学）；University of Pisa（比萨大学）
我们认为，在形态丰富的语言中的歧义词的词元和部分的语音消歧的问题。我们提出了一种方法，消除歧义的单词在上下文中，使用一个大型的未注释的文本语料库，和一个形态分析仪-没有手动消歧或数据注释。我们假设，形态分析器产生多个分析歧义词。这个想法是训练递归神经网络的输出，形态分析器产生的明确的话。我们目前的性能POS和词元消歧达到或超过了最先进的-包括监督模型-使用没有手动注释的数据。我们评估的方法在几个形态丰富的语言。
2020-07-12 cs.CL
Morphologically Aware Word-Level Translation
University of Cambridge（剑桥大学）；DeepMind（深度思维）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的双语词典归纳概率模型，它以结构化的方式联合建模词素翻译和屈折形态。我们的模型利用了基本的语言直觉，即词位是意义的关键词汇单位，而屈折形态提供了额外的句法信息。这种方法导致了实质性的性能改进-在监督设置中，6种语言对的准确性平均提高了19%，在弱监督设置中提高了16%。作为另一个贡献，我们强调与现代BLI，源于忽视屈折形态学的问题，并提出三个建议，以改善这项任务。
2020-11-15 cs.CL
Morphological and Language-Agnostic Word Segmentation for NMT
Charles University（查理大学）
在神经机器翻译（NMT）中处理丰富形态学的最新技术是将单词形式分解为子单词单元，以便这些单元的总体词汇量符合NMT模型和GPU内存容量给出的实际限制。在本文中，我们比较了两种常见的但在语言上不知情的子词构造方法（BPE和STE，在Tensor2Tensor工具包中实现的方法）和两种语言动机的方法：Morfessor和一种基于派生词典的新方法。我们的实验与德语到捷克语的翻译，都形态丰富，文件，到目前为止，非动机的方法表现得更好。此外，我们确定了BPE和STE之间的关键区别，并为BPE显示了一个简单的预处理步骤，该步骤可以显著提高翻译质量，并通过自动测量进行评估。
2018-06-14 cs.CL
Comparing morphological complexity of Spanish, Otomi and Nahuatl
我们使用两个小的平行语料库比较西班牙语，奥托米语和纳瓦特尔语的形态复杂性。这些语言属于不同的语系，后者资源较少。我们考虑了两个定量标准，一方面是分布的类型在语料库中的令牌，另一方面，困惑和熵作为指标的词结构的可预测性。我们表明，一种语言可以是复杂的，有多少不同的形态词的形式可以产生，然而，它可能是不那么复杂的，其内部结构的单词的可预测性。
2018-08-13 cs.CL
KNET: A General Framework for Learning Word Embedding using Morphological Knowledge
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Nankai University（南开大学）
神经网络技术被广泛应用于获得单词的高质量分布式表示，即，词嵌入，以解决文本挖掘、信息检索和自然语言处理任务。最近，已经提出了有效的方法来从上下文中学习词嵌入，该上下文捕获词之间的语义和句法关系。然而，它是具有挑战性的处理看不见的词或罕见的词与不足的上下文。本文受认知心理学对单词识别过程研究的启发，提出利用看似不太明显但本质上很重要的形态学知识来应对这些挑战。特别是，我们引入了一种新的神经网络架构，称为KNET，利用上下文信息和基于形态学知识构建的形态词相似性来学习词嵌入。同时，该学习架构还能够细化预定义的形态知识，获得更准确的词相似度。在类比推理任务和词相似度任务上的实验都表明，所提出的KNET框架可以大大提高词嵌入的有效性。
2014-09-05 cs.CL cs.LG
Evaluation of Morphological Embeddings for English and Russian Languages
Innopolis University（因诺波利斯大学）
本文评估了基于形态的嵌入英语和俄语。尽管过去人们对几种基于形态学的词嵌入模型很感兴趣，并且在词相似性和语言建模任务上的性能改进也很受欢迎，但在我们的实验中，我们没有观察到对两种基线模型- SkipGram和FastText的任何稳定偏好。形态嵌入表现出的性能是上述两个基线的平均值。
2021-03-11 cs.CL
Morphological Disambiguation of South Sámi with FSTs and Neural Networks
University of Helsinki（赫尔辛基大学）；UiT The Arctic University of Norway（挪威特罗姆瑟大学（挪威北极大学））
我们提出了一种对濒危语言南萨米语进行形态消歧的方法。我们的方法使用一个基于FST的形态分析器，以产生一个模糊的一组形态读数为每个字在一个句子。这些读数是用一个在相关的北萨米UD树库和一些合成生成的南萨米数据上训练的Bi-RNN模型消除歧义的。消除歧义是在形态标记一级进行的，忽略了单词形式和词元;这使得有可能将北萨米语的训练数据用于南萨米语，而不需要双语词典或对齐的词嵌入。我们的方法只需要为南萨米语提供最低限度的资源，这使得它也可用于和适用于任何其他濒危语言。
2020-04-29 cs.CL
Morphological Skip-Gram: Using morphological knowledge to improve word representation
Federal University of Pernambuco（伯南布哥联邦大学）；Federal University of Sergipe（塞尔希培联邦大学）
自然语言处理模型在深度学习社区中引起了很大的兴趣。这一分支的研究是由一些应用，如机器翻译，情感分析，命名实体识别，问答，和其他。词嵌入是连续的词表示，它们是这些应用程序的基本模块，通常用作深度学习模型的输入词表示。Word 2 Vec和GloVe是学习词嵌入的两种流行方法。它们实现了很好的单词表示，但是，它们学习的表示信息有限，因为它们忽略了单词的形态信息，并且每个单词只考虑一个表示向量。这种方法意味着Word 2 Vec和GloVe不知道单词的内部结构。为了缓解这个问题，FastText模型将每个单词表示为一袋字符n-gram。因此，每个n-gram都有一个连续的向量表示，最终的单词表示是其字符n-gram向量的总和。然而，使用一个词的所有n-gram字符是一种糟糕的方法，因为一些n-gram与它们的词没有语义关系，并且增加了潜在无用信息的量。这种方法也增加了训练阶段的时间。在这项工作中，我们提出了一种新的方法来训练词嵌入，其目标是取代FastText袋字符n-gram袋词词素通过形态分析的话。因此，具有相似上下文和词素的词由彼此接近的向量表示。为了评估我们的新方法，我们考虑了15个不同的任务进行了内在评估，结果显示与FastText相比具有竞争力的性能。
2020-07-21 cs.CL cs.LG
From Characters to Words to in Between: Do We Capture Morphology?
University of Edinburgh（爱丁堡大学）
单词可以通过组成子单词单元的表示来表示，诸如单词段、字符和/或字符n-gram。虽然这种表示是有效的，并可能捕捉到的词的形态学特征，他们没有被系统地比较，它是不明白他们如何与不同的形态类型学相互作用。在语言建模任务中，我们提出了系统地改变（1）表征的基本单位，（2）这些表征的组成，以及（3）建模语言的形态类型学的实验。我们的研究结果扩展了以前的研究结果，字符表示是有效的类型学，我们发现，以前未研究的组合组成的字符trigram表示与双LSTM优于大多数其他。但我们也发现了改进的空间：没有一个字符级别的模型与能够获得真正形态分析的模型的预测准确性相匹配，即使是从一个数量级的数据中学习。
2017-04-26 cs.CL
A Morphology-aware Network for Morphological Disambiguation
Huawei Turkey Research and Development Center（华为土耳其研发中心）
由于词的复杂形态，诸如土耳其语、芬兰语和匈牙利语的黏着语在进一步处理之前需要形态消歧。一个形态消歧器是用来选择正确的形态分析的一个词。词法消歧是自然语言处理的第一步，其性能影响后续的分析，因此词法消歧非常重要。在本文中，我们提出了一个系统，使用深度学习技术的形态消歧。计算机视觉、语音识别和自然语言处理领域的许多最新成果都是通过深度学习模型获得的。然而，将深度学习技术应用于形态丰富的语言并没有得到很好的研究。在这项工作中，虽然我们专注于土耳其形态消歧，我们也提出了结果，法语和德语，以表明，所提出的架构实现了高精度，没有特定语言的功能工程或额外的资源。在实验中，我们达到了84.12，88.35和93.78的歧义词之间的土耳其语，德语和法语的形态消歧准确率分别。
2017-02-13 cs.CL
Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西印度大学分校））
由语素重组所引入的歧义为一个词构造了几个可能的屈折变化，使得在形态丰富语言（Morphologically Rich Languages，MRL）中预测句法特征成为一项众所周知的复杂任务。我们提出了多任务深度形态分析器（MT-DMA），这是一种基于印地语和乌尔都语单词级标签标记的多任务学习的字符级神经形态分析器。MT-DMA通过在一个可训练的框架中联合学习所有这些标记来预测印度-雅利安语言单词的一组六个形态标记：词性（POS）、性别（G）、数字（N）、人称（P）、格（C）、时态-体-情态（TAM）标记以及引理（L）。我们通过同时优化多个损失函数和共享用于上下文感知形态分析的初始参数来展示这种深度神经网络的训练的有效性。利用多目标遗传算法为每个标签优化的语音空间中的字符级特征，我们的模型建立了一个新的国家的最先进的准确率得分后，所有七个任务的两种语言。MT-DMA是公开的：代码，模型和数据可在https://github.com/Saurav0074/morph_analyzer上获得。
2019-09-16 cs.CL
LLMs' morphological analyses of complex FST-generated Finnish words
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
本研究通过 FST 生成训练集中少见的复杂芬兰语名词，测试大语言模型的形态泛化能力，发现模型规模越小表现越差，揭示神经 NLP 系统未必真正掌握人类语法规则。
2024-07-11 cs.CL
Subword Tokenization Strategies for Kurdish Word Embeddings
Department of Linguistics, University at Buffalo, Buffalo NY, USA（语言学系，布法罗大学，布法罗纽约州）
针对库尔德语低资源词嵌入任务，对比三类分词策略，发现BPE存在评估偏差，基于语素的分词综合表现更优，为低资源语言分词评估与方法选择提供参考。
2025-11-18 cs.CL
Cognate-aware morphological segmentation for multilingual neural translation
Aalto University（阿尔托大学）；Utopia Analytics
本文介绍了阿尔托大学进入WMT18新闻翻译共享任务。我们参与了多语言子轨道的系统训练下的约束条件下，从英语翻译到芬兰语和爱沙尼亚语。该系统基于Transformer模型。我们专注于提高的一致性形态分割的字是相似的正字法，语义和分布，这样的话，包括词源同源词，借词和专有名词。为此，我们引入同源Morfessor，Morfessor方法的多语言变体。我们表明，我们的方法提高了翻译质量，特别是对于爱沙尼亚语，它有较少的资源来训练翻译模型。
2018-08-31 cs.CL
Morphological Segmentation Inside-Out
Johns Hopkins University（约翰斯·霍普金斯大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；LMU Munich（慕尼黑大学）
形态学分割传统上是用非层次模型建模的，其产生平坦的分割作为输出。然而，在许多情况下，适当的形态分析需要层次结构-特别是在派生形态的情况下。在这项工作中，我们介绍了一个歧视性的，联合模型的形态分割以及在构词过程中发生的拼写变化。据我们所知，这是第一次尝试用上下文无关模型来处理判别分割。此外，我们发布了一个注释树库的7454个英语单词与选区解析，鼓励在这一领域的未来研究。
2021-02-12 cs.CL
Implicitly Incorporating Morphological Information into Word Embedding
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了三个新的模型来增强词嵌入隐式使用形态信息。词汇相似度和句法类比实验表明，隐式模型优于传统的显式模型。我们的模型优于所有最先进的基线，并显着提高了这两项任务的性能。此外，我们在最小语料库上的性能与CBOW在五倍于我们的语料库上的性能相似。参数分析表明，隐式模型可以在词嵌入训练过程中补充语义信息。
2017-05-08 cs.CL cs.LG
Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?
University of Maryland（马里兰大学）
本文通过对比正字法、形态学和BPE分词下的惊讶度估计与阅读时间数据，发现BPE分词总体不逊色，但细粒度分析揭示其潜在问题，并提出形态学感知预测的新评估方法。
2023-10-26 cs.CL
A Multi-head-based architecture for effective morphological tagging in Russian with open dictionary
National Research Tomsk State University（国立研究型托木斯克国立大学）
本文提出基于多头注意力的新型架构，用于俄语形态标注，通过子词分割和向量聚合支持开放式词典，实验显示在SinTagRus和Taiga数据集上达到98%-99%的准确率，且模型训练效率高。
2026-04-03 cs.CL
Analyzer and generator for Pali
University of Trier（特里尔大学）
本文介绍了一个能进行形态分析和巴利文生成的系统。该系统使用规则的屈折范式和词汇数据库。生成器用于构建一个词形变化和派生词的集合，然后由分析器使用。生成和存储形态形式以及对应的形态信息允许分析器进行有效且简单的查找。事实上，通过查找单词并提取附加的形态信息，分析器不必计算该信息。然而，由于我们必须假设词汇数据库是不完整的，因此系统也可以使用基于规则的方法在没有词典组件的情况下工作。
2015-10-06 cs.CL
Machine Learning of Phonologically Conditioned Noun Declensions For Tamil Morphological Generators
Muthiah Polytechnic College（穆蒂亚理工学院）；Annamalai University（安纳马莱大学）
本文提出了机器学习解决方案的自然语言生成（NLG）的实际问题，特别是在黏着语言如泰米尔语的构词，在监督的方式。形态发生器是人工智能中自然语言处理的重要组成部分。它生成给定词根和词缀的单词形式。词素的变化，如增加，删除，改变等，当两个或两个以上的词素或词连接在一起时出现。在基于规则的词法分析器和生成器中，应该明确地指定连读规则。在机器学习框架中，这些规则可以由系统从训练样本中自动学习，随后应用于新的输入。本文提出了从给定的训练数据中学习名词变格的形态音素规则的机器学习模型。利用各种学习算法训练这些模型学习连读变调规则，并给出了这些算法的性能。由此，我们得出结论，机器学习的形态处理，如词的形式生成可以成功地学习在监督的方式，没有明确的规则描述。讨论了决策树和贝叶斯机器学习算法在名词变格问题上的性能。
2014-02-14 cs.CL
Morphological annotation of Korean with Directly Maintainable Resources
Saltlux（盐乐思公司）；Université de Marne-la-Vallée（马恩河谷大学）；Hankuk University of Foreign Studies（韩国外国语大学）
本文介绍了一种专门基于资源的朝鲜语书面文本形态标注方法。朝鲜语是一种黏着语。我们的注释器被设计为在语法分析器操作之前处理文本。在其目前的状态下，它只注释一个词干。输出是一个词素图，标注了准确的语言信息。该标记集的粒度是普通标记集的3 ~ 5倍。与参考注释语料库的比较表明，它实现了89%的召回没有任何语料库训练。该系统使用的语言资源是词干词汇、后缀转换器和异形词生成转换器。所有这些都可以很容易地更新，这允许用户控制系统性能的演变。有人声称，韩语文本的形态标注只能通过访问词素词典的形态分析模块来执行。我们表明，它也可以直接使用单词词典执行，而无需在注释时应用形态规则，从而将注释速度提高到1，210个单词/秒。词汇是通过完全自动化的编译过程从主流语言资源中获得的。
2007-11-21 cs.CL
UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了我们对SIGMORPHON 2019共享任务的贡献：形态学中的跨语言和上下文，任务2：上下文形态分析和词形化。我们提交了UDPipe 2.0的修改，它是CoNLL 2018共享任务中表现最好的系统之一：从原始文本到通用语法的多语言解析，也是2018年外部解析器评估共享任务的总冠军。作为我们的第一个改进，我们使用预训练的上下文嵌入（BERT）作为网络的额外输入;其次，我们使用单个形态特征作为正则化;最后，我们合并相同语言的选定语料库。在词形还原任务中，我们的系统以95.78的词形还原准确率远远超过所有提交的系统（第二名为95.00，第三名为94.46）。在形态分析中，我们的系统紧随其后：我们的形态分析准确率为93.19，获胜系统的93.23。
2019-08-19 cs.CL
Adapting Word Embeddings to New Languages with Morphological and Phonological Subword Representations
Carnegie Mellon University（卡内基梅隆大学）
自然语言处理（NLP）中的许多工作都是针对资源丰富的语言，这使得泛化到新的、资源较少的语言具有挑战性。我们提出了两种方法，以提高低资源的语言通过适应连续的单词表示使用语言动机的子词单位：音素，语素和字素。我们的方法既不需要平行语料库，也不需要双语词典，并提供了一个显着的增益，性能比以前的方法依赖于这些资源。我们证明了我们的方法的有效性命名实体识别的四种语言，即维吾尔语，土耳其语，孟加拉语和印地语，其中维吾尔语和孟加拉语是低资源的语言，并进行实验机器翻译。利用迁移学习的子词，维吾尔语的NER F1提高了+15.2，孟加拉语的NER F1提高了+9.7。我们还表明，在单语设置，我们实现（平均）的改善。+3 F1和（平均值）蓝色+1.35。
2018-08-28 cs.CL
A Characterwise Windowed Approach to Hebrew Morphological Segmentation
Georgetown University（乔治城大学）
本文提出了一种新的方法来分割正字法的词形式在当代希伯来语，专注于纯粹的分裂没有进行形态分析或消歧。将分析任务转换为字符式二进制分类，并使用基于相邻字符和单词的词典查找功能，这种方法在希伯来语的基准SPMRL共享任务数据上实现了98%以上的准确率，在新的域外维基百科数据集上实现了97%的准确率，比以前的最先进性能提高了约4%和5%。
2018-08-28 cs.CL
Compositional Morphology for Word Representations and Language Modelling
University of Oxford（牛津大学）
本文提出了一种可扩展的方法，将组合形态表示集成到基于向量的概率语言模型。我们的方法进行评估的上下文中的日志双线性语言模型，呈现适当的效率内的机器翻译解码器的实施因素的词汇。我们进行了内在和外在的评估，展示了一系列语言的结果，这些语言表明我们的模型学习了在单词相似性任务上表现良好的形态表示，并导致困惑的大幅减少。当用于翻译成具有大词汇量的形态丰富的语言时，我们的模型相对于使用退避n-gram模型的基线系统获得了高达1.2个BLEU点的改进。
2014-05-16 cs.CL
CKMorph: A Comprehensive Morphological Analyzer for Central Kurdish
Sharif University of Technology（谢里夫理工大学）；University of Tehran（德黑兰大学）；Ryerson University（瑞尔森大学）；Avignon University（阿维尼翁大学）
形态分析器是许多自然语言处理应用的重要组成部分，特别是对于形态丰富的语言，它将输入的单词划分为所有组成词素并识别它们的形态角色。在本文中，我们介绍了一个全面的形态分析器中央库尔德语（CK），一个低资源的语言与丰富的形态。在有限的现有文献的基础上，我们首先组装和系统地分类了一个全面的收集形态和形态音位规则的语言。此外，我们收集并手动标记了一个生成词典，其中包含近10，000个动词，名词和形容词词干，命名实体和其他类型的词干。我们使用这些规则集和资源来实现基于有限状态转换器的CKMorph Analyzer。为了为未来的研究提供基准，我们收集，手动标记，并公开共享测试集，以评估分析仪的准确性和覆盖率。CKMorph能够正确分析95.9%的准确率测试集，包含根据上下文进行形态分析的1，000个CK单词。此外，CKMorph对覆盖测试集的422万个CK标记中的95.5%给出了至少一个分析。该应用程序的演示和资源，包括CK动词数据库和测试集，可在https://github.com/CKMorph上公开访问。
2022-03-02 cs.CL
A Freely Available Morphological Analyzer, Disambiguator and Context Sensitive Lemmatizer for German
在本文中，我们提出了Morphy，德语形态，词性标注和上下文敏感的词形化的综合工具。它拥有超过320，000个单词形式的大型词典，加上它处理德语复合名词的能力，保证了广泛的形态覆盖范围。句法歧义可以用标准的统计词性标注器来解决。通过使用标记器的输出，词形化器可以确定正确的词根，即使是有歧义的单词形式。完整的软件包是免费提供的，可以从万维网下载。
1998-09-23 cs.CL
Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags
Boğaziçi University（博阿齐奇大学）
以前的研究表明，一个词的语言特征，如拥有，所有格或其他语法情况下，可以采用在单词表示的命名实体识别（NER）标记，以提高性能的形态丰富的语言。然而，这些标签需要外部形态消歧（MD）工具的功能，这是很难获得或不存在的许多语言。在这项工作中，我们提出了一个模型，通过共同学习NER和MD标记的语言，其中一个可以提供一个候选形态分析列表，从而证明了需要这样的消歧器。我们表明，这可以做到独立的形态注释方案，不同的语言。我们的实验采用三种不同的模型架构，加入这两个任务表明，联合学习提高NER的性能。此外，形态消歧器的性能是有竞争力的。
2018-07-17 cs.CL
The Frankfurt Latin Lexicon: From Morphological Expansion and Word Embeddings to SemioGraphs
Goethe Universität Frankfurt am Main（法兰克福大学）
在这篇文章中，我们提出了法兰克福拉丁语词典（FLL），一个词汇资源中世纪拉丁语，用于拉丁语文本的词形化和词形化的后期编辑。我们描述了lemmatizers的发展，并测试他们对Capitularies语料库（包括法兰克皇家法令，6世纪中期至9世纪中期），语料库创建作为处理中世纪拉丁语的参考最近的进展。我们还考虑使用有限的众包过程，旨在不断审查和更新的FLL的lemmatizations后校正。从这个词形还原过程产生的文本开始，我们描述了通过词嵌入的FLL的扩展，通过符号图的交互式遍历完成了数字增强的解释循环。通过这种方式，本文主张对词形化有一个更全面的理解，包括经典的机器学习以及智能后校正，特别是基于底层词汇资源的图形表示的解释过程形式的人类计算。
2020-05-21 cs.CL
Correlation Does Not Imply Compensation: Complexity and Irregularity in the Lexicon
McGill University（麦吉尔大学）；ETH Zurich（苏黎世联邦理工学院）；Mila（米拉 Quebec AI研究院）
本文在25种语言上重新检验词长、频率、音位配列复杂性与形态不规则性之间的关系，发现语言内平均存在正相关而非补偿性负相关，并识别出词长与不规则性的微弱负相关，表明部分既有结论不够稳健。
2024-06-07 cs.CL
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心应用数学研究所）；Petrozavodsk State University（彼得罗扎沃茨克国立大学）；Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所）
本研究致力于低资源Veps和卡累利阿语言。本文介绍了为词分配词性标记和为词分配语法属性的算法。这些算法使用我们的形态词典，其中每个单词形式的词元、词性和一组语法特征（语法集）都是已知的。该算法基于相似性假设，即具有相同后缀的词可能具有相同的屈折模式、相同的词性和语法集。对这些算法的精度进行了评价和比较。31.3万Vepsian和6.6万卡累利阿词被用来验证这些算法的准确性。特殊功能的设计，以评估开发的算法的结果的质量。92.4%的Vepsian词和86.8%的卡累利阿词被分配了一个正确的词性由开发的算法。我们的算法为95.3%的Vepsian词和90.7%的Karelian词分配了正确的语法集。本文介绍了语料库处理过程中密切相关、不可分割的词形标注和语义标注。
2021-03-22 cs.CL cs.IR
A Morpho-Syntactically Informed LSTM-CRF Model for Named Entity Recognition
Sofia University（索非亚大学）；IICT-BAS（保加利亚科学院信息与通信技术研究所）
我们提出了一种基于形态信息的命名实体识别模型，该模型基于LSTM-CRF架构，结合了词嵌入、Bi-LSTM字符嵌入、词性（POS）标签和形态信息。虽然以前的工作主要集中在从原始单词输入中学习，只使用单词和字符嵌入，但我们表明，对于形态丰富的语言，如保加利亚语，访问POS信息比详细的形态信息更有助于提高性能。因此，我们表明，命名实体识别只需要粗粒度的POS标签，但在同一时间，它可以受益于同时使用一些不同粒度的POS信息。我们对标准数据集的评估结果显示，保加利亚NER的最新技术水平有了相当大的改进。
2019-08-27 cs.CL
The Acquisition of Semantic Relationships between words
University Ibn Khaldoun（伊本·赫勒敦大学）
本文研究词语语义关系与语言形态之间的动态联系，通过分析词的内部结构及其构成，揭示其对语言解释和理解的影响。
2023-07-12 cs.CL
Context Aware Lemmatization and Morphological Tagging Method in Turkish
Kocaeli University（科贾埃利大学）
本文面向土耳其语提出结合双向 LSTM 与 Turkish BERT 的上下文感知词形还原和形态标注模型，并在 IMST、PUD 上验证其优于 SIGMORPHON 2019 结果。
2025-01-04 cs.AI cs.CL
Low-resource neural machine translation with morphological modeling
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出一种面向低资源神经机器翻译的形态建模框架，采用双层Transformer编码形态信息、多任务多标签训练与束搜索解码，并通过注意力增强集成预训练语言模型及数据增强，在基尼亚卢旺达语—英语翻译上取得与大型多语言模型相当的竞争力。
2024-04-03 cs.CL
Learning Word Sense Embeddings from Word Sense Definitions
Peking University（北京大学）；Collaborative Innovation Center for Language Ability（语言能力协同创新中心）
词嵌入在许多现代自然语言处理系统中起着重要的作用。由于学习每个单词的一个表示对于多义词和同音词来说是有问题的，研究人员建议使用每个词义的一个嵌入。他们的方法主要是在语料库上训练词义嵌入。在本文中，我们建议使用词义定义来学习每个词义的一个嵌入。在词汇相似度测试和词义消歧测试中的实验结果表明，该方法产生的词义嵌入具有较高的质量。
2016-10-24 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
