Analyzing Finnish Inflectional Classes through Discriminative Lexicon and Deep Learning Models
University of Eastern Finland（东芬兰大学）；National Taiwan Normal University（台湾师范大学）；University of Tübingen（图宾根大学）
本研究利用芬兰语高频名词屈折数据集，探究判别词典模型在不预设屈折变化类的情况下的屈折理解与生成能力，验证了模型性能与屈折类能产性的关联及频率在使用导向模型中的主导作用。
2025-09-05 cs.CL
MORFES: A Benchmark for Productive Inflectional Competence in Modern Greek
Sophea AI
该研究针对现代希腊语屈折生成能力缺乏专用基准的问题，构建了含500个条目的MORFES基准，评估多款开源模型，其中自研的Sophea-Genesis-1在屈折形态任务中表现领先。
2026-07-31 cs.CL cs.LG
Morphological Disambiguation from Stemming Data
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；University of Oregon（俄勒冈大学）
词法分析和消歧是对词法丰富的语言进行自然语言处理的一项重要任务和关键的预处理步骤。基尼亚卢旺达语是一种形态丰富的语言，目前缺乏自动形态分析的工具。虽然语言策划的有限状态工具可以很容易地开发用于形态分析，但语言的形态丰富性允许产生许多模糊的分析，需要有效的消歧。在本文中，我们提出了学习从形态学上消除歧义Kinyarwanda口头形式从一个新的词干数据集收集通过众包。使用特征工程和基于前馈神经网络的分类器，我们实现了约89%的非上下文消歧准确率。我们的实验表明，词干的屈折变化特性和词素关联规则是最具鉴别力的消歧特征。
2020-11-11 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Evaluating Transformer-Based Multilingual Text Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着NLP工具在当今的技术领域变得无处不在，它们越来越多地应用于具有各种类型结构的语言。然而，NLP研究并不主要集中在其分析最先进的语言模型的类型学差异。因此，NLP工具在具有不同句法和形态结构的语言中表现不平等。通过对词序类型学、形态类型学和比较语言学的详细讨论，我们确定了哪些变量最影响语言建模效果;此外，我们计算了词序和形态相似性指数，以帮助我们的实证研究。然后，我们使用这个背景来支持我们的分析，我们进行的实验，使用多类文本分类的八种语言和八个模型。
2020-04-30 cs.CL
Why do language models perform worse for morphologically complex languages?
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文通过复现实验和提出MorphScore分词评估指标，证明语言模型性能差距主要源于训练数据规模差异而非语言形态类型本身。
2024-11-21 cs.CL
Mapping 'when'-clauses in Latin American and Caribbean languages: an experiment in subtoken-based typology
The Alan Turing Institute（阿兰·图灵研究所）
本文针对拉丁美洲与加勒比语言'when'-从句的时间从属表达变异，提出结合字符n-grams与英语when的概率语义地图方法，有效捕捉形态连接手段，为大规模策略无关的类型学分析铺路。
2024-04-28 cs.CL cs.IR
The Limits of BPE Tokenization in Polish: Segmentation-Flexional Forms, Grammatical Anchoring, and First-Person Stability in Inflectional Language Models
University of Lower Silesia DSW（下西里西亚DSW大学）
本文以波兰语为案例，揭示BPE分词在屈折语言中无法稳定锚定语法范畴，提出语法形式锚定概念，并建议通过次词汇稳定化、屈折系统锚定及维持语法“我”来改进建模。
2026-09-17 cs.CL
Combining Hand-crafted Rules and Unsupervised Learning in Constraint-based Morphological Disambiguation
本文提出了一种基于约束的形态消歧方法，适用于具有复杂形态的语言-特别是具有生产性屈折和派生形态现象的黏着语言。在某些方面，我们的方法受到了Brill最近工作的启发，但观察到他的转换方法并不直接适用于土耳其语等语言。我们的系统结合了语料库独立手工制作的约束规则，约束规则，通过无监督学习从训练语料库，和额外的统计信息，从语料库的形态消歧。手工制定的规则是基于语言的，并经过调整以提高准确率而不牺牲召回率。无监督学习过程产生两组规则：（i）选择规则，其选择满足约束的词汇项的形态分析，有效地丢弃其他分析，以及（ii）删除规则，其删除满足约束的分析。我们的方法还使用了一种新的方法来处理未知的单词，通过采用二级形态处理器，该处理器可以从词根未知的词汇项中恢复任何相关的屈折和派生信息。通过这种方法，在我们实验过的文本中，远低于1%的标记仍然是未知的。我们的研究结果表明，通过结合这些手工制作的，统计和学习的信息源，我们可以达到96%至97%的召回率，相应的精确度为93%至94%，每个标记的模糊度为1.02至1.03。
1996-04-12 cmp-lg cs.CL
The SIGMORPHON 2020 Shared Task on Unsupervised Morphological Paradigm Completion
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们描述了SIGMORPHON 2020共享任务在无监督形态范式完成（SIGMORPHON 2020任务2），在屈折形态学领域的一个新的任务的结果。参与者被要求提交系统，该系统将原始文本和词元列表作为输入，并输出所有的屈折形式，即，每个词元的整个形态学范式。为了模拟真实的用例，我们首先发布了5种开发语言的数据。然而，系统在9种令人惊讶的语言上进行了正式评估，这些语言在提交截止日期前几天才公布。我们提供了一个模块化的基线系统，它是一个由4个组件组成的管道。3个团队总共提交了7个系统，但令人惊讶的是，没有一个提交的系统能够在所有9种测试语言的平均基线上有所改进。只有3种语言的提交系统获得了最佳结果。这表明，无监督的形态学范式完成在很大程度上仍然没有解决。我们在这里提出了一个分析，以便这个共同的任务将进一步研究的主题。
2020-05-28 cs.CL
From Phonology to Syntax: Unsupervised Linguistic Typology at Different Levels with Language Embeddings
Department of Computer Science（计算机科学系）；University of Copenhagen（哥本哈根大学）；Denmark（丹麦）
语言类型学的一个核心部分是根据语言特性对语言进行分类，例如世界语言结构地图集（WALS）中详细描述的语言。手动完成这项工作非常耗时，这在一定程度上可以从以下事实中得到证明：世界上使用的7，000多种语言中只有100种完全覆盖在WALS中。我们学习分布式语言表示，它可用于在大规模多语言规模上预测类型学属性。此外，对这些语言嵌入的定量和定性分析可以告诉我们语言相似性如何在不同类型水平的任务的NLP模型中编码。这些表征是以无监督的方式与三个类型学层面的任务一起学习的：音位学（字素到音素的预测和音素重建），形态学（形态变化）和句法（词性标记）。我们考虑了800多种语言，并根据目标任务的不同，发现编码的语言表示存在显著差异。例如，虽然挪威博克莫尔语和丹麦语在类型上彼此接近，但它们在语音上是遥远的，这反映在它们的语言嵌入在语音任务中变得相对遥远。我们还能够以高精度预测WALS中的类型学特征，即使是看不见的语言家族。
2018-02-23 cs.CL
Rapid Development of Morphological Descriptions for Full Language Processing Systems
我描述了一个编译器和开发环境的功能增强两级形态规则集成到一个完整的NLP系统。编译器针对包括许多或大多数欧洲语言在内的一类语言进行了优化，并针对新语言描述的快速开发和调试进行了优化。关键的设计决策是在编译描述时，组合形态音位和形态句法信息，而不是词汇。这导致典型的编译时间约为一分钟，并允许一个新的语言学家在大约一个月的时间内开发出一个相当完整的、基于特征的法语屈折形态描述。
1995-02-08 cmp-lg cs.CL
CoNLL-SIGMORPHON 2017 Shared Task: Universal Morphological Reinflection in 52 Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Zurich（苏黎世大学）；University of Melbourne（墨尔本大学）；Google（谷歌）；Indiana University（印第安纳大学）；University of Colorado（科罗拉多大学）
CoNLL-SIGMORPHON 2017共享的监督形态生成任务要求系统在52种类型学上不同的语言中进行训练和测试。在子任务1中，提交的系统被要求预测给定引理的特定变形形式。在子任务2中，系统被给予一个引理及其一些特定的屈折形式，并被要求通过预测所有剩余的屈折形式来完成屈折范式。这两个子任务包括高、中和低资源条件。子任务1收到24个系统提交，而子任务2收到3个系统提交。继神经序列到序列模型在SIGMORPHON 2016共享任务中取得成功之后，除了一个提交的文件外，所有提交的文件都包含了神经组件。结果表明，只要模型具有适当的归纳偏差，或者利用额外的未标记数据或合成数据，就可以在较小的训练数据集上获得较高的性能。然而，不同的偏置和数据增强导致正确预测不相交的变形形式集，这表明未来还有改进的空间。
2017-07-04 cs.CL
Towards Finite-State Morphology of Kurdish
Insight Centre for Data Analytics, National University of Ireland Galway（爱尔兰国立大学戈尔韦分校Insight数据分析中心）；University of Kurdistan Hewlêr（库尔德斯坦埃尔比勒大学）
词法分析是对词的构成和结构的研究。它在自然语言处理（NLP）和计算语言学（CL）的各种任务中发挥着至关重要的作用，例如机器翻译以及文本和语音生成。库尔德语是一种资源较少的多方言印欧语言，具有高度曲折的形态。本文首次尝试从计算的角度对库尔德语（索拉尼方言）的词法进行描述。我们提取的形态规则被转换成有限状态转换器生成和分析的话。这项研究的结果有助于进行语言生成的库尔德语的研究，并提高了信息检索（IR）的语言能力，同时利用库尔德语的NLP和CL到一个更先进的计算水平。
2020-05-21 cs.CL
Quantifying Synthesis and Fusion and their Impact on Machine Translation
University of Edinburgh（爱丁堡大学）；New York University（纽约大学）；Aalborg University（奥尔堡大学）
形态类型学的理论工作提供了在连续尺度上测量形态多样性的可能性。然而，自然语言处理（NLP）的文献通常用严格的形态类型（例如融合或粘着）来标记整个语言。在这项工作中，我们建议减少刚性的索赔，通过量化形态类型学在词和段的水平。我们考虑Payne（2017）使用两个指标对形态进行分类的方法：合成（例如，分析到多合成）和融合（凝集到融合）。对于计算合成，我们测试无监督和监督形态分割方法的英语，德语和土耳其语，而融合，我们提出了一个半自动的方法，使用西班牙语作为案例研究。然后，我们分析了机器翻译质量与词（英语-土耳其语中的名词和动词，英语-西班牙语中的动词）和段水平（先前的语言对加上英语-德语两个方向）的合成和融合程度之间的关系。我们用人工评估来补充词级分析，总体而言，我们观察到这两个指标对机器翻译质量的影响是一致的。
2022-05-06 cs.AI cs.CL
MorfFlex: Handling Rich Morphology
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics（查尔斯大学数学物理学院形式与应用语言学研究所）
提出MorfFlex形态词典架构，以捷克语词典为例，通过屈折和派生模式高效管理超1亿词形，支持语料库标注一致性和NLP工具开发。
2026-11-11 cs.CL
Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers
Faculty of Arts and Humanities, Heinrich Heine University Düsseldorf（海因里希-海涅大学杜塞尔多夫分校艺术与人文学院）；Department of English Language and Linguistics（英语语言与语言学系）；Institute of Linguistics（语言学研究所）；Department of Linguistics, College of Liberal Arts and Sciences, University of Florida（佛罗里达大学文理学院语言学系）
针对西班牙语动词不规则L形形态模式，本研究将其转化为形态重屈折任务，通过Transformer模型分析输入频率的作用，揭示了频率对模型习得规则与不规则模式的影响及相关行为规律。
2025-05-27 cs.CL
Morphological Synthesizer for Ge'ez Language: Addressing Morphological Complexity and Resource Limitations
Axum University（阿克苏姆大学）；L3S Research Center, Leibniz University Hannover（汉诺威莱布尼茨大学L3S研究中心）
针对盖兹语形态复杂且资源匮乏的问题，提出基于规则的形态合成器，从词根生成表层词，在1,102个动词上达到97.4%的准确率，优于基线。
2025-09-24 cs.AI cs.CL
FST Morphology for the Endangered Skolt Sami Language
University of Helsinki（赫尔辛基大学）
我们提出了一个基于FST的形态分析器和Skolt萨米语生成器的发展进展。像其他少数民族乌拉尔语一样，斯科尔特萨米语一方面表现出丰富的形态学，另一方面几乎没有黄金标准材料。这使得NLP方法在没有坚实的形态分析的情况下难以进行研究。这种语言受到严重威胁，本文件所介绍的工作是其振兴努力的一个更大整体的一部分。此外，我们在描述中穿插了基础设施中没有很好记录的促进和描述实践。目前，该分析器涵盖了148种屈折变化范例和12种以上派生形式的30 000多个Skolt萨米语单词。
2020-04-09 cs.CL cs.FL
Mind the Gap: Assessing Wiktionary's Crowd-Sourced Linguistic Knowledge on Morphological Gaps in Two Related Languages
Stanford University OHS（斯坦福大学OHS）
本研究通过定制神经形态分析器评估维基词典在拉丁语和意大利语中的形态缺口可靠性，发现7%的拉丁语词根存在争议。
2026-02-01 cs.CL cs.CY
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心应用数学研究所）；Petrozavodsk State University（彼得罗扎沃茨克国立大学）；Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所）
本研究致力于低资源Veps和卡累利阿语言。本文介绍了为词分配词性标记和为词分配语法属性的算法。这些算法使用我们的形态词典，其中每个单词形式的词元、词性和一组语法特征（语法集）都是已知的。该算法基于相似性假设，即具有相同后缀的词可能具有相同的屈折模式、相同的词性和语法集。对这些算法的精度进行了评价和比较。31.3万Vepsian和6.6万卡累利阿词被用来验证这些算法的准确性。特殊功能的设计，以评估开发的算法的结果的质量。92.4%的Vepsian词和86.8%的卡累利阿词被分配了一个正确的词性由开发的算法。我们的算法为95.3%的Vepsian词和90.7%的Karelian词分配了正确的语法集。本文介绍了语料库处理过程中密切相关、不可分割的词形标注和语义标注。
2021-03-22 cs.CL cs.IR
Agent-based models for the evolution of morphological alternation patterns
通过多智能体模拟，研究形态交替（如go/went）的涌现机制，发现无标度社交网络和随机采纳策略能产生更真实的形态模式。
2026-06-12 cs.CL
Integrating Linguistics and AI: Morphological Analysis and Corpus development of Endangered Toto Language of West Bengal
Adamas University（阿达马斯大学）
本研究融合传统语言学与AI，通过田野调查构建托托语语素标注三语语料库，训练小型语言模型和Transformer翻译引擎，并开发三语学习应用，为濒危语言保护提供可持续模型。
2025-10-26 cs.AI cs.CL
Typologically-Informed Candidate Reranking for LLM-based Translation into Low-Resource Languages
ZWAG AI Ltd（ZWAG人工智能有限公司）；Dubai AI Campus（迪拜人工智能校园）；DIFC（迪拜国际科技论坛）
本文提出一种基于语言类型学的候选重排序框架，通过语言类型学分析提升低资源语言翻译质量，无需平行数据或模型重训练。
2026-02-01 cs.CL
Byte Pair Encoding Is All You Need For Automatic Bengali Speech Recognition
University of Groningen（格罗宁根大学）；University of Malta（马耳他大学）
本研究针对孟加拉语形态复杂的特点，实证确定BPE分词的最优词元数量，对比多种分词方法后发现，引入BPE可显著降低孟加拉语分布外ASR任务的词错率。
2024-01-28 cs.CL cs.SD eess.AS
