Contextualization of Morphological Inflection
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
自然语言生成的关键是产生正确的屈折文本。在本文中，我们隔离的任务，预测一个完全曲折的句子，其部分词形化的版本。与传统的形态变化或表面实现不同，我们的任务输入不提供“黄金”标签，指定在每个词形化的单词上实现什么形态特征;相反，这些特征必须从原始上下文中推断出来。我们开发了一个神经混合图形模型，可以在预测变形形式之前显式重建形态特征，并将其与直接预测变形形式而不依赖任何形态注释的系统进行比较。我们在Universal Approximations树库中的几种类型多样的语言上进行了实验，展示了将语言动机的潜变量纳入NLP模型的实用性。
2019-05-04 cs.CL
Morphological Inflection: A Reality Check
Stony Brook University（石溪大学）；University of Florida（佛罗里达大学）
本文揭示形态学屈折变化任务中数据集构建与评估方式会系统性夸大性能并掩盖语言差异，进而提出更贴近实际使用场景的数据采样与评估策略，并据此重新考察现有系统的泛化能力。
2023-05-25 cs.CL
A Structured Variational Autoencoder for Contextual Morphological Inflection
Johns Hopkins University（约翰斯·霍普金斯大学）
统计形态偏转器通常在完全监督的类型级数据上训练。剩下的一个开放的研究问题是：我们如何有效地利用原始的令牌级数据来提高其性能？为此，我们引入了一种新的生成潜变量模型的半监督学习的拐点生成。为了使后验推理的潜变量，我们得到一个有效的变分推理过程的基础上的唤醒-睡眠算法。我们在23种语言上进行了实验，在模拟的低资源环境中使用Universal Objectives语料库，在某些情况下发现绝对准确率提高了10%以上。
2020-02-25 cs.CL
Rule-based Morphological Inflection Improves Neural Terminology Translation
University of Maryland（马里兰大学）
在机器翻译（MT）中结合术语约束的当前方法通常假设约束术语以其正确的形态形式提供。这限制了它们在现实世界中的应用，其中约束条件作为引理提供。在本文中，我们介绍了一个模块化的框架，将引理约束的神经MT（NMT）中的语言知识和不同类型的NMT模型可以灵活地应用。它是基于一种新的跨语言的变形模块，变形的目标词元的约束的基础上的源上下文。我们探索语言动机的规则为基础的和数据驱动的神经为基础的变形模块和设计英语-德语健康和英语-立陶宛语新闻测试套件，以评估他们在领域自适应和低资源MT设置。结果表明，我们基于规则的拐点模块有助于NMT模型比神经模块更准确地纳入引理约束，并且以更低的训练成本优于现有的端到端方法。
2021-10-08 cs.CL
Searching for Search Errors in Neural Morphological Inflection
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
神经序列到序列模型是当前语言生成任务的主要选择。然而，在单词级别的任务中，这些模型的精确推理表明，空字符串通常是全局最优的。先前的工作推测这种现象是由于语言生成的神经模型的不足。然而，在形态拐点的情况下，我们发现，空字符串几乎从来都不是模型下的最可能的解决方案。此外，贪婪搜索通常会找到全局最优值。这些观察结果表明，许多神经模型的校准不良可能源于特定任务子集的特征，而不是这些模型对语言生成的普遍不适。
2021-02-16 cs.CL
Minimal Supervision for Morphological Inflection
Bar Ilan University（巴伊兰大学）
神经模型的各种口味的形态变化的任务已被证明是非常准确的充分标记的数据-数据可能是缓慢和昂贵的获得。在这项工作中，我们的目标是克服这个注释瓶颈，引导标记的数据从一个种子少到{ \em five}标记的范例，伴随着大量的未标记的文本。我们的方法在两个阶段的设置中利用形态系统中的不同种类的匹配，其中基于{ \em类比}的词标记之后是基于{ \em距离}的词配对。我们的实验与范式细胞填充问题超过8个类型学上不同的语言，并发现，在语言相对简单的形态，正字法的字母对自己允许变形模型，以实现可观的准确性。组合的拼写和语义的语法减轻了特别复杂的形态-语音系统的困难。我们的研究结果表明，手工制作许多标记的例子可能是不必要的努力。然而，还需要做更多的工作，以处理很少使用的表格。
2021-10-12 cs.CL
The SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Melbourne（墨尔本大学）；Allen Institute for AI（艾伦人工智能研究所）；Google（谷歌）；University of Helsinki（赫尔辛基大学）；Stony Brook University（石溪大学）；University of Colorado（科罗拉多大学）
SIGMORPHON 2019分享了关于跨语言迁移和形态学语境分析的任务，研究了100种语言对之间的屈折变化的迁移学习，以及66种语言的语境词形化和形态句法描述。第一个任务通过考察形态屈折变化知识从高资源语言到低资源语言的迁移来发展过去几年的屈折变化任务。今年还提出了一个新的第二个挑战词形化和形态特征分析的背景。所有提交的作品都有一个神经组件，并建立在今年的强大基线或前几年共享任务的高排名系统上。每个参与团队的准确性都比拐点任务的基线有所提高（尽管不是Levenshtein距离），而上下文分析任务中的每个团队都在最先进的神经和非神经基线上有所提高。
2020-02-25 cs.CL
Learning to Learn Morphological Inflection for Resource-Poor Languages
New York University（纽约大学）
我们建议铸造的任务形态变形-映射一个词元到一个指示的变形形式-资源贫乏的语言作为一个元学习问题。将每种语言视为一个单独的任务，我们使用来自高资源源语言的数据来学习一组模型参数，这些参数可以作为对资源贫乏的目标语言进行微调的强大初始化点。在3个语言家族的29种目标语言上进行的实验表明，我们提出的方法优于所有基线。特别是，它获得了比先前提出的跨语言迁移模型高31.7%的绝对准确度，并且在语言上平均超过1.7%的绝对准确度。
2020-04-28 cs.CL
UzMorphAnalyser: A Morphological Analysis Model for the Uzbek Language Using Inflectional Endings
Urgench State University（乌尔根奇国立大学）
针对乌兹别克语黏着形态导致的数据稀疏问题，本文构建带形态信息的完整词尾集与数据集，提出覆盖词干提取、词形还原和特征抽取的UzMorphAnalyser，在5300词测试集上准确率超过91%。
2024-06-12 cs.CL
Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning
Information Sciences Institute（信息科学研究所）；University of Southern California（南加利福尼亚大学）
神经结构的最新进展使形态学规则学习的问题重新出现。我们评估的Transformer作为一个模型的形态学规则学习，并比较它与递归神经网络（RNN）的英语，德语和俄语。我们提出了一个迄今为止被忽视的问题，形态差距，一个词的预期变化是失踪。例如，63个俄语动词缺少第一人称单数现在时形式，以至于人们不能舒服地说“*oščušču”（“我感觉”）。甚至英语也有空白，比如“stride”的过去分词：形态屈折变化的功能可能是局部的。这两种神经结构都产生了本应缺失的变化。分析表明，Transformers概括了训练数据中拐点的统计分布，类似于RNN。模型在英语和德语上的成功是由这些语言中的规则可以与大多数形式相识别这一事实驱动的，这是不普遍的。
2021-05-08 cs.CL
Finding the way from ä to a: Sub-character morphological inflection for the SIGMORPHON 2018 Shared Task
Universität Hamburg（汉堡大学）
在本文中，我们描述了UHH提交给CoNLL的系统-SIGMORPHON 2018共享任务：通用形态学再变形。我们提出了一种基于UZH概念的神经架构（Makarov等人，2017年），在其关键概念中加入新的想法和技术，并评估不同的参数组合。由此产生的系统是一个语言无关的网络模型，其目的是通过在单个字符的图形特征上引入等价类来减少学习编辑操作的数量。我们试图通过比较不同的网络配置和评估我们的结果在广泛的语言来确定这种方法的优点和缺点。
2018-09-15 cs.CL
(Un)solving Morphological Inflection: Lemma Overlap Artificially Inflates Models' Performance
Bar-Ilan University（巴伊兰大学）
在形态学领域，屈折是一个基本而重要的任务，近年来获得了很大的吸引力，主要是通过SIGMORPHON的共享任务。所有语言的平均准确率都在0.9以上，即使提供的数据很少，该任务也被认为主要是使用相对通用的神经seq 2seq模型解决的。在这项工作中，我们建议重新评估形态拐点模型，采用更硬的训练测试分裂，这将挑战模型的泛化能力。特别是，相对于天真的分裂的形式，我们提出了一个分裂的引理方法来挑战现有的基准性能。我们对SIGMORPHON 2020年共享任务中排名最高的三个系统进行的实验表明，对于所包含的90种语言，lemma-split在宏观平均水平上平均下降了30个百分点。这种影响对于低资源语言最为显著，下降幅度高达95分，但即使是高资源语言平均也会下降约10分。我们的研究结果清楚地表明，将拐点推广到看不见的引理还远远没有解决，这为推广更复杂的模型提供了一种简单而有效的方法。
2022-03-20 cs.CL
Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models
University of Colorado（科罗拉多大学）
深度学习序列模型已成功应用于形态学拐点的任务。SIGMORPHON共享任务在过去几年中的结果表明，这样的模型可以表现良好，但前提是训练数据覆盖大量不同的引理，或者在训练中也可以看到在测试时发生变化的引理，就像这些任务中的情况一样。令人惊讶的是，标准模型，如Transformer，当被要求改变以前看不见的词元时，几乎完全无法概括变化模式-即在“wug测试”-类似的情况下。虽然建立的数据增强技术可以用来减轻这一缺点，通过引入复制偏见幻觉合成新词形式使用的字母在手头的语言，我们表明，为了更有效，幻觉过程需要注意的子串的音节长度，而不是个别字符或茎。我们报告了一个显着的性能改善与我们的基于子串的幻觉模型比以前的数据幻觉方法时，训练和测试数据不重叠，在他们的引理。
2021-04-13 cs.CL
Improving Low-Resource Morphological Inflection via Self-Supervised Objectives
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes Gutenberg University Mainz（美因茨约翰尼斯·古滕贝格大学）；Kensho Technologies（Kensho技术公司）
本文在极低资源场景下系统评估了13种自监督辅助目标对形态屈折变化任务的作用，发现字符掩码语言建模结合词素边界采样能持续提升19种语言上的建模性能。
2025-06-05 cs.CL
A Resource for Studying Chatino Verbal Morphology
University of Louisville（路易斯维尔大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Kentucky（肯塔基大学）
我们提出的第一个资源，重点放在圣胡安Quiahije Chatino，在墨西哥讲的音调中美洲语言的口头屈折形态。我们提供了一个完整的198 lemmata，形态标签的基础上UniMorph架构的变形表的集合。我们还提供了三个核心NLP任务的基线结果：形态分析，词形化和形态变化。
2020-04-05 cs.CL
Morphological Inflection with Phonological Features
Bar-Ilan University（巴伊兰大学）
本研究提出两种方法将音韵特征引入词形变化模型，实验表明其性能与字素基线相当，并推断字符分布模式可隐式编码音韵信息。
2023-06-21 cs.CL
Not All Irregularity Is Equal: Causally Isolating a Rare Failure Mode in Japanese Morphological Inflection
通过正字法感知诊断和因果消融实验，发现日语过去式屈折中罕见的不规则子类（词干以/e/结尾需双写）贡献了不成比例的错误，其影响远超一般不规则性，提示评估需细粒度子类分析。
2026-09-21 cs.CL
Morphologically Aware Word-Level Translation
University of Cambridge（剑桥大学）；DeepMind（深度思维）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的双语词典归纳概率模型，它以结构化的方式联合建模词素翻译和屈折形态。我们的模型利用了基本的语言直觉，即词位是意义的关键词汇单位，而屈折形态提供了额外的句法信息。这种方法导致了实质性的性能改进-在监督设置中，6种语言对的准确性平均提高了19%，在弱监督设置中提高了16%。作为另一个贡献，我们强调与现代BLI，源于忽视屈折形态学的问题，并提出三个建议，以改善这项任务。
2020-11-15 cs.CL
Modeling Target-Side Inflection in Neural Machine Translation
LMU Munich（慕尼黑大学）；Memsource；University of Stuttgart（斯图加特大学）
NMT系统存在词汇量大的问题。字节对编码（BPE）是解决这个问题的流行方法，但是尽管BPE允许系统生成任何目标端单词，但是它不能在具有强屈折现象的形态丰富的语言中的丰富词汇上实现有效的泛化。我们引入一种简单的方法来克服这个问题，通过训练系统来产生一个词的词元及其形态丰富的POS标签，然后进行确定性生成步骤。我们将此策略应用于英语-捷克语和英语-德语翻译场景，在这两种设置中都得到了改进。此外，我们表明，改善是不是由于只添加明确的形态信息。
2017-09-05 cs.CL
Exploring Linguistic Probes for Morphological Generalization
Stony Brook University（石溪大学）
本文提出语言特定探针以测试形态学泛化，发现三种领先的形态学词形变化系统在英语、西班牙语和斯瓦希里语的正字法及语音输入上采用了不同的泛化策略。
2023-10-20 cs.CL
Corpus Frequencies in Morphological Inflection: Do They Matter?
Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本研究探讨语料库频率对形态屈折变化的影响，提出频率感知训练方法，在43种语言中26种优于均匀采样，并引入词元准确率评估。\n
2025-10-27 cs.CL
Copenhagen at CoNLL--SIGMORPHON 2018: Multilingual Inflection in Context with Explicit Morphosyntactic Decoding
University of Copenhagen（哥本哈根大学）
本文记录了哥本哈根团队系统，该系统在CoNLL-SIGMORPHON 2018通用形态再反射共享任务2中排名第一，总体准确度为49.87。任务2侧重于上下文中的形态变化：根据词的词元及其出现的上下文，生成一个词形变化。以前的SIGMORPHON共享任务集中在上下文不可知的变化-“上下文中的变化”任务是今年引入的。我们通过具有三个核心创新的字符序列编码器-解码器架构来实现这一点，所有这些创新都有助于提高性能：（1）宽上下文窗口;（2）具有MSD预测辅助任务的多任务学习方法;（3）以多语言方式训练模型。
2018-09-05 cs.CL
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge（剑桥大学）；National University of Ireland（爱尔兰国立大学）；Facebook AI Research（Facebook AI研究院）
由于语言中单词的齐普菲分布，人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时，一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化，如habláramos。注意词素本身，hablar，是相对常见的。在这项工作中，我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务，不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时，评估不频繁的形态变化，然后表明，在训练时添加一个简单的形态约束提高了性能，证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL
Unsupervised Inflection Generation Using Neural Language Modeling
Human Language Technologies Research Center, University of Bucharest（布加勒斯特大学人类语言技术研究中心）；GumGum（GumGum公司）；University of Bucharest, Faculty of Mathematics and Computer Science（布加勒斯特大学数学与计算机科学学院）
最近，随着迁移学习的出现以及焦点从基于规则和预测模型（监督学习）转向生成或无监督模型，以解决NLP中长期存在的问题，如信息抽取或问答，使用深度神经网络架构进行语言建模在NLP领域的兴趣大幅增加。虽然这种转变对缺乏屈折形态的语言（如英语）有很大的作用，但在试图为形态丰富的语言建立类似的系统时仍然存在挑战，因为它们的单个单词更经常在上下文中改变形式。在本文中，我们调查在何种程度上，这些新的无监督或生成技术可以用来减轻形态丰富的语言中的类型标记比例的差距。我们将现成的神经语言建模库应用于三种形态丰富的语言（罗马尼亚语，德语和芬兰语）的名义域中新引入的无监督变形生成任务。我们表明，这种神经语言模型架构可以成功地生成完整的名词变形表，而不需要在大型维基百科大小的语料库上进行任何预训练，只要模型显示足够的变形示例。事实上，我们的实验表明，预训练阻碍了生成性能。
2019-12-03 cs.CL
Eeny, meeny, miny, moe. How to choose data for morphological inflection
The Australian National University (ANU)（澳大利亚国立大学）；University of Colorado（科罗拉多大学）；ARC Centre of Excellence for the Dynamics of Language (CoEDL)（澳大利亚研究理事会语言动态卓越中心）
数据稀缺是低资源语言的许多自然语言处理（NLP）任务中普遍存在的问题。在形态学中，标记/注释数据的劳动密集型工作是NLP和语言文档的严重瓶颈。主动学习（AL）的目的是通过选择最能提供信息的数据来改进模型，从而降低数据注释的成本。在本文中，我们探讨了四个采样策略的任务形态拐点使用Transformer模型：一对Oracle实验中的数据选择的基础上是否模型已经可以或不能正确地影响测试形式，以及策略的基础上高/低模型的信心，熵，以及随机选择。我们调查了30种类型不同的语言中每种策略的鲁棒性。我们还对纳图古进行了更深入的案例研究。我们的研究结果表明，基于模型置信度和熵选择数据有明显的好处。不出所料，甲骨文实验（oracle experiment）显示了最大的改进，在这个实验中，只选择处理不当的表格进行进一步的训练，并作为语言学家/语言顾问反馈的代理。紧随其后的是选择低置信度和高熵预测。我们还表明，尽管传统观点认为较大的数据集会产生更好的准确性，但引入更多高置信度或低熵形式的实例，或者模型已经可以正确变形的形式，可能会降低模型性能。
2022-10-26 cs.CL
Understanding Compositional Data Augmentation in Typologically Diverse Morphological Inflection
University of British Columbia（不列颠哥伦比亚大学）
本研究通过信息论分析揭示了数据增强策略StemCorrupt通过消除语素间伪相关改善组合泛化的机制，发现选择高多样性和高预测不确定性的数据点可显著提升其在七种语言中的数据效率，但高异形态语言因音位组合违规获益较少。
2023-10-23 cs.CL
A Framework for Bidirectional Decoding: Case Study in Morphological Inflection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种“由外向内”的双向解码框架，通过动态规划边缘化潜在排序，在2022和2023年形态屈折共享任务上取得SOTA，并在长序列和词干词缀分割上表现突出。
2023-10-30 cs.CL
On the Diachronic Stability of Irregularity in Inflectional Morphology
University of Colorado（科罗拉多大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多语言的屈折形态系统充满了不规则词，即，似乎不遵循标准屈折规则的单词。在这项工作中，我们定量研究的条件下，不规则可以生存在一种语言随着时间的推移。使用递归神经网络模拟语言学习者，我们测试的词的频率和他们的不规则性之间的历时关系。
2018-04-23 cs.CL
Analogy in Contact: Modeling Maltese Plural Inflection
The Ohio State University（俄亥俄州立大学）
本文结合计算建模与信息论方法，量化了马耳他语单数名词的音系和词源对复数形态过程及语素变体的预测能力，发现音系压力对词库组织的塑造作用超越了词源，印证了语言接触变化中的类比理论。
2023-05-20 cs.CL
Linguistically Motivated Vocabulary Reduction for Neural Machine Translation from Turkish to English
label1；label2
在最先进的神经机器翻译（NMT）系统中，使用固定大小的词汇表以控制模型复杂度的必要性是性能的重要瓶颈，特别是对于形态丰富的语言。旨在通过使用子词或字符级表示来克服这个问题的传统方法仅仅依赖于统计数据，而忽略了词的语言特性，这导致词结构的中断并导致语义和句法损失。在本文中，我们提出了一种新的词汇减少方法NMT，它可以减少在任何速度的给定输入语料库的词汇，同时还考虑到语言的形态属性。我们的方法基于无监督形态学学习，原则上可以用于预处理任何语言对。我们还提出了一种替代的分词方法的基础上监督形态分析，这有助于我们衡量我们的模型的准确性。我们评估我们的方法在土耳其语到英语的NMT任务，输入语言是形态丰富和粘着。我们分析了不同的表示方法的翻译准确性，以及所生成的输出的语义和句法属性。我们的方法比传统的词汇缩减技术获得了2.3 BLEU点的显着改进，表明它可以在形态丰富的语言的开放词汇翻译中提供更好的准确性。
2017-07-31 cs.CL
Morphological and Language-Agnostic Word Segmentation for NMT
Charles University（查理大学）
在神经机器翻译（NMT）中处理丰富形态学的最新技术是将单词形式分解为子单词单元，以便这些单元的总体词汇量符合NMT模型和GPU内存容量给出的实际限制。在本文中，我们比较了两种常见的但在语言上不知情的子词构造方法（BPE和STE，在Tensor2Tensor工具包中实现的方法）和两种语言动机的方法：Morfessor和一种基于派生词典的新方法。我们的实验与德语到捷克语的翻译，都形态丰富，文件，到目前为止，非动机的方法表现得更好。此外，我们确定了BPE和STE之间的关键区别，并为BPE显示了一个简单的预处理步骤，该步骤可以显著提高翻译质量，并通过自动测量进行评估。
2018-06-14 cs.CL
A Three Step Training Approach with Data Augmentation for Morphological Inflection
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我们提交了SIGMORPHON 2021任务0第1部分，跨类型多样语言的泛化共享任务的BME提交。我们使用LSTM编码器-解码器模型，三步训练首先在所有语言上训练，然后在每个语言家族上进行微调，最后在单个语言上进行微调。在前两步中，我们使用不同类型的数据增强技术。我们的系统优于唯一的其他提交。虽然它仍然比组织者发布的Transformer基线更差，但我们的模型更简单，我们的数据增强技术很容易适用于新语言。我们进行了消融研究，并表明增强技术和三个训练步骤通常有帮助，但有时会产生负面影响。
2021-09-14 cs.AI cs.CL
A Comprehensive Comparison of Neural Networks as Cognitive Models of Inflection
University of Colorado Boulder（科罗拉多大学博尔德分校）
神经网络长期以来一直是围绕人类处理屈折形态的认知机制的争论的中心。这场争论已经通过这样一个问题吸引到了NLP：神经网络是否是人类形态变化行为的可行解释？我们通过测量人类判断和神经网络概率之间的相关性来解决这个问题。我们测试了更大范围的架构比以前研究的两个重要任务的认知处理辩论：英语过去时态，和德国的数字变化。我们发现证据表明，在这些数据集上，Transformer可能比LSTM更好地解释人类行为，并且已知可以提高变形准确性的LSTM特征并不总是导致更像人类的行为。
2022-10-22 cs.CL
The NYU-CUBoulder Systems for SIGMORPHON 2020 Task 0 and Task 2
New York University（纽约大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
我们描述了纽约大学CUBoulder系统的SIGMORPHON 2020任务0的类型多样的形态变化和任务2的无监督形态范式完成。前者包括从一个词元和一组描述目标形式的形态句法特征生成形态屈折变化。后者需要单独从原始文本中为一组给定的词元生成整个范式。我们将形态拐点建模为序列到序列的问题，其中输入是具有形态标签的词元字符的序列，输出是拐点形式的字符的序列。首先，我们将一个Transformer模型应用到任务中。其次，由于变形形式与引理共享大多数字符，我们进一步提出了一个指针生成器Transformer模型，以允许轻松复制输入字符。我们在任务0中表现最好的系统在23个系统中排名第6。我们进一步使用我们的拐点系统作为任务2的方法的子组件。我们的任务2的最佳表现系统是7个提交中的第二好。
2020-06-21 cs.CL cs.LG
CLSE: Corpus of Linguistically Significant Entities
Google（谷歌）；Predibase
针对NLG中命名实体处理导致的语法错误问题，构建了涵盖34种语言、74种语义类型的语言学显著实体语料库CLSE，并基于其生成SGD-CLSE基准，在法语、马拉地语和俄语上评估了神经、模板及混合NLG系统的质量基线。
2023-08-30 cs.CL
IMPACT: Inflectional Morphology Probes Across Complex Typologies
Apple（苹果公司）
本文提出IMPACT评估框架，通过跨五种形态学丰富语言的屈折形态学单元测试，揭示多语言LLM在非英语及罕见形态模式上的性能缺陷，并发现思维链会降低其表现。
2025-06-30 cs.CL
SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Higher School of Economics（高等经济学院）；Moscow State University（莫斯科国立大学）；Karelian Research Centre（卡累利阿研究中心）；Indiana University（印第安纳大学）；Google AI（谷歌人工智能）；University of British Columbia（不列颠哥伦比亚大学）；Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Louisville（路易斯维尔大学）；University of York（约克大学）；ETH Zürich（苏黎世联邦理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
自然语言处理（NLP）的一个广泛目标是开发一个能够处理任何自然语言的系统。然而，大多数系统都是使用来自英语等一种语言的数据开发的。SIGMORPHON 2020关于形态反射的共享任务旨在研究系统在类型学上不同的语言中进行概括的能力，其中许多语言是低资源的。这些系统是使用来自45种语言和仅5个语系的数据开发的，用来自另外45种语言和10个语系（总共13个）的数据进行了微调，并对所有90种语言进行了评价。来自10个团队的22个系统（19个神经系统）被提交给该任务。所有四个获奖系统都是神经系统（两个单语转换器和两个基于RNN的大规模多语言模型，具有门控注意力）。大多数团队都展示了数据幻觉和增强，合奏和低资源语言的多语言培训的实用性。非神经学习者和手动设计的语法在某些语言（如Ingrian，Tajik，Taglian，Zarma，Lingala）上表现出竞争力甚至更好的表现，特别是在数据非常有限的情况下。一些语系（亚非语系、刚果语系、突厥语系）对大多数系统来说相对容易，平均准确率超过90%，而其他语系则更具挑战性。
2020-07-14 cs.CL
Learning inflection classes using Adaptive Resonance Theory
AI Lab, Vrije Universiteit Brussel（人工智能实验室，布鲁塞尔自由大学）
本文提出利用自适应共振理论学习语言中的屈折类，通过无监督聚类分析拉丁语、葡萄牙语和爱沙尼亚语的词素，发现最佳泛化参数区域，并验证模型提取的特征与语言学描述的一致性。
2025-12-17 cs.CL
Morphological Productivity in the Lexicon
在本文中，我们概述了土耳其语的词汇组织，利用词汇规则的曲折，派生，和词汇类别的变化，以控制扩散的词汇条目。词汇规则处理语法角色的变化，强制类型约束，并控制价变化操作中的次范畴化框架的映射。词法继承层次结构便于类型约束的实施。词形变化和派生词的语义组合受词项和谓词性质的制约。该设计已被测试为土耳其语的HPSG语法的一部分。就性能而言，规则的运行时执行似乎比预编译好得多。后者由于大量使用土耳其语的屈折变化和派生词而导致词汇呈指数增长。
1996-08-23 cmp-lg cs.CL
Cross-lingual Inflection as a Data Augmentation Method for Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
提出了一种基于形态学的低资源（LR）依存句法分析方法。我们训练的目标LR语言的形态屈折，并将其应用到相关的丰富资源（RR）树库创建跨语言（x-屈折）树库，类似于目标LR语言。我们使用这种变形树库来训练零（在x变形树库上训练）和Few-Shot（在x变形树库和目标语言树库上训练）设置中的解析器。结果表明，该方法有时会改善基线，但并不一致。
2022-05-20 cs.CL
A Benchmark Corpus and Neural Approach for Sanskrit Derivative Nouns Analysis
Indian Institute of Technology - Delhi（印度理工学院德里分校）；Institute of Technology - Delhi（德里理工学院）
本文构建首个梵语后缀与屈折词基准语料库Pratyaya-Kosh，并提出神经网络方法进行派生名词的构成与拆分分析，以标准化评估并推动梵语形态分析工具的改进。
2020-10-24 cs.CL
End-to-End Lexically Constrained Machine Translation for Morphologically Rich Languages
Charles University（查理大学）
词汇约束机器翻译允许用户通过强制某些单词和短语的存在或不存在来操纵输出句子。尽管目前的方法可以强制术语出现在翻译中，但它们通常难以使约束词形式与生成的输出的其余部分一致。我们的手动分析表明，在英语到捷克语翻译的基线约束模型的输出中，46%的错误与协议有关。我们调查机制，让神经机器翻译推断出正确的词的变形词形化的限制。特别是，我们专注于基于训练模型的方法，其中约束作为输入序列的一部分提供。我们对英语-捷克语对的实验表明，这种方法通过减少协议中的错误，提高了自动和手动评估中约束条件的翻译。因此，我们的方法消除了变形错误，而不会引入新的错误或降低翻译的整体质量。
2021-06-24 cs.CL
SS4MCT: A Statistical Stemmer for Morphologically Complex Texts
University of Tehran（德黑兰大学）
已经有多种尝试来解决信息检索中的各种变形匹配问题。词干分析是实现这一目标的常用方法。在众多的词干提取技术中，统计词干提取在许多语言中，特别是高度屈折的语言中已经被证明是有效的。在本文中，我们提出了一种方法来寻找词缀在不同的位置的一个词。常用的统计技术在很大程度上依赖于前缀和后缀匹配方面的字符串相似性。由于中缀在形态复杂的文本中常见于不规则/非正式的屈折变化，因此需要找到中缀以进行词干提取。在本文中，我们提出了一种方法，其目的是发现统计的屈折变化规则的基础上最小编辑距离表的词对和规则的可能性在一种语言中。这些规则用于统计词干，并可用于不同的文本挖掘任务。在CLEF 2008和CLEF 2009英语-波斯语CLIR任务上的实验结果表明，该方法在MAP方面明显优于所有基线。
2016-06-20 cs.CL cs.IR
Morphological Disambiguation from Stemming Data
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；University of Oregon（俄勒冈大学）
词法分析和消歧是对词法丰富的语言进行自然语言处理的一项重要任务和关键的预处理步骤。基尼亚卢旺达语是一种形态丰富的语言，目前缺乏自动形态分析的工具。虽然语言策划的有限状态工具可以很容易地开发用于形态分析，但语言的形态丰富性允许产生许多模糊的分析，需要有效的消歧。在本文中，我们提出了学习从形态学上消除歧义Kinyarwanda口头形式从一个新的词干数据集收集通过众包。使用特征工程和基于前馈神经网络的分类器，我们实现了约89%的非上下文消歧准确率。我们的实验表明，词干的屈折变化特性和词素关联规则是最具鉴别力的消歧特征。
2020-11-11 cs.CL
Morphological Analyzer and Generator for Russian and Ukrainian Languages
ScrapingHub, Inc.（ScrapingHub公司）
pymorphy 2是俄语和乌克兰语的形态分析器和生成器。它使用了大量的高效编码的lexi-cons，这些lexi-cons是由OpenCorpora和OpenScripageTool数据构建的。一组语言动机的规则，使形态分析和生成的词汇表外的话，在现实世界中观察到的文件。对于俄罗斯pymorphy 2提供最先进的形态分析质量。该分析器以Python程序设计语言实现，并带有可选的C++扩展。重点放在易用性，文档和可扩展性。该软件包是在一个宽松的开源许可证下分发的，鼓励其在学术和商业环境中使用。
2015-03-25 cs.CL
Using Multiple Sources of Information for Constraint-Based Morphological Disambiguation
本文提出了一种基于约束的形态消歧方法，适用于具有复杂形态的语言，特别是具有生产性屈折和派生形态现象的黏着语言。对于像土耳其语这样的形态复杂的语言，自动形态消歧涉及为每个标记选择形态解析，并使用正确的屈折和派生标记集。我们的系统结合了语料库独立手工制作的约束规则，约束规则，通过无监督学习从训练语料库中学习，以及从语料库中获得的额外的统计信息进行形态消歧。手工制定的规则是基于语言的，并经过调整以提高准确率而不牺牲召回率。在某些方面，我们的方法受到了Brill最近工作的启发，但观察到他的转换方法并不直接适用于土耳其语等语言。我们的方法还使用了一种新的方法来处理未知的单词，通过采用二级形态处理器，该处理器可以从词根未知的词汇项中恢复任何相关的屈折和派生信息。通过这种方法，在我们实验过的文本中，远低于1%的标记仍然是未知的。我们的研究结果表明，通过结合这些手工制作的，统计和学习的信息源，我们可以达到96%至97%的召回率，相应的精确度为93%至94%，每个标记的解析模糊度为1.02至1.03。
1996-07-30 cmp-lg cs.CL
Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection
Uppsala University（乌普萨拉大学）；The Ohio State University（俄亥俄州立大学）；University of Turku（图尔库大学）；Charles University in Prague（布拉格查理大学）；Stanford University（斯坦福大学）；Indiana University（印第安纳大学）
通用树库是一个开放的社区，致力于在基于依赖性的词汇框架内为许多语言创建跨语言一致的树库注释。该注释包括语言动机的分词;包括词元、通用词性标签和标准化形态特征的形态层;以及专注于谓词、参数和修饰语之间的句法关系的句法层。在本文中，我们描述了指南的第2版（UD v2），讨论了从UD v1到UD v2的主要变化，并概述了目前可用的90种语言的树库。
2020-04-22 cs.CL
Is linguistically-motivated data augmentation worth it?
University of Colorado（科罗拉多大学）
本文系统比较了语言学无知型与语言学动机型数据增强策略在两种低资源语言的机器翻译和逐行注释任务上的效果，发现语言学动机型策略仅在生成样本接近训练数据分布时才优于朴素方法。
2025-06-04 cs.CL
The CoNLL--SIGMORPHON 2018 Shared Task: Universal Morphological Reinflection
Johns Hopkins University（约翰霍普金斯大学）；University of Zurich（苏黎世大学）；University of Melbourne（墨尔本大学）；NYU（纽约大学）；University of Colorado（科罗拉多大学）；University of Helsinki（赫尔辛基大学）
CoNLL-SIGMORPHON 2018分享了关于形态生成的监督学习的任务，其中包括来自103种类型多样的语言的数据集。除了增加早期监督任务中涉及的语言数量外，今年的共享任务还包括一个新的第二个任务，要求参与者在上下文中改变单词，类似于完形填空任务。第二个任务包含七种语言。任务1收到27份提交，任务2收到6份提交。这两项任务的特点是低，中，高数据条件。几乎所有提交的作品都包含神经组件，并建立在2017年早期共享任务的高排名系统上。在变音任务（任务1）中，去年的变音任务中的52种语言中有41种在低资源环境中表现出最佳系统的改进。完形填空任务（任务2）被证明是困难的，很少有人能够在一个简单的神经基线系统和一个引理重复基线上持续改进。
2020-02-25 cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University（高丽大学）；Prediction（Prediction 公司）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题，提出结合子字分解的词素感知子词分词法，在PLMs中平衡语言准确性与效率，在NIKL-CoLA等任务上表现提升，证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Imitation Learning for Neural Morphological String Transduction
我们采用模仿学习来训练一个基于神经转换的字符串转换器，用于形态学任务，如拐点生成和词形化。训练这种类型的模型的先前方法要么依赖于外部字符对齐器来产生黄金动作序列，这导致次优模型，这是由于对单个黄金动作序列的不必要的依赖，尽管存在虚假的模糊性，要么需要用MLE模型进行热启动。我们的方法只需要一个简单的专家政策，消除了对字符对齐或热启动的需要。它还解决了常见的MLE训练偏差，并在几个基准测试中获得了强大的最先进的性能。
2018-08-31 cs.CL
MORFES: A Benchmark for Productive Inflectional Competence in Modern Greek
Sophea AI
该研究针对现代希腊语屈折生成能力缺乏专用基准的问题，构建了含500个条目的MORFES基准，评估多款开源模型，其中自研的Sophea-Genesis-1在屈折形态任务中表现领先。
2026-07-31 cs.CL cs.LG
MorfFlex: Handling Rich Morphology
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics（查尔斯大学数学物理学院形式与应用语言学研究所）
提出MorfFlex形态词典架构，以捷克语词典为例，通过屈折和派生模式高效管理超1亿词形，支持语料库标注一致性和NLP工具开发。
2026-06-24 cs.CL
