Contextualization of Morphological Inflection
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
自然语言生成的关键是产生正确的屈折文本。在本文中，我们隔离的任务，预测一个完全曲折的句子，其部分词形化的版本。与传统的形态变化或表面实现不同，我们的任务输入不提供“黄金”标签，指定在每个词形化的单词上实现什么形态特征;相反，这些特征必须从原始上下文中推断出来。我们开发了一个神经混合图形模型，可以在预测变形形式之前显式重建形态特征，并将其与直接预测变形形式而不依赖任何形态注释的系统进行比较。我们在Universal Approximations树库中的几种类型多样的语言上进行了实验，展示了将语言动机的潜变量纳入NLP模型的实用性。
2019-05-04 cs.CL
Morphological Inflection: A Reality Check
Stony Brook University（石溪大学）；University of Florida（佛罗里达大学）
本文揭示形态学屈折变化任务中数据集构建与评估方式会系统性夸大性能并掩盖语言差异，进而提出更贴近实际使用场景的数据采样与评估策略，并据此重新考察现有系统的泛化能力。
2023-05-25 cs.CL
A Structured Variational Autoencoder for Contextual Morphological Inflection
Johns Hopkins University（约翰斯·霍普金斯大学）
统计形态偏转器通常在完全监督的类型级数据上训练。剩下的一个开放的研究问题是：我们如何有效地利用原始的令牌级数据来提高其性能？为此，我们引入了一种新的生成潜变量模型的半监督学习的拐点生成。为了使后验推理的潜变量，我们得到一个有效的变分推理过程的基础上的唤醒-睡眠算法。我们在23种语言上进行了实验，在模拟的低资源环境中使用Universal Objectives语料库，在某些情况下发现绝对准确率提高了10%以上。
2020-02-25 cs.CL
Rule-based Morphological Inflection Improves Neural Terminology Translation
University of Maryland（马里兰大学）
在机器翻译（MT）中结合术语约束的当前方法通常假设约束术语以其正确的形态形式提供。这限制了它们在现实世界中的应用，其中约束条件作为引理提供。在本文中，我们介绍了一个模块化的框架，将引理约束的神经MT（NMT）中的语言知识和不同类型的NMT模型可以灵活地应用。它是基于一种新的跨语言的变形模块，变形的目标词元的约束的基础上的源上下文。我们探索语言动机的规则为基础的和数据驱动的神经为基础的变形模块和设计英语-德语健康和英语-立陶宛语新闻测试套件，以评估他们在领域自适应和低资源MT设置。结果表明，我们基于规则的拐点模块有助于NMT模型比神经模块更准确地纳入引理约束，并且以更低的训练成本优于现有的端到端方法。
2021-10-08 cs.CL
Searching for Search Errors in Neural Morphological Inflection
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）
神经序列到序列模型是当前语言生成任务的主要选择。然而，在单词级别的任务中，这些模型的精确推理表明，空字符串通常是全局最优的。先前的工作推测这种现象是由于语言生成的神经模型的不足。然而，在形态拐点的情况下，我们发现，空字符串几乎从来都不是模型下的最可能的解决方案。此外，贪婪搜索通常会找到全局最优值。这些观察结果表明，许多神经模型的校准不良可能源于特定任务子集的特征，而不是这些模型对语言生成的普遍不适。
2021-02-16 cs.CL
The SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Melbourne（墨尔本大学）；Allen Institute for AI（艾伦人工智能研究所）；Google（谷歌）；University of Helsinki（赫尔辛基大学）；Stony Brook University（石溪大学）；University of Colorado（科罗拉多大学）
SIGMORPHON 2019分享了关于跨语言迁移和形态学语境分析的任务，研究了100种语言对之间的屈折变化的迁移学习，以及66种语言的语境词形化和形态句法描述。第一个任务通过考察形态屈折变化知识从高资源语言到低资源语言的迁移来发展过去几年的屈折变化任务。今年还提出了一个新的第二个挑战词形化和形态特征分析的背景。所有提交的作品都有一个神经组件，并建立在今年的强大基线或前几年共享任务的高排名系统上。每个参与团队的准确性都比拐点任务的基线有所提高（尽管不是Levenshtein距离），而上下文分析任务中的每个团队都在最先进的神经和非神经基线上有所提高。
2020-02-25 cs.CL
Learning to Learn Morphological Inflection for Resource-Poor Languages
New York University（纽约大学）
我们建议铸造的任务形态变形-映射一个词元到一个指示的变形形式-资源贫乏的语言作为一个元学习问题。将每种语言视为一个单独的任务，我们使用来自高资源源语言的数据来学习一组模型参数，这些参数可以作为对资源贫乏的目标语言进行微调的强大初始化点。在3个语言家族的29种目标语言上进行的实验表明，我们提出的方法优于所有基线。特别是，它获得了比先前提出的跨语言迁移模型高31.7%的绝对准确度，并且在语言上平均超过1.7%的绝对准确度。
2020-04-28 cs.CL
Linguistically inspired morphological inflection with a sequence to sequence model
CLLE-CNRS（法国国家科学研究中心认知与语言实验室）；IRIT-CNRS（法国国家科学研究中心信息研究所）；DFKI（德国人工智能研究中心）
屈折变化是人类语言形态学的一个重要组成部分，然而近年来，语言学理论和计算方法的统一却很少。字符串操作的方法被用来推断屈折变化，我们的研究问题是，一个神经网络是否能够学习屈折词素的屈折生产在语言习得的早期阶段，以类似的方式对人类。我们正在使用一个屈折语料库（Metheniti和Neumann，2020）和一个单层seq2seq模型来测试这个假设，其中屈折词缀被学习和预测为一个块，词干被建模为一个字符序列来解释中缀。我们的基于字符语素的模型通过预测词干字符到字符和屈折词缀作为字符块来创建屈折变化。我们进行了三个实验，在给定引理和一组输入和目标特征的情况下创建单词的变形形式，将我们的架构与具有相同超参数，训练和测试集的主流基于字符的模型进行比较。总体而言，对于17种语言，我们注意到在已知词项的屈折变化方面有小幅改进（+0.68%），但我们的模型在预测未知词的屈折变化形式方面的性能稳步提高（+3.7%），在低资源情况下的预测方面也有小幅改进（+1.09%）。
2020-09-04 cs.CL
Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning
Information Sciences Institute（信息科学研究所）；University of Southern California（南加利福尼亚大学）
神经结构的最新进展使形态学规则学习的问题重新出现。我们评估的Transformer作为一个模型的形态学规则学习，并比较它与递归神经网络（RNN）的英语，德语和俄语。我们提出了一个迄今为止被忽视的问题，形态差距，一个词的预期变化是失踪。例如，63个俄语动词缺少第一人称单数现在时形式，以至于人们不能舒服地说“*oščušču”（“我感觉”）。甚至英语也有空白，比如“stride”的过去分词：形态屈折变化的功能可能是局部的。这两种神经结构都产生了本应缺失的变化。分析表明，Transformers概括了训练数据中拐点的统计分布，类似于RNN。模型在英语和德语上的成功是由这些语言中的规则可以与大多数形式相识别这一事实驱动的，这是不普遍的。
2021-05-08 cs.CL
Finding the way from ä to a: Sub-character morphological inflection for the SIGMORPHON 2018 Shared Task
Universität Hamburg（汉堡大学）
在本文中，我们描述了UHH提交给CoNLL的系统-SIGMORPHON 2018共享任务：通用形态学再变形。我们提出了一种基于UZH概念的神经架构（Makarov等人，2017年），在其关键概念中加入新的想法和技术，并评估不同的参数组合。由此产生的系统是一个语言无关的网络模型，其目的是通过在单个字符的图形特征上引入等价类来减少学习编辑操作的数量。我们试图通过比较不同的网络配置和评估我们的结果在广泛的语言来确定这种方法的优点和缺点。
2018-09-15 cs.CL
(Un)solving Morphological Inflection: Lemma Overlap Artificially Inflates Models' Performance
Bar-Ilan University（巴伊兰大学）
在形态学领域，屈折是一个基本而重要的任务，近年来获得了很大的吸引力，主要是通过SIGMORPHON的共享任务。所有语言的平均准确率都在0.9以上，即使提供的数据很少，该任务也被认为主要是使用相对通用的神经seq 2seq模型解决的。在这项工作中，我们建议重新评估形态拐点模型，采用更硬的训练测试分裂，这将挑战模型的泛化能力。特别是，相对于天真的分裂的形式，我们提出了一个分裂的引理方法来挑战现有的基准性能。我们对SIGMORPHON 2020年共享任务中排名最高的三个系统进行的实验表明，对于所包含的90种语言，lemma-split在宏观平均水平上平均下降了30个百分点。这种影响对于低资源语言最为显著，下降幅度高达95分，但即使是高资源语言平均也会下降约10分。我们的研究结果清楚地表明，将拐点推广到看不见的引理还远远没有解决，这为推广更复杂的模型提供了一种简单而有效的方法。
2022-03-20 cs.CL
Can a Transformer Pass the Wug Test? Tuning Copying Bias in Neural Morphological Inflection Models
University of Colorado（科罗拉多大学）
深度学习序列模型已成功应用于形态学拐点的任务。SIGMORPHON共享任务在过去几年中的结果表明，这样的模型可以表现良好，但前提是训练数据覆盖大量不同的引理，或者在训练中也可以看到在测试时发生变化的引理，就像这些任务中的情况一样。令人惊讶的是，标准模型，如Transformer，当被要求改变以前看不见的词元时，几乎完全无法概括变化模式-即在“wug测试”-类似的情况下。虽然建立的数据增强技术可以用来减轻这一缺点，通过引入复制偏见幻觉合成新词形式使用的字母在手头的语言，我们表明，为了更有效，幻觉过程需要注意的子串的音节长度，而不是个别字符或茎。我们报告了一个显着的性能改善与我们的基于子串的幻觉模型比以前的数据幻觉方法时，训练和测试数据不重叠，在他们的引理。
2021-04-13 cs.CL
Improving Low-Resource Morphological Inflection via Self-Supervised Objectives
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes Gutenberg University Mainz（美因茨约翰尼斯·古滕贝格大学）；Kensho Technologies（Kensho技术公司）
本文在极低资源场景下系统评估了13种自监督辅助目标对形态屈折变化任务的作用，发现字符掩码语言建模结合词素边界采样能持续提升19种语言上的建模性能。
2025-06-05 cs.CL
A Resource for Studying Chatino Verbal Morphology
University of Louisville（路易斯维尔大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Kentucky（肯塔基大学）
我们提出的第一个资源，重点放在圣胡安Quiahije Chatino，在墨西哥讲的音调中美洲语言的口头屈折形态。我们提供了一个完整的198 lemmata，形态标签的基础上UniMorph架构的变形表的集合。我们还提供了三个核心NLP任务的基线结果：形态分析，词形化和形态变化。
2020-04-05 cs.CL
Morphological Inflection with Phonological Features
Bar-Ilan University（巴伊兰大学）
本研究提出两种方法将音韵特征引入词形变化模型，实验表明其性能与字素基线相当，并推断字符分布模式可隐式编码音韵信息。
2023-06-21 cs.CL
Not All Irregularity Is Equal: Causally Isolating a Rare Failure Mode in Japanese Morphological Inflection
通过正字法感知诊断和因果消融实验，发现日语过去式屈折中罕见的不规则子类（词干以/e/结尾需双写）贡献了不成比例的错误，其影响远超一般不规则性，提示评估需细粒度子类分析。
2026-09-21 cs.CL
Exploring Linguistic Probes for Morphological Generalization
Stony Brook University（石溪大学）
本文提出语言特定探针以测试形态学泛化，发现三种领先的形态学词形变化系统在英语、西班牙语和斯瓦希里语的正字法及语音输入上采用了不同的泛化策略。
2023-10-20 cs.CL
Corpus Frequencies in Morphological Inflection: Do They Matter?
Charles University, Faculty of Mathematics and Physics（查尔斯大学数学与物理系）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本研究探讨语料库频率对形态屈折变化的影响，提出频率感知训练方法，在43种语言中26种优于均匀采样，并引入词元准确率评估。\n
2025-10-27 cs.CL
Copenhagen at CoNLL--SIGMORPHON 2018: Multilingual Inflection in Context with Explicit Morphosyntactic Decoding
University of Copenhagen（哥本哈根大学）
本文记录了哥本哈根团队系统，该系统在CoNLL-SIGMORPHON 2018通用形态再反射共享任务2中排名第一，总体准确度为49.87。任务2侧重于上下文中的形态变化：根据词的词元及其出现的上下文，生成一个词形变化。以前的SIGMORPHON共享任务集中在上下文不可知的变化-“上下文中的变化”任务是今年引入的。我们通过具有三个核心创新的字符序列编码器-解码器架构来实现这一点，所有这些创新都有助于提高性能：（1）宽上下文窗口;（2）具有MSD预测辅助任务的多任务学习方法;（3）以多语言方式训练模型。
2018-09-05 cs.CL
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge（剑桥大学）；National University of Ireland（爱尔兰国立大学）；Facebook AI Research（Facebook AI研究院）
由于语言中单词的齐普菲分布，人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时，一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化，如habláramos。注意词素本身，hablar，是相对常见的。在这项工作中，我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务，不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时，评估不频繁的形态变化，然后表明，在训练时添加一个简单的形态约束提高了性能，证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL
Eeny, meeny, miny, moe. How to choose data for morphological inflection
The Australian National University (ANU)（澳大利亚国立大学）；University of Colorado（科罗拉多大学）；ARC Centre of Excellence for the Dynamics of Language (CoEDL)（澳大利亚研究理事会语言动态卓越中心）
数据稀缺是低资源语言的许多自然语言处理（NLP）任务中普遍存在的问题。在形态学中，标记/注释数据的劳动密集型工作是NLP和语言文档的严重瓶颈。主动学习（AL）的目的是通过选择最能提供信息的数据来改进模型，从而降低数据注释的成本。在本文中，我们探讨了四个采样策略的任务形态拐点使用Transformer模型：一对Oracle实验中的数据选择的基础上是否模型已经可以或不能正确地影响测试形式，以及策略的基础上高/低模型的信心，熵，以及随机选择。我们调查了30种类型不同的语言中每种策略的鲁棒性。我们还对纳图古进行了更深入的案例研究。我们的研究结果表明，基于模型置信度和熵选择数据有明显的好处。不出所料，甲骨文实验（oracle experiment）显示了最大的改进，在这个实验中，只选择处理不当的表格进行进一步的训练，并作为语言学家/语言顾问反馈的代理。紧随其后的是选择低置信度和高熵预测。我们还表明，尽管传统观点认为较大的数据集会产生更好的准确性，但引入更多高置信度或低熵形式的实例，或者模型已经可以正确变形的形式，可能会降低模型性能。
2022-10-26 cs.CL
Understanding Compositional Data Augmentation in Typologically Diverse Morphological Inflection
University of British Columbia（不列颠哥伦比亚大学）
本研究通过信息论分析揭示了数据增强策略StemCorrupt通过消除语素间伪相关改善组合泛化的机制，发现选择高多样性和高预测不确定性的数据点可显著提升其在七种语言中的数据效率，但高异形态语言因音位组合违规获益较少。
2023-10-23 cs.CL
A Framework for Bidirectional Decoding: Case Study in Morphological Inflection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种“由外向内”的双向解码框架，通过动态规划边缘化潜在排序，在2022和2023年形态屈折共享任务上取得SOTA，并在长序列和词干词缀分割上表现突出。
2023-10-30 cs.CL
Analogy in Contact: Modeling Maltese Plural Inflection
The Ohio State University（俄亥俄州立大学）
本文结合计算建模与信息论方法，量化了马耳他语单数名词的音系和词源对复数形态过程及语素变体的预测能力，发现音系压力对词库组织的塑造作用超越了词源，印证了语言接触变化中的类比理论。
2023-05-20 cs.CL
A Three Step Training Approach with Data Augmentation for Morphological Inflection
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
我们提交了SIGMORPHON 2021任务0第1部分，跨类型多样语言的泛化共享任务的BME提交。我们使用LSTM编码器-解码器模型，三步训练首先在所有语言上训练，然后在每个语言家族上进行微调，最后在单个语言上进行微调。在前两步中，我们使用不同类型的数据增强技术。我们的系统优于唯一的其他提交。虽然它仍然比组织者发布的Transformer基线更差，但我们的模型更简单，我们的数据增强技术很容易适用于新语言。我们进行了消融研究，并表明增强技术和三个训练步骤通常有帮助，但有时会产生负面影响。
2021-09-14 cs.AI cs.CL
The NYU-CUBoulder Systems for SIGMORPHON 2020 Task 0 and Task 2
New York University（纽约大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
我们描述了纽约大学CUBoulder系统的SIGMORPHON 2020任务0的类型多样的形态变化和任务2的无监督形态范式完成。前者包括从一个词元和一组描述目标形式的形态句法特征生成形态屈折变化。后者需要单独从原始文本中为一组给定的词元生成整个范式。我们将形态拐点建模为序列到序列的问题，其中输入是具有形态标签的词元字符的序列，输出是拐点形式的字符的序列。首先，我们将一个Transformer模型应用到任务中。其次，由于变形形式与引理共享大多数字符，我们进一步提出了一个指针生成器Transformer模型，以允许轻松复制输入字符。我们在任务0中表现最好的系统在23个系统中排名第6。我们进一步使用我们的拐点系统作为任务2的方法的子组件。我们的任务2的最佳表现系统是7个提交中的第二好。
2020-06-21 cs.CL cs.LG
SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection
University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Higher School of Economics（高等经济学院）；Moscow State University（莫斯科国立大学）；Karelian Research Centre（卡累利阿研究中心）；Indiana University（印第安纳大学）；Google AI（谷歌人工智能）；University of British Columbia（不列颠哥伦比亚大学）；Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）；University of Louisville（路易斯维尔大学）；University of York（约克大学）；ETH Zürich（苏黎世联邦理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
自然语言处理（NLP）的一个广泛目标是开发一个能够处理任何自然语言的系统。然而，大多数系统都是使用来自英语等一种语言的数据开发的。SIGMORPHON 2020关于形态反射的共享任务旨在研究系统在类型学上不同的语言中进行概括的能力，其中许多语言是低资源的。这些系统是使用来自45种语言和仅5个语系的数据开发的，用来自另外45种语言和10个语系（总共13个）的数据进行了微调，并对所有90种语言进行了评价。来自10个团队的22个系统（19个神经系统）被提交给该任务。所有四个获奖系统都是神经系统（两个单语转换器和两个基于RNN的大规模多语言模型，具有门控注意力）。大多数团队都展示了数据幻觉和增强，合奏和低资源语言的多语言培训的实用性。非神经学习者和手动设计的语法在某些语言（如Ingrian，Tajik，Taglian，Zarma，Lingala）上表现出竞争力甚至更好的表现，特别是在数据非常有限的情况下。一些语系（亚非语系、刚果语系、突厥语系）对大多数系统来说相对容易，平均准确率超过90%，而其他语系则更具挑战性。
2020-07-14 cs.CL
Morphological Productivity in the Lexicon
在本文中，我们概述了土耳其语的词汇组织，利用词汇规则的曲折，派生，和词汇类别的变化，以控制扩散的词汇条目。词汇规则处理语法角色的变化，强制类型约束，并控制价变化操作中的次范畴化框架的映射。词法继承层次结构便于类型约束的实施。词形变化和派生词的语义组合受词项和谓词性质的制约。该设计已被测试为土耳其语的HPSG语法的一部分。就性能而言，规则的运行时执行似乎比预编译好得多。后者由于大量使用土耳其语的屈折变化和派生词而导致词汇呈指数增长。
1996-08-23 cmp-lg cs.CL
Cross-lingual Inflection as a Data Augmentation Method for Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC（信息与通信技术研究中心）
提出了一种基于形态学的低资源（LR）依存句法分析方法。我们训练的目标LR语言的形态屈折，并将其应用到相关的丰富资源（RR）树库创建跨语言（x-屈折）树库，类似于目标LR语言。我们使用这种变形树库来训练零（在x变形树库上训练）和Few-Shot（在x变形树库和目标语言树库上训练）设置中的解析器。结果表明，该方法有时会改善基线，但并不一致。
2022-05-20 cs.CL
Morphological Disambiguation from Stemming Data
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；University of Oregon（俄勒冈大学）
词法分析和消歧是对词法丰富的语言进行自然语言处理的一项重要任务和关键的预处理步骤。基尼亚卢旺达语是一种形态丰富的语言，目前缺乏自动形态分析的工具。虽然语言策划的有限状态工具可以很容易地开发用于形态分析，但语言的形态丰富性允许产生许多模糊的分析，需要有效的消歧。在本文中，我们提出了学习从形态学上消除歧义Kinyarwanda口头形式从一个新的词干数据集收集通过众包。使用特征工程和基于前馈神经网络的分类器，我们实现了约89%的非上下文消歧准确率。我们的实验表明，词干的屈折变化特性和词素关联规则是最具鉴别力的消歧特征。
2020-11-11 cs.CL
The CoNLL--SIGMORPHON 2018 Shared Task: Universal Morphological Reinflection
Johns Hopkins University（约翰霍普金斯大学）；University of Zurich（苏黎世大学）；University of Melbourne（墨尔本大学）；NYU（纽约大学）；University of Colorado（科罗拉多大学）；University of Helsinki（赫尔辛基大学）
CoNLL-SIGMORPHON 2018分享了关于形态生成的监督学习的任务，其中包括来自103种类型多样的语言的数据集。除了增加早期监督任务中涉及的语言数量外，今年的共享任务还包括一个新的第二个任务，要求参与者在上下文中改变单词，类似于完形填空任务。第二个任务包含七种语言。任务1收到27份提交，任务2收到6份提交。这两项任务的特点是低，中，高数据条件。几乎所有提交的作品都包含神经组件，并建立在2017年早期共享任务的高排名系统上。在变音任务（任务1）中，去年的变音任务中的52种语言中有41种在低资源环境中表现出最佳系统的改进。完形填空任务（任务2）被证明是困难的，很少有人能够在一个简单的神经基线系统和一个引理重复基线上持续改进。
2020-02-25 cs.CL
Morphology Without Borders: Clause-Level Morphology
Bar Ilan University（巴伊兰大学）
形态学任务使用大型多语言数据集，将单词组织成变形表，然后作为各种任务的训练和评估数据。然而，对这些数据的仔细检查揭示了深刻的跨语言不一致，这是由于缺乏一个明确的语言和操作定义什么是一个词，并严重损害了衍生任务的普遍性。为了克服这一缺陷，我们建议将形态学视为小句层面的现象，而不是词层面的现象。它锚定在一个固定但包容的功能集，封装在饱和子句中实现的所有功能。我们提供了MightyMorph，一个用于子句级形态的新数据集，涵盖4种类型不同的语言：英语，德语，土耳其语和希伯来语。我们使用这个数据集派生出3个小句级别的形态学任务：变形，再变形和分析。我们的实验表明，小句级别的任务比相应的单词级别的任务要难得多，同时在不同的语言中具有相当的复杂性。此外，重新定义形态的子句级别提供了一个整洁的接口与上下文语言模型（LM），并允许评估这些模型中编码的形态知识和它们的可用性形态任务。总之，这项工作开辟了计算形态学研究的新视野，为跨语言研究神经形态学留下了充足的空间。
2022-10-19 cs.CL
Flexing in 73 Languages: A Single Small Model for Multilingual Inflection
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理系）
本文提出一个轻量级多语言屈折模型，在73种语言上联合训练，优于单语言基线，并引入频率加权重采样方法，开源代码，解决未见词处理问题。
2025-10-27 cs.CL
Analyzer and generator for Pali
University of Trier（特里尔大学）
本文介绍了一个能进行形态分析和巴利文生成的系统。该系统使用规则的屈折范式和词汇数据库。生成器用于构建一个词形变化和派生词的集合，然后由分析器使用。生成和存储形态形式以及对应的形态信息允许分析器进行有效且简单的查找。事实上，通过查找单词并提取附加的形态信息，分析器不必计算该信息。然而，由于我们必须假设词汇数据库是不完整的，因此系统也可以使用基于规则的方法在没有词典组件的情况下工作。
2015-10-06 cs.CL
Unsupervised Morphological Paradigm Completion
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Colorado（科罗拉多大学）
我们提出了无监督形态范式完成的任务。仅给定原始文本和词元列表，任务包括生成形态范例，即，所有的词形变化形式。从自然语言处理（NLP）的角度来看，这是一项具有挑战性的无监督任务，高性能系统有潜力改进低资源语言的工具或帮助语言注释者。从认知科学的角度来看，这可以揭示儿童如何获得形态知识。我们进一步介绍了一个系统的任务，通过以下步骤生成形态范式：（i）编辑树检索，（ii）额外的引理检索，（iii）范式大小发现，（iv）变形生成。我们对14种不同类型的语言进行了评估。我们的系统轻松地超越了平凡的基线，对于某些语言，甚至比最低监督系统获得了更高的准确性。
2020-05-20 cs.CL
Exact Hard Monotonic Attention for Character-Level Transduction
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
提出一种强制严格单调性并联合学习潜在对齐的硬注意力序列到序列模型，通过动态规划计算所有单调对齐的精确边缘化，在形态屈折变化等字符级转换任务上取得最先进性能。
2024-02-20 cs.CL
Better Character Language Modeling Through Morphology
University of Washington（华盛顿大学）；Facebook AI Research（Facebook人工智能研究院）
我们将形态监督字符语言模型（CLMs）通过多任务处理，并表明，这除了提高每字符位数（BPC）的性能在24种语言，即使当形态数据和语言建模数据是不相交的。分析CLM表明，变形的单词比未变形的单词更受益于显式建模形态，并且即使语言建模数据量增加，形态监督也会提高性能。然后，我们转移形态监督跨语言，以提高语言建模性能的低资源设置。
2019-06-12 cs.CL
OOVs in the Spotlight: How to Inflect them?
Institute of Formal；Applied Linguistics, Faculty of Mathematics
本研究针对OOV条件下的形态屈折，提出逆行模型及LSTM和Transformer的seq2seq模型，在捷克语数据集上验证，Transformer集成最优，逆行模型擅长新词，并在SIGMORPHON 2022中9/16语言达到最优，发布数据集和Python库。
2024-05-28 cs.CL
The SIGMORPHON 2020 Shared Task on Unsupervised Morphological Paradigm Completion
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of British Columbia（不列颠哥伦比亚大学）
在本文中，我们描述了SIGMORPHON 2020共享任务在无监督形态范式完成（SIGMORPHON 2020任务2），在屈折形态学领域的一个新的任务的结果。参与者被要求提交系统，该系统将原始文本和词元列表作为输入，并输出所有的屈折形式，即，每个词元的整个形态学范式。为了模拟真实的用例，我们首先发布了5种开发语言的数据。然而，系统在9种令人惊讶的语言上进行了正式评估，这些语言在提交截止日期前几天才公布。我们提供了一个模块化的基线系统，它是一个由4个组件组成的管道。3个团队总共提交了7个系统，但令人惊讶的是，没有一个提交的系统能够在所有9种测试语言的平均基线上有所改进。只有3种语言的提交系统获得了最佳结果。这表明，无监督的形态学范式完成在很大程度上仍然没有解决。我们在这里提出了一个分析，以便这个共同的任务将进一步研究的主题。
2020-05-28 cs.CL
Neural Transductive Learning and Beyond: Morphological Generation in the Minimal-Resource Setting
New York University（纽约大学）；Center for Data Science（数据科学中心）；CIS（计算与信息系统系）；LMU Munich（慕尼黑大学）
神经最先进的序列到序列（seq2seq）模型通常在小训练集上表现不佳。我们解决范式完成，形态的任务，给出一个部分范式，产生所有缺失的形式。我们提出了两种用于最小资源设置的新方法：（i）范式转换：由于我们假设只有很少的范式可用于训练，因此神经seq2seq模型能够捕获范式细胞之间的关系，但与训练集的特质有关。范式转换通过在测试时利用变形形式的输入子集来缓解这个问题。(ii)高精度源选择（SHIP）：学习自动选择一个或多个源来预测目标变化的多源模型在最小资源设置中表现不佳。如果训练数据有限，SHIP是识别可靠来源的替代方法。在52种语言的基准数据集上，我们的绝对准确率超过了之前的最高水平，高达9.71%。
2019-05-09 cs.CL
The Paradigm Discovery Problem
Ohio State University（俄亥俄州立大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）；ETH Zürich（苏黎世联邦理工学院）
这项工作对待范式发现问题（PDP），学习的曲折形态系统从未注释的句子的任务。我们形式化的PDP和判断系统开发的评估指标。使用当前可用的资源，我们为任务构建数据集。我们还设计了一个启发式的基准PDP和报告实证结果五种不同的语言。我们的基准测试系统首先利用词嵌入和字符串相似性来按单元格和范式聚类形式。然后，我们在集群数据之上引导神经传感器来预测单词，以实现空范式槽。对我们系统的错误分析表明，跨不同拐点类的细胞聚类是未来工作最紧迫的挑战。我们的代码和数据可供公众使用。
2020-05-04 cs.CL
The IMS-CUBoulder System for the SIGMORPHON 2020 Shared Task on Unsupervised Morphological Paradigm Completion
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
在本文中，我们介绍了斯图加特大学IMS和科罗拉多大学博尔德分校（IMS-CUBoulder）的系统，用于SIGMORPHON 2020任务2的无监督形态范式完成（Kann等人，2020年）。该任务包括生成一组词元的形态范式，只给出词元本身和未标记的文本。我们提出的系统是一个修改版本的基线一起引入的任务。特别是，我们尝试用LSTM序列到序列模型和LSTM指针生成器网络替换拐点生成组件。我们的指针生成器系统在所有语言的所有七个提交的系统中获得了平均最好的分数，并且在保加利亚语和卡纳达语上的表现优于官方基线。
2020-05-25 cs.CL cs.LG
A big data approach towards sarcasm detection in Russian
Plekhanov Russian University of Economics（俄罗斯普列汉诺夫经济大学）
本文提出俄语词形变化与文本合成的确定性算法，并通过公开 web 服务实现，依托 OpenCorpora 评估其性能及俄语词类形态复杂性。
2023-06-01 cs.AI cs.CL
K-UniMorph: Korean Universal Morphology and its Feature Schema
The University of British Columbia（不列颠哥伦比亚大学）；Seoul National University（首尔大学）；SeoulTech（首尔科学技术大学）；Teddysum（泰迪森公司）；Anyang University（安阳大学）
本文提出了韩语通用形态学数据集K-UniMorph，通过详细定义语法标准并从Sejong语料库提取屈折形式生成形态学模式，填补了韩语在形态学范式领域的空白。
2023-05-17 cs.CL
CoNLL-SIGMORPHON 2017 Shared Task: Universal Morphological Reinflection in 52 Languages
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Zurich（苏黎世大学）；University of Melbourne（墨尔本大学）；Google（谷歌）；Indiana University（印第安纳大学）；University of Colorado（科罗拉多大学）
CoNLL-SIGMORPHON 2017共享的监督形态生成任务要求系统在52种类型学上不同的语言中进行训练和测试。在子任务1中，提交的系统被要求预测给定引理的特定变形形式。在子任务2中，系统被给予一个引理及其一些特定的屈折形式，并被要求通过预测所有剩余的屈折形式来完成屈折范式。这两个子任务包括高、中和低资源条件。子任务1收到24个系统提交，而子任务2收到3个系统提交。继神经序列到序列模型在SIGMORPHON 2016共享任务中取得成功之后，除了一个提交的文件外，所有提交的文件都包含了神经组件。结果表明，只要模型具有适当的归纳偏差，或者利用额外的未标记数据或合成数据，就可以在较小的训练数据集上获得较高的性能。然而，不同的偏置和数据增强导致正确预测不相交的变形形式集，这表明未来还有改进的空间。
2017-07-04 cs.CL
Transformers on Multilingual Clause-Level Morphology
Koç University（科奇大学）
本文介绍了我们在KUIS AI NLP团队设计的MRL：第一次多语言子句级形态学共享任务（EMNLP 2022研讨会）中的获奖系统。我们提出了我们的工作的所有三个部分的共同任务：拐点，再反射和分析。我们主要通过两种方法探索Transformers：（i）从头开始训练模型，结合数据增强，以及（ii）在多语言形态任务中使用前缀调整的迁移学习。数据增强显著提高了大多数语言在变形和再变形任务中的性能。另一方面，对预训练的mGPT模型进行前缀调优可以帮助我们在低数据和多语言环境中适应分析任务。虽然具有数据增强的Transformer架构在拐点和再拐点任务中获得了最有希望的结果，但mGPT上的前缀调谐在分析任务中获得了最高的结果。我们的系统在MRL 2022的所有三项任务中均获得第一名。
2022-11-13 cs.AI cs.CL cs.LG
Frequency matters: Modeling irregular morphological patterns in Spanish with Transformers
Faculty of Arts and Humanities, Heinrich Heine University Düsseldorf（海因里希-海涅大学杜塞尔多夫分校艺术与人文学院）；Department of English Language and Linguistics（英语语言与语言学系）；Institute of Linguistics（语言学研究所）；Department of Linguistics, College of Liberal Arts and Sciences, University of Florida（佛罗里达大学文理学院语言学系）
针对西班牙语动词不规则L形形态模式，本研究将其转化为形态重屈折任务，通过Transformer模型分析输入频率的作用，揭示了频率对模型习得规则与不规则模式的影响及相关行为规律。
2025-05-27 cs.CL
Multi-space Variational Encoder-Decoders for Semi-supervised Labeled Sequence Transduction
Carnegie Mellon University（卡内基梅隆大学）
标记序列转换是将一个序列转换成另一个序列的任务，该序列满足由一组标记指定的要求。在本文中，我们提出了多空间变分编码器-解码器，一个新的模型，标记序列转导半监督学习。生成模型可以使用神经网络来处理离散和连续潜在变量以利用数据的各种特征。实验表明，我们的模型不仅提供了一个强大的监督框架，而且可以有效地利用未标记的数据。在SIGMORPHON形态变化基准测试中，我们的模型在大多数语言中的表现都大大优于单一模型的最新结果。
2017-08-17 cs.CL cs.LG
