The Acquisition of Semantic Relationships between words
University Ibn Khaldoun（伊本·赫勒敦大学）
本文研究词语语义关系与语言形态之间的动态联系，通过分析词的内部结构及其构成，揭示其对语言解释和理解的影响。
2023-07-12 cs.CL
A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs
本文提出了一种基于语言类型学的评估框架，用于评估多语言掩码语言模型对词序和形态敏感性的依赖性，通过多种扰动方法测试模型性能。
2026-02-28 cs.CL
Morphology Aware Reversible Semantic Tokenization and Hierarchical Word Composition for Tamil Language Models
该研究针对泰米尔语，提出结合ThamizhiMorph的形态系统与分层词组合方法，在固定小模型预算下提升翻译性能，同时大幅降低序列长度与推理成本。
2026-08-04 cs.CL
Better Character Language Modeling Through Morphology
University of Washington（华盛顿大学）；Facebook AI Research（Facebook人工智能研究院）
我们将形态监督字符语言模型（CLMs）通过多任务处理，并表明，这除了提高每字符位数（BPC）的性能在24种语言，即使当形态数据和语言建模数据是不相交的。分析CLM表明，变形的单词比未变形的单词更受益于显式建模形态，并且即使语言建模数据量增加，形态监督也会提高性能。然后，我们转移形态监督跨语言，以提高语言建模性能的低资源设置。
2019-06-12 cs.CL
Morphological Word Embeddings
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Munich（慕尼黑大学）
语言的相似性是多方面的。例如，两个单词可以在语义、句法或词法等方面相似。连续词嵌入已经被证明在某种程度上捕捉了这些相似性的大部分。这项工作考虑用形态注释数据指导词嵌入，这是一种半监督学习的形式，鼓励向量对词的形态进行编码，即，在嵌入空间中接近的词共享形态特征。为此，我们扩展了对数双线性模型，并表明我们的学习嵌入确实实现了这一点，使用德国作为案例研究。
2019-07-04 cs.CL
Morphologically Aware Word-Level Translation
University of Cambridge（剑桥大学）；DeepMind（深度思维）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的双语词典归纳概率模型，它以结构化的方式联合建模词素翻译和屈折形态。我们的模型利用了基本的语言直觉，即词位是意义的关键词汇单位，而屈折形态提供了额外的句法信息。这种方法导致了实质性的性能改进-在监督设置中，6种语言对的准确性平均提高了19%，在弱监督设置中提高了16%。作为另一个贡献，我们强调与现代BLI，源于忽视屈折形态学的问题，并提出三个建议，以改善这项任务。
2020-11-15 cs.CL
Unsupervised Learning of Morphology without Morphemes
介绍了基于全词形态学理论的第一个形态学学习器，并给出了初步的评价结果。该程序Whole Word Morphologizer将POS标记的词典作为输入，在不尝试发现或识别词素的情况下诱导形态关系，然后能够生成学习样本之外的新词。使用纯全词理论，生成的新词的准确率（精确度）高达80%，并且在例程中添加事后调整后为92%。
2002-05-29 cs.CL cs.LG
Character-Level Models versus Morphology in Semantic Role Labeling
Technische Universität Darmstadt（达姆施塔特工业大学）；University of Edinburgh（爱丁堡大学）；Department of Computer Science（计算机科学系）；School of Informatics（信息学院）；Darmstadt, Germany（德国达姆施塔特）；Edinburgh, Scotland（苏格兰爱丁堡）
中间层模型已经成为一种流行的方法，特别是因为它们的可访问性和处理未知数据的能力。然而，很少有人知道他们的能力，揭示一个词的潜在形态结构，这是一个重要的技能，高层次的语义分析任务，如语义角色标注（SRL）。在这项工作中，我们训练各种类型的SRL模型，使用单词，字符和形态水平的信息，并分析字符的性能相比，几种语言的单词和形态。我们对每个形态学类型进行了深入的错误分析，并分析了与域外数据，训练数据大小，长范围依赖性和模型复杂性相关的字符级模型的优势和局限性。我们详尽的分析揭示了字符级模型的重要特征及其语义能力。
2018-05-30 cs.CL
On the Diachronic Stability of Irregularity in Inflectional Morphology
University of Colorado（科罗拉多大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
许多语言的屈折形态系统充满了不规则词，即，似乎不遵循标准屈折规则的单词。在这项工作中，我们定量研究的条件下，不规则可以生存在一种语言随着时间的推移。使用递归神经网络模拟语言学习者，我们测试的词的频率和他们的不规则性之间的历时关系。
2018-04-23 cs.CL
Vector Space Morphology with Linear Discriminative Learning
University of Tübingen（图宾根大学）
本文介绍了三个案例研究的建模方面的词汇处理与线性判别学习（LDL），计算引擎的判别词汇模型（Baayen等人，2019年）。通过单词形式和含义的数字表示，LDL学会将一个向量空间映射到另一个向量空间，而不需要了解任何形态结构或屈折类。建模结果表明，LDL不仅在理解和生成形态复杂的单词方面表现良好，而且还生成了预测人类行为数据的定量指标。LDL模型可以直接用JudiLing包实现（Luo等人，2021年）。工作的例子提供了三个建模的挑战：生产和理解韩国语动词的变化，预测启动荷兰语词汇决策lasting，并预测普通话单词的声学持续时间。
2021-07-08 cs.CL
A Latent Morphology Model for Open-Vocabulary Neural Machine Translation
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）；University of Zürich（苏黎世大学）；University of Amsterdam（阿姆斯特丹大学）
翻译成形态丰富的语言挑战神经机器翻译（NMT）模型与极其稀疏的词汇表，原子处理的表面形式是不现实的。这个问题通常通过将单词预处理成子字单元或直接在字符级别执行翻译来解决。前者基于使用语料库级统计优化的分词算法，而不考虑翻译任务。后者直接从翻译数据中学习，但需要相当深入的架构。在本文中，我们提出了一个层次隐变量模型，模仿形态变化的过程中，通过建模的构词来翻译的话。我们的模型生成的单词一个字符的时间组成两个潜在的表示：一个连续的，旨在捕捉词汇语义，和一组（近似）离散的功能，旨在捕捉形态句法功能，这是不同的表面形式之间共享。与传统的开放词汇NMT方法相比，我们的模型在翻译成三种形态丰富的语言方面实现了更好的准确性，同时在中低资源设置下也表现出更好的泛化能力。
2020-02-26 cs.CL
Chinese Embedding via Stroke and Glyph Information: A Dual-channel View
University of Science and Technology of China（中国科学技术大学）
近年来的研究表明，形态学有助于丰富词嵌入。本文认为，隐藏在汉字中的形态信息不仅在笔画顺序上得到反映，而且在空间上也反映在汉字字形中，从而丰富了中文词嵌入。在此基础上，提出了一种新的双通道词嵌入（DWE）模型，实现了字符序列信息和空间信息的联合学习。通过对词相似度和词类比任务的评价，表明了该模型在汉语词法建模方面的合理性和优越性。
2019-06-03 cs.CL
Towards Finite-State Morphology of Kurdish
Insight Centre for Data Analytics, National University of Ireland Galway（爱尔兰国立大学戈尔韦分校Insight数据分析中心）；University of Kurdistan Hewlêr（库尔德斯坦埃尔比勒大学）
词法分析是对词的构成和结构的研究。它在自然语言处理（NLP）和计算语言学（CL）的各种任务中发挥着至关重要的作用，例如机器翻译以及文本和语音生成。库尔德语是一种资源较少的多方言印欧语言，具有高度曲折的形态。本文首次尝试从计算的角度对库尔德语（索拉尼方言）的词法进行描述。我们提取的形态规则被转换成有限状态转换器生成和分析的话。这项研究的结果有助于进行语言生成的库尔德语的研究，并提高了信息检索（IR）的语言能力，同时利用库尔德语的NLP和CL到一个更先进的计算水平。
2020-05-21 cs.CL
Evaluation of Morphological Embeddings for the Russian Language
Innopolis University（因诺波利斯大学）
近年来，出现了许多基于形态学的词嵌入模型。然而，他们的评估主要限于英语，这是一种已知的形态简单的语言。在本文中，我们探讨是否以及在何种程度上将形态到词嵌入提高下游NLP任务的性能，在形态丰富的俄语。我们选择的NLP任务是POS标记，组块和NER -对于俄语，所有这些都可以只用形态学来解决，而不需要理解单词的语义。我们的实验表明，Skipgram目标训练的基于形态学的嵌入并没有优于现有的嵌入模型- FastText。此外，一个更复杂的，但形态不知道的模型，BERT，允许实现显着更大的性能的任务，大概需要理解一个词的形态。
2021-03-11 cs.CL cs.LG
Computing Declarative Prosodic Morphology
本文介绍了一种计算，声明性的方法韵律形态，使用不可侵犯的约束，表示小的有限的候选集过滤的限制性增量优化机制。新的方法是说明与现代希伯来语动词表达MicroCUF，表达约束逻辑形式主义的实现片段。对于生成和解析的单词形式，我提出了一种新的离线技术，以消除运行时的优化。它产生一个有限状态的预言，有效地限制约束解释器的搜索空间。作为副产品，可以在没有特殊机制的情况下分析未知词。与纯有限状态转换器方法不同，这种混合设置允许在约束中更多的表达性，以指定例如用于重复的令牌身份或用于语音的算术约束。
1998-09-25 cs.CL
A Morphology-aware Network for Morphological Disambiguation
Huawei Turkey Research and Development Center（华为土耳其研发中心）
由于词的复杂形态，诸如土耳其语、芬兰语和匈牙利语的黏着语在进一步处理之前需要形态消歧。一个形态消歧器是用来选择正确的形态分析的一个词。词法消歧是自然语言处理的第一步，其性能影响后续的分析，因此词法消歧非常重要。在本文中，我们提出了一个系统，使用深度学习技术的形态消歧。计算机视觉、语音识别和自然语言处理领域的许多最新成果都是通过深度学习模型获得的。然而，将深度学习技术应用于形态丰富的语言并没有得到很好的研究。在这项工作中，虽然我们专注于土耳其形态消歧，我们也提出了结果，法语和德语，以表明，所提出的架构实现了高精度，没有特定语言的功能工程或额外的资源。在实验中，我们达到了84.12，88.35和93.78的歧义词之间的土耳其语，德语和法语的形态消歧准确率分别。
2017-02-13 cs.CL
An implementation of Apertium based Assamese morphological analyzer
Gauhati University（高哈蒂大学）
词法分析是任何自然语言处理技术的一个重要的语言学分支。形态学研究语言的词的结构和构词法。在当前的自然语言处理研究中，形态分析技术日益受到重视。对于任何一种语言的处理，都应该首先分析词的形态。阿萨姆语包含非常复杂的形态结构。在我们的工作中，我们使用了基于氚的原子态转换器来开发阿萨姆语的形态分析器，在某些有限的领域，我们得到了72.7%的准确率
2015-03-13 cs.CL
Polish phonology and morphology through the lens of distributional semantics
Adam Mickiewicz University（亚当·密茨凯维奇大学）；University of Tübingen（蒂宾根大学）
本文通过分布语义学研究波兰词的语音与形态结构与其意义的关系，探讨词形特征与意义的关联，并展示语义向量如何捕捉亚词级语言单位信息。
2026-03-31 cs.CL
Morphological Word Segmentation on Agglutinative Languages for Neural Machine Translation
Xinjiang Technical Institute of Physics & Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，神经机器翻译在机器翻译任务中取得了令人瞩目的成绩。然而，考虑到效率，仅包含前N个最高频率词的有限大小的词汇表用于模型训练，这导致许多稀有和未知词。对于那些词法复杂、词汇量大、资源贫乏、词法丰富的黏着语，翻译起来相当困难。在本文中，我们提出了一个形态分词方法的源端NMT，结合形态学知识，以保持在词结构的语言和语义信息，同时减少在训练时的词汇量。它可以作为一个预处理工具，在其他自然语言处理（NLP）任务的粘合语言的词分割。实验结果表明，本文提出的基于形态动机的分词方法更适用于NMT模型，在降低数据稀疏性和语言复杂度的同时，显著改善了土英和维汉机器翻译任务。
2020-01-02 cs.CL
BPE and CharCNNs for Translation of Morphology: A Cross-Lingual Comparison and Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）在低资源环境和形态丰富的语言是困难的，部分是由于数据稀疏的词汇。已经使用了几种方法来帮助减少这种稀疏性，特别是字节对编码（BPE）和基于字符的CNN层（charCNN）。然而，charCNN在很大程度上被忽视了，可能是因为它只被比较BPE，而不是与它相结合。我们主张重新考虑的charCNN，基于跨语言的改进低资源的数据。我们使用多种方式并行收集TED成绩单，将8种语言翻译成英语。我们发现，在大多数情况下，同时使用BPE和charCNN性能最好，而在希伯来语中，使用charCNN超过单词是最好的。
2018-09-08 cs.CL
What do Neural Machine Translation Models Learn about Morphology?
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
神经机器翻译（MT）模型在保持简单的端到端架构的同时获得最先进的性能。然而，人们对这些模型在训练过程中学习源语言和目标语言的内容知之甚少。在这项工作中，我们分析了神经MT模型在不同粒度水平上学习到的表示，并通过外部词性和形态标记任务来经验性地评估学习形态的表示质量。我们沿着几个参数进行了彻底的调查：基于单词与基于字符的表示，编码层的深度，目标语言的身份，以及编码器与解码器表示。我们的数据驱动的定量评估揭示了神经MT系统的重要方面及其捕获单词结构的能力。
2018-10-22 cs.CL
Recent advancements in computational morphology : A comprehensive survey
Dharmsinh Desai University（达尔明辛德赛大学）
本文按时间顺序系统综述了计算形态学从传统方法到深度学习方法的发展，梳理了跨语言数据集，并分析了神经模型的有效性、独特挑战及开放问题。
2024-06-08 cs.CL cs.LG
Modeling morphology with Linear Discriminative Learning: considerations and design choices
Eberhard-Karls Universität Tübingen（埃伯哈德-卡尔斯 图宾根大学）
这项研究解决了一系列的方法问题时出现的建模曲折形态与线性判别学习。以半生产性德语名词系统为例，我们说明了如何决定的形式和意义的表示影响模型的性能。我们澄清，在学习中的频率效应建模，这是必不可少的，利用增量学习，而不是学习的最终状态。我们还讨论了如何建立模型来近似上下文中的屈折词的学习。此外，我们说明了如何在这种方法中的wug任务可以建模相当详细。一般来说，该模型提供了一个很好的记忆已知的单词，但适当地显示出更多的有限的性能看不见的数据，符合德国名词的变形和泛化性能的母语为德语的半生产力。
2021-11-18 cs.CL
Role of Morphology Injection in Statistical Machine Translation
Indian Institute of Technology Bombay（印度理工学院孟买分校）
基于短语的统计模型更常用，因为它们在翻译质量和系统复杂性方面表现最佳。印地语和所有印度语言在形态上都比英语丰富。因此，尽管基于短语的系统对于分歧较小的语言对表现得非常好，但对于英语到印度语的翻译，我们需要更多的语言信息（例如词法，解析树，词性标签等）。在源侧。在这种情况下，因子化模型似乎很有用，因为因子化模型将单词视为因子的向量。这些因素可以包含关于表面词的任何信息，并在翻译时使用它。因此，这项工作的目的是处理形态屈折在印地语和马拉地语使用因子翻译模型，而从英语翻译。SMT方法在翻译成形态丰富的语言时面临数据稀疏的问题。一个平行语料库不太可能包含所有词的形态形式。我们提出了一个解决方案，以产生这些看不见的形态形式，并将它们注入到原始的训练语料库。在本文中，我们研究的因素模型和稀疏的问题，在上下文翻译形态丰富的语言。我们提出了一个简单而有效的解决方案，这是基于丰富的输入与各种形态的单词。我们观察到，形态注入提高翻译质量的充分性和流畅性。我们验证了这两个形态丰富的语言实验：印地语和马拉地语，而从英语翻译。
2017-09-16 cs.CL
MorphTE: Injecting Morphology in Tensorized Embeddings
Tianjin University（天津大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在深度学习时代，处理文本任务时，词嵌入至关重要。然而，存储和访问这些嵌入需要大量的空间。这不利于在资源有限的设备上部署这些模型。结合张量积强大的压缩能力，提出了一种基于形态增强的词嵌入压缩方法--形态增强张量化嵌入（Morphologically-enhanced Tensorized Embeddings，MorphTE）。一个词由一个或多个语素组成，语素是承载意义或具有语法功能的最小单位。MorphTE通过张量积将词嵌入表示为其词素向量的纠缠形式，这将先前的语义和语法知识注入到嵌入的学习中。此外，词素向量的维数和词素的数目远小于词的维数和词素的数目，这大大减少了词嵌入的参数。我们对机器翻译和问答等任务进行了实验。在四种不同语言的翻译数据集上的实验结果表明，MorphTE可以将词嵌入参数压缩约20倍而不损失性能，并且显着优于相关嵌入压缩方法。
2022-10-27 cs.AI cs.CL
chDzDT: Word-level morphology-aware language model for Algerian social media text
Laboratoire de la Communication dans les Systèmes Informatiques, Ecole Nationale Supérieure d’Informatique（信息通信系统通信实验室，国家高等信息学院）
针对阿尔及利亚方言资源稀缺、形态复杂导致传统NLP方法效果不佳的问题，研究提出字符级预训练语言模型chDzDT，基于孤立单词训练以稳健编码形态模式，还完成了方言形态分析、多语言词汇数据集构建及模型评估，为低资源形态丰富方言的NLP研究提供了新方向。
2025-09-01 cs.AI cs.CL
Morphologically-Informed Tokenizers for Languages with Non-Concatenative Morphology: A case study of Yoloxóchtil Mixtec ASR
Computer Science Department（计算机科学系）
本文提出两种形态感知分词器，用于非拼接形态语言的ASR，实验表明其在词错误率上优于传统分词器。
2025-12-05 cs.CL
Preserving Morphemes: Morphology-Guided Pre-Tokenization for Nepali
Kathmandu University（加德满都大学）；IOE Thapathali Campus（IOE塔帕塔利校区）
本研究提出形态学引导的预分词器Papaya，在BPE前拆分尼泊尔语单词为词干和词缀，以保留语素完整性，在分词和语言建模上略有提升，但下游任务影响有限。
2026-09-29 cs.CL
Morphology with a Null-Interface
我们提出了一个集成的架构，字级和句子级处理的统一为基础的范例。该系统的核心是一个CLP实现的统一引擎的特征结构支持关系值。在这个框架中实现了HPSG风格的语法。词级处理使用X2MorF，一种基于两级形态的扩展版本的形态组件。这个组件作为一种关系与语法紧密地结合在一起。这种方法的优点是，形态和语法保持逻辑上的自主性，同时最大限度地减少接口问题。
1994-07-04 cmp-lg cs.CL
Evaluation of Morphological Embeddings for English and Russian Languages
Innopolis University（因诺波利斯大学）
本文评估了基于形态的嵌入英语和俄语。尽管过去人们对几种基于形态学的词嵌入模型很感兴趣，并且在词相似性和语言建模任务上的性能改进也很受欢迎，但在我们的实验中，我们没有观察到对两种基线模型- SkipGram和FastText的任何稳定偏好。形态嵌入表现出的性能是上述两个基线的平均值。
2021-03-11 cs.CL
Word2vec to behavior: morphology facilitates the grounding of language in machines
University of Vermont（佛蒙特大学）
使机器能够对自然语言命令做出适当的反应，可以大大增加它们可以服务的人群。最近，神经网络训练的词嵌入的进步已经赋予了非实体文本处理算法以能力，并表明它们可以对实体机器具有类似的效用。在这里，我们介绍了一种方法，通过训练机器人采取类似的语义相似的word2vec编码命令。我们表明，这使他们能够采取适当的行动，训练后，以前闻所未闻的命令。最后，我们表明，诱导这样的对齐之间的运动和语言的相似性，可以促进或阻碍机器人的机械结构。这指向了未来的大规模方法，这些方法可以找到并利用动作、语言和机器人结构之间的关系。
2019-08-03 cs.CL cs.LG cs.RO
Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish
Independent Researcher（独立研究者）
针对土耳其语粘着特性，提出Morpheus神经词素边界模型，实现无损可逆分词与结构化词嵌入，在可逆分词器中达到最低比特每字符（1.425），词素对齐F1提升至0.61，GPU内存节省约19%。
2026-10-05 cs.AI cs.CL
A Syllable-based Technique for Word Embeddings of Korean Words
Seoul National University（首尔大学）
词嵌入已经成为许多NLP任务的基本组成部分，例如命名实体识别和机器翻译。然而，学习这种嵌入的流行模型不知道单词的形态，因此它不直接适用于高度粘着的语言，如韩语。我们提出了一个基于音节的学习模型，为韩国使用卷积神经网络，其中单词表示是由训练的音节向量。我们的模型成功地产生了形态学上有意义的表示的韩语单词相比，原来的跳过语法嵌入。实验结果还表明，该算法对词汇表外问题具有很好的鲁棒性。
2017-08-05 cs.CL
What do character-level models learn about morphology? The case of dependency parsing
University of Edinburgh（爱丁堡大学）
当使用神经模型解析形态丰富的语言时，在字符级对输入进行建模是有益的，并且有人声称这是因为字符级模型学习形态。我们测试这些索赔比较字符级模型的甲骨文访问明确的形态分析12种语言不同的形态类型学。我们的研究结果突出了字符级模型的许多优势，但也表明，他们在消除某些词的歧义，特别是在面对的情况下融合。然后，我们证明，明确建模形态的情况下，提高我们的最佳模型，显示字符级模型可以受益于有针对性的形式明确的形态建模。
2018-08-28 cs.CL
To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo（奥斯陆大学）；University of Trento（特伦托大学）
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点，我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后，在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明，虽然词形还原对英语来说确实没有必要，但对俄语来说情况就不同了。看起来，对于富形态语言，使用词形化的训练和测试数据会产生小但一致的改进：至少在词义消歧方面。这意味着在训练ELMo之前，关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
MorfFlex: Handling Rich Morphology
Charles University, Faculty of Mathematics and Physics, Institute of Formal and Applied Linguistics（查尔斯大学数学物理学院形式与应用语言学研究所）
提出MorfFlex形态词典架构，以捷克语词典为例，通过屈折和派生模式高效管理超1亿词形，支持语料库标注一致性和NLP工具开发。
2026-06-24 cs.CL
Context-Aware Prediction of Derivational Word-forms
The University of Melbourne（墨尔本大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
派生形态是语言的一个基本而复杂的特征。在本文中，我们提出了一个新的任务，预测一个给定的基础形式引理，是适合于一个给定的上下文的派生形式。我们提出了一个编码器-解码器风格的神经网络，以产生一个衍生形式字符的基础上，其相应的字符级表示的基础形式和上下文的字符。我们证明，我们的模型是能够产生有效的上下文敏感的派生从已知的基本形式，但不太准确的词典不可知的设置下。
2017-02-22 cs.CL
A Morphology-Based Investigation of Positional Encodings
IIT Bombay（印度理工学院孟买分校）；Google Research（谷歌研究院）；NICT（日本情报通信研究机构）
本研究探讨语言形态学复杂性与预训练语言模型中位置编码利用率的相关性，通过对22种语言和5项下游任务的分析，发现形态学复杂性越高，位置编码的重要性越低，为改进位置编码提供了依据。
2024-05-30 cs.CL
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University（西北大学）
词的分布式表征已被证明可以捕捉词汇语义，这在词相似性和类比关系任务中表现出了有效性。但是，这些任务只是间接地评估词汇语义。在本文中，我们研究是否有可能利用分布式表示来生成单词的字典定义，作为嵌入语义的更直接和透明的表示。我们将介绍定义建模，即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构，并在多个数据集上对模型进行了实验。我们的研究结果表明，控制被定义的单词和定义单词之间的依赖关系的模型表现得更好，并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后，一个错误分析表明，由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks
在这项工作中，我们解决的问题，句子边界检测适用于法国作为一个二元分类任务（“句子边界”或“不是句子边界”）。我们将卷积神经网络与子词级信息向量相结合，子词级信息向量是从维基百科学习的词嵌入表示，它利用了词的形态学;因此每个词都表示为一袋字符n-gram。我们决定使用一个大的书面数据集（法语Gigaword）而不是标准大小的transmittance来训练和评估所提出的架构，目的是在现实生活中的ASR transmittance中使用经过训练的模型。三种不同的架构进行了测试，显示出类似的结果;所有模型的一般精度超过0.96。所有三个模型都具有良好的F1分数，关于“非句子边界”类，F1分数达到0.97以上。然而，“句子边界”类反映了较低的分数，将其中一个模型的F1度量降低到0.778。使用子字级信息向量似乎是非常有效的，从而得出结论，在嵌入表示中编码的字的形态表现得像图像中的像素，使得卷积神经网络架构的使用可行。
2018-02-13 cs.CL
How Suitable Are Subword Segmentation Strategies for Translating Non-Concatenative Morphology?
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
数据驱动的子词切分已成为开放词汇机器翻译和其他NLP任务的默认策略，但对于非连接形态的最佳学习可能不够通用。我们设计了一个测试套件，以评估不同类型的形态学现象在一个受控的，半合成的设置分割策略。在我们的实验中，我们比较了在子词和字符级别上训练的机器翻译模型如何翻译这些形态学现象。我们发现，学习分析和生成形态复杂的表面表示仍然是具有挑战性的，特别是对于非连接的形态现象，如重叠或元音和谐和罕见的词干。根据我们的研究结果，我们建议在一系列类型多样的语言上测试新的文本表示策略，以尽量减少采用无意中使某些语言处于不利地位的策略的风险。
2021-09-02 cs.CL
Improving Sentiment Analysis in Arabic Using Word Representation
Coventry University（考文垂大学）
阿拉伯语在词法、拼写和方言方面的复杂性使得阿拉伯语的情感分析更具挑战性。此外，为了衡量情绪，从tweet等短消息中提取文本特征提取，使这项任务更加困难。近年来，深度神经网络经常被采用，并在情感分类和自然语言处理应用中表现出非常好的效果。词嵌入或词分布方法是一种从上下文文本中捕获最接近的词的有效工具。在本文中，我们描述了我们如何构建Word 2 Vec模型从一个大型的阿拉伯语语料库，从十份报纸在不同的阿拉伯国家。通过应用不同的机器学习算法和具有不同文本特征选择的卷积神经网络，我们报告了我们公开可用的阿拉伯语健康情感数据集上情感分类的准确性提高（91%-95%）[1]
2018-03-30 cs.CL
Morphological and Language-Agnostic Word Segmentation for NMT
Charles University（查理大学）
在神经机器翻译（NMT）中处理丰富形态学的最新技术是将单词形式分解为子单词单元，以便这些单元的总体词汇量符合NMT模型和GPU内存容量给出的实际限制。在本文中，我们比较了两种常见的但在语言上不知情的子词构造方法（BPE和STE，在Tensor2Tensor工具包中实现的方法）和两种语言动机的方法：Morfessor和一种基于派生词典的新方法。我们的实验与德语到捷克语的翻译，都形态丰富，文件，到目前为止，非动机的方法表现得更好。此外，我们确定了BPE和STE之间的关键区别，并为BPE显示了一个简单的预处理步骤，该步骤可以显著提高翻译质量，并通过自动测量进行评估。
2018-06-14 cs.CL
KinyaBERT: a Morphology-aware Kinyarwanda Language Model
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Polytechnic University of Catalonia（加泰罗尼亚理工大学）
针对形态丰富的低资源卢旺达语，本文提出利用形态分析器并显式建模形态组合性的双层 BERT 架构 KinyaBERT，在 NER 与翻译版 GLUE 上显著优于基线。
2022-03-17 cs.CL
Morphonette: a morphological network of French
Université de Toulouse（图卢兹大学）
本文详细介绍了Morphonette的第一个版本，一个新的法语形态资源和一个新的基于词素的形态分析方法。本研究基于派生形态学的范式概念，即形态结构是整个词汇的结构，而不是它所包含的单个词。这种结构的发现依赖于词之间形态相似性的度量、形式类比和两种形态范式的性质：
2010-05-21 cs.CL
Joint Semantic Synthesis and Morphological Analysis of the Derived Word
Johns Hopkins University（约翰斯·霍普金斯大学）；LMU Munich（慕尼黑大学）
就像句子由单词组成一样，单词本身也是由更小的单位组成的。例如，英语单词questionably可以分析为question+able+ly。然而，这个词的结构分解并不直接给我们一个词的意义的语义表示。由于形态学遵循组合性原则，词的语义可以系统地从其组成部分的意义中推导出来。在这项工作中，我们提出了一种新的概率模型的单词形成，捕捉到一个词w到其组成部分的分析和合成的意义w从这些部分的意义。我们的模型共同学习将单词分割成词素，并组成这些词素的分布语义向量。我们在英语CELEX数据和德语DerivBase（Zeller等人，2013）数据。我们发现，联合建模语义提高了分割精度和词素F1之间的3%和5%。此外，我们研究了不同的向量组合模型，表明递归神经网络比简单的加法模型有改进。最后，我们研究的程度表示对应的语言学家的概念形态生产力。
2018-11-10 cs.CL
Translating from Morphologically Complex Languages: A Paraphrase-Based Approach
National University of Singapore（新加坡国立大学）
我们提出了一种新的方法来翻译从一个形态复杂的语言。与以往的研究，有针对性的词的屈折变化和连接，我们专注于形态相关的词，我们把潜在的释义和处理使用释义技术在单词，短语和句子水平之间的成对关系。这个框架的一个重要优点是，它可以处理派生形态学，这在很大程度上仍然超出了统计机器翻译系统的能力。我们的实验翻译从马来语，其形态主要是派生的，到英语表现出显着的改进，竞争的方法的基础上，五个自动评估措施（320,000句对，950万英语单词标记）。
2021-09-27 cs.AI cs.CL cs.LG
Stemmer for Serbian language
在语言形态学和信息检索中，词干提取是将词形变化（有时是派生）的词还原为词干、词根或词根形式的过程;通常是书面形式。在这项工作中，后缀剥离词干的塞尔维亚语，高度曲折的语言之一。
2012-09-20 cs.CL cs.IR
A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning
Boğaziçi University（博阿齐奇大学）
完全数据驱动的、基于深度学习的模型通常被设计为独立于语言的，并且已经被证明在许多自然语言处理任务中是成功的。然而，当所研究的语言是低资源和训练数据量不足时，这些模型可以受益于基于自然语言语法的信息的集成。我们提出了两种方法依存句法分析，特别是对有限的训练数据的语言。我们的第一种方法将最先进的基于深度学习的解析器与基于规则的方法相结合，第二种方法将形态信息纳入解析器。在基于规则的方法中，由规则做出的解析决策被编码并与输入单词的矢量表示连接，作为深度网络的附加信息。基于形态学的方法提出了不同的方法，包括词的形态结构到解析器网络。在IMST-UD Treebank上进行了实验，结果表明，通过基于规则的句法分析系统和形态分析，将目标语言的显性知识整合到神经句法分析器中，可以获得更准确的注释，从而提高了句法分析的附加得分。所提出的方法是为土耳其语开发的，但也可以适用于其他语言。
2020-02-24 cs.CL cs.LG
The statistical trade-off between word order and word structure - large-scale evidence for the principle of least effort
Institute for the German Language (IDS), Mannheim, Germany（德语语言研究所（IDS），曼海姆，德国）
语言使用不同的策略来传递结构和语法信息。例如，虽然句子中的语法依赖关系主要通过汉语普通话或越南语等语言的单词排序来传达，但对于因纽特语或克丘亚语等语言，单词排序的限制要少得多，因为这些语言（也）使用单词的内部结构（例如屈折形态）来标记句子中的语法关系。基于对1,500多个独特的翻译圣经不同的书籍在1,100多个不同的语言，作为母语约60亿人的定量分析（超过世界人口的80%），我们提供了大量的统计贸易证据-单词排序所传达的信息量和单词内部结构所传达的信息量之间的差异：更强烈地依赖于词序信息的语言倾向于更少地依赖于词结构信息，反之亦然。此外，我们发现，尽管信息表达方式存在差异，但也有证据表明圣经正典的不同书籍之间存在权衡，这种权衡在不同语言之间几乎没有变化：书的词序信息量越多，其文字结构的信息量就越少，反之亦然。我们认为，这可能表明，一方面，语言编码信息的方式非常不同（但有效）。另一方面，与内容相关的特征和风格特征以非常相似的方式进行统计编码。
2016-08-25 cs.CL
Grammatical Profiling for Semantic Change Detection
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）
语义学、词法学和句法学是相互依存的。然而，大多数用于语义变化检测的计算方法使用主要对语义进行编码的分布式词表示。我们调查的另一种方法，语法分析，完全基于单词的形态句法行为的变化。我们证明，它可以用于语义变化检测，甚至优于一些分布式语义方法。我们提出了一个深入的定性和定量分析的预测，我们的语法分析系统，表明他们是合理的和可解释的。
2021-09-21 cs.CL
Gated Word-Character Recurrent Language Model
Center for Data Science（数据科学中心）；New York University（纽约大学）
我们引入了一个具有长短期记忆（LSTM）单元的递归神经网络语言模型（RNN-LM），该单元利用字符级和单词级输入。我们的模型有一个门，自适应地找到字符级和单词级输入的最佳混合。门通过组合单词的两个不同表示来创建单词的最终矢量表示。使用双向LSTM将字符级输入转换为单词的向量表示。词级输入通过词查找表投影到另一个高维空间。单词的最终向量表示用于LSTM语言模型，该模型预测给定所有前面单词的下一个单词。我们的模型与门控机制有效地利用字符级输入的罕见和词汇外的单词，并优于词级语言模型在几个英语语料库。
2016-10-13 cs.CL
FST Morphology for the Endangered Skolt Sami Language
University of Helsinki（赫尔辛基大学）
我们提出了一个基于FST的形态分析器和Skolt萨米语生成器的发展进展。像其他少数民族乌拉尔语一样，斯科尔特萨米语一方面表现出丰富的形态学，另一方面几乎没有黄金标准材料。这使得NLP方法在没有坚实的形态分析的情况下难以进行研究。这种语言受到严重威胁，本文件所介绍的工作是其振兴努力的一个更大整体的一部分。此外，我们在描述中穿插了基础设施中没有很好记录的促进和描述实践。目前，该分析器涵盖了148种屈折变化范例和12种以上派生形式的30 000多个Skolt萨米语单词。
2020-04-09 cs.CL cs.FL
Error-tolerant Finite State Recognition with Applications to Morphological Analysis and Spelling Correction
容错识别使得能够识别稍微偏离由底层有限状态识别器识别的常规集合中的任何字符串的字符串。这种识别在信息检索中的容错形态学处理、拼写校正和近似字符串匹配中有应用。在描述了所涉及的概念和算法之后，我们给出了两个应用程序的例子：在形态分析的背景下，容错识别允许拼写错误的输入单词形式被纠正，并同时进行形态分析。我们提出了一个应用程序，这对土耳其语单词的粘着形态的容错分析。该算法可以应用于形态分析的任何语言的形态是完全捕获的一个单一的（可能是非常大的）有限状态传感器，无论涉及的构词过程和morphographemic现象。在拼写校正的上下文中，可以使用容错识别来从特定编辑距离内的给定拼写错误的字符串中枚举正确的候选形式。同样，它可以应用于任何语言，其单词列表包括所有屈折形式，或其形态完全由有限状态转换器描述。我们提出了一些语言的拼写校正的实验结果。这些结果表明，这种识别对于许多欧洲语言如英语、荷兰语、法语、德语、意大利语的拼写校正中的候选生成非常有效（和其他）具有非常大的词根和屈折形式的单词列表（有些包含超过200，000份表格），在SparcStation 10/41上在10到45毫秒内（编辑距离为1）生成所有候选解决方案。对于土耳其语中的拼写纠正，容错
1995-07-21 cmp-lg cs.CL
