SanskritShala: A Neural Sanskrit NLP Toolkit with Web-Based Interface for Pedagogical and Annotation Purposes
IIT Kanpur（印度理工学院坎普尔分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；IIT Mandi（印度理工学院曼迪分校）
本文提出首个带网页界面的神经梵语NLP工具包SanskritShala，集成词切分、形态标注、依存解析和复合词识别等模块，在多个基准上达到最先进性能，并公开代码、词嵌入模型及标注数据，以支持梵语教学与标注工作。
2023-05-29 cs.CL
Sanskrit Segmentation Revisited
University of Hyderabad（海得拉巴大学）
计算分析梵语文本需要在初始阶段进行适当的分割。已经开发了各种用于梵语文本分割的工具。其中，梵语遗产引擎中的Gérard Huet的Reader分析输入文本并根据单词参数（iic、ifc、Pr、Subst等短语）对其进行分段，和连读变调（或过渡），发生在一个词的结尾与下一个词的开头部分。它列出了所有可能的解决方案，并在阶段的帮助下区分它们。这些阶段和它们的分析在语法分析器领域有其用途。然而，在分割中，除了决定由相位形成的单词在形态学上是否有效之外，它们并不被使用。本文尝试通过忽略相位细节（除了少数情况）来修改上述分割器，并且还提出了一个概率函数来优先考虑解决方案列表，以在顶部提出最有效的解决方案。
2020-05-13 cs.CL
A Computational Approach to Measuring Semantic Change in Sanskrit Literature
The Harker School（哈克学校）
本文首次将历时词嵌入方法应用于梵语这一低资源古老语言，构建270万词元语料库，结合神经sandhi切分器与词形还原器，验证了21个语义变化中19个方向符合语文学证据，证明该范式可迁移至形态复杂的低资源语言。
2026-09-23 cs.CL
Modeling Composite Labels for Neural Morphological Tagging
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
神经形态标注一直被认为是词性标注任务的扩展，它把每个形态标注看作一个整体标签，而忽略了其内部结构。我们建议将形态标签视为复合标签，并在神经序列标签中明确建模其内部结构。为此，我们探索了三种不同的神经架构，并将它们的性能与CRF和简单的神经多类基线进行了比较。我们在49种语言上评估了我们的模型，结果表明，将形态标签建模为形态类别值序列的神经架构在大多数语言的形态标记中的表现明显优于两个基线。
2018-10-20 cs.CL
Neural Morphological Tagging for Estonian
University of Tartu（塔尔图大学）
我们开发神经形态标记和消歧模型爱沙尼亚语。首先，我们用两种神经结构进行形态标记实验-一个标准的多类分类器，它将每个形态标签视为一个单一的单元，以及一个序列模型，它将形态标签处理为形态类别值的序列。其次，我们补充这些模型与基于规则的爱沙尼亚形态分析器（MA）VABAMORF产生的分析，从而执行软形态消歧。我们比较了两种补充神经形态标记器与MA输出的方法：首先，通过将组合分析嵌入添加到神经标记模型的单词表示输入中，其次，通过采用注意力机制来关注MA生成的最相关的分析。在三个爱沙尼亚数据集上的实验表明，我们的神经架构始终优于非神经基线，包括HMM消歧的VABAMORF，而使用MA输出增强模型会进一步提高两个模型的性能。
2018-10-16 cs.CL
Neural Approaches for Data Driven Dependency Parsing in Sanskrit
University of Utah（犹他大学）；Manipal Institute of Technology（马尼帕尔理工学院）；IIT Kanpur（坎普尔印度理工学院）；Chinmaya Vishwavidyapeeth（钦玛雅维什瓦维迪亚佩特学院）；IIT Kharagpur（克勒格布尔印度理工学院）
数据驱动的依存句法分析方法在过去的几十年里一直是自然语言处理领域的研究热点。然而，梵语仍然缺乏一个强大的纯数据驱动的依赖解析器，可能除了Krishna（2019）。这主要是由于缺乏特定于任务的标记数据和语言的形态丰富的性质。在这项工作中，我们评估了四种不同的数据驱动的机器学习模型，最初提出了不同的语言，并比较其性能的梵文数据。我们用2个基于图和2个基于转换的解析器进行实验。我们比较了每个模型在低资源环境中的性能，使用1,500个句子进行训练。此外，由于我们关注的是每个模型的学习能力，因此我们没有将任何梵语特定的特征显式地并入模型中，而是使用每篇论文中的默认设置来获得特征函数。在这项工作中，我们分析了使用域内和域外测试数据集的解析器的性能。我们还调查了单词排序的影响，在这些系统中提供的句子作为输入，通过分析诗句和相应的散文顺序（anvaya）句子。
2020-04-17 cs.CL
Neural Morphological Tagging from Characters for Morphologically Rich Languages
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）
本文研究了基于神经特征的词法标注方法，该方法适用于词法复杂且标注集较大的语言。我们系统地探索了各种神经架构（DNN，CNN，CNNHighway，LSTM，BLSTM），以获得基于字符的词向量，并结合双向LSTM，在端到端环境中对跨词上下文进行建模。我们探索基于大量未标记数据训练的基于单词的向量的补充使用。我们的形态标记实验表明，对于“简单”模型配置，网络架构的选择（CNN与CNNHighway与LSTM与BLSTM）或使用预训练的词嵌入的增强可能很重要，并明显影响准确性。例如，通过增加深度来增加模型容量，并仔细优化神经网络可以带来实质性的改进，并且准确性（但不是训练时间）的差异变得更小，甚至可以忽略不计。总的来说，我们最好的形态标记为德国和捷克优于最好的结果，在文献中报道了很大的利润。
2016-06-21 cs.CL
LEVOS: Leveraging Vocabulary Overlap with Sanskrit to Generate Technical Lexicons in Indian Languages
Indian Institute of Technology Bombay（印度理工学院孟买学院）
本文提出利用梵语段落生成印度语言技术词典的方法，通过子词级相似性和形态对齐提升翻译准确性，实验显示在技术术语翻译中取得显著提升。
2025-06-24 cs.CL
Cross-lingual, Character-Level Neural Morphological Tagging
Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对低资源语言形态标注缺乏监督数据的问题，提出跨语言字符级迁移学习方案，通过多相关语言联合字符表示实现知识迁移，最高提升低资源语言标注准确率30%。
2026-08-25 cs.CL
Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
由于韩语是一种高度粘着的、字符丰富的语言，因此以前关于韩语形态分析的工作通常采用被称为字素的子字符特征的使用，或者以其他方式利用全面的先验语言知识（即，已知形态变换形式或动作的字典）。这些模型是在假设字符级、无词典的形态分析由于所需动作的数量而难以处理的情况下创建的。在这项研究中，我们提出了一个多阶段的基于动作的模型，可以执行形态变换和词性标记使用任意单位的输入，并将其应用到字符级的朝鲜语形态分析的情况下。在不使用先验语言知识的模型中，我们使用我们提出的数据驱动的Bi-LSTM模型，在世宗朝鲜语语料库中实现了最先进的单词和单词级别的标记准确性。
2018-06-28 cs.CL
Morphological Tagging and Lemmatization of Albanian: A Manually Annotated Corpus and Neural Models
Faculty of Information Technology, Polytechnic University of Tirana（地拉那理工大学信息技术学院）；Faculty of Information Technology, New York University of Tirana（地拉那纽约大学信息技术学院）；University of Turku（图尔库大学）
在本文中，我们提出了第一个公开可用的部分的语音和形态标记语料库的阿尔巴尼亚语，以及神经形态标记和lemmatizer训练it.There是目前缺乏可用的自然语言处理资源阿尔巴尼亚语，其复杂的语法和形态提出了挑战，他们的发展。我们已经创建了一个阿尔巴尼亚语的词性语料库的基础上的通用语法模式的形态注释，包含约118，000令牌的自然发生的文本从不同的文本来源收集，与人工创建的简单句子的67，000令牌只用于训练。在这个语料库上，我们随后使用图尔库神经解析器管道训练和评估分割，形态标记和词形化模型。在保持的评价集上，该模型在词性标注上达到92.74%的准确率，在形态标注上达到85.31%，在词形化上达到89.95%。手动注释的语料库以及训练的模型在开放许可证下可用。
2019-12-02 cs.CL
Neural Factor Graph Models for Cross-lingual Morphological Tagging
Language Technologies Institute（语言技术研究所）；Machine Learning Department（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
形态分析涉及预测单词的句法特征（例如{POS：Noun，Case：Acc，Gender：Fem}）。以前在形态标记方面的工作通过使用来自同一家族的高资源语言（HRL）进行跨语言训练来提高低资源语言（LRL）的性能，但受到严格的（通常是错误的）假设的限制，即标记集在HRL和LRL之间完全重叠。在本文中，我们提出了一种跨语言的形态标记的方法，旨在通过放松这一假设，以提高语言之间的信息共享。所提出的模型使用具有神经网络潜力的阶乘条件随机场，使得有可能（1）利用神经网络表示的表达能力来平滑表面形式中的表面差异，（2）对标签之间的成对和传递关系进行建模，以及（3）准确地生成在训练数据中看不见或罕见的标签集。在通用语义树库中的四种语言上的实验表明，该方法比现有的跨语言方法具有更高的标注准确率。
2018-07-11 cs.CL
Cross-Lingual Morphological Tagging for Low-Resource Languages
University of Oxford（牛津大学）；Google Inc.（谷歌公司）
形态丰富的语言通常缺乏开发准确的自然语言处理工具所需的注释语言资源。我们提出了适合于训练形态标签丰富的标签集低资源的语言，而不使用直接监督模型。我们的方法扩展了现有的方法投影跨语言的词性标签，使用bitext推断一个给定的单词类型或令牌的可能的标签上的约束。我们提出了一个标记模型，使用Wsabie，一个判别式嵌入为基础的模型与基于排名的学习。在我们对11种语言的评估中，该模型的平均性能与基线弱监督HMM相当，同时更具可扩展性。多语言实验表明，该方法在相关语言对之间进行投影时表现最好。尽管固有的有损投影，我们表明，我们的模型预测的形态标签提高了下游性能的解析器平均+0.6 LAS。
2016-06-14 cs.CL
Joint Lemmatization and Morphological Tagging with LEMMING
University of Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出 LEMMING 模块化对数线性模型，联合词形还原与标注，无需形态词典，在六种语言上达到最优，捷克语错误率降低 60%，并证明联合建模互有益处。
2024-05-28 cs.CL
Latin Treebanks in Review: An Evaluation of Morphological Tagging Across Time
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本研究梳理现有拉丁语树库的文本来源、重叠性及时空体裁覆盖，设计形态特征标注的自动化标准转换，构建时间周期数据划分开展跨时间标注分析，证实基于BERT的标注器性能与鲁棒性更优。
2024-08-13 cs.CL
Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西印度大学分校））
由语素重组所引入的歧义为一个词构造了几个可能的屈折变化，使得在形态丰富语言（Morphologically Rich Languages，MRL）中预测句法特征成为一项众所周知的复杂任务。我们提出了多任务深度形态分析器（MT-DMA），这是一种基于印地语和乌尔都语单词级标签标记的多任务学习的字符级神经形态分析器。MT-DMA通过在一个可训练的框架中联合学习所有这些标记来预测印度-雅利安语言单词的一组六个形态标记：词性（POS）、性别（G）、数字（N）、人称（P）、格（C）、时态-体-情态（TAM）标记以及引理（L）。我们通过同时优化多个损失函数和共享用于上下文感知形态分析的初始参数来展示这种深度神经网络的训练的有效性。利用多目标遗传算法为每个标签优化的语音空间中的字符级特征，我们的模型建立了一个新的国家的最先进的准确率得分后，所有七个任务的两种语言。MT-DMA是公开的：代码，模型和数据可在https://github.com/Saurav0074/morph_analyzer上获得。
2019-09-16 cs.CL
Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi（纽约大学阿布扎比分校）
闪族语言可以是高度模糊的，有几个相同的表面形式的解释，和形态丰富，有许多语素实现几个形态特征。对于方言内容来说，这一问题更加严重，因为方言内容更容易受到干扰，而且缺乏标准的正字法。形态特征可以是词汇化的，如词元和变音形式，或者是非词汇化的，如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式，这提供了更好的上下文建模，并进一步消除歧义的词汇选择。然而，不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能，无论是词汇化（在字符级别上），我们也模型表面形式规范化，或非词汇化（在单词级别上）。我们使用阿拉伯语作为测试用例，并实现了现代标准阿拉伯语的最新结果，相对误差减少了20%，埃及阿拉伯语（阿拉伯语的方言变体）减少了11%。
2019-10-05 cs.CL
Neural Morphological Tagging for Nguni Languages
Department of Computer Science（计算机科学系）；University of Cape Town（开普敦大学）
针对恩古尼语形态解析难题，研究构建神经形态标注器，对比两类神经方法与传统规则方法，发现从头训练的神经标注器性能最优，验证了该方案的可行性。
2025-05-19 cs.CL
Building a Word Segmenter for Sanskrit Overnight
IIT Kharagpur（印度理工学院卡拉格普尔分校）；American Express India Pvt Ltd（美国运通印度私人有限公司）
梵语中有大量的数字化文本。然而，在这样的文本中的分词任务是具有挑战性的，由于“Sandhi”的问题。在连读变调中，一个句子中的单词经常融合在一起形成一个单一的文本块，其中单词的重复消失，单词边界的声音经历了变化，这也反映在书面文本中。在这里，我们提出了一种使用深度序列到序列（seq2seq）模型的方法，该模型仅将混叠字符串作为输入并预测未混叠字符串。最先进的模型涉及语言学，并且对于输入的词汇和形态分析具有外部依赖性。我们的模型可以“一夜之间”训练出来，并用于生产。尽管采用了知识精益方法，但我们的系统比现有技术更好，比现有技术增加了16.79%。
2018-02-17 cs.CL cs.IR
LemMED: Fast and Effective Neural Morphological Analysis with Short Context Windows
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
我们提出了LemMED，一个字符级的编码器-解码器的上下文形态分析（结合词形化和标记）。LemMED扩展并以另外两个基于注意力的模型命名，即Lematus，一个上下文lemmatizer，和MED，一个形态（再）变化模型。我们的方法不需要训练单独的词形化和标记模型，也不需要额外的资源和工具，如形态词典或转换器。此外，LemMED仅依赖于字符级表示和本地上下文。虽然该模型原则上可以在句子级别上考虑全局上下文，但我们的实验表明，在每个目标词周围仅使用单个词的上下文不仅在计算上更可行，而且也会产生更好的结果。我们在SIMGMORPHON-2019共享任务的框架中评估LemMED，该任务涉及组合词形化和标记。在平均性能方面，LemMED在13个系统中排名第5，仅在使用上下文嵌入的提交中表现最好。
2020-10-21 cs.CL
A Multi-head-based architecture for effective morphological tagging in Russian with open dictionary
National Research Tomsk State University（国立研究型托木斯克国立大学）
本文提出基于多头注意力的新型架构，用于俄语形态标注，通过子词分割和向量聚合支持开放式词典，实验显示在SinTagRus和Taiga数据集上达到98%-99%的准确率，且模型训练效率高。
2026-04-03 cs.CL
Tagging and Morphological Disambiguation of Turkish Text
自动文本标注是文本语料库高级分析的重要组成部分，其结果可用于许多自然语言处理应用。在土耳其语或芬兰语等语言中，由于许多词汇形式的结构在形态上是模糊的，因此在使用粘着形态学时，形态消歧是标注的一个非常关键的过程。本文描述了一个土耳其语文本的POS标记的基础上，土耳其语形态的全面两级规范，是基于一个约24,000根字的词典。这是一个多词和惯用的结构识别器，最重要的是形态消歧器的基础上，当地的邻里约束，语法和统计信息的有限数量。标记器还具有统计编译和微调的形态分析仪，如记录错误的形态分析，常用的根等初步结果表明，标记器可以标记约98-99\%的文本准确地与非常少的用户干预的功能。此外，句子形态消歧的标签，LFG解析器开发的土耳其语，生成，平均，50%的不明确的解析和解析速度快了近2.5倍。标记功能并不特定于土耳其语，并且可以应用于具有适当形态分析接口的任何语言。
1994-07-29 cmp-lg cs.CL
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland（东芬兰大学）；AI-Bio Convergence Research Institute（人工智能-生物融合研究所）；Soongsil University（崇实大学）
本文通过比较三种子词方法在六个乌拉尔语中的表现，发现OBPE在形态对齐和标注准确性上优于传统方法，尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
Part-of-Speech-Tagging using morphological information
本文介绍了一个实验的结果，以决定问题的真实性，所谓的假恒河猴-阁楼悲剧，有时归功于欧里庇得斯。实验涉及到使用统计，以测试是否有显着的偏差之间的分布的Rhesus和欧里庇得斯的其他作品的词类别可以或不能被发现。为了计算语料库中的词类别的频率，部分的语音标记的希腊语已经实施。为了减少稀疏数据的问题，使用了一些特殊的技术，从而使精度达到约100%。百分之九十六点六
1996-06-04 cmp-lg cs.CL
Context Aware Lemmatization and Morphological Tagging Method in Turkish
Kocaeli University（科贾埃利大学）
本文面向土耳其语提出结合双向 LSTM 与 Turkish BERT 的上下文感知词形还原和形态标注模型，并在 IMST、PUD 上验证其优于 SIGMORPHON 2019 结果。
2025-01-04 cs.AI cs.CL
Joint PoS Tagging and Stemming for Agglutinative Languages
Hacettepe University（哈杰特佩大学）
黏着语言中的词形式的数量在理论上是无限的，并且词形式的这种多样性在许多自然语言处理任务中引入了稀疏性。词性标注（PoS tagging）是这些任务之一，往往遭受稀疏性。在本文中，我们提出了一个无监督的贝叶斯模型，使用隐马尔可夫模型（HMM）的联合PoS标记和词干粘着语言。我们使用词干来减少PoS标记的稀疏性。联合执行两项任务以在两项任务中提供互惠。我们的研究结果表明，联合POS标记和词干提高POS标记分数。我们目前的结果为土耳其语和芬兰语作为粘着语言和英语作为一个形态学差的语言。
2017-05-24 cs.CL
Morphological Embeddings for Named Entity Recognition in Morphologically Rich Languages
Boğaziçi University（海峡大学）；Huawei R&D Center（华为研发中心）
在这项工作中，我们提出了土耳其和捷克命名实体识别的93.59，%和79.59，%的新的最先进的结果（Lample等人，2016）。我们的贡献，提出了几个方案表示一个词的形态分析的背景下，命名实体识别。我们表明，这种表示与单词和字符嵌入的串联提高了性能。这些表示方案上的标记性能的效果也进行了研究。
2017-06-01 cs.CL
Semi-Automatic Data Annotation, POS Tagging and Mildly Context-Sensitive Disambiguation: the eXtended Revised AraMorph (XRAM)
EPHE（法国高等研究实践学院）；Sapienza University of Rome（罗马大学）；Roma Tre University（罗马第三大学）
Tim Buckwalter的阿拉伯语词汇和形态资源AraMorph，扩展修订AraMorph（以下简称XRAM）的扩展，修订形式，它解决了一些弱点和不一致的原始模型，允许更广泛地覆盖现实世界的古典和当代（正式和非正式）阿拉伯语文本。基于先前的研究，XRAM增强包括（i）标记可选择的使用标记，（ii）概率轻度上下文敏感的POS标记，过滤，消歧和替代形态分析的排名，（iii）通过从现有词汇资源中提取词汇和形态信息来半自动增加词汇覆盖率。通过前端Python模块对XRAM进行的测试显示出了显著的成功水平。
2016-03-06 cs.CL cs.IR
POS-tagging to highlight the skeletal structure of sentences
本研究开发了基于BERT迁移学习的词性标注模型，用于提取句子骨架结构，经俄语文本微调验证有效，可助力机器翻译等自然语言处理任务。
2024-11-21 cs.CL
Artificially Evolved Chunks for Morphosyntactic Analysis
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
我们介绍了一种语言无关的进化技术，自动提取块依赖树库。我们评估这些组块上的一些形态句法任务，即词性标注，形态特征标注，和依存句法分析。我们用许多不同的方法来测试这些块的效用。我们首先学习组块作为一个任务，在一个共享的多任务框架与POS和形态特征标记。然后，将来自该网络的预测用作输入以增强序列标记依存句法分析。最后，我们调查的影响块依存句法分析在多任务框架。我们从这些分析的结果表明，这些块提高英语UD树库和一个小的，不同的子集的非英语UD树库在不同层次的句法抽象的性能。
2019-08-21 cs.CL
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心应用数学研究所）；Petrozavodsk State University（彼得罗扎沃茨克国立大学）；Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences（俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所）
本研究致力于低资源Veps和卡累利阿语言。本文介绍了为词分配词性标记和为词分配语法属性的算法。这些算法使用我们的形态词典，其中每个单词形式的词元、词性和一组语法特征（语法集）都是已知的。该算法基于相似性假设，即具有相同后缀的词可能具有相同的屈折模式、相同的词性和语法集。对这些算法的精度进行了评价和比较。31.3万Vepsian和6.6万卡累利阿词被用来验证这些算法的准确性。特殊功能的设计，以评估开发的算法的结果的质量。92.4%的Vepsian词和86.8%的卡累利阿词被分配了一个正确的词性由开发的算法。我们的算法为95.3%的Vepsian词和90.7%的Karelian词分配了正确的语法集。本文介绍了语料库处理过程中密切相关、不可分割的词形标注和语义标注。
2021-03-22 cs.CL cs.IR
Augmenting a BiLSTM tagger with a Morphological Lexicon and a Lexical Category Identification Step
Reykjavik University（雷克雅未克大学）；The Árni Magnússon Institute for Icelandic Studies（阿尼·马格努松冰岛研究所）
以前使用BiLSTM模型进行PoS标记的工作主要集中在小标记集上。我们评估BiLSTM模型标记冰岛语，形态丰富的语言，使用相对较大的tagset。我们的基线BiLSTM模型比任何以前发表的没有利用形态词典的标记器实现了更高的准确性。当我们通过合并这些数据来扩展模型时，我们的表现明显优于以前的最先进的结果。我们还报告正在进行的工作，试图解决的问题，固有的数据稀疏形态详细，细粒度的标签集。我们尝试只在词汇类别上训练一个单独的模型，并使用粗粒度的输出标记作为主模型的输入。该方法进一步提高了准确性，并减少了21.3%的标记错误相比，以前的国家的最先进的结果。最后，我们训练和测试我们的标签上的一个新的黄金标准，冰岛。
2019-07-21 cs.CL cs.LG
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asian（微软亚洲研究院）；Educational Testing Service Research（美国教育考试服务中心研究院）
双向长短期记忆循环神经网络（BLSTM-RNN）已被证明是非常有效的标记序列数据，例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段，已经得到了广泛的应用。在这项研究中，我们提出了使用BLSTM-RNN与词嵌入的词性（POS）标注任务。在Penn Treebank WSJ测试集上进行测试时，达到了97.40的标记准确率。在不使用形态特征的情况下，该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL
Character Transformations for Non-Autoregressive GEC Tagging
Charles University（查理大学）
我们提出了一个基于字符的非自回归GEC方法，自动生成的字符转换。最近，校正编辑的每字分类已被证明是当前编码器-解码器GEC系统的有效的、可并行化的替代方案。我们发现，单词替换编辑可能是次优的，并导致爆炸的规则拼写，变音符号和错误的形态丰富的语言，并提出了一种方法，从GEC语料库生成字符转换。最后，我们训练字符转换模型，捷克，德国和俄罗斯，达到坚实的结果和显着的加速相比，自回归系统。源代码发布于https://github.com/ufal/wnut2021_character_transformations_gec。
2021-11-17 cs.CL
Parsing of Myanmar sentences with function tagging
University of Computer Studies（计算机研究大学）；Natural Language Processing Laboratory（自然语言处理实验室）
本文介绍了使用朴素贝叶斯来解决分配功能标签的任务和上下文无关文法（CFG）来解析缅甸语句子。缅甸语句子的统计功能标记的部分挑战来自于缅甸语有自由的短语顺序和复杂的形态系统。函数标记是解析的预处理步骤。在功能标注任务中，我们使用功能标注语料库，对具有正确切分、词性标注和组块信息的缅甸语句子进行标注。提出了缅甸语语法规则，并应用上下文无关文法（CFG）找出了缅甸语功能标记语句的语法分析树。实验表明，我们的分析取得了良好的效果，分析简单句和三种类型的复杂句。
2012-05-08 cs.CL
Statistical Function Tagging and Grammatical Relations of Myanmar Sentences
University of Computer Studies（计算机研究大学）
本文描述了一种基于上下文无关文法（CFG）的缅甸语句子语法关系，并结合基于语料库的功能标注系统。缅甸句子统计功能标记的部分挑战来自缅甸具有自由短语顺序和复杂的形态系统这一事实。功能标注是缅甸语句子语法关系的预处理步骤。在功能标注任务中，利用正确的切分、词性标注和组块信息对缅甸语句子的功能进行标注。我们应用上下文无关文法（CFG）来找出功能标签的语法关系。我们还创建了一个功能标注的标注语料库，并提出了缅甸句子的语法规则。实验表明，我们的分析取得了很好的结果，简单句和复杂句。
2012-03-08 cs.CL
A Freely Available Morphological Analyzer, Disambiguator and Context Sensitive Lemmatizer for German
在本文中，我们提出了Morphy，德语形态，词性标注和上下文敏感的词形化的综合工具。它拥有超过320，000个单词形式的大型词典，加上它处理德语复合名词的能力，保证了广泛的形态覆盖范围。句法歧义可以用标准的统计词性标注器来解决。通过使用标记器的输出，词形化器可以确定正确的词根，即使是有歧义的单词形式。完整的软件包是免费提供的，可以从万维网下载。
1998-09-23 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen（格罗宁根大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
双向长短期记忆（bi-LSTM）网络最近被证明可以成功地用于各种NLP序列建模任务，但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题，并评估双LSTM与字，字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型，它将POS标记损失函数与一个辅助损失函数相结合，该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能，尤其适用于形态复杂的语言。我们的分析表明，双LSTM对训练数据大小和标签损坏（在小噪声水平下）的敏感性低于以前的假设。
2016-07-21 cs.CL
A Simple Joint Model for Improved Contextual Neural Lemmatization
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）
本文提出一种简单的联合神经模型，同时进行词形还原和形态标注，在通用依赖语料库的20种语言上取得最先进结果，尤其对低资源语言和形态复杂语言有益。
2024-05-28 cs.CL
Morphosyntactic Tagging with a Meta-BiLSTM Model over Context Sensitive Token Encodings
Google Inc.（谷歌公司）
神经网络，特别是循环神经网络的兴起，在词性标注准确性方面产生了显著的进步。这些模型的一个共同特征是存在丰富的初始单词编码。这些编码通常由具有学习和预训练的词嵌入的基于递归字符的表示组成。然而，这些编码不考虑比单个单词更宽的上下文，并且单词或子单词信息仅通过随后的递归层进行交互。在本文中，我们研究的模型，使用循环神经网络与初始字符和单词为基础的表示的上下文。特别是，我们表明，最佳的结果是通过整合这些上下文敏感的表示，通过同步训练与元模型，学会结合他们的状态。我们目前的结果与国家的最先进的性能对一些语言的词性和形态标记。
2018-05-21 cs.CL
How Robust Are Character-Based Word Embeddings in Tagging and MT Against Wrod Scramlbing or Randdm Nouse?
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）
本文研究了NLP对扰动词形式的鲁棒性。虽然神经方法可以在某些任务和条件下实现（几乎）类似人类的准确性，但它们通常对输入中的小变化敏感，例如非规范输入（例如，错别字）。然而，在涉及用户生成内容的应用中，稳定性和鲁棒性都是所需的属性，并且随着人类容易应对这种嘈杂或敌对条件，稳定性和鲁棒性更是如此。在本文中，我们研究了噪声输入的影响。我们考虑不同的噪声分布（一种类型的噪声，噪声类型的组合）和不匹配的噪声分布进行训练和测试。此外，我们经验性地评估了不同模型（卷积神经网络、递归神经网络、非神经模型）、不同基本单元（字符、字节对编码单元）和不同NLP任务（形态标记、机器翻译）的鲁棒性。
2017-04-14 cs.CL
eFontes. Part of Speech Tagging and Lemmatization of Medieval Latin Texts.A Cross-Genre Survey
Institute of Polish Language (Polish Academy of Sciences)（波兰科学院波兰语言研究所）；AGH University（AGH大学）；Enelpol（恩内波尔公司）；Jagiellonian University（雅盖隆大学）
本文提出基于Transformers的eFontes模型，用于中世纪拉丁文本的词形还原、词性标注和形态特征确定，在UD及自建波兰中世纪拉丁语料库上训练，取得较高准确率，并展望扩展至命名实体识别。
2024-06-29 cs.CL cs.LG
Morphological Priors for Probabilistic Neural Word Embeddings
Yik Yak, Inc.（Yik Yak公司）；Georgia Institute of Technology（佐治亚理工学院）
词嵌入允许自然语言处理系统在相关词之间共享统计信息。这些嵌入通常基于分布统计，这使得它们很难推广到罕见或看不见的单词。我们提出了改进词嵌入，结合形态信息，捕捉共享的子词特征。与以前的工作，直接从语素构建词嵌入，我们结合形态和分布信息在一个统一的概率框架，其中的词嵌入是一个潜在的变量。形态信息提供了潜在词嵌入的先验分布，这反过来又制约了观察到的语料库上的似然函数。这种方法产生的内在单词相似性评估的改进，也在下游的词性标注任务。
2016-09-24 cs.CL
Challenging Language-Dependent Segmentation for Arabic: An Application to Machine Translation and Part-of-Speech Tagging
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
分词在改进任何阿拉伯语NLP应用程序中起着关键作用。因此，大量的研究已经花费在提高其准确性。然而，现成的工具是：i）使用复杂和ii）域/方言相关的。我们探索了三种独立于语言的形态分割方法：i）数据驱动的子词单元，ii）字符作为学习单元，iii）使用字符CNN（卷积神经网络）学习的词嵌入。在机器翻译和词性标注的任务中，我们发现这些方法可以实现接近，有时甚至超过最先进的性能。在我们的分析中，我们表明神经机器翻译系统对源和目标标记的比率很敏感，并且比率接近1或更大，给出了最佳性能。
2017-09-02 cs.CL
Lexically Grounded Subword Segmentation
Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文提出词汇接地的子词切分方法，结合Morfessor预分词、词嵌入代数推导和子词二元模型高效切分，在8种语言的形态合理性与词性标注上取得一致提升。
2024-10-03 cs.CL
Word Embeddings for the Armenian Language: Intrinsic and Extrinsic Evaluation
Ivannikov Laboratory for System Programming at Russian-Armenian University（俄-亚大学伊万尼科夫系统编程实验室）
在这项工作中，我们内在地和extraditionally评估和比较现有的词嵌入模型的亚美尼亚语。此外，还介绍了新的嵌入，使用GloVe，fastText，CBOW，SkipGram算法进行训练。我们适应并使用词类比任务嵌入的内在评价。对于外部评价，采用两个任务：形态标记和文本分类。使用ArmTDP v2.3数据集在深度神经网络上执行标记。对于文本分类，我们提出了一个语料库的新闻文章分为7类。这些数据集被公开，作为未来模型的基准。
2019-06-07 cs.CL
Subword Pooling Makes a Difference
Borealis AI；Institute for Computer Science and Control（计算机科学与控制研究所）
上下文单词表示成为现代自然语言处理系统的标准。这些模型使用子词标记化来处理大词汇表和未知词。这种系统的词级使用需要一种方法来汇集对应于单个词的多个子词。在本文中，我们调查如何选择的子词池影响下游的性能上的三个任务：形态探测，词性标注和NER，在9个类型不同的语言。我们在两个大规模多语言模型mBERT和XLM-RoBERTA中比较这些。对于形态学任务，广泛使用的“选择第一个子词”是最差的策略，最好的结果是通过使用注意力的子词。对于POS标记，这两种策略的表现都很差，最好的选择是在子词上使用一个小的LSTM。相同的策略最适合NER，我们表明mBERT在所有9种语言中都优于XLM-RoBERTA。我们在\url{https://github.com/juditacs/subword-choice}公开发布所有代码、数据和完整结果表。
2021-03-29 cs.CL
Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）
形态句法词典提供了有关语言中单词的形态和句法角色的信息。并非所有语文都有这类词汇，即使有，其覆盖面也可能有限。我们提出了一种基于图的半监督学习方法，该方法利用单词之间的形态、语法和语义关系，从小种子集中自动构建广覆盖词典。我们的方法是独立于语言的，我们表明，我们可以扩展一个1000字的种子词典，其大小的100倍以上，高质量的11种语言。此外，自动创建的词典提供了提高两个下游任务性能的功能：形态标记和依存句法分析。
2016-01-24 cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University（巴纳斯塔利大学）
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言，词性标注是一个突出的工具。它是许多NLP应用程序中最简单，最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段，如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中，我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram，Bigram，Trigram和HMM方法的统计方法。给出了一个清晰的思路，并给出了相应的例子.它还介绍了一个标记集的马拉地语，可用于标记马拉地语文本。在本文中，我们已经显示了标记器的发展，以及比较，以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
On the Importance of Subword Information for Morphological Tasks in Truly Low-Resource Languages
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；RIKEN AIP（理化学研究所人工智能实验室）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所以及）；Technion, IIT（以色列理工学院）；Tohoku University（东北大学）
最近的工作已经证实了子词信息对于词表示学习的重要性。由于子字增加了神经模型中的参数共享能力，因此它们的价值在低数据状态下应该更加明显。因此，在这项工作中，我们提供了一个全面的分析，重点是在真正的低资源的情况下，字表征学习和三个代表性的形态任务：细粒度的实体打字，形态标记，和命名实体识别的子词的有用性。我们进行了一个系统的研究，跨越了几个方面的比较：1）数据稀缺的类型，这可能源于缺乏特定任务的训练数据，甚至缺乏训练词嵌入所需的未注释数据，或两者兼而有之; 2）语言类型，通过与16种类型不同的语言样本，包括一些真正的低资源的工作（如Rusyn，布里亚特，祖鲁语）; 3）子词知情的词表示方法的选择。我们的主要结果表明，子词知情模型在所有语言类型中普遍有用，比子词不可知的嵌入有很大的收益。他们还认为，子词的有效使用在很大程度上取决于语言（类型）和手头的任务，以及用于训练嵌入和基于任务的模型的可用数据量，其中具有足够的任务内数据是一个更关键的要求。
2019-09-26 cs.CL
Evaluation of Morphological Embeddings for the Russian Language
Innopolis University（因诺波利斯大学）
近年来，出现了许多基于形态学的词嵌入模型。然而，他们的评估主要限于英语，这是一种已知的形态简单的语言。在本文中，我们探讨是否以及在何种程度上将形态到词嵌入提高下游NLP任务的性能，在形态丰富的俄语。我们选择的NLP任务是POS标记，组块和NER -对于俄语，所有这些都可以只用形态学来解决，而不需要理解单词的语义。我们的实验表明，Skipgram目标训练的基于形态学的嵌入并没有优于现有的嵌入模型- FastText。此外，一个更复杂的，但形态不知道的模型，BERT，允许实现显着更大的性能的任务，大概需要理解一个词的形态。
2021-03-11 cs.CL cs.LG
82 Treebanks, 34 Models: Universal Dependency Parsing with Multi-Treebank Models
Uppsala University（乌普萨拉大学）；Google Research（谷歌研究院）
我们为CoNLL 2018通用依存句法分析共享任务提供了乌普萨拉系统。我们的系统是一个管道，由三个部分组成：第一个执行联合单词和句子分割;第二个预测词性标签和形态特征;第三个预测依赖树的单词和标签。我们不是为每个树库训练一个解析模型，而是为一种语言或密切相关的语言训练多个树库模型，大大减少了模型的数量。在正式测试中，我们在LAS和MLAS指标的27支球队中排名第7。我们的系统在分词、通用词性标注和形态特征方面获得了最好的分数。
2018-09-06 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Tagging French Without Lexical Probabilities -- Combining Linguistic Knowledge And Statistical Learning
本文探讨了法语的形态句法歧义，以开发一种用于词性消歧的策略，该策略a）反映了法语作为一种变形语言的复杂性，b）优化了概率的估计，c）允许用户灵活地选择标记集。从有限的训练语料库中提取词汇概率的问题在于，统计模型可能不一定代表特定上下文中特定单词的使用。在一个高度形态变化的语言中，这个论点特别严重，因为一个词可以用大量的词性来标记。由于缺乏足够的训练数据，我们反对估计词汇概率来消除无限制文本中的词性歧义。相反，我们使用上下文概率的强度以及我们称之为“基因型”的特征，一组与单词相关的标签。利用这些知识，我们已经建立了一个部分的语音标签，结合语言和统计方法：上下文信息是由语言规则和n-gram的概率上的部分语音消歧估计，以消除其余的歧义标签。
1997-10-10 cmp-lg cs.CL
