Learning when to trust distant supervision: An application to low-resource POS tagging using cross-lingual projection
The University of Melbourne（墨尔本大学）
语言注释的跨语言投影受到许多偏差和噪声源的影响，导致不能直接使用的不可靠注释。在本文中，我们介绍了一种新的序列标记方法，该方法使用显式去偏层来学习纠正跨语言投影的错误。这是作为两个语料库的联合学习，一个标记为黄金标准，另一个标记为投影标签。我们仅使用1,000个标记有黄金标准标记的令牌进行评估，以及更丰富的并行数据。我们的系统在八个模拟的低资源环境中达到或超过了最先进的水平，以及两种真正的低资源语言，马达加斯加语和基尼亚卢旺达语。
2016-07-05 cs.CL
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong University of Science and Technology（香港科技大学）
基于多语言预训练语言模型的跨语言自适应主要包括两大类：zero-shot方法和基于预训练语言模型的方法。我们进一步验证了这些跨语言适应方法的有效性，通过评估其性能更细粒度的序列标记任务。在重新审视它们的优点和缺点之后，我们提出了一个新的框架来巩固zero-shot方法和基于自适应的方法，以获得更好的自适应性能。我们不是简单地用机器翻译的数据来增加源数据，而是量身定制了一个预热机制，用一些翻译数据上估计的梯度来快速更新mPTLM。然后，将自适应方法应用于改进的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，该方法有利于不同序列标注任务的跨语言适应。
2021-06-22 cs.CL
Heidelberg-Boston @ SIGTYP 2024 Shared Task: Enhancing Low-Resource Language Analysis With Character-Aware Hierarchical Transformers
Heidelberg University（海德堡大学）；Sattler College（萨特勒学院）
本工作向SIGTYP 2024共享任务受限子任务提交系统，针对13种历史语言，采用分层分词结合DeBERTa-V3架构进行词性与形态标注，并利用字符级T5模型进行词形还原，从头预训练后获得第一名。
2024-05-30 cs.CL
Cross-lingual, Character-Level Neural Morphological Tagging
Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
针对低资源语言形态标注缺乏监督数据的问题，提出跨语言字符级迁移学习方案，通过多相关语言联合字符表示实现知识迁移，最高提升低资源语言标注准确率30%。
2026-08-25 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University（萨尔大学）
本文研究零资源跨语言词性标注，提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语，并训练隐马尔可夫模型进行预测，证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Modeling Composite Labels for Neural Morphological Tagging
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
神经形态标注一直被认为是词性标注任务的扩展，它把每个形态标注看作一个整体标签，而忽略了其内部结构。我们建议将形态标签视为复合标签，并在神经序列标签中明确建模其内部结构。为此，我们探索了三种不同的神经架构，并将它们的性能与CRF和简单的神经多类基线进行了比较。我们在49种语言上评估了我们的模型，结果表明，将形态标签建模为形态类别值序列的神经架构在大多数语言的形态标记中的表现明显优于两个基线。
2018-10-20 cs.CL
Cross-Lingual Transfer and Parameter-Efficient Adaptation in the Turkic Language Family: A Theoretical Framework for Low-Resource Language Models
本文提出突厥语系多语言模型跨语言迁移与参数高效适应的理论框架，通过突厥语系语言的共性与差异分析，构建了基于形态相似性、词汇重叠和语法结构的突厥迁移系数模型。
2026-03-13 cs.AI cs.CL
Neural Morphological Tagging for Estonian
University of Tartu（塔尔图大学）
我们开发神经形态标记和消歧模型爱沙尼亚语。首先，我们用两种神经结构进行形态标记实验-一个标准的多类分类器，它将每个形态标签视为一个单一的单元，以及一个序列模型，它将形态标签处理为形态类别值的序列。其次，我们补充这些模型与基于规则的爱沙尼亚形态分析器（MA）VABAMORF产生的分析，从而执行软形态消歧。我们比较了两种补充神经形态标记器与MA输出的方法：首先，通过将组合分析嵌入添加到神经标记模型的单词表示输入中，其次，通过采用注意力机制来关注MA生成的最相关的分析。在三个爱沙尼亚数据集上的实验表明，我们的神经架构始终优于非神经基线，包括HMM消歧的VABAMORF，而使用MA输出增强模型会进一步提高两个模型的性能。
2018-10-16 cs.CL
Multi-lingual Common Semantic Space Construction via Cluster-consistent Word Embedding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New York University（纽约大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
我们构建了一个基于分布式语义的多语言公共语义空间，其中来自多种语言的单词被投射到一个共享空间中，以实现跨语言的知识和资源转移。除了单词对齐之外，我们还引入了多个聚类级别的对齐，并强制单词聚类在多种语言中保持一致。我们利用三个信号进行聚类：（1）单语词嵌入空间中的相邻词;（2）字符级信息;以及（3）语言属性（例如，同位词、方位后缀），来源于可用于数千种语言的语言结构知识库。我们引入了一种新的聚类一致性相关神经网络，通过对齐词和聚类来构建公共语义空间。对单语和多语言QVEC任务的内在评价表明，我们的方法与语言特征的相关性明显高于最先进的多语言嵌入学习方法。使用低资源的语言名称标记作为外部评估的案例研究，我们的方法实现了高达24.5%的绝对F分数增益超过最先进的。
2018-04-21 cs.AI cs.CL
Explicit Alignment Objectives for Multilingual Bidirectional Encoders
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
预先训练的跨语言编码器，诸如mBERT（Devlin等人，2019）和XLMR（Conneau等人，2020年）已经被证明在实现NLP系统从高资源语言到低资源语言的迁移学习方面非常有效。尽管没有明确的目标来将不同语言中具有相似含义的单词/句子的上下文嵌入在同一空间中对齐，但这种成功还是实现了。在本文中，我们提出了一种新的学习多语言编码器的方法，AMBER（对齐多语言双向编码器）。AMBER使用两个明确的对齐目标在额外的并行数据上进行训练，这些目标以不同的粒度对齐多语言表示。我们进行了不同任务的zero-shot跨语言迁移学习实验，包括序列标记，句子检索和句子分类。实验结果表明，AMBER获得了高达1.1的平均F1分数的序列标记和高达27.3的平均准确率检索XLMR大模型，其中有3.2倍的参数的AMBER。我们的代码和模型可在http://github.com/junjiehu/amber上找到。
2021-04-12 cs.AI cs.CL
Multi-Task Cross-Lingual Sequence Tagging from Scratch
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个用于序列标记的深度层次递归神经网络。给定一个单词序列，我们的模型在字符和单词级别上采用深度门控递归单元来编码形态和上下文信息，并应用条件随机场层来预测标签。我们的模型是任务独立的，语言独立的，和功能工程免费。通过共享架构和参数，我们进一步将模型扩展到多任务和跨语言联合训练。我们的模型在多个基准任务（包括POS标记，组块和NER）上以多种语言实现了最先进的结果。我们还证明了多任务和跨语言联合训练可以提高各种情况下的性能。
2016-08-09 cs.CL cs.LG
MaskParse@Deskin at SemEval-2019 Task 1: Cross-lingual UCCA Semantic Parsing using Recursive Masked Sequence Tagging
Orange Labs（奥兰治实验室）；Aix Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统科学实验室）
本文描述了我们的SemEval-2019 \textit{ Task 1: Cross-lingual Semantic Parsing with UCCA}递归系统。每个递归步骤由两部分组成。我们首先执行语义解析使用序列标签估计的概率的UCCA类别的句子。然后，我们应用解码策略来解释这些概率并构建图节点。解析是递归进行的，我们对句子进行第一次推理以提取主要场景和链接，然后使用反映先前步骤中所做决定的掩蔽功能递归地将模型应用于句子。过程继续，直到到达终端节点。我们选择了一个标准的神经标记器，我们专注于我们的递归解析策略和跨语言迁移问题，开发一个强大的模型，为法语，只使用很少的训练样本。
2019-10-07 cs.CL
Neural Morphological Tagging from Characters for Morphologically Rich Languages
DFKI（德国人工智能研究中心）；Saarland University（萨尔大学）
本文研究了基于神经特征的词法标注方法，该方法适用于词法复杂且标注集较大的语言。我们系统地探索了各种神经架构（DNN，CNN，CNNHighway，LSTM，BLSTM），以获得基于字符的词向量，并结合双向LSTM，在端到端环境中对跨词上下文进行建模。我们探索基于大量未标记数据训练的基于单词的向量的补充使用。我们的形态标记实验表明，对于“简单”模型配置，网络架构的选择（CNN与CNNHighway与LSTM与BLSTM）或使用预训练的词嵌入的增强可能很重要，并明显影响准确性。例如，通过增加深度来增加模型容量，并仔细优化神经网络可以带来实质性的改进，并且准确性（但不是训练时间）的差异变得更小，甚至可以忽略不计。总的来说，我们最好的形态标记为德国和捷克优于最好的结果，在文献中报道了很大的利润。
2016-06-21 cs.CL
Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
由于韩语是一种高度粘着的、字符丰富的语言，因此以前关于韩语形态分析的工作通常采用被称为字素的子字符特征的使用，或者以其他方式利用全面的先验语言知识（即，已知形态变换形式或动作的字典）。这些模型是在假设字符级、无词典的形态分析由于所需动作的数量而难以处理的情况下创建的。在这项研究中，我们提出了一个多阶段的基于动作的模型，可以执行形态变换和词性标记使用任意单位的输入，并将其应用到字符级的朝鲜语形态分析的情况下。在不使用先验语言知识的模型中，我们使用我们提出的数据驱动的Bi-LSTM模型，在世宗朝鲜语语料库中实现了最先进的单词和单词级别的标记准确性。
2018-06-28 cs.CL
Morphological Tagging and Lemmatization of Albanian: A Manually Annotated Corpus and Neural Models
Faculty of Information Technology, Polytechnic University of Tirana（地拉那理工大学信息技术学院）；Faculty of Information Technology, New York University of Tirana（地拉那纽约大学信息技术学院）；University of Turku（图尔库大学）
在本文中，我们提出了第一个公开可用的部分的语音和形态标记语料库的阿尔巴尼亚语，以及神经形态标记和lemmatizer训练it.There是目前缺乏可用的自然语言处理资源阿尔巴尼亚语，其复杂的语法和形态提出了挑战，他们的发展。我们已经创建了一个阿尔巴尼亚语的词性语料库的基础上的通用语法模式的形态注释，包含约118，000令牌的自然发生的文本从不同的文本来源收集，与人工创建的简单句子的67，000令牌只用于训练。在这个语料库上，我们随后使用图尔库神经解析器管道训练和评估分割，形态标记和词形化模型。在保持的评价集上，该模型在词性标注上达到92.74%的准确率，在形态标注上达到85.31%，在词形化上达到89.95%。手动注释的语料库以及训练的模型在开放许可证下可用。
2019-12-02 cs.CL
Towards Universal Semantic Tagging
CLCG, University of Groningen（格罗宁根大学语言与认知中心）
本文提出了通用语义标注的任务-用语言中立的、语义信息丰富的标签标注单词标记。我们认为，该任务，其独立的性质，有助于更好的语义分析，广泛覆盖的多语种文本。我们提出的语义标签集的初始版本，并表明（a）的标签提供语义细粒度的信息，（b）他们是适合跨语言的语义解析。语义标注在并行语义库中的应用支持这两点，因为标注有助于正式的词汇语义和它们的跨语言投射。作为应用程序的一部分，我们用语义标签标注了一个小语料库，并为通用语义标签提供了新的基线结果。
2017-09-29 cs.CL
On the Importance of Subword Information for Morphological Tasks in Truly Low-Resource Languages
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；RIKEN AIP（理化学研究所人工智能实验室）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所以及）；Technion, IIT（以色列理工学院）；Tohoku University（东北大学）
最近的工作已经证实了子词信息对于词表示学习的重要性。由于子字增加了神经模型中的参数共享能力，因此它们的价值在低数据状态下应该更加明显。因此，在这项工作中，我们提供了一个全面的分析，重点是在真正的低资源的情况下，字表征学习和三个代表性的形态任务：细粒度的实体打字，形态标记，和命名实体识别的子词的有用性。我们进行了一个系统的研究，跨越了几个方面的比较：1）数据稀缺的类型，这可能源于缺乏特定任务的训练数据，甚至缺乏训练词嵌入所需的未注释数据，或两者兼而有之; 2）语言类型，通过与16种类型不同的语言样本，包括一些真正的低资源的工作（如Rusyn，布里亚特，祖鲁语）; 3）子词知情的词表示方法的选择。我们的主要结果表明，子词知情模型在所有语言类型中普遍有用，比子词不可知的嵌入有很大的收益。他们还认为，子词的有效使用在很大程度上取决于语言（类型）和手头的任务，以及用于训练嵌入和基于任务的模型的可用数据量，其中具有足够的任务内数据是一个更关键的要求。
2019-09-26 cs.CL
Untangling the Influence of Typology, Data and Model Architecture on Ranking Transfer Languages for Cross-Lingual POS Tagging
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古滕贝格大学）
本研究通过跨语言词性标注任务，系统评估类型学、数据与模型架构对迁移语言选择的影响，发现类型学与数据集特征组合效果最佳，且词重叠、类型-词符比率和谱系距离是关键特征。
2025-03-25 cs.CL
Joint Lemmatization and Morphological Tagging with LEMMING
University of Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出 LEMMING 模块化对数线性模型，联合词形还原与标注，无需形态词典，在六种语言上达到最优，捷克语错误率降低 60%，并证明联合建模互有益处。
2024-05-28 cs.CL
COCO-CN for Cross-Lingual Image Tagging, Captioning and Retrieval
Renmin University of China（中国人民大学）
本文在数据和基线方法方面对跨语言图像标注和检索做出了贡献。我们提出了COCO-CN，一个新的数据集丰富MS-COCO与手工编写的中文句子和标签。为了更有效地获取注释，我们开发了一个辅助的集体注释系统，自动提供注释者与几个标签和句子被认为是相关的图片内容。COCO-CN拥有20，342张图片，标注了27，218个中文句子和70，993个标签，是目前最大的中英文数据集，为跨语言的图像标记，字幕和检索提供了统一和具有挑战性的平台。我们为每个任务开发概念上简单而有效的方法，用于从跨语言资源中学习。在这三个任务上进行的大量实验证明了所提出的数据集和方法的可行性。数据和代码可在https://github.com/li-xirong/coco-cn上公开获取
2019-01-15 cs.CL cs.CV
Eeny, meeny, miny, moe. How to choose data for morphological inflection
The Australian National University (ANU)（澳大利亚国立大学）；University of Colorado（科罗拉多大学）；ARC Centre of Excellence for the Dynamics of Language (CoEDL)（澳大利亚研究理事会语言动态卓越中心）
数据稀缺是低资源语言的许多自然语言处理（NLP）任务中普遍存在的问题。在形态学中，标记/注释数据的劳动密集型工作是NLP和语言文档的严重瓶颈。主动学习（AL）的目的是通过选择最能提供信息的数据来改进模型，从而降低数据注释的成本。在本文中，我们探讨了四个采样策略的任务形态拐点使用Transformer模型：一对Oracle实验中的数据选择的基础上是否模型已经可以或不能正确地影响测试形式，以及策略的基础上高/低模型的信心，熵，以及随机选择。我们调查了30种类型不同的语言中每种策略的鲁棒性。我们还对纳图古进行了更深入的案例研究。我们的研究结果表明，基于模型置信度和熵选择数据有明显的好处。不出所料，甲骨文实验（oracle experiment）显示了最大的改进，在这个实验中，只选择处理不当的表格进行进一步的训练，并作为语言学家/语言顾问反馈的代理。紧随其后的是选择低置信度和高熵预测。我们还表明，尽管传统观点认为较大的数据集会产生更好的准确性，但引入更多高置信度或低熵形式的实例，或者模型已经可以正确变形的形式，可能会降低模型性能。
2022-10-26 cs.CL
BhashaSetu: Cross-Lingual Knowledge Transfer from High-Resource to Extreme Low-Resource Languages
Department of Computer Science and Engineering, Indian Institute of Technology Kanpur（计算机科学与工程系，印度理工学院坎浦尔）
BhashaSetu通过引入GETR方法，实现了从高资源语言到极端低资源语言的跨语言知识转移，显著提升了词性标注和命名实体识别任务的性能。
2026-02-05 cs.AI cs.CL cs.LG
Comparative Study of Zero-Shot Cross-Lingual Transfer for Bodo POS and NER Tagging Using Gemini 2.0 Flash Thinking Experimental Model
Centre for Linguistic Science and Technology, IIT Guwahati（印度理工学院古瓦哈蒂分校语言科学与技术中心）；Central Institute of Technology Kokrajhar（科克拉贾哈尔中央技术学院）
本文研究了 Gemini 2.0 Flash Thinking Experiment 模型在 Bodo 语 POS 和 NER 标注的零样本跨语言迁移中的有效性，比较了直接翻译和基于提示两种方法，发现基于提示的迁移表现更优，为低资源语言 NLP 发展提供了方向。
2025-03-06 cs.CL
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架，通过无监督神经机器翻译构建伪平行句子对，并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
Latin Treebanks in Review: An Evaluation of Morphological Tagging Across Time
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
本研究梳理现有拉丁语树库的文本来源、重叠性及时空体裁覆盖，设计形态特征标注的自动化标准转换，构建时间周期数据划分开展跨时间标注分析，证实基于BERT的标注器性能与鲁棒性更优。
2024-08-13 cs.CL
Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西印度大学分校））
由语素重组所引入的歧义为一个词构造了几个可能的屈折变化，使得在形态丰富语言（Morphologically Rich Languages，MRL）中预测句法特征成为一项众所周知的复杂任务。我们提出了多任务深度形态分析器（MT-DMA），这是一种基于印地语和乌尔都语单词级标签标记的多任务学习的字符级神经形态分析器。MT-DMA通过在一个可训练的框架中联合学习所有这些标记来预测印度-雅利安语言单词的一组六个形态标记：词性（POS）、性别（G）、数字（N）、人称（P）、格（C）、时态-体-情态（TAM）标记以及引理（L）。我们通过同时优化多个损失函数和共享用于上下文感知形态分析的初始参数来展示这种深度神经网络的训练的有效性。利用多目标遗传算法为每个标签优化的语音空间中的字符级特征，我们的模型建立了一个新的国家的最先进的准确率得分后，所有七个任务的两种语言。MT-DMA是公开的：代码，模型和数据可在https://github.com/Saurav0074/morph_analyzer上获得。
2019-09-16 cs.CL
Joint Diacritization, Lemmatization, Normalization, and Fine-Grained Morphological Tagging
New York University Abu Dhabi（纽约大学阿布扎比分校）
闪族语言可以是高度模糊的，有几个相同的表面形式的解释，和形态丰富，有许多语素实现几个形态特征。对于方言内容来说，这一问题更加严重，因为方言内容更容易受到干扰，而且缺乏标准的正字法。形态特征可以是词汇化的，如词元和变音形式，或者是非词汇化的，如性别、数字和词性标签等。词汇化和非词汇化特征的联合建模可以识别更复杂的形态模式，这提供了更好的上下文建模，并进一步消除歧义的词汇选择。然而，不同的建模粒度会使关节建模更加困难。我们的方法联合建模不同的功能，无论是词汇化（在字符级别上），我们也模型表面形式规范化，或非词汇化（在单词级别上）。我们使用阿拉伯语作为测试用例，并实现了现代标准阿拉伯语的最新结果，相对误差减少了20%，埃及阿拉伯语（阿拉伯语的方言变体）减少了11%。
2019-10-05 cs.CL
Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on POS Tagging for Non-Standardized Languages
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文研究非标准化语言变体的跨语言词性标注迁移，通过在七语种上微调 PLM 并操纵分词，发现源域与目标域拆分词比率差异最能预测零样本性能。
2023-04-20 cs.CL
Tokenization and Morphological Fidelity in Uralic NLP: A Cross-Lingual Evaluation
University of Eastern Finland（东芬兰大学）；AI-Bio Convergence Research Institute（人工智能-生物融合研究所）；Soongsil University（崇实大学）
本文通过比较三种子词方法在六个乌拉尔语中的表现，发现OBPE在形态对齐和标注准确性上优于传统方法，尤其在拉丁字母语中表现突出。
2026-02-14 cs.CL
Efficient ASR for Low-Resource Languages: Leveraging Cross-Lingual Unlabeled Data
Speech Processing Lab, International Institute of Information Technology Hyderabad, India（信息与技术国际研究院语音处理实验室，海得拉巴）
通过跨语言无标签数据预训练，提升低资源语言语音识别性能，模型参数更少但效果更优。
2025-12-08 cs.CL eess.AS
The SIGMORPHON 2019 Shared Task: Morphological Analysis in Context and Cross-Lingual Transfer for Inflection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Melbourne（墨尔本大学）；Allen Institute for AI（艾伦人工智能研究所）；Google（谷歌）；University of Helsinki（赫尔辛基大学）；Stony Brook University（石溪大学）；University of Colorado（科罗拉多大学）
SIGMORPHON 2019分享了关于跨语言迁移和形态学语境分析的任务，研究了100种语言对之间的屈折变化的迁移学习，以及66种语言的语境词形化和形态句法描述。第一个任务通过考察形态屈折变化知识从高资源语言到低资源语言的迁移来发展过去几年的屈折变化任务。今年还提出了一个新的第二个挑战词形化和形态特征分析的背景。所有提交的作品都有一个神经组件，并建立在今年的强大基线或前几年共享任务的高排名系统上。每个参与团队的准确性都比拐点任务的基线有所提高（尽管不是Levenshtein距离），而上下文分析任务中的每个团队都在最先进的神经和非神经基线上有所提高。
2020-02-25 cs.CL
Neural Morphological Tagging for Nguni Languages
Department of Computer Science（计算机科学系）；University of Cape Town（开普敦大学）
针对恩古尼语形态解析难题，研究构建神经形态标注器，对比两类神经方法与传统规则方法，发现从头训练的神经标注器性能最优，验证了该方案的可行性。
2025-05-19 cs.CL
Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame（圣母大学）；University of Ioannina（约阿尼纳大学）；ICREA（加泰罗尼亚高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
大多数词性标注的工作都集中在高资源语言上，或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言，Griko的POS标记技术。我们提出了一个资源，其中包含114个故事在Griko，随着意大利语的翻译水平，并提供黄金注释的测试集。基于以前收集的小语料库，我们研究了几种传统的方法，以及利用单语数据或项目跨语言的POS标签的方法。我们发现，半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置，最好的标记器实现了72.9%的准确率。通过应用主动学习方案，我们使用该方案在测试集上收集高级注释，我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur（印度理工学院克勒格布尔分校）；Flipkart（Flipkart公司）；University of Waterloo（滑铁卢大学）；American Express India Pvt Ltd（美国运通印度私人有限公司）；Chinmaya Vishwavidyapeeth（钦玛雅大学）
在自由词序语言（如梵语）的句子中，构形信息的使用是有限的。因此，即使对于诸如分词之类的基本处理任务，整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架，共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型，其中我们采用了基于图的解析技术中通常采用的方法（McDonald等人，2005 a; Carreras，2007）。我们的模型以96.92的F分数（7.06%的百分比提高）优于最先进的技术，同时使用不到十分之一的特定于任务的训练数据。我们发现，使用基于图的方法，而不是传统的基于网格的顺序标记方法，导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
Tagging and Morphological Disambiguation of Turkish Text
自动文本标注是文本语料库高级分析的重要组成部分，其结果可用于许多自然语言处理应用。在土耳其语或芬兰语等语言中，由于许多词汇形式的结构在形态上是模糊的，因此在使用粘着形态学时，形态消歧是标注的一个非常关键的过程。本文描述了一个土耳其语文本的POS标记的基础上，土耳其语形态的全面两级规范，是基于一个约24,000根字的词典。这是一个多词和惯用的结构识别器，最重要的是形态消歧器的基础上，当地的邻里约束，语法和统计信息的有限数量。标记器还具有统计编译和微调的形态分析仪，如记录错误的形态分析，常用的根等初步结果表明，标记器可以标记约98-99\%的文本准确地与非常少的用户干预的功能。此外，句子形态消歧的标签，LFG解析器开发的土耳其语，生成，平均，50%的不明确的解析和解析速度快了近2.5倍。标记功能并不特定于土耳其语，并且可以应用于具有适当形态分析接口的任何语言。
1994-07-29 cmp-lg cs.CL
LemMED: Fast and Effective Neural Morphological Analysis with Short Context Windows
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
我们提出了LemMED，一个字符级的编码器-解码器的上下文形态分析（结合词形化和标记）。LemMED扩展并以另外两个基于注意力的模型命名，即Lematus，一个上下文lemmatizer，和MED，一个形态（再）变化模型。我们的方法不需要训练单独的词形化和标记模型，也不需要额外的资源和工具，如形态词典或转换器。此外，LemMED仅依赖于字符级表示和本地上下文。虽然该模型原则上可以在句子级别上考虑全局上下文，但我们的实验表明，在每个目标词周围仅使用单个词的上下文不仅在计算上更可行，而且也会产生更好的结果。我们在SIMGMORPHON-2019共享任务的框架中评估LemMED，该任务涉及组合词形化和标记。在平均性能方面，LemMED在13个系统中排名第5，仅在使用上下文嵌入的提交中表现最好。
2020-10-21 cs.CL
R2T: Rule-Encoded Loss Functions for Sequence Tagging in Low-Resource Languages
Rochester Institute of Technology（罗切斯特技术学院）；RobotsMali（Mali机器人）
本文提出R2T框架，通过将语言规则编码进自适应损失函数，使模型在低资源序列标注中仅用未标注文本即可达到98.2%准确率，并作为预训练步骤提升NER性能。
2026-09-29 cs.CL cs.LG
A Multi-head-based architecture for effective morphological tagging in Russian with open dictionary
National Research Tomsk State University（国立研究型托木斯克国立大学）
本文提出基于多头注意力的新型架构，用于俄语形态标注，通过子词分割和向量聚合支持开放式词典，实验显示在SinTagRus和Taiga数据集上达到98%-99%的准确率，且模型训练效率高。
2026-04-03 cs.CL
Feature-Rich Part-of-speech Tagging for Morphologically Complex Languages: Application to Bulgarian
Ontotext AD（Ontotext AD公司）；IICT, Bulgarian Academy of Sciences（保加利亚科学院信息与通信技术研究所）；Qatar Computing Research Institute, Qatar Foundation（卡塔尔基金会卡塔尔计算研究所）
我们目前的实验与保加利亚语，斯拉夫语具有丰富的曲折和派生形态的词性标记。不像大多数以前的工作，它使用了少量的语法类别，我们的工作与680形态句法标签。我们将一个大型的形态词典与先前的语言知识相结合，并从POS注释的语料库中进行引导学习，实现了97.98%的准确率，这是保加利亚语最先进的一个显着改进。
2019-11-26 cs.AI cs.CL
HELFI: a Hebrew-Greek-Finnish Parallel Bible Corpus with Cross-Lingual Morpheme Alignment
University of Helsinki（赫尔辛基大学）；Raamatun Tietokirja, Aika[media] Oy（Raamatun Tietokirja Aika[media]公司）
25年前，为了创建分析一致性，手动构建了形态上对齐的希伯来语-芬兰语和希腊语-芬兰语双文本（文本伴随翻译）（Luoto等人，1997年，《圣经》芬兰语译本出版。双文本的创建者最近获得了出版商的许可，可以发布其细粒度的对齐，但对齐仍然依赖于专有的第三方资源，例如受版权保护的文本版本和源文本的专有形态分析。在本文中，我们描述了一个不平凡的编辑过程，从创建原始的一个目的的数据库，并结束其重建只使用免费提供的文本版本和注释。这一过程产生了一个公开可用的数据集，其中包含（i）源文本及其翻译，（ii）形态分析，（iii）跨语言语素对齐。
2020-03-16 cs.CL
Morpheme Boundary Detection & Grammatical Feature Prediction for Gujarati : Dataset & Model
Dharmsinh Desai University（达尔姆辛·德赛大学）
本文针对低资源语言古吉拉特语，构建了首个同时支持语素边界检测和语法特征标注的数据集，并提出基于双向LSTM的形态分析器模型，无需手工后缀规则即可有效处理形态学任务。
2021-12-18 cs.AI cs.CL cs.LG
Part-of-Speech-Tagging using morphological information
本文介绍了一个实验的结果，以决定问题的真实性，所谓的假恒河猴-阁楼悲剧，有时归功于欧里庇得斯。实验涉及到使用统计，以测试是否有显着的偏差之间的分布的Rhesus和欧里庇得斯的其他作品的词类别可以或不能被发现。为了计算语料库中的词类别的频率，部分的语音标记的希腊语已经实施。为了减少稀疏数据的问题，使用了一些特殊的技术，从而使精度达到约100%。百分之九十六点六
1996-06-04 cmp-lg cs.CL
Pushing the Limits of Low-Resource Morphological Inflection
Carnegie Mellon University（卡内基梅隆大学）
近年来，在自动形态变化生成的任务中取得了非凡的进步。然而，对于长尾语言来说，很难获得必要的资源，并且在较高资源设置下工作良好的最先进的神经方法在面对缺乏数据时表现不佳。作为回应，我们提出了一系列的改进，大大提高了在这种低资源条件下的性能。首先，我们提出了一种新的两步注意力结构的拐点解码器。此外，我们调查的影响，跨语言迁移从单一和多种语言，以及单语数据幻觉。我们的模型的宏观平均准确性比最先进的模型高出15个百分点。此外，我们确定了成功的关键因素与跨语言迁移的形态变化：类型相似性和跨语言的共同表示。
2019-08-20 cs.CL
ToPro: Token-Level Prompt Decomposition for Cross-Lingual Sequence Labeling Tasks
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Maryland（马里兰大学）
本文提出词元级提示分解（ToPro）方法，将输入句子分解为单个词元并应用提示模板，在零样本跨语言NER和POS任务上优于现有微调方法，并达到最先进性能。
2024-03-13 cs.CL
Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT
Johns Hopkins University（约翰斯·霍普金斯大学）
预训练的上下文表示模型（Peters等人，2018; Devlin等人，2018年）在许多NLP任务上推动了最先进的技术。新版本的BERT（Devlin，2018）包括一个模型，该模型同时在104种语言上进行预训练，在自然语言推理任务中具有令人印象深刻的zero-shot跨语言迁移性能。本文探讨了mBERT（多语言）作为zero shot语言迁移模型在5个NLP任务上的更广泛的跨语言潜力，这些任务涵盖了来自不同语言家族的39种语言：NLI，文档分类，NER，POS标记和依存句法分析。我们将mBERT与最好的zero-shot跨语言迁移方法进行比较，发现mBERT在每个任务上都具有竞争力。此外，我们调查的最有效的策略，以这种方式利用mBERT，确定在何种程度上mBERT概括远离语言的特定功能，并测量影响跨语言迁移的因素。
2019-10-03 cs.CL
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University（哈佛大学）
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
LemmaTag: Jointly Tagging and Lemmatizing for Morphologically-Rich Languages with BRNNs
Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Department of Applied Mathematics（应用数学系）；Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
我们提出了LemmaTag，这是一种无特征的神经网络架构，它通过使用具有字符级和单词级嵌入的双向RNN来联合生成句子的词性标签和词元。我们证明了这两个任务受益于共享网络的编码部分，预测标签子类别，并使用标签输出作为输入的lemmatizer。我们在几种具有复杂形态的语言中评估了我们的模型，该模型在捷克语、德语和阿拉伯语的词性标记和词形化方面都超过了最先进的准确性。
2018-08-27 cs.CL cs.LG cs.NE
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）
适配器模块，附加的可训练参数，使预训练的Transformers的有效微调，最近已被用于语言专业化的多语言Transformers，改善下游zero-shot跨语言迁移。在这项工作中，我们提出了正交的语言和任务适配器（称为orthoadapters）的跨语言迁移。他们被训练编码语言和任务特定的信息，这是互补的（即，正交）到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验，涉及三个任务（POS标记，NER，NLI）和一组10种不同的语言，1）指出了orthoadapters在跨语言迁移中的有用性，特别是对于最复杂的NLI任务，但也2）表明，最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
Context Aware Lemmatization and Morphological Tagging Method in Turkish
Kocaeli University（科贾埃利大学）
本文面向土耳其语提出结合双向 LSTM 与 Turkish BERT 的上下文感知词形还原和形态标注模型，并在 IMST、PUD 上验证其优于 SIGMORPHON 2019 结果。
2025-01-04 cs.AI cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而，目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略，以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据，以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进：从芬兰语，西日耳曼语和北日耳曼语，以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性，简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Semi-Automatic Data Annotation, POS Tagging and Mildly Context-Sensitive Disambiguation: the eXtended Revised AraMorph (XRAM)
EPHE（法国高等研究实践学院）；Sapienza University of Rome（罗马大学）；Roma Tre University（罗马第三大学）
Tim Buckwalter的阿拉伯语词汇和形态资源AraMorph，扩展修订AraMorph（以下简称XRAM）的扩展，修订形式，它解决了一些弱点和不一致的原始模型，允许更广泛地覆盖现实世界的古典和当代（正式和非正式）阿拉伯语文本。基于先前的研究，XRAM增强包括（i）标记可选择的使用标记，（ii）概率轻度上下文敏感的POS标记，过滤，消歧和替代形态分析的排名，（iii）通过从现有词汇资源中提取词汇和形态信息来半自动增加词汇覆盖率。通过前端Python模块对XRAM进行的测试显示出了显著的成功水平。
2016-03-06 cs.CL cs.IR
On the Effectiveness of Dataset Embeddings in Mono-lingual,Multi-lingual and Zero-shot Conditions
IT University of Copenhagen（哥本哈根信息技术大学）；University of Groningen（格罗宁根大学）
最近的补充研究表明，通过将数据源的属性编码到嵌入中来利用数据源上的信息，可以在异构数据源上训练单个模型时提高性能。然而，目前还不清楚这些数据集嵌入在哪些情况下最有效，因为它们用于各种各样的设置，语言和任务。此外，通常假设关于数据源的黄金信息是可用的，并且测试数据来自训练期间看到的分布。在这项工作中，我们比较了数据集嵌入在单语言设置，多语言设置，并与预测的数据源标签在zero-shot设置的效果。我们评估三个形态句法任务：形态标记，词形化，和依存句法分析，并使用104个数据集，66种语言，和两种不同的数据集分组策略。当数据集是同一种语言时，性能提高最高，并且我们知道测试实例来自哪个分布。相比之下，对于数据来自不可见分布的设置，性能提高消失了。
2021-03-05 cs.CL
Fortification of Neural Morphological Segmentation Models for Polysynthetic Minimal-Resource Languages
LMU Munich（慕尼黑大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）
多合成语言的形态分割是具有挑战性的，因为一个词可能由许多单独的词素组成，并且训练数据可能非常稀缺。由于神经序列到序列（seq 2seq）模型定义了高资源环境和（大多数）欧洲语言中形态分割的最新技术水平，我们首先证明了它们在最小资源环境中也获得了墨西哥多合成语言的竞争力。然后，我们提出了两种新的多任务训练方法-一种需要外部未标记资源，一种不需要外部未标记资源-以及两种相应的数据增强方法，改进了所有语言的神经基线。最后，我们探索了跨语言迁移作为强化我们的神经模型的第三种方法，并表明我们可以为相关语言训练一个单一的多语言模型，同时保持相当甚至更高的性能，从而减少了接近75%的参数量。我们为Mexicanero，Nahuatl，Wixarika和Yorem Nokki提供了我们的形态分割数据集，以供未来研究。
2018-04-17 cs.CL
A Common Semantic Space for Monolingual and Cross-Lingual Meta-Embeddings
HiTZ Center - Ixa, University of the Basque Country UPV/EHU（HiTZ中心-Ixa，巴斯克大学UPV/EHU）
本文提出了一种新的技术，用于创建单语和跨语言的元嵌入。我们的方法集成了多个词嵌入创建的互补技术，文本源，知识库和语言。现有的词向量投影到一个共同的语义空间使用线性变换和平均。使用我们的方法，得到的元嵌入保持原始嵌入的维数，而不会丢失信息，同时处理词汇表外的问题。一个广泛的实证评估证明了我们的技术的有效性，相对于以前的工作，各种内在和外在的多语言评价，获得竞争力的结果语义文本相似性和国家的最先进的性能字的相似性和POS标记（英语和西班牙语）。由此产生的跨语言元嵌入也表现出出色的跨语言迁移学习能力。换句话说，我们可以利用来自资源丰富语言的预训练源嵌入，以改善资源不足语言的单词表示。
2021-09-08 cs.CL
