Joint Chinese Word Segmentation and Part-of-speech Tagging via Two-stage Span Labeling
Multimedia Communications Laboratory, University of Information Technology（信息技术大学多媒体通信实验室）；University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
汉语分词和词性标注是计算语言学和自然语言处理应用中必不可少的任务。许多研究者仍然在争论深度学习时代对中文分词和词性标注的需求。然而，解决歧义和检测未登录词在这一领域具有挑战性的问题。以往的汉语分词和词性标注联合研究主要遵循基于字符的标注模型，侧重于n-gram特征建模。与以往的工作不同，我们提出了一个神经模型命名为SpanSegTag联合中文分词和词性标记的跨度标记，其中每个n-gram的概率是词和词性标记的主要问题。我们使用双仿射操作的左，右边界表示的连续字符模型的n-gram。我们的实验表明，我们的基于BERT的模型SpanSegTag在CTB 5，CTB 6和UD上实现了具有竞争力的性能，或者与使用BERT或ZEN编码器的当前最先进的方法相比，在CTB 7和CTB 9基准数据集上实现了显着的改进。
2021-12-17 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University（萨尔大学）
本文研究零资源跨语言词性标注，提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语，并训练隐马尔可夫模型进行预测，证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Improving Part-of-Speech Tagging for NLP Pipelines
RAGE Frameworks（RAGE Frameworks 公司）；Genpact（简柏特）
本文概述了基于句子级语言学的改进词性标注规则的结果。众所周知，如果初始阶段之一不完美，复杂NLP系统的性能就会受到负面影响。管道初始阶段的错误会对管道的最终性能产生滚雪球效应。我们已经创建了一套基于语言学的规则，在句子层面上调整部分的词性标签从国家的最先进的标签。在广泛使用的基准上与最先进的标记器进行比较，证明了标记准确性的显着提高，从而提高了NLP系统的质量和准确性。
2017-08-01 cs.CL
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
Distant Supervision from Disparate Sources for Low-Resource Part-of-Speech Tagging
IT University of Copenhagen（哥本哈根信息技术大学）
我们介绍DsD：一个跨语言的神经词性标记器，从不同的远程监督来源学习，并实际扩展到数百种低资源语言。该模型利用注释投影，实例选择，标记字典，形态词典，和分布式表示，所有在一个统一的框架。这种方法很简单，但令人惊讶的有效，导致了一个新的最先进的状态，而无需访问任何黄金注释的数据。
2018-08-29 cs.CL
Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks
YerevaNN；Yerevan State University（埃里温国立大学）
本文描述了我们提交给CoNLL 2018 UD共享任务的内容。我们已经扩展了基于LSTM的神经网络设计的序列标记，以额外生成字符级序列。该网络被联合训练以产生词元、词性标签和形态特征。句子分割、标记化和依存句法分析由UDPipe1.2基线处理。结果表明，所提出的多任务架构的可行性，虽然它的性能仍然远远没有达到最先进的水平。
2018-09-10 cs.CL
Yunshan Cup 2020: Overview of the Part-of-Speech Tagging Task for Low-resourced Languages
Guangdong University of Foreign Studies（广东外语外贸大学）
2020年云山杯的重点是创建一个评估不同词性（POS）方法的框架。这条赛道有两个任务：（1）印度尼西亚语的POS标记，以及（2）老挝语的POS标记。印尼语数据集由29个标签内的10000个印尼语新闻句子组成。老挝的数据集由27个标签中的8000个句子组成。有25个团队报名参加了这项任务。参与者的方法从基于特征到使用经典机器学习技术或集成方法的神经网络不等。表现最好的结果达到了95.82%的准确率为印尼和93.03%，表明神经序列标记模型显着优于经典的基于特征的方法和基于规则的方法。
2022-04-06 cs.CL
Task-specific Word-Clustering for Part-of-Speech Tagging
Google, Inc.（谷歌公司）
虽然聚类特征的使用在核心NLP任务中变得无处不在，但NLP中的大多数聚类特征都基于分布相似性。我们提出了一种新类型的聚类标准，具体到词性标注的任务。而不是分布相似性，这些集群是基于一个基线标记时，适用于一个大型语料库的行为。这些集群功能提供了类似的收益，在准确性所取得的分布相似性派生的集群。同时使用这两种类型的聚类特征进一步提高了标记准确性。我们表明，该方法是有效的域和域外的情况下，英语，法语，德语和意大利语。域外文本的影响更大。
2012-05-19 cs.CL
Multilingual Part-of-Speech Tagging: Two Unsupervised Approaches
Massachusetts Institute of Technology（麻省理工学院）
我们证明了多语言学习对无监督词性标注的有效性。我们工作的核心假设是，通过结合多种语言的线索，每种语言的结构变得更加明显。我们考虑两种方法将这种直觉应用到无监督词性标注的问题：一种模型，直接合并一对语言的标签结构到一个单一的序列和第二个模型，而不是采用多语言的背景下使用潜变量。这两种方法都被制定为分层贝叶斯模型，使用马尔可夫链蒙特卡罗抽样技术进行推理。我们的研究结果表明，通过整合多语言证据，我们可以在一系列场景中实现令人印象深刻的性能提升。我们还发现，随着可用语言数量的增加，性能稳步提高。
2014-01-15 cs.CL
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器，结合神经网络和Brill的错误驱动学习，已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练，这些标记器的标记准确率分别为94.4%和95.5%（仅占歧义词的词性）。在这项研究中，为了构建更准确的标签，我们开发了新的标记方法，使用三种机器学习方法：决策表，最大熵，和支持向量机方法。然后，我们使用这些方法进行标记实验。我们的结果表明，支持向量机的方法具有最好的精度（96.1%），它是能够提高在泰语标注的准确性。最后，我们从理论上对这些方法进行了检验，并讨论了如何实现这些改进。
2001-12-05 cs.CL
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
古汉语分词和词性标注是古汉语研究的重要内容，但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而，在远程监督中，仍不可避免地存在着误标和未标的古汉语词语。针对这一问题，利用深度神经网络的记忆效应和少量标注数据，得到知识量大、噪声小的模型，并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明，在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL
A Feature-Enriched Neural Model for Joint Chinese Word Segmentation and Part-of-Speech Tagging
Fudan University（复旦大学）
近年来，用于自然语言处理任务的神经网络模型因其能够减轻人工特征工程的负担而受到越来越多的关注。然而，以往的神经网络模型不能像传统的离散特征提取方法那样提取复杂的特征成分。在这项工作中，我们提出了一个特征丰富的神经网络模型的联合中文分词和词性标注任务。具体来说，为了模拟传统的离散特征模型的特征模板，我们使用不同的过滤器来模拟复杂的组合特征与卷积和池化层，然后利用长距离依赖信息与递归层。在五个不同数据集上的实验结果表明了该模型的有效性。
2017-07-02 cs.CL
Encoding Word Confusion Networks with Recurrent Neural Networks for Dialog State Tracking
本文提出了一种新的方法来编码词混淆网络，它可以代表一个丰富的假设空间的自动语音识别系统，通过循环神经网络。我们证明了我们的方法的实用程序的任务，依赖于自动语音识别输出的口语对话系统中的对话状态跟踪。对混淆网络进行编码优于对神经系统中的自动语音识别的最佳假设进行编码，以用于在公知的第二对话状态跟踪挑战数据集上进行对话状态跟踪。
2017-08-09 cs.CL
Distributional Part-of-Speech Tagging
本文提出了一种词性未知词的自动标注算法。与以前的工作不同，该算法在上下文中而不是在单词类型中对单词标记进行分类。该算法的评估布朗语料库。
1995-03-08 cmp-lg cs.CL
Part of Speech Tagging of Marathi Text Using Trigram Method
Banasthali University（班纳斯塔利大学）
在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。它是由马哈拉施特拉邦的土著人说的。用于开发标记器的一般方法是使用三元组方法进行统计。trigram的主要概念是基于前两个标签的给定信息，通过计算概率来确定哪个是标签的最佳序列，来探索令牌的最可能的POS。在本文中，我们展示了tagger的发展。此外，我们还进行了评估。
2013-07-15 cs.CL
The Best of Both Worlds: Lexical Resources To Improve Low-Resource Part-of-Speech Tagging
IT University of Copenhagen（哥本哈根信息技术大学）
在自然语言处理中，深度学习革命已经将焦点从传统的手工符号表示转移到密集输入，这是从语料库自动学习的适当表示。然而，特别是在使用低资源语言时，即使黄金标准语料库不存在，也通常可以使用少量的符号词汇资源，例如用户生成的词典。这种额外的语言信息，但往往被忽视，最近的神经方法跨语言标记通常只依赖于词和子词嵌入。虽然这些表示是有效的，但我们最近的工作表明，结合两个世界的优点有明显的好处：整合传统的词汇信息可以改善神经跨语言词性（PoS）标记。然而，人们对这些补充资料的互补性以及改进在多大程度上取决于这些外部资源的覆盖面和质量知之甚少。本文试图填补这一空白，提供了第一个全面的分析，在神经时代的词汇资源的跨语言PoS标注的贡献。
2018-11-21 cs.CL
Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
由于韩语是一种高度粘着的、字符丰富的语言，因此以前关于韩语形态分析的工作通常采用被称为字素的子字符特征的使用，或者以其他方式利用全面的先验语言知识（即，已知形态变换形式或动作的字典）。这些模型是在假设字符级、无词典的形态分析由于所需动作的数量而难以处理的情况下创建的。在这项研究中，我们提出了一个多阶段的基于动作的模型，可以执行形态变换和词性标记使用任意单位的输入，并将其应用到字符级的朝鲜语形态分析的情况下。在不使用先验语言知识的模型中，我们使用我们提出的数据驱动的Bi-LSTM模型，在世宗朝鲜语语料库中实现了最先进的单词和单词级别的标记准确性。
2018-06-28 cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University（巴纳斯塔利大学）
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言，词性标注是一个突出的工具。它是许多NLP应用程序中最简单，最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段，如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中，我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram，Bigram，Trigram和HMM方法的统计方法。给出了一个清晰的思路，并给出了相应的例子.它还介绍了一个标记集的马拉地语，可用于标记马拉地语文本。在本文中，我们已经显示了标记器的发展，以及比较，以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
A Robust Transformation-Based Learning Approach Using Ripple Down Rules for Part-of-Speech Tagging
Macquarie University（麦考瑞大学）；Saarland University（萨尔大学）；University of Hanover（汉诺威大学）；VNU University of Engineering and Technology, Vietnam National University, Hanoi（越南国立大学河内工程技术大学）
在本文中，我们提出了一种新的方法来构建一个系统的转换规则的词性标注任务。我们的方法是基于一个增量的知识获取方法，其中规则存储在一个异常结构和新的规则只添加到纠正现有规则的错误，从而允许系统控制的规则之间的相互作用。对13种语言的实验结果表明，该方法在训练时间和标注速度方面都很快。此外，我们的方法获得了非常有竞争力的准确性相比，国家的最先进的POS和形态标记。
2015-12-19 cs.CL
Neural Semi-Markov Conditional Random Fields for Robust Character-Based Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；University of Patras（帕特雷大学）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
标记的更高级模型已被证明在处理标记内噪声和词汇表外单词方面是有效的。但这些模型仍然依赖于正确的令牌边界。在本文中，我们提出了一种新的端到端的字符级模型，并证明了它的有效性，在多语言设置和令牌边界是嘈杂的。我们的模型是一个半马尔可夫条件随机场，具有用于字符和段表示的神经网络。它不需要tokenizer。该模型与各种语言的最先进的基线相匹配，并且在嘈杂的英语版本的词性标记基准数据集上的表现明显优于它们。我们的代码和噪声数据集可以在http://cistern.cis.lmu.de/semiCRF上公开获得。
2020-01-02 cs.CL
Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource
University of Notre Dame（圣母大学）；University of Ioannina（约阿尼纳大学）；ICREA（加泰罗尼亚高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
大多数词性标注的工作都集中在高资源语言上，或者通过模拟研究来检查低资源和主动学习设置。我们评估一个实际的濒危语言，Griko的POS标记技术。我们提出了一个资源，其中包含114个故事在Griko，随着意大利语的翻译水平，并提供黄金注释的测试集。基于以前收集的小语料库，我们研究了几种传统的方法，以及利用单语数据或项目跨语言的POS标签的方法。我们发现，半监督方法与跨语言迁移的结合更适合于这种极具挑战性的设置，最好的标记器实现了72.9%的准确率。通过应用主动学习方案，我们使用该方案在测试集上收集高级注释，我们实现了超过21个百分点的改进。
2018-06-11 cs.CL
Evaluating Layers of Representation in Neural Machine Translation on Part-of-Speech and Semantic Tagging Tasks
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
虽然神经机器翻译（NMT）模型在一个优雅的端到端框架中提供了更好的翻译质量，但它们对语言的了解还不太清楚。最近的工作已经开始评估NMT模型在形态和句法任务上学习的向量表示的质量。在本文中，我们研究了在NMT编码器的不同层学习的表示。我们在并行数据上训练NMT系统，并使用训练好的模型提取特征，用于训练分类器的两个任务：词性和语义标记。然后，我们测量分类器的性能作为给定任务的原始NMT模型的质量的代理。我们的定量分析产生了有趣的见解表示学习在NMT模型。例如，我们发现，较高的层更好地学习语义，而较低的层往往更适合词性标记。我们还观察到目标语言对源端表示的影响很小，特别是在高质量的NMT模型中。
2018-01-23 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen（格罗宁根大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
双向长短期记忆（bi-LSTM）网络最近被证明可以成功地用于各种NLP序列建模任务，但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题，并评估双LSTM与字，字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型，它将POS标记损失函数与一个辅助损失函数相结合，该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能，尤其适用于形态复杂的语言。我们的分析表明，双LSTM对训练数据大小和标签损坏（在小噪声水平下）的敏感性低于以前的假设。
2016-07-21 cs.CL
PhoNLP: A joint multi-task learning model for Vietnamese part-of-speech tagging, named entity recognition and dependency parsing
VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型-命名PhoNLP -联合越南语词性（POS）标记，命名实体识别（NER）和依存句法分析。在越南基准数据集上的实验表明，PhoNLP产生了最先进的结果，优于单任务学习方法，该方法独立地为每个任务微调预训练的越南语语言模型PhoBERT（Nguyen和Nguyen，2020）。我们在Apache License 2.0下公开发布PhoNLP作为开源工具包。虽然我们为越南语指定了PhoNLP，但我们的PhoNLP训练和评估命令脚本实际上可以直接用于其他语言，这些语言具有预先训练的基于BERT的语言模型和黄金注释语料库，可用于POS标记，NER和依存句法分析这三个任务。我们希望PhoNLP可以作为未来NLP研究和应用的强大基线和有用的工具包，不仅适用于越南语，也适用于其他语言。我们的PhoNLP可从以下网址获得：https://github.com/VinAIResearch/PhoNLP
2021-04-08 cs.CL
Reduce Meaningless Words for Joint Chinese Word Segmentation and Part-of-speech Tagging
Xiamen University（厦门大学）；Tsinghua University（清华大学）
传统的汉语分词和词性标注（S&T）联合方法具有泛化能力，不能识别出在训练数据中没有出现的新词。一个不受欢迎的副作用是，许多无意义的单词将被错误地创建。我们提出了一个有效的和高效的框架S&T，引入功能，以显着减少无意义的单词生成。一个通用的词典，维基百科和一个大规模的原始语料库的2000亿个字符被用来生成基于词的特征的词。基于词格的框架包括一个基于字符的模型和一个基于词的模型，以利用我们的基于词的功能。在Penn中文树库5上的实验表明，与基线相比，该方法的无意义词生成减少了62.9%。因此，用于分割的F1度量增加到0.984。
2013-05-25 cs.CL
Part of Speech Tagging (POST) of a Low-resource Language using another Language (Developing a POS-Tagged Lexicon for Kurdish (Sorani) using a Tagged Persian (Farsi) Corpus)
标注语料库在广泛的自然语言处理中起着至关重要的作用。词性标注是标注语料库建设的关键。它既费时又费力，而且成本高昂，因此，如果实现自动化，它可能更便宜。库尔德语目前缺乏公开可用的适当大小的标记语料库。标记公开可用的库尔德语语料库可以将这些资源的能力提高到比原始或分割语料库所能提供的更高的水平。开发POS标记的词典可以帮助完成上述任务。我们使用标记语料库（Bijankhan语料库）在波斯语（波斯语）作为一个接近库尔德语开发一个POS标记的词汇。本文提出了利用与库尔德语关系密切的语言资源丰富库尔德语资源的方法。结果的部分数据集在CC BY-NC-SA 4.0许可下可在https://kurdishblark.github.io/公开用于非商业用途。我们计划在对结果进行进一步调查后，提供整个标记语料库。该数据集可以帮助开发其他库尔德方言的POS标记词汇和自动库尔德语料库标记。
2022-01-30 cs.CL
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技亚马逊人工智能）
语码转换（英语：Linguistic Code Switching，CS）是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这些技术一次只处理一种语言。在本文中，我们解决的问题，词性标注（POS）的语言代码转换（CS）的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对，西班牙语-英语，印度语-英语，现代标准阿拉伯语-埃及阿拉伯语方言（MSA-EGY）和现代标准阿拉伯语-黎凡特阿拉伯语方言（MSA-LEV）的景观。我们的研究结果表明，多语言嵌入（例如，MSA-EGY和MSA-LEV）帮助密切相关的语言（EGY/LEV），但增加了噪音的语言是遥远的（SPA/HIN）。最后，我们表明，我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL
Part-of-Speech Tagging with Neural Networks
标注了词性信息的文本语料库在语言学研究的许多领域都是有用的。本文提出了一种新的基于神经网络的词性标注方法（Net-Tagger），并将其性能与HMM标注器和基于三元语法的标注器进行了比较。结果表明，网络标记器的性能以及基于三角形的标记器，并优于HMM标记器。
1994-10-24 cmp-lg cs.CL
Use of Weighted Finite State Transducers in Part of Speech Tagging
本文讨论了在语音消歧使用有限状态传感器的一部分的问题，并提出了两个主要贡献的领域。其中之一是使用有限状态机进行词性标注。语言和统计信息表示在加权有限状态传感器的转换的权重。另一个贡献是成功地结合了语言学和统计学的技术来消除单词的歧义，并结合了单词类别的概念。
1997-10-10 cmp-lg cs.CL
A Cross-Genre Ensemble Approach to Robust Reddit Part of Speech Tagging
Georgetown University（乔治城大学）
词性标注是一项基本的NLP任务，通常被认为是为英语等高资源语言解决的。目前最先进的模型已经达到了很高的准确性，特别是在新闻领域。然而，当这些模型应用于其他不同类型的语料库，特别是来自Web的用户生成的数据时，我们看到性能大幅下降。在这项工作中，我们研究了一个在不同流派上训练的最先进的标记模型如何在未经过滤的Reddit论坛讨论的Web内容上执行。更具体地说，我们使用来自多个来源的数据：OntoNotes，一个大型的基准语料库，具有“精心编辑”的文本，英语Web Treebank具有5种Web类型，以及GUM，除了Reddit之外还有7种类型。我们报告了在Reddit上测试的不同数据分割上训练的结果。我们的研究结果表明，即使是少量的域内数据可以胜过贡献的数据的数量级更大的来自其他Web域。为了在域外标记方面取得进展，我们还评估了一种集成方法，该方法使用多个单一流派的标记作为元分类器的输入特征。我们介绍了标记Reddit数据的最新性能，以及对这些模型结果的错误分析，并提供了其中最常见的错误类型的类型学，按训练语料库进行分类。
2020-04-29 cs.CL
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
词性标注是NLP管道的重要组成部分，但许多低资源语言缺乏用于训练的标记数据。在这种情况下，用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中，我们提出了一种新的方法，将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译，我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后，我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明，我们的传播创建的训练集，使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时，我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
External Lexical Information for Multilingual Part-of-Speech Tagging
INRIA（法国国家信息与自动化研究所）
形态句法词典和词向量表示都被证明是有用的，以提高统计词性标注的准确性。在这里，我们比较了四个系统在涵盖16种语言的数据集上的性能，其中两个系统是基于特征的（MEMM和CRF），其中两个是基于神经的（bi-LSTM）。我们表明，平均而言，所有四种方法的性能相似，并达到最先进的结果。然而，我们的基于特征的模型在词汇丰富的数据集上获得了更好的性能（例如，对于形态丰富的语言），而基于神经的结果在词汇变化较小的数据集上更高（例如，英语）。这些结论特别适用于依赖于我们的系统MElt的MEMM模型，该系统受益于新设计的功能。这表明，在一定条件下，基于特征的方法丰富的形态句法词典是有竞争力的神经方法。
2016-08-09 cs.CL
Primitive Part-of-Speech Tagging using Word Length and Sentential Structure
有人认为，当婴儿学习第一语言时，他们会使用一系列小线索来帮助识别和理解，其中一个线索就是单词长度。在本文中，我们提出了一个统计部分的语音标签，它只训练自己在一个句子中的每个单词的字母数。
1998-08-23 cmp-lg cs.CL
Part of speech tagging for code switched data
The George Washington University（乔治华盛顿大学）；University of Houston（休斯顿大学）；Columbia University（哥伦比亚大学）
我们解决的问题的词性标注（POS）的语言代码转换（CS）的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象，分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这种技术适合于一次处理一种语言。在本文中，我们探讨了多种策略，应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对，西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明，应用机器学习框架，使用两个国家的最先进的POS标签实现了更好的性能相比，我们调查的所有其他方法。
2019-11-03 cs.CL
The Grammar of Sense: Is word-sense tagging much more than part-of-speech tagging?
这篇文章声称，大规模文本自动意义标记（LAST）可以在高精度水平上完成，其复杂性和计算工作量远远低于迄今为止所认为的。此外，它可以对所有开放类词进行，而不仅仅是像最近的一些工作中那样仔细选择对立对。我们描述了两个实验：一是探讨《朗文当代英语词典》词条词性字段中所包含的与词义消歧相关的信息量。另一个，更实际的，实验试图意义消歧的所有开放类词在文本分配LDOCE同形词作为意义标签，只使用部分的语音信息。我们报告说，92%的公开课单词可以成功地标记以这种方式。我们计划扩展这项工作，并实现一个改进的大规模标记器，其中的描述包括在这里。
1996-07-26 cmp-lg cs.CL
Finding consensus in speech recognition: word error minimization and other applications of confusion networks
我们描述了一个新的框架，从词格提取信息，以提高语音识别的准确性，并获得一组替代假设的更清晰的表示。在标准MAP解码方法中，识别器输出对应于给定声学和语言模型的具有最高后验概率的路径的单词串。然而，即使给定最佳模型，MAP解码器也不一定最小化常用的性能度量，字出错率（WER）。我们描述了一种方法，明确减少WER提取词的假设，最高的后验概率字格。我们改变了标准的问题制定取代全球搜索在一个大的句子假设与本地搜索在一个小的候选字集。除了提高识别器的准确性，我们的方法产生了一个新的表示的候选假设集，指定在一个紧凑的点阵格式的字级混淆的序列。我们研究了混淆网络的属性，并研究了它们在其他任务中的应用，如晶格压缩，单词定位，置信度注释，以及使用更高级别的知识源重新评估识别假设。
2000-10-07 cs.CL
Genetic approach for arabic part of speech tagging
University of Sfax（斯法克斯大学）；University of Gabes（加贝斯大学）
随着可用文本资源数量的不断增加，理解它们的能力变得至关重要。理解这些来源的第一步是识别每个句子中的词性。阿拉伯语是一种形态丰富的语言，这对词性标注提出了挑战。本文的目标是提出、改进并实现一个基于遗传算法的词性标注器。用这种方法获得的精度是可比的其他概率方法。
2013-07-11 cs.CL cs.NE
Joint Khmer Word Segmentation and Part-of-Speech Tagging Using Deep Learning
Techo Startup Center (TSC)（Techo创业中心）；Royal University of Phnom Penh (RUPP)（金边皇家大学）
高棉语文本从左到右书写，可选空格。空格不是用作单词边界，而是用于可读性或其他功能目的。分词是诸如词性（POS）标注之类的下游任务的优先步骤，因此，POS标注的鲁棒性高度依赖于分词。传统的高棉语词性标注是一个两阶段的过程，首先是分词，然后是对每个词的实际标注。在这项工作中，提出了一种使用单个深度学习模型的联合分词和POS标记方法，以便可以自发地执行分词和POS标记。该模型使用公开的高棉POS数据集进行了训练和测试。实验结果表明，联合模型的性能与传统的两阶段词性标注方法相当。
2021-03-31 cs.CL cs.LG
Automatic Error Detection in Part of Speech Tagging
描述了一种用于检测由隐马尔可夫模型标记器所产生的错误的技术，该技术基于将标记过程的可观察值与阈值进行比较。由此产生的方法允许的准确性的标签，以提高接受较低的效率，定义为被标记的单词的比例。实证观察表明该技术的有效性，并建议如何选择一个适当的阈值。
1994-10-21 cmp-lg cs.CL
Challenging Language-Dependent Segmentation for Arabic: An Application to Machine Translation and Part-of-Speech Tagging
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所 – 哈马德·本·哈利法大学）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
分词在改进任何阿拉伯语NLP应用程序中起着关键作用。因此，大量的研究已经花费在提高其准确性。然而，现成的工具是：i）使用复杂和ii）域/方言相关的。我们探索了三种独立于语言的形态分割方法：i）数据驱动的子词单元，ii）字符作为学习单元，iii）使用字符CNN（卷积神经网络）学习的词嵌入。在机器翻译和词性标注的任务中，我们发现这些方法可以实现接近，有时甚至超过最先进的性能。在我们的分析中，我们表明神经机器翻译系统对源和目标标记的比率很敏感，并且比率接近1或更大，给出了最佳性能。
2017-09-02 cs.CL
Part-of-speech tagging for Nagamese Language using CRF
本文首次针对Nagamese语进行词性标注研究，构建了16,112词元的标注语料库，并应用条件随机场（CRF）机器学习技术，实现了85.70%的标注准确率及85%的F1分数。
2025-10-13 cs.AI cs.CL
Turkish PoS Tagging by Reducing Sparsity with Morpheme Tags in Small Datasets
Hacettepe University（哈西德佩大学）；Middle East Technical University（中东技术大学）
稀疏性是自然语言处理的主要问题之一。这个问题变得更加严重，在粘合的语言，是高度倾向于曲折。我们处理稀疏在土耳其语采用形态特征的词性标注。我们通过使用条件随机场（CRF）学习土耳其语中的屈折和派生词素标签，并且我们通过使用隐马尔可夫模型（Hyndom）来减轻稀疏性，从而在词性（PoS）标记中使用词素标签。结果表明，使用词素标签的PoS标记有助于缓解发射概率的稀疏性。我们的模型优于其他隐马尔可夫模型为基础的PoS标记模型在土耳其的小训练数据集。我们在5K训练数据集上获得了94.1%的词素标记准确率和89.2%的PoS标记准确率。
2017-03-10 cs.CL
Some Advances in Transformation-Based Part of Speech Tagging
最近的研究在可训练的词性标注器探索了随机标注。虽然这些标签获得高准确性，语言信息是间接捕获的，通常在成千上万的词汇和上下文概率。在[Brill 92]中，描述了一种可训练的基于规则的标记器，其获得了与随机标记器相当的性能，但在少量简单的非随机规则中捕获了相关的语言信息。在本文中，我们描述了一些扩展到这个基于规则的标签。首先，我们描述了一种方法，用于表示词汇关系的标记，不被随机标记。接下来，我们展示了一种基于规则的方法来标记未知词。最后，我们展示了如何标签可以扩展到一个k-最好的标签，多个标签可以分配给单词在某些情况下的不确定性。
1994-06-02 cmp-lg cs.CL
Unsupervised Part-of-Speech Induction
University of Pittsburgh（匹兹堡大学）
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性，但由于缺乏标记数据，使用监督方法并不总是可行的。在这个项目中，我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式，从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比，国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
POS-tagging to highlight the skeletal structure of sentences
本研究开发了基于BERT迁移学习的词性标注模型，用于提取句子骨架结构，经俄语文本微调验证有效，可助力机器翻译等自然语言处理任务。
2024-11-21 cs.CL
Ending-based Strategies for Part-of-speech Tagging
University of Saskatchewan（萨斯喀彻温大学）
词性标注的概率方法主要依赖于关于词/标签组合的全词统计以及上下文信息。但经验表明，即使训练集高达100万个单词，测试集中也有大约4%的标记是未知的。看不见的单词使用二级策略标记，这些策略利用单词的特征，如结尾，大写和标点符号。在这项工作中，词尾统计是主要的，全词统计是次要的。首先，一个标记者只接受了单词结尾的训练和测试。随后的实验为训练集中出现频率最高的单词添加了全词统计数据。随着规模的扩大，性能有望提高，在极限情况下，性能与基于单词的标记器相同。令人惊讶的是，基于结尾的标记器最初的表现几乎和基于单词的标记器一样好;在最好的情况下，它的性能显着超过了基于单词的标记器。最后，出乎意料的是，出现了负回报的影响-随着规模的扩大，业绩普遍改善，然后又下降。通过改变结尾长度和标签列表策略等因素，我们实现了97.5%的成功率。
2013-02-27 cs.CL
A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Educational Testing Service Research（教育考试服务中心研究院）
双向长短期记忆循环神经网络（BLSTM-RNN）已被证明是非常有效的建模和预测序列数据，例如语音话语或手写文档。在这项研究中，我们建议使用BLSTM-RNN的统一标记解决方案，可应用于各种标记任务，包括词性标记，组块和命名实体识别。我们的解决方案并没有针对每项任务仔细优化特定的特征，而是只使用一组与任务无关的特征和从所有任务的未标记文本中学习到的内部表示。我们的方法不需要特定于任务的知识或复杂的特征工程，在所有这三个标记任务中，我们的方法都获得了接近最先进的性能。
2015-11-01 cs.CL
Morphological Tagging and Lemmatization of Albanian: A Manually Annotated Corpus and Neural Models
Faculty of Information Technology, Polytechnic University of Tirana（地拉那理工大学信息技术学院）；Faculty of Information Technology, New York University of Tirana（地拉那纽约大学信息技术学院）；University of Turku（图尔库大学）
在本文中，我们提出了第一个公开可用的部分的语音和形态标记语料库的阿尔巴尼亚语，以及神经形态标记和lemmatizer训练it.There是目前缺乏可用的自然语言处理资源阿尔巴尼亚语，其复杂的语法和形态提出了挑战，他们的发展。我们已经创建了一个阿尔巴尼亚语的词性语料库的基础上的通用语法模式的形态注释，包含约118，000令牌的自然发生的文本从不同的文本来源收集，与人工创建的简单句子的67，000令牌只用于训练。在这个语料库上，我们随后使用图尔库神经解析器管道训练和评估分割，形态标记和词形化模型。在保持的评价集上，该模型在词性标注上达到92.74%的准确率，在形态标注上达到85.31%，在词形化上达到89.95%。手动注释的语料库以及训练的模型在开放许可证下可用。
2019-12-02 cs.CL
BBPOS: BERT-based Part-of-Speech Tagging for Uzbek
RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道理工大学）；Saarland University（萨尔大学）
针对低资源乌兹别克语的NLP研究，本文推出首个公开的乌兹别克语UPOS标注基准数据集，评估两个未测试的单语BERT模型的词性标注效果，微调后模型达91%平均准确率，优于多语言BERT和规则标注器，还能捕捉词性变化且具上下文敏感性。
2025-01-17 cs.AI cs.CL
Incorporating POS Tagging into Language Modeling
语音识别的语言模型往往只集中在识别所说的单词上。在本文中，我们重新定义的语音识别问题，使其目标是找到最好的序列的话和他们的句法作用（部分的语音）的话语。这是加强语音识别和自然语言理解之间交互的必要的第一步。
1997-05-22 cmp-lg cs.CL
Part-of-Speech Tagging with Minimal Lexicalization
我们使用一个动态贝叶斯网络来表示复杂的各种子词汇和上下文相关的词性（PoS）标记的功能。其结果是一个灵活的标签（LegoTag）与国家的最先进的性能（3.6%的基准语料库的错误）。我们探讨了消除冗余和从根本上减少功能词汇表的大小的影响。我们发现，一个小的，但语言动机的后缀集的结果，在改善跨语料库的泛化。我们还表明，一个最小的词汇仅限于功能词是足够的，以确保合理的性能。
2003-12-27 cs.CL cs.LG
Automatic Part-of-Speech Tagging of Arabic-English Dictionary Senses through WordNet
Computer Science, Faculty of Computers and Information, Giza, Egypt（计算机科学，计算机与信息学院，开罗，埃及）；EECE, Faculty of Engineering, Giza, Egypt（电子工程系，工程学院，开罗，埃及）；Arabic Language and Literatures, Faculty of Arts, Giza, Egypt（阿拉伯语言与文学，艺术学院，开罗，埃及）
提出一种将双语词典义项与WordNet词性标签对齐的算法，以低成本实现高精度标注，支持词典标准化和资源匮乏语言的NLP工具开发。
2026-06-24 cs.CL
An Approach to Speed-up the Word Sense Disambiguation Procedure through Sense Filtering
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University（贾达普大学）
在本文中，我们将集中在加快词义消歧过程中过滤相关的意义，通过一个歧义词的词性标注。首先，该方法在使用二元语法近似的消歧过程之前执行词性标注操作。结果，在特定文本实例处的歧义词的确切词性被导出。在下一阶段，仅从在线词典中检索那些与特定词性相关联的词典定义（注释），以消除歧义词的确切含义。在训练阶段，我们使用布朗语料库进行词性标注，并使用WordNet作为在线词典。所提出的方法将执行时间减少到正常执行时间的一半（大约），包含大约200个句子的文本。不仅如此，我们还发现了几个例子，在消歧过程之前使用词性标注可以找到歧义词的正确含义。
2015-11-19 cs.CL
Streaming Speech-to-Confusion Network Speech Recognition
Amazon Alexa（亚马逊Alexa）
针对交互式ASR低延迟限制解码搜索空间的问题，提出可输出混淆网络的低延迟流式ASR架构，其1-best结果与RNN-T相当，二次重打分可在LibriSpeech上降10-20%词错率，远场任务表现更优。
2023-06-02 cs.CL eess.AS
