Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages
New York University（纽约大学）；Siteimprove；University of Copenhagen（哥本哈根大学）
用于低资源语言的词性（POS）标记器，其完全基于各种形式的弱监督-例如，跨语言迁移、类型级监督或其组合-已经被报告执行得几乎与监督的一样好。然而，弱监督的POS标记器通常只在与真正的低资源语言非常不同的语言上进行评估，并且标记器使用信息源，如高覆盖率和几乎无错误的字典，这可能不适用于资源贫乏的语言。我们训练和评估国家的最先进的弱监督POS标记的类型多样的15个真正的低资源的语言。在这些语言上，给定现实的资源量，即使是我们最好的模型也只能正确识别不到一半的单词。我们的研究结果强调了需要新的和不同的方法来真正的低资源语言的词性标注。
2020-04-28 cs.CL
Incorporating External POS Tagger for Punctuation Restoration
Alibaba Group（阿里巴巴集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）
标点恢复是自动语音识别中的一个重要后处理步骤。在其他类型的外部信息中，词性（POS）标记器提供信息性标记，表明每个输入标记的句法角色，这已被证明是有益的标点符号恢复任务。在这项工作中，我们将一个外部的POS标签和融合到现有的语言模型的预测标签，以提供句法信息。此外，我们提出了序列边界采样（SBS）学习标点符号的位置更有效地作为一个序列标记任务。实验结果表明，我们的方法可以始终如一地获得性能增益，并实现了一个新的国家的最先进的共同的IWITOS基准。进一步的消融研究表明，大型预训练的语言模型和外部POS标注器都是提高模型性能的关键部分。
2021-06-12 cs.CL
Optimal Size-Performance Tradeoffs: Weighing PoS Tagger Models
IT University of Copenhagen（哥本哈根信息技术大学）
基于机器学习的NLP性能的改进通常是通过更大的模型和更复杂的代码来呈现的。这是一个权衡：更好的分数是以更大的工具为代价的;更大的模型往往需要更多的训练和推理时间。我们提出了多种方法来测量模型的大小，并将其与模型的性能进行比较。在词性标注的案例研究中，我们将这些技术应用于八种语言的标注器，并提出了一种新的分析，确定哪些标注器是尺寸性能最佳的。结果表明，一些经典的标签的地方跨语言的大小性能的天际线。此外，尽管深度模型对于多个分数具有最高的性能，但通常不是这些模型中最复杂的模型达到峰值性能。
2021-04-16 cs.CL
Cross-Domain Evaluation of POS Taggers: From Wall Street Journal to Fandom Wiki
IT University of Copenhagen（哥本哈根信息技术大学）
本研究基于Elder Scrolls Fandom数据构建数据集，评估两款在WSJ上训练的POS标注器的跨域性能，发现其见过的词元性能接近域内水平，但未知词元准确率明显下降，且都难以处理专有名词和大小写不一致问题。
2023-04-27 cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University（巴纳斯塔利大学）
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言，词性标注是一个突出的工具。它是许多NLP应用程序中最简单，最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段，如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中，我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram，Bigram，Trigram和HMM方法的统计方法。给出了一个清晰的思路，并给出了相应的例子.它还介绍了一个标记集的马拉地语，可用于标记马拉地语文本。在本文中，我们已经显示了标记器的发展，以及比较，以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
GWPT: A Green Word-Embedding-based POS Tagger
University of Southern California（南加州大学）
本文提出轻量级词性标注器GWPT，通过绿色学习框架下对词嵌入维度索引分频并用不同N-gram表示，以更少参数和更低计算复杂度达到最先进准确率。
2024-01-15 cs.CL
On the Evaluation and Comparison of Taggers: The Effect of Noise in Testing Corpora
本文讨论了{ \sc pos}标记器评估问题。这种评估通常通过将标注器输出与参考测试语料库进行比较来执行，该参考测试语料库被假设为无错误。目前使用的语料库包含噪声，这导致获得的性能是真实值的失真。我们分析在何种程度上这种扭曲可能会无效的标签或一个新的系统所提供的改进措施之间的比较。主要结论是，需要更严格的测试实验设置/设计，以可靠地评估和比较标签的准确性。
1998-09-28 cs.CL
UzbekTagger: The rule-based POS tagger for Uzbek language
Urgench State University（乌尔根奇国立大学）；Universidade da Coruña（拉科鲁尼亚大学）
本研究提出了一个词性（POS）注释数据集和标记工具的低资源乌兹别克语。该数据集包括12个标签，用于开发基于规则的POS标记工具。为了保证语料库的代表性，在标注过程中使用的语料库文本必须在20个不同的领域中保持平衡。乌兹别克语是一种黏着语，所以乌兹别克语句子中的大部分单词都是通过添加后缀形成的。它的这种性质使得POS标记任务很难找到单词的词干和它们所属的正确词性。这项研究提出的方法是词干的词缀/后缀剥离的方法，包括数据库的词干形式的乌兹别克语。在注释数据集上测试了标记工具，在识别和标记乌兹别克语文本中的词性方面显示出很高的准确性。这个新提出的数据集和标记工具可用于各种自然语言处理任务，如语言建模，机器翻译和文本到语音合成。所呈现的数据集是第一个公开提供给乌兹别克语的数据集，创建的POS标记工具也可以用作其他密切相关的突厥语的基础。
2023-03-01 cs.CL
An Efficient Inductive Unsupervised Semantic Tagger
我们报告我们的发展，一个简单，但快速，有效的归纳无监督的中文词汇语义标记。使用了348，000个词的POS手写标记语料库。语料库的标记分为两个步骤。首先，从语义词典（同义词词典）、词性和从词性语义的条件概率中选择可能的语义标签，即，P（S| P）。然后通过考虑当前词之前和之后的语义标签以及语义词条件概率P（S）来分配最终语义标签|W）源自第一步。语义二元组概率P（S| S）用于第二步。最后的人工检验表明，这种简单而有效的算法有91%的命中率。标记器每秒标记142个字，使用运行FOXPRO的120 MHz Pentium。它的运行速度比Viterbi tagger快2.3倍。
1996-06-11 cmp-lg cs.CL
A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam
Surukam Analytics（Surukam分析公司）
由于缺乏精确注释的训练语料库，为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分，连续第二年将此挑战作为一项共同任务来组织，以提高最先进的水平。本文介绍了在Surukam构建的POS标记器，用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语，泰卢固语-英语和印地语-英语，文本跨越三个流行的社交媒体平台- Facebook，WhatsApp和Twitter。我们采用条件随机场作为序列标记算法，并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams，语言信息和emoji，数字，标点符号和网址的模式。我们在受限环境中提交的文件，即，在不使用任何单语POS标记器等的情况下，获得了76.45%的总体平均F1分数，这与2015年的76.79%的获胜分数相当。
2016-12-31 cs.CL
Part-of-Speech Tagger for Bodo Language using Deep Learning approach
IIT Guwahati（印度理工学院古瓦哈蒂分校）
本文提出BodoBERT语言模型及基于深度学习的波多语词性标注模型，实现了0.8041的F1分数，并比较了阿萨姆语词性标注器。
2024-01-06 cs.AI cs.CL cs.LG
Comparing a Linguistic and a Stochastic Tagger
关于不同的方法来自动PoS标记：EngCG-2，一个基于约束的形态标记，在双盲测试中进行比较，与最先进的统计标记在一个共同的消歧任务，使用一个共同的标签集。实验表明，对于相同的剩余歧义，统计标注器的错误率比基于规则的标注器的错误率高一个数量级。两个相关的问题的启动影响妥协的结果和人类注释者之间的分歧也得到了解决。
1997-06-07 cmp-lg cs.CL
When silver glitters more than gold: Bootstrapping an Italian part-of-speech tagger for Twitter
University of Groningen（格罗宁根大学）
在Evalita 2016 PoSTWITA共享任务的背景下，我们引导一个最先进的词性标记器来标记意大利语Twitter数据。我们发现，在本地Twitter数据上训练标记器，这些数据中包含少量专门选择的黄金数据和从Facebook上抓取的额外的银标记数据，比使用大量来自混合类型的手动注释数据产生更好的结果。
2016-11-09 cs.CL
From Traditional Taggers to LLMs: A Comparative Study of POS Tagging for Medieval Romance Languages
Bavarian Academy of Sciences (BAdW)（巴伐利亚科学院）；Department of Statistics, LMU Munich, Germany（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML), LMU Munich, Germany（慕尼黑机器学习中心）
本文比较了传统规则和统计标注器与现代开源LLMs在中世纪罗曼语词性标注中的表现，发现LLMs在零样本、少样本、单语微调和跨语言迁移学习中均表现更优，尤其在资源匮乏语言中跨语言迁移学习效果显著。
2026-05-09 cs.AI cs.CL stat.AP
Surfing the modeling of PoS taggers in low-resource scenarios
University of Vigo（维戈大学）
本文评估了在低资源场景下，通过早期估计学习曲线来选择非深度模型的方法，并以加利西亚语词性标注器生成为案例，验证了该方法的可靠性。
2024-02-04 cs.CL cs.LG
Design and implementation of an open source Greek POS Tagger and Entity Recognizer using spaCy
DataScouting；International Hellenic University（国际希腊大学）
本文提出了一种机器学习的方法，词性标注和命名实体识别的希腊语，侧重于提取的形态特征和分类的令牌到一个小的集合的类命名实体。介绍了所使用的体系结构模型。spaCy平台的希腊语版本被添加到源代码中，这是一个在我们的贡献之前不存在的功能，并用于构建模型。此外，还训练了一个词性标注器，它可以检测标记的形态，并且在仅对词性进行分类时，其性能高于最先进的结果。对于使用spaCy的命名实体识别，构建了一个扩展标准ENAMEX类型（组织、位置、人员）的模型。进行的某些实验表明，在词汇表外的单词需要灵活性，并且存在解决这个问题的努力。最后对评价结果进行了讨论。
2019-12-05 cs.CL cs.IR cs.LG
Rapid Adaptation of POS Tagging for Domain Specific Uses
University of Delaware（特拉华大学）；Georgetown University Medical Center（乔治城大学医学中心）
词性标注是自然语言分析、信息抽取和问答等自然语言处理的基础。当POS标记器在一个域中训练并应用于显著不同的域时，其性能可能会显着降低。我们提出了一种快速适应新领域的POS标签的方法。我们的技术是无监督的，因为新领域的手动注释语料库是不必要的。我们使用从大量原始文本中收集的后缀信息以及正字法信息来增加词汇覆盖率。我们提出了一个实验中的生物领域，我们的POS标签实现的结果相比，专门训练到这个领域的POS标签。
2014-10-31 cs.CL cs.LG stat.ML
Parts-of-Speech Tagger Errors Do Not Necessarily Degrade Accuracy in Extracting Information from Biomedical Text
CRC for Innovative Dairy Products（创新乳制品合作研究中心）；The University of Melbourne（墨尔本大学）；Victorian Bioinformatics Consortium（维多利亚生物信息学联盟）；Monash University（莫纳什大学）
最近的一项研究报告了Muscorian的发展，这是一种通用的文本处理工具，用于从文本中提取蛋白质-蛋白质相互作用，其性能可与生物医学特定的文本处理工具相媲美。这一结果是出乎意料的，因为一系列文本分析过程中的潜在错误可能会对整个过程的结果产生不利影响。大多数生物医学实体关系提取工具使用生物医学特定的词性（POS）标记器作为POS标记的错误，并可能影响后续的文本语义分析，如浅层解析。本研究旨在评估词性（POS）标记的准确性，并试图探讨是否获得了可比的性能时，通用的POS标记，MontyTagger，被用来代替MedPost，一个tagger训练的生物医学文本。我们的结果表明，在生物医学文本上测试时，Muscorian的POS标签器MontyTagger的POS标签准确率为83.1%。用MedPost替换MontyTagger并没有导致从文本中提取实体关系的显著改善;在定向关系上，MontyTagger的精确度为55.6%，MedPost为56.8%，在非定向关系上，MontyTagger为86.1%，MedPost为81.8%。这是意料之外的，因为MontyTagger的不良POS标记可能会影响信息抽取的结果。对词性标注错误的分析表明，78.5%的标注错误被浅层句法分析所弥补。因此，尽管标记准确率为83.1%，但MontyTagger的功能标记准确率为94.6%。
2008-04-02 cs.CL cs.IR
Development of POS tagger for English-Bengali Code-Mixed data
IIIT, Hyderabad（海得拉巴国际信息技术学院）；Jadavpur University, Kolkata（贾达普大学）
由于社交媒体的出现，代码混合文本现在很普遍。由于这些文本将两种语言结合起来形成一个句子，因此产生了与自然语言处理相关的各种研究问题。本文试图挖掘这样一个问题，即语码混合文本的词性标注。我们已经建立了一个系统，可以POS标记英语孟加拉语代码混合的数据，其中孟加拉语的话写在罗马脚本。我们的方法最初涉及收集和清理英语-孟加拉语代码混合的推文。这些推文被用作构建我们系统的开发数据集。所提出的系统是一种模块化方法，首先用各自的语言标记各个标记，然后将它们传递给为不同语言（英语和孟加拉语，在我们的情况下）设计的不同POS标记器。这两个系统给出的标签随后被连接在一起，最终结果被映射到一个通用的POS标签集。我们的系统使用100个人工标记的POS代码混合句子进行测试，它返回的准确率为75.29%
2020-07-29 cs.CL
A CRF Based POS Tagger for Code-mixed Indian Social Media Text
Jadavpur University（贾达普大学）
在这项工作中，我们描述了一个基于条件随机场（CRF）的系统，用于代码混合的印度社交媒体文本的词性（POS）标记，作为我们参与代码混合的印度社交媒体文本的POS标记工具竞赛的一部分，与2016年自然语言处理国际会议，印度理工学院（BHU），印度一起举行。我们只参加了所有三种语言对的约束模式竞赛，孟加拉语-英语，印地语-英语和Telegu-英语。我们的系统达到了79.99的整体平均F1得分，这是最高的整体平均F1得分在所有16个系统中参加了约束模式的比赛。
2016-12-23 cs.CL
FST Based Morphological Analyzer for Hindi Language
JSS Academy of Technical Education Noida（JSS诺伊达技术教育学院）
印地语是一种高度屈折的语言，基于FST（有限状态转换器）的方法是最有效的开发这种语言的形态分析器。本文提出的工作使用SFST（斯图加特有限状态传感器）工具生成FST。创建了一个词根词典。然后添加规则，用于从这些词根生成屈折词和派生词。所开发的词形分析器用于基于Stanford POS Tagger的词性标注器。该系统首先使用人工标注的语料库进行训练，然后使用Stanford POS tagger的MAXENT（最大熵）方法对输入句子进行标注。形态分析仪给出了大约97%的正确结果。POS tagger对于具有训练模型文件已知的单词的句子给出了大约87%的准确度，并且对于具有训练模型文件未知的单词的句子给出了80%的准确度。
2012-07-23 cs.CL cs.IR
Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了高级计算开发中心（CDACM）提交的共享任务-“代码混合印度社交媒体（Facebook，Twitter和Whatsapp）文本的POS标记工具竞赛”，与ICON-2016搭配。共同的任务是预测词性（POS）标签在单词水平上为一个给定的文本。代码混合文本主要由多语言用户在社交媒体上生成。多语言单词、音译和拼写变体的存在使这些内容在语言上变得复杂。本文提出了一种基于循环神经网络语言模型（RNN-LM）架构的POS标签混合社交媒体文本识别方法。我们提交了印地语-英语（hi-en）、孟加拉语-英语（bn-en）和泰卢固语-英语（te-en）代码混合数据的结果。
2016-11-16 cs.CL
Part of speech tagging for code switched data
The George Washington University（乔治华盛顿大学）；University of Houston（休斯顿大学）；Columbia University（哥伦比亚大学）
我们解决的问题的词性标注（POS）的语言代码转换（CS）的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象，分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这种技术适合于一次处理一种语言。在本文中，我们探讨了多种策略，应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对，西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明，应用机器学习框架，使用两个国家的最先进的POS标签实现了更好的性能相比，我们调查的所有其他方法。
2019-11-03 cs.CL
Reduplicated MWE (RMWE) helps in improving the CRF based Manipuri POS Tagger
MIT, Manipur University（曼尼普尔大学MIT分校）；Manipur University（曼尼普尔大学）；Jadavpur University（jadavpur大学）
本文对基于条件随机场（CRF）的词性标注中的修正特征选择进行了详细的综述。在CRF中，特征的选择是如此重要，特征越好，输出就越好。本工作是一种尝试或实验，使以前的工作更有效率。尝试多个新功能来运行CRF，并再次尝试使用重复多词表达式（RMWE）作为另一个功能。由于曼尼普尔语中含有丰富的RMWE，因此CRF与RMWE一起运行，而RMWE的识别成为提出词性标注结果的必要条件之一。新的CRF系统的召回率为78.22%，准确率为73.15%，F-测量为75.60%。识别出RMWE并将其作为特征，使召回率提高到80.20%，准确率提高到74.31%，F-测度提高到77.14%。
2012-03-22 cs.CL
POS tagging, lemmatization and dependency parsing of West Frisian
Fryske Akademy（弗里斯兰学院）；University of Groningen（格罗宁根大学）；BNOSAC；Utrecht University（乌得勒支大学）
我们提出了一个lemmatizer/POS标签/依赖分析器西弗里斯兰语使用语料库的44,714个单词的3,126句，根据通用依赖版本2的指导方针进行注释。POS标签被分配给单词使用荷兰语POS标签，适用于逐字翻译，或荷兰语平行文本的句子。使用弗里斯兰语翻译程序Oersetter创建的直译时获得了最佳结果。形态和句法注释的基础上产生的荷兰语直译以及。将使用默认参数训练时的lemmatizer/tagger/annotator的性能与使用用于训练LassySmall UD 2.5语料库的参数值时获得的性能进行比较。一个显着的改善被发现为'lemma'。Frisian lemmatizer/PoS tagger/dependency parser作为Web应用程序和Web服务发布。
2021-07-28 cs.CL stat.ML
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器，结合神经网络和Brill的错误驱动学习，已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练，这些标记器的标记准确率分别为94.4%和95.5%（仅占歧义词的词性）。在这项研究中，为了构建更准确的标签，我们开发了新的标记方法，使用三种机器学习方法：决策表，最大熵，和支持向量机方法。然后，我们使用这些方法进行标记实验。我们的结果表明，支持向量机的方法具有最好的精度（96.1%），它是能够提高在泰语标注的准确性。最后，我们从理论上对这些方法进行了检验，并讨论了如何实现这些改进。
2001-12-05 cs.CL
SMPOST: Parts of Speech Tagger for Code-Mixed Indic Social Media Text
IIT Patna（印度理工学院帕特纳分校）；MNIT Jaipur（马拉维亚国家理工学院斋浦尔分校）
社交媒体的使用在过去几年中急剧增长。用户在通过社交媒体进行交流时使用非正式语言。交流的语言通常是混合的，人们用英语转录他们的地区语言，这种技术被发现非常受欢迎。自然语言处理（NLP）的目的是从这些文本中推断信息，其中词性标注（PoS）在获得书面文本的韵律方面起着重要作用。对于代码混合的印度社交媒体文本的PoS标记任务，我们开发了一个基于条件随机场分类器的监督系统。为了有效地解决这个问题，我们集中精力提取丰富的语言特征。我们参加了三个不同的语言对，即。英语-印地语，英语-孟加拉语和英语-泰卢固语在三个不同的社交媒体平台，Twitter，Facebook和WhatsApp。该系统能够成功地分配粗以及细粒度的PoS标签标签为一个给定的代码混合的句子。实验表明，我们的系统是相当通用的，在所有领域的所有三种语言对表现出令人鼓舞的性能水平。
2017-02-02 cs.CL
Unsupervised Part-of-Speech Induction
University of Pittsburgh（匹兹堡大学）
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性，但由于缺乏标记数据，使用监督方法并不总是可行的。在这个项目中，我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式，从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比，国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
BBPOS: BERT-based Part-of-Speech Tagging for Uzbek
RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道理工大学）；Saarland University（萨尔大学）
针对低资源乌兹别克语的NLP研究，本文推出首个公开的乌兹别克语UPOS标注基准数据集，评估两个未测试的单语BERT模型的词性标注效果，微调后模型达91%平均准确率，优于多语言BERT和规则标注器，还能捕捉词性变化且具上下文敏感性。
2025-01-17 cs.AI cs.CL
Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction
Heinz Nixdorf Institut, Paderborn University（帕德博恩大学海因茨·尼克斯多夫研究所）
针对历史语料词性标注难度高、易出错的问题，本文提出基于集值预测的框架，让标注器输出候选标签集以表达不确定性，实验证明该方法能提升标注精度与鲁棒性，尤其对未登录词效果显著。
2024-10-08 cs.CL cs.IR cs.LG
Enhancing Health Mention Classification Performance: A Study on Advancements in Parameter Efficient Tuning
Faculty of Engineering, Computer Engineering Department, Cairo University（工程学院，计算机工程系，开罗大学）；Menzies School of Health Research, Charles Darwin University（健康研究学院，查尔斯达尔文大学）
本研究针对健康提及分类（HMC）的语境复杂性挑战，通过结合词性标注器信息与参数高效微调（PEFT）技术，在三个数据集上以更小模型和高效训练显著提升了F1分数，实现了准确且高效的社交媒体健康提及分类。
2025-04-30 cs.AI cs.CL
Machine Learning Approaches for Amharic Parts-of-speech Tagging
Mangalore University（芒格洛尔大学）
词性标注被认为是许多自然语言处理（NLP）应用（如词义消歧、信息检索、信息处理、句法分析、问答和机器翻译）所需的基本但必要的工具之一。当前的阿姆哈拉语POS标签器的性能不如英语和其他欧洲语言的当代POS标签器。这项工作的目的是提高阿姆哈拉语的POS标记性能，这是从来没有超过91%。形态学知识的使用，现有的注释数据的扩展，特征提取，参数调整应用网格搜索和标记算法已被检查，并获得显着的性能差异从以前的作品。我们使用了三个不同的数据集进行POS实验。
2020-01-10 cs.CL cs.IR cs.LG
Absolute convergence and error thresholds in non-active adaptive sampling
University of Vigo（维戈大学）；University of A Coruña（拉科鲁尼亚大学）
本文提出一种计算绝对收敛和误差阈值的方法，用于非主动自适应采样，以确定模型质量何时停止提升并估计其接近程度，通过词性标注器生成实验验证了其正确性和鲁棒性。
2024-02-04 cs.AI cs.CL cs.LG
Implementation and evaluation of a German HMM for POS disambiguation
介绍了Xerox HMM标注器的德语语言模型。该模型的性能进行了比较与其他两个德国标记器的部分参数重新估计和完全适应的参数从预标记语料库。分析了该模型解决的歧义类型，并与英语和法语的歧义类型进行了比较。最后，对模型的误差类型进行了描述。我认为，虽然这些模型的整体性能为德国是英语和法语的结果相媲美，更准确的分析表明，重要的差异，在类型的消歧所涉及的德语。
1995-02-27 cmp-lg cs.CL
Semantic Tagging with Deep Residual Networks
University of Groningen（格罗宁根大学）
我们提出了一种新的语义标记任务，sem-tagging，为多语言语义解析的目的，并提出了第一个使用深度残差网络（ResNets）的标记器。我们的标签使用单词和字符表示，并包括一个新的残留旁路架构。我们评估的标签集本质上的语义标记的新任务，以及词性（POS）标记。我们的系统，由一个ResNet和一个辅助损失函数预测我们的语义标签，显着优于以前的结果对英语通用词汇词性标注（95.71%的准确率UD v1.2和95.67%的准确率UD v1.3）。
2016-10-31 cs.CL
Cross-Register Projection for Headline Part of Speech Tagging
Bloomberg（彭博有限合伙企业）
词性标注是一项常见的NLP任务。最先进的标记器通常在新闻正文上达到超过97%的标记级准确率，这表明这个问题已经得到了很好的理解。然而，英语新闻标题的语域（headlinese）与长文本的语域有很大的不同，导致词性标注模型在标题上表现不佳。在这项工作中，我们自动标注新闻标题与POS标签投影预测标签从相应的句子中的新闻机构。我们训练一个多领域的POS标签的长形式和标题文本，并表明，联合训练两个寄存器提高了训练，只是一个或天真地连接训练集。我们对来自Google句子压缩语料库的超过5，248个英语新闻标题的新注释语料库进行了评估，并表明我们的模型每个标记的相对错误减少了23%，每个标题减少了19%。此外，我们证明了更好的标题POS标签可以提高基于语法的开放式信息抽取系统的性能。我们提供POSH，即POS标记的标题语料库，以鼓励研究改进的新闻标题NLP模型。
2021-09-15 cs.AI cs.CL
R2T: Rule-Encoded Loss Functions for Sequence Tagging in Low-Resource Languages
Rochester Institute of Technology（罗切斯特技术学院）；RobotsMali（Mali机器人）
本文提出R2T框架，通过将语言规则编码进自适应损失函数，使模型在低资源序列标注中仅用未标注文本即可达到98.2%准确率，并作为预训练步骤提升NER性能。
2026-09-29 cs.CL cs.LG
KeyXtract Twitter Model - An Essential Keywords Extraction Model for Twitter Designed using NLP Tools
University of Kelaniya（凯拉尼亚大学）
由于一条推文被限制在140个字符以内，传统的自然语言处理（NLP）工具很难分析。本研究提出了KeyXtract，它增强了基于机器学习的Stanford CoreNLP词性（POS）标记器与Twitter模型，从推文中提取关键词。该系统是使用基于规则的解析器和两个语料库。该研究的数据来自一家电信公司的Twitter简介。该系统的开发包括两个阶段。在初始阶段，在分析推文之后编译特定领域的语料库。POS标记器提取名词短语和动词短语，而解析器去除噪声并提取POS标记器遗漏的任何其他关键字。使用图灵测试对系统进行了评估。在与Stanford CoreNLP进行测试和比较后，开发了系统的第二阶段，解决了第一阶段的缺点。它使用命名实体识别和词形化进行了增强。第二阶段也使用图灵测试进行测试，其通过率从50.00%提高到83.33%。使用F1评分测量最终系统输出的性能。斯坦福大学CoreNLP与Twitter模型的平均F1为0.69，而改进后的系统的F1为0.77。通过使用完整的领域特定语料库，可以提高系统的准确性。由于该系统使用了句子的语言特征，因此可以应用于其他NLP工具。
2017-08-09 cs.CL cs.IR
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
词性标注是NLP管道的重要组成部分，但许多低资源语言缺乏用于训练的标记数据。在这种情况下，用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中，我们提出了一种新的方法，将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译，我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后，我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明，我们的传播创建的训练集，使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时，我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
A POS Tier Is the Key to Automated Annotation for Low-Resource Language Documentation: Neural Interlinear Glossing for Irabu, a Southern Ryukyuan Language
Kyushu University（九州大学）
研究针对濒危语言伊良部语语符标注成本高的问题，用小型BiLSTM-CRF模型构建神经标注管道。发现黄金词性标注可提升语法语符标注，词性层级能减少所需语符化数据量，虽全自动管道未完全实现增益，但为文献实践提供四线标注建议。
2026-07-16 cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen（格罗宁根大学）
标准化是否有助于提高有噪、非规范数据的词性（POS）标记准确性？据我们所知，在现实世界的场景中，对标准化的实际影响知之甚少，其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明，规范化的帮助，但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型，与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
