Rule based Part of speech Tagger for Homoeopathy Clinical realm
Babasaheb Bhimrao Ambedkar University（巴巴萨赫布·比姆拉奥·安贝德卡尔大学）
tagger是大多数文本审查系统的强制部分，因为它委托一个语法类（例如，（一）“凡”字，“凡”字，“凡”字。在本文中，我们提出了一个简单的顺势疗法临床语言的词性标注。本文报告了顺势疗法临床语言的预期词性标注。它采用标准模式来评价句子，使用了20085个词的未标记的临床语料库，我们从其中选择了125个句子（2322个标记）。自然语言处理中的标注问题是要找到一种方法，将文本中的每个单词都标注为细致的词性。其基本思想是对临床句子和每个单词应用一组规则，准确性是评估任何POS标注器的主要因素，因此建议的标注器的准确性也被转换。
2011-11-13 cs.CL
TnT - A Statistical Part-of-Speech Tagger
Trigrams 'n'Tags（TnT）是一种高效的统计词性标注器。与文献中其他地方的说法相反，我们认为基于马尔可夫模型的标记器至少与其他当前方法（包括最大熵框架）一样好。最近的一项比较甚至表明，TnT的性能显着更好的测试语料库。我们描述了TnT的基本模型，用于平滑和处理未知词的技术。此外，我们提出了两个语料库的评价。
2000-03-13 cs.CL
When silver glitters more than gold: Bootstrapping an Italian part-of-speech tagger for Twitter
University of Groningen（格罗宁根大学）
在Evalita 2016 PoSTWITA共享任务的背景下，我们引导一个最先进的词性标记器来标记意大利语Twitter数据。我们发现，在本地Twitter数据上训练标记器，这些数据中包含少量专门选择的黄金数据和从Facebook上抓取的额外的银标记数据，比使用大量来自混合类型的手动注释数据产生更好的结果。
2016-11-09 cs.CL
An Experimental Investigation of Part-Of-Speech Taggers for Vietnamese
University of Engineering and Technology, VNU Hanoi（河内国立大学工程技术大学）；Ton Duc Thang University（孙德胜大学）
词性标注在自然语言处理中起着重要的作用。它可以应用于许多自然语言处理任务，如命名实体识别、句法分析、依存句法分析和文本组块。在本文中进行的调查，我们利用两个广泛使用的工具包，ClearNLP和斯坦福POS标签的技术，以及开发两个新的POS标记越南语，然后将它们与三个著名的越南语标签，即JVnTagger，vnTagger和RDRPOSTagger。我们做了一个系统的比较，以找出具有最佳性能的标记器。我们还设计了一个新的功能集来衡量统计标记器的性能。我们从Stanford Tagger和ClearNLP构建的新标记器具有新的功能集，可以在标记准确性方面胜过所有其他越南标记器。此外，我们还分析了一些特征对统计标记器性能的影响。最后，实验结果还表明，基于转换的标签，RDRPOSTagger，可以运行速度显着快于任何其他统计标签。
2022-06-14 cs.CL
Development of Marathi Part of Speech Tagger Using Statistical Approach
Banasthali University（巴纳斯塔利大学）
词性标注是将文本中的词分配给特定词性的过程。词性标注的一个基本版本是将词识别为名词、动词、形容词等。对于处理自然语言，词性标注是一个突出的工具。它是许多NLP应用程序中最简单，最恒定和统计的模型之一。词性标注是语言学、文本分析的初始阶段，如信息检索、机器翻译、文本到语音合成、信息抽取等。在词性标注中，我们为句子和文献中的每个词分配词性标签。已经提出了各种方法来实现POS标记器。在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。马拉地语是马哈拉施特拉邦的土著人说的语言。用于开发标记器的一般方法是使用Unigram，Bigram，Trigram和HMM方法的统计方法。给出了一个清晰的思路，并给出了相应的例子.它还介绍了一个标记集的马拉地语，可用于标记马拉地语文本。在本文中，我们已经显示了标记器的发展，以及比较，以检查标记器输出的准确性。三种马拉地语词性标注器Unigram、Bigram、Trigram和HMM的准确率分别为77.38%、90.30%、91.46%和93.82%。
2013-10-09 cs.CL
Detecting Syntactic Change Using a Neural Part-of-Speech Tagger
Yale University（耶鲁大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们训练了一个历时性的长短期记忆（LSTM）词性标注器，它使用了19世纪、20世纪和21世纪的美国英语大型语料库。我们分析了标记的能力，隐式学习时间结构之间的年，在何种程度上，这种知识可以转移到新的句子。学习年嵌入显示出很强的线性相关性之间的第一主成分和时间。我们表明，时间信息编码的模型可以用来预测小说句子的年组成相对较好。与前馈基线的比较表明，LSTM学习到的时间变化是语法的，而不是纯粹的词汇。因此，我们的研究结果表明，我们的tagger是隐式学习模型的句法变化在美国英语的过程中的19日，20日，和21世纪初。
2019-07-09 cs.CL
A Part-of-Speech Tagger for Yiddish
Linguistic Data Consortium（语言数据联盟）；University of Pennsylvania（宾夕法尼亚大学）；University of York（约克大学）；Joliciel Informatique（约利埃尔信息公司）
本文构建并评估意第绪语词性标注器，利用YBC大规模OCR语料训练非上下文化与上下文化嵌入，并在PPCHY上通过10折交叉验证证明其性能提升。
2023-08-18 cs.CL
Part-of-Speech Tagging with Neural Networks
标注了词性信息的文本语料库在语言学研究的许多领域都是有用的。本文提出了一种新的基于神经网络的词性标注方法（Net-Tagger），并将其性能与HMM标注器和基于三元语法的标注器进行了比较。结果表明，网络标记器的性能以及基于三角形的标记器，并优于HMM标记器。
1994-10-24 cmp-lg cs.CL
Identifying False Content and Hate Speech in Sinhala YouTube Videos by Analyzing the Audio
Sri Lanka Institute of Information Technology（斯里兰卡信息技术学院）
本研究提出一种评级系统，通过音频转录、仇恨言论检测和文本摘要，识别僧伽罗语YouTube视频中的虚假内容和仇恨言论，以遏制暴力与错误信息传播。
2024-01-30 cs.AI cs.CL cs.LG
Part of Speech Tagging in Thai Language Using Support Vector Machine
弹性输入神经标记器和混合标记器，结合神经网络和Brill的错误驱动学习，已经被提出用于使用尽可能少的训练数据来构造实用的标记器。当一个小的泰国语料库用于训练，这些标记器的标记准确率分别为94.4%和95.5%（仅占歧义词的词性）。在这项研究中，为了构建更准确的标签，我们开发了新的标记方法，使用三种机器学习方法：决策表，最大熵，和支持向量机方法。然后，我们使用这些方法进行标记实验。我们的结果表明，支持向量机的方法具有最好的精度（96.1%），它是能够提高在泰语标注的准确性。最后，我们从理论上对这些方法进行了检验，并讨论了如何实现这些改进。
2001-12-05 cs.CL
A Modular Part-of-Speech Tagger for Scottish Gaelic using spaCy
School of Computing, Engineering, & the Built Environment, Edinburgh Napier University（爱丁堡龙比亚大学计算、工程与建成环境学院）
本文基于spaCy框架，用苏格兰盖尔语标注参考语料库训练出两个形态标注模型，在低资源形态复杂的盖尔语上取得与现有模型相当的准确率，证明现成NLP流水线可用于该类语言处理。
2026-08-06 cs.CL
Part of Speech Tagging of Marathi Text Using Trigram Method
Banasthali University（班纳斯塔利大学）
在本文中，我们提出了一个马拉地语部分的语音标记。它是一种形态丰富的语言。它是由马哈拉施特拉邦的土著人说的。用于开发标记器的一般方法是使用三元组方法进行统计。trigram的主要概念是基于前两个标签的给定信息，通过计算概率来确定哪个是标签的最佳序列，来探索令牌的最可能的POS。在本文中，我们展示了tagger的发展。此外，我们还进行了评估。
2013-07-15 cs.CL
UzbekTagger: The rule-based POS tagger for Uzbek language
Urgench State University（乌尔根奇国立大学）；Universidade da Coruña（拉科鲁尼亚大学）
本研究提出了一个词性（POS）注释数据集和标记工具的低资源乌兹别克语。该数据集包括12个标签，用于开发基于规则的POS标记工具。为了保证语料库的代表性，在标注过程中使用的语料库文本必须在20个不同的领域中保持平衡。乌兹别克语是一种黏着语，所以乌兹别克语句子中的大部分单词都是通过添加后缀形成的。它的这种性质使得POS标记任务很难找到单词的词干和它们所属的正确词性。这项研究提出的方法是词干的词缀/后缀剥离的方法，包括数据库的词干形式的乌兹别克语。在注释数据集上测试了标记工具，在识别和标记乌兹别克语文本中的词性方面显示出很高的准确性。这个新提出的数据集和标记工具可用于各种自然语言处理任务，如语言建模，机器翻译和文本到语音合成。所呈现的数据集是第一个公开提供给乌兹别克语的数据集，创建的POS标记工具也可以用作其他密切相关的突厥语的基础。
2023-03-01 cs.CL
Some Advances in Transformation-Based Part of Speech Tagging
最近的研究在可训练的词性标注器探索了随机标注。虽然这些标签获得高准确性，语言信息是间接捕获的，通常在成千上万的词汇和上下文概率。在[Brill 92]中，描述了一种可训练的基于规则的标记器，其获得了与随机标记器相当的性能，但在少量简单的非随机规则中捕获了相关的语言信息。在本文中，我们描述了一些扩展到这个基于规则的标签。首先，我们描述了一种方法，用于表示词汇关系的标记，不被随机标记。接下来，我们展示了一种基于规则的方法来标记未知词。最后，我们展示了如何标签可以扩展到一个k-最好的标签，多个标签可以分配给单词在某些情况下的不确定性。
1994-06-02 cmp-lg cs.CL
A Morphology-System and Part-of-Speech Tagger for German
本文提出了一个集成的德语词法和统计词性标注工具，其目的是使一些行之有效的方法广泛使用。该软件是非常用户友好的，运行在任何PC上，可以作为一个完整的包（包括词典和文档）从万维网下载。与其他标注系统的性能相比，标注器产生类似的结果。
1996-10-30 cmp-lg cs.CL
Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text
CDAC Mumbai（孟买先进计算发展中心）
本文介绍了高级计算开发中心（CDACM）提交的共享任务-“代码混合印度社交媒体（Facebook，Twitter和Whatsapp）文本的POS标记工具竞赛”，与ICON-2016搭配。共同的任务是预测词性（POS）标签在单词水平上为一个给定的文本。代码混合文本主要由多语言用户在社交媒体上生成。多语言单词、音译和拼写变体的存在使这些内容在语言上变得复杂。本文提出了一种基于循环神经网络语言模型（RNN-LM）架构的POS标签混合社交媒体文本识别方法。我们提交了印地语-英语（hi-en）、孟加拉语-英语（bn-en）和泰卢固语-英语（te-en）代码混合数据的结果。
2016-11-16 cs.CL
Ending-based Strategies for Part-of-speech Tagging
University of Saskatchewan（萨斯喀彻温大学）
词性标注的概率方法主要依赖于关于词/标签组合的全词统计以及上下文信息。但经验表明，即使训练集高达100万个单词，测试集中也有大约4%的标记是未知的。看不见的单词使用二级策略标记，这些策略利用单词的特征，如结尾，大写和标点符号。在这项工作中，词尾统计是主要的，全词统计是次要的。首先，一个标记者只接受了单词结尾的训练和测试。随后的实验为训练集中出现频率最高的单词添加了全词统计数据。随着规模的扩大，性能有望提高，在极限情况下，性能与基于单词的标记器相同。令人惊讶的是，基于结尾的标记器最初的表现几乎和基于单词的标记器一样好;在最好的情况下，它的性能显着超过了基于单词的标记器。最后，出乎意料的是，出现了负回报的影响-随着规模的扩大，业绩普遍改善，然后又下降。通过改变结尾长度和标签列表策略等因素，我们实现了97.5%的成功率。
2013-02-27 cs.CL
Incorporating External POS Tagger for Punctuation Restoration
Alibaba Group（阿里巴巴集团）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shanghai Jiao Tong University（上海交通大学）
标点恢复是自动语音识别中的一个重要后处理步骤。在其他类型的外部信息中，词性（POS）标记器提供信息性标记，表明每个输入标记的句法角色，这已被证明是有益的标点符号恢复任务。在这项工作中，我们将一个外部的POS标签和融合到现有的语言模型的预测标签，以提供句法信息。此外，我们提出了序列边界采样（SBS）学习标点符号的位置更有效地作为一个序列标记任务。实验结果表明，我们的方法可以始终如一地获得性能增益，并实现了一个新的国家的最先进的共同的IWITOS基准。进一步的消融研究表明，大型预训练的语言模型和外部POS标注器都是提高模型性能的关键部分。
2021-06-12 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.（Virtusa私人有限公司）；University of Kelaniya（凯拉尼亚大学）
词性分析是任何语言的自然语言处理（NLP）任务中的一个非常重要的课题，它涉及到分析语言的结构、行为和动态，这些知识可以用于计算语言学分析和自动化应用。在这种情况下，处理未知词（未出现在词典中的词称为未知词）也是一项重要任务，因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中，通过区分开类词和闭类词，并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明，当词类区分与句法规则一起使用时，标记过程的性能得到增强，以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
Part of speech tagging for code switched data
The George Washington University（乔治华盛顿大学）；University of Houston（休斯顿大学）；Columbia University（哥伦比亚大学）
我们解决的问题的词性标注（POS）的语言代码转换（CS）的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象，分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这种技术适合于一次处理一种语言。在本文中，我们探讨了多种策略，应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对，西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明，应用机器学习框架，使用两个国家的最先进的POS标签实现了更好的性能相比，我们调查的所有其他方法。
2019-11-03 cs.CL
Unsupervised Part-of-Speech Induction
University of Pittsburgh（匹兹堡大学）
词性标注是自然语言处理中一项古老而基础的工作。虽然监督POS标记器已经显示出有希望的准确性，但由于缺乏标记数据，使用监督方法并不总是可行的。在这个项目中，我们试图通过一个层次凝聚聚类过程迭代地寻找一个重复出现的单词模式，从而毫不奇怪地诱导POS标签。我们的方法显示出有前途的结果相比，国家的最先进的无监督POS标签的标记结果。
2018-01-10 cs.CL
SMPOST: Parts of Speech Tagger for Code-Mixed Indic Social Media Text
IIT Patna（印度理工学院帕特纳分校）；MNIT Jaipur（马拉维亚国家理工学院斋浦尔分校）
社交媒体的使用在过去几年中急剧增长。用户在通过社交媒体进行交流时使用非正式语言。交流的语言通常是混合的，人们用英语转录他们的地区语言，这种技术被发现非常受欢迎。自然语言处理（NLP）的目的是从这些文本中推断信息，其中词性标注（PoS）在获得书面文本的韵律方面起着重要作用。对于代码混合的印度社交媒体文本的PoS标记任务，我们开发了一个基于条件随机场分类器的监督系统。为了有效地解决这个问题，我们集中精力提取丰富的语言特征。我们参加了三个不同的语言对，即。英语-印地语，英语-孟加拉语和英语-泰卢固语在三个不同的社交媒体平台，Twitter，Facebook和WhatsApp。该系统能够成功地分配粗以及细粒度的PoS标签标签为一个给定的代码混合的句子。实验表明，我们的系统是相当通用的，在所有领域的所有三种语言对表现出令人鼓舞的性能水平。
2017-02-02 cs.CL
MBT: A Memory-Based Part of Speech Tagger-Generator
我们介绍了一种基于记忆的方法来词性标注。基于记忆的学习是一种基于相似性推理的监督学习。在特定语境中，一个词的词性标记是从记忆中最相似的案例中推断出来的。当标记的语料库可用作标记器的期望输出的示例时，监督学习方法是有用的。基于这样的语料库，标记生成器自动构建一个标记器，该标记器能够以相同的方式标记新文本，从而大大减少了标记器构建的开发时间。基于记忆的标记与其他统计或机器学习方法共享这一优势。基于记忆的方法特有的其他优点包括：（i）相对较小的标记语料库大小足以用于训练，（ii）增量学习，（iii）解释能力，（iv）在情况表示中灵活地整合信息，（v）其非参数性质，（vi）在不进行形态分析的情况下对未知单词的合理良好结果，以及（vii）快速学习和标记。在本文中，我们表明，大规模应用的内存为基础的方法是可行的：我们获得了标记的准确性，这是与已知的统计方法，并具有吸引力的空间和时间复杂度属性时，使用{ \em IGTree}，一个基于树的形式主义索引和搜索巨大的情况下基地。IGTree的使用具有动态计算用于消歧的最佳上下文大小的额外优点。
1996-07-11 cmp-lg cs.CL
SCALAR: A Part-of-speech Tagger for Identifiers
Department of Software Engineering , Rochester Institute of Technology（软件工程系，罗切斯特理工学院）；Department of Computer Science , Kent State University（计算机科学系，肯特州立大学）；Department of Computer Science , University of Akron（计算机科学系，阿克伦大学）；Department of Software Engineering , Bowling Green State University（软件工程系，鲍灵格林州立大学）；Department of Computer Science , University of Michigan Flint（计算机科学系，密歇根大学弗林特分校）；George Mason University School of Computing（乔治·梅森大学计算机学院）；Stevens Institute of Technology , School of Engineering and Science（史蒂文斯理工学院，工程与科学学院）；Prince Sultan University Department of Software Engineering（普天皇大学软件工程系）；University of Hawaii at Manoa Department of Information and Computer Sciences（夏威夷大学马诺阿分校信息与计算机科学系）
本文提出SCALAR，一种基于梯度提升分类器和人工知识库的词性标注器，用于将源代码标识符映射到语法模式，并通过对比实验展示其优于现有标注器。
2025-04-23 cs.CL cs.SE
An Ensemble Approach for Annotating Source Code Identifiers with Part-of-speech Tags
Bowling Green State University（鲍林格林州立大学）；Prince Sultan University（苏丹亲王大学）；BNY Mellon（纽约梅隆银行）；Drew University（德鲁大学）
本文提出了一种集成的源代码标识符词性标注方法。包围标注是一种使用机器学习和来自多个词性标注器的输出来以比词性标注器能够独立获得的更高的质量注释自然语言文本的技术。我们的合奏使用三个国家的最先进的词性标记：SWUM，POSSE和斯坦福大学。我们研究了五种不同类型的标识符名称的合奏的注释的质量：功能，类，属性，参数和声明声明语句在两个单独的单词和完整的标识符名称的水平。同时，我们也研究和讨论了我们的标注器的不足之处，希望通过进一步的研究来促进这些问题的改进。实验结果表明，该集成方法在识别符级的识别率达到75%，在词级的识别率达到84- 86%.这是在标识符级别上从最接近的独立词性标注器增加了+17\%点。
2021-09-01 cs.CL cs.SE
Improving Part-of-Speech Tagging for NLP Pipelines
RAGE Frameworks（RAGE Frameworks 公司）；Genpact（简柏特）
本文概述了基于句子级语言学的改进词性标注规则的结果。众所周知，如果初始阶段之一不完美，复杂NLP系统的性能就会受到负面影响。管道初始阶段的错误会对管道的最终性能产生滚雪球效应。我们已经创建了一套基于语言学的规则，在句子层面上调整部分的词性标签从国家的最先进的标签。在广泛使用的基准上与最先进的标记器进行比较，证明了标记准确性的显着提高，从而提高了NLP系统的质量和准确性。
2017-08-01 cs.CL
Character Eyes: Seeing Language through Character-Level Taggers
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）；Facebook AI Research（脸书人工智能研究院）
近年来，在自然语言处理任务中，词汇表级模型被广泛地用作封闭词汇表级词表征的补充和替代。在一种流行的体系结构中，字符级LSTM用于将令牌表示馈送到序列标记器中，预测诸如词性（POS）标记的令牌级注释。在这项工作中，我们从字符LSTM中的各个隐藏单元的角度来研究跨语言的POS标记器的行为。我们将这些单元的行为聚合成语言级别的指标，这些指标量化了标记者在具有不同形态属性的语言上面临的挑战，并确定了合成和词缀偏好与隐藏标记者层的紧急行为之间的联系。在一个比较实验中，我们展示了如何修改前向和后向隐藏单元之间的平衡影响模型的安排和性能，在这些类型的语言。
2019-03-12 cs.CL
Parts-of-Speech Tagger Errors Do Not Necessarily Degrade Accuracy in Extracting Information from Biomedical Text
CRC for Innovative Dairy Products（创新乳制品合作研究中心）；The University of Melbourne（墨尔本大学）；Victorian Bioinformatics Consortium（维多利亚生物信息学联盟）；Monash University（莫纳什大学）
最近的一项研究报告了Muscorian的发展，这是一种通用的文本处理工具，用于从文本中提取蛋白质-蛋白质相互作用，其性能可与生物医学特定的文本处理工具相媲美。这一结果是出乎意料的，因为一系列文本分析过程中的潜在错误可能会对整个过程的结果产生不利影响。大多数生物医学实体关系提取工具使用生物医学特定的词性（POS）标记器作为POS标记的错误，并可能影响后续的文本语义分析，如浅层解析。本研究旨在评估词性（POS）标记的准确性，并试图探讨是否获得了可比的性能时，通用的POS标记，MontyTagger，被用来代替MedPost，一个tagger训练的生物医学文本。我们的结果表明，在生物医学文本上测试时，Muscorian的POS标签器MontyTagger的POS标签准确率为83.1%。用MedPost替换MontyTagger并没有导致从文本中提取实体关系的显著改善;在定向关系上，MontyTagger的精确度为55.6%，MedPost为56.8%，在非定向关系上，MontyTagger为86.1%，MedPost为81.8%。这是意料之外的，因为MontyTagger的不良POS标记可能会影响信息抽取的结果。对词性标注错误的分析表明，78.5%的标注错误被浅层句法分析所弥补。因此，尽管标记准确率为83.1%，但MontyTagger的功能标记准确率为94.6%。
2008-04-02 cs.CL cs.IR
Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages
New York University（纽约大学）；Siteimprove；University of Copenhagen（哥本哈根大学）
用于低资源语言的词性（POS）标记器，其完全基于各种形式的弱监督-例如，跨语言迁移、类型级监督或其组合-已经被报告执行得几乎与监督的一样好。然而，弱监督的POS标记器通常只在与真正的低资源语言非常不同的语言上进行评估，并且标记器使用信息源，如高覆盖率和几乎无错误的字典，这可能不适用于资源贫乏的语言。我们训练和评估国家的最先进的弱监督POS标记的类型多样的15个真正的低资源的语言。在这些语言上，给定现实的资源量，即使是我们最好的模型也只能正确识别不到一半的单词。我们的研究结果强调了需要新的和不同的方法来真正的低资源语言的词性标注。
2020-04-28 cs.CL
A Grounded Unsupervised Universal Part-of-Speech Tagger for Low-Resource Languages
Charles University in Prague（布拉格查理大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Southern California（南加州大学）
无监督词性标注通常被视为一个聚类问题，但实际的标注者也需要对它们的聚类进行\textit{ground}。基础通常需要引用标记的数据，这是低资源语言可能没有的奢侈。在这项工作中，我们描述了一种低资源的无监督POS标记，产生完全接地输出，不需要标记的训练数据的方法。我们发现Brown等人（1992）的经典方法在我们的用例中很好地聚类，并采用基于解密的方法来接地。这种方法假定一个簇ID序列是一个“密文”，并寻求一个POS标签到簇ID的映射，这将揭示POS序列。我们从本质上表明，尽管任务的难度，我们在各种语言中获得合理的性能。我们还表明，将我们的POS标签到一个名称标签导致国家的最先进的标记性能在僧伽罗语和基尼亚卢旺达语，两种语言几乎没有标记的POS数据。我们通过将其并入Malopa的真正“零资源”变体（Ammar等人，2016）依赖解析器模型，消除了当前对多语言资源和新语言的黄金POS标签的依赖。实验表明，包括我们的标签弥补了大部分的准确性损失时，黄金POS标签不可用。
2019-04-10 cs.AI cs.CL cs.LG
ACO-tagger: A Novel Method for Part-of-Speech Tagging using Ant Colony Optimization
Allameh Tabataba’i University（阿拉梅·塔巴塔巴伊大学）
近年来，群体智能算法作为解决复杂和不确定性问题的一种手段得到了极大的关注。这些算法受到自然生物集体行为的启发，它们模拟这种行为来开发智能代理以执行计算任务。蚁群优化算法（ACO）就是其中之一，它的灵感来自于蚂蚁的觅食行为和它们的信息素铺设机制。蚁群算法用于解决离散和组合性质的困难问题。词性标注是自然语言处理中的一项基本任务，其目的是为句子中的每个词分配词性角色。本文提出了一种基于蚁群算法的高性能POS标注方法ACO-tagger。该方法实现了96.867%的高准确率，优于几种最先进的方法。所提出的方法是快速和有效的，使其成为实际应用的可行选择。
2023-03-27 cs.AI cs.CL cs.LG
AsPOS: Assamese Part of Speech Tagger using Deep Learning Approach
词性标注是自然语言处理的重要内容。这是一个在几种资源丰富的语言中得到充分研究的主题。然而，尽管存在许多历史和文学丰富的语言，但计算语言资源的发展仍处于起步阶段。阿萨姆语是印度的一种法定语言，有超过2500万人使用，属于这一类。在本文中，我们提出了一个基于深度学习（DL）的阿萨姆语词性标注器。开发过程分为两个阶段。在第一阶段，使用预先训练好的词嵌入来训练多个标注模型。这使我们能够评估词嵌入在词性标注任务中的性能。第一阶段中表现最好的模型被用来注释另一组新句子。在第二阶段，使用新的数据集进一步训练模型。最后，我们达到了86.52%的标记准确率在F1评分。该模型可作为进一步研究基于DL的阿萨姆语词性标注的基础。
2022-12-14 cs.AI cs.CL cs.LG
Automatic Error Detection in Part of Speech Tagging
描述了一种用于检测由隐马尔可夫模型标记器所产生的错误的技术，该技术基于将标记过程的可观察值与阈值进行比较。由此产生的方法允许的准确性的标签，以提高接受较低的效率，定义为被标记的单词的比例。实证观察表明该技术的有效性，并建议如何选择一个适当的阈值。
1994-10-21 cmp-lg cs.CL
GWPT: A Green Word-Embedding-based POS Tagger
University of Southern California（南加州大学）
本文提出轻量级词性标注器GWPT，通过绿色学习框架下对词嵌入维度索引分频并用不同N-gram表示，以更少参数和更低计算复杂度达到最先进准确率。
2024-01-15 cs.CL
A Freely Available Morphological Analyzer, Disambiguator and Context Sensitive Lemmatizer for German
在本文中，我们提出了Morphy，德语形态，词性标注和上下文敏感的词形化的综合工具。它拥有超过320，000个单词形式的大型词典，加上它处理德语复合名词的能力，保证了广泛的形态覆盖范围。句法歧义可以用标准的统计词性标注器来解决。通过使用标记器的输出，词形化器可以确定正确的词根，即使是有歧义的单词形式。完整的软件包是免费提供的，可以从万维网下载。
1998-09-23 cs.CL
Modelling the Lexicon in Unsupervised Part of Speech Induction
University of Oxford（牛津大学）
自动归纳文本中词的句法词性是计算语言学的一项基本任务。虽然无监督标记模型的性能一直在缓慢提高，但当前最先进的系统做出了明显错误的假设，即给定单词类型的所有标记必须共享单个词性标记。这种每种类型一个标签的启发式方法可以对抗基于隐马尔可夫模型的标签器为给定的单词类型过度生成标签的趋势。然而，它显然与基本句法理论不相容。在本文中，我们扩展了一个国家的最先进的Pitman-Yor隐马尔可夫模型标记与明确的模型的词汇。在这样做的时候，我们能够引入一个软偏置，以诱导每种类型的几个标签。我们开发了一个粒子滤波器，用于从我们的模型的后验中抽取样本，并给出了经验结果，表明我们的模型具有竞争力，并且比最先进的模型更快，而没有任何不切实际的限制。
2014-02-26 cs.CL
Part-of-Speech Tagging of Odia Language Using statistical and Deep Learning-Based Approaches
NIT Rourkela（鲁尔克拉国家技术学院）
自动词性标注是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER）、语音处理、信息抽取、词义消歧和机器翻译。它在英语和欧洲语言中已经取得了可喜的成果，但在印度语言中，特别是在Odia语言中，由于缺乏支持工具，资源和语言形态的丰富性，它还没有得到很好的探索。不幸的是，我们无法为Odia找到一个开源的POS标记器，并且只有少数尝试为Odia语言开发POS标记器。这项研究工作的主要贡献是提出了一种条件随机场（CRF）和基于深度学习的方法（CNN和双向长短期记忆）来开发Odia词性标注器。我们使用了一个可公开访问的语料库，数据集使用印度标准局（BIS）标记集进行注释。然而，全球大多数语言都使用带有通用重复性（UD）标记集的数据集。因此，为了保持一致性，Odia数据集应该使用相同的tagset。因此我们构造了一个从BIS标签集到UD标签集的简单映射。我们实验了不同的特征集输入到CRF模型中，观察了构造的特征集的影响。基于深度学习的模型包括Bi-LSTM网络、CNN网络、CRF层、字符序列信息和预训练的词向量。利用卷积神经网络（CNN）和Bi-LSTM网络提取字符序列信息。六种不同的组合的神经序列标签模型的实施，并研究其性能指标。据观察，具有字符序列特征和预训练词向量的Bi-LSTM模型取得了显着的最先进的结果。
2022-07-07 cs.CL
Non-Standard Vietnamese Word Detection and Normalization for Text-to-Speech
FPT Technology Research Institute, FPT University（FPT大学FPT技术研究院）；VNU University of Engineering and Technology（越南国立大学工程技术大学）
将书面文本转换为口语形式是任何文本到语音（TTS）系统中的一个基本问题。然而，为现实世界的TTS系统构建有效的文本规范化解决方案面临两个主要挑战：（1）非标准词（NSW）的语义歧义，例如，数字、日期、范围、分数、缩写，以及（2）将NSW转换成可发音的音节，诸如URL、电子邮件地址、主题标签和联系人姓名。在本文中，我们提出了一种新的两阶段归一化方法来应对这些挑战。首先，设计了一个基于模型的标签器来检测NSW。然后，根据NSW类型，基于规则的规范器将这些NSW扩展为最终的口头形式。我们使用条件随机场（CRF），BiLSTM-CNN-CRF和BERT-BiGRU-CRF模型在手动注释的数据集上进行了三个NSW检测的实证实验，该数据集包括从越南新闻文章中提取的5819个句子。在第二阶段，我们提出了一个基于前向词典的最大匹配算法来拆分标签，电子邮件，URL和联系人姓名。标记阶段的实验结果表明，BiLSTM-CNN-CRF和CRF模型的平均F1分数均在90.00%以上，BERT-BiGRU-CRF模型的F1分数最高，达到95.00%。总的来说，我们的方法具有较低的句子出错率，CRF为8.15%，BiLSTM-CNN-CRF标签为7.11%，BERT-BiGRU-CRF标签仅为6.67%。
2022-09-07 cs.CL
A POS Tagger for Code Mixed Indian Social Media Text - ICON-2016 NLP Tools Contest Entry from Surukam
Surukam Analytics（Surukam分析公司）
由于缺乏精确注释的训练语料库，为代码混合的印度语言构建词性标注器是计算语言学中一个特别具有挑战性的问题。ICON作为其NLP工具竞赛的一部分，连续第二年将此挑战作为一项共同任务来组织，以提高最先进的水平。本文介绍了在Surukam构建的POS标记器，用于预测三种语言对的粗粒度和细粒度POS标记-孟加拉语-英语，泰卢固语-英语和印地语-英语，文本跨越三个流行的社交媒体平台- Facebook，WhatsApp和Twitter。我们采用条件随机场作为序列标记算法，并使用一个名为sklearn-crfsuite的库-一个围绕CRFsuite的薄包装器来训练我们的模型。我们使用的特征包括多字符n-grams，语言信息和emoji，数字，标点符号和网址的模式。我们在受限环境中提交的文件，即，在不使用任何单语POS标记器等的情况下，获得了76.45%的总体平均F1分数，这与2015年的76.79%的获胜分数相当。
2016-12-31 cs.CL
Distant Supervision from Disparate Sources for Low-Resource Part-of-Speech Tagging
IT University of Copenhagen（哥本哈根信息技术大学）
我们介绍DsD：一个跨语言的神经词性标记器，从不同的远程监督来源学习，并实际扩展到数百种低资源语言。该模型利用注释投影，实例选择，标记字典，形态词典，和分布式表示，所有在一个统一的框架。这种方法很简单，但令人惊讶的有效，导致了一个新的最先进的状态，而无需访问任何黄金注释的数据。
2018-08-29 cs.CL
SOLD: Sinhala Offensive Language Dataset
Aston University（阿斯顿大学）；University of Wolverhampton（伍尔弗汉普顿大学）；Birmingham City University（伯明翰城市大学）；University of Münster（明斯特大学）；George Mason University（乔治梅森大学）
本文针对低资源语言僧伽罗语构建了首个大型公开攻击性语言数据集SOLD，含1万条句子级和词元级标注推文，并提出半监督扩展数据集SemiSOLD，以推动该语言的攻击性内容自动检测研究。
2024-03-28 cs.AI cs.CL cs.LG
BBPOS: BERT-based Part-of-Speech Tagging for Uzbek
RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道理工大学）；Saarland University（萨尔大学）
针对低资源乌兹别克语的NLP研究，本文推出首个公开的乌兹别克语UPOS标注基准数据集，评估两个未测试的单语BERT模型的词性标注效果，微调后模型达91%平均准确率，优于多语言BERT和规则标注器，还能捕捉词性变化且具上下文敏感性。
2025-01-17 cs.AI cs.CL
A CRF Based POS Tagger for Code-mixed Indian Social Media Text
Jadavpur University（贾达普大学）
在这项工作中，我们描述了一个基于条件随机场（CRF）的系统，用于代码混合的印度社交媒体文本的词性（POS）标记，作为我们参与代码混合的印度社交媒体文本的POS标记工具竞赛的一部分，与2016年自然语言处理国际会议，印度理工学院（BHU），印度一起举行。我们只参加了所有三种语言对的约束模式竞赛，孟加拉语-英语，印地语-英语和Telegu-英语。我们的系统达到了79.99的整体平均F1得分，这是最高的整体平均F1得分在所有16个系统中参加了约束模式的比赛。
2016-12-23 cs.CL
Part-of-Speech Tagger for Bodo Language using Deep Learning approach
IIT Guwahati（印度理工学院古瓦哈蒂分校）
本文提出BodoBERT语言模型及基于深度学习的波多语词性标注模型，实现了0.8041的F1分数，并比较了阿萨姆语词性标注器。
2024-01-06 cs.AI cs.CL cs.LG
Graph-Based Multilingual Label Propagation for Low-Resource Part-of-Speech Tagging
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（LISN实验室）
词性标注是NLP管道的重要组成部分，但许多低资源语言缺乏用于训练的标记数据。在这种情况下，用于训练POS标注器的既定方法是通过从高资源语言转移来创建标记的训练集。在本文中，我们提出了一种新的方法，将标签从多个高资源源低资源的目标语言。我们正式POS标签投影为基于图的标签传播。给定一个句子在多种语言中的翻译，我们通过对齐所有语言对的单词来创建一个以单词为节点、对齐链接为边的图。然后，我们使用一个带有Transformer层的图神经网络将节点标签从源传播到目标。我们表明，我们的传播创建的训练集，使我们能够训练POS标记的一组不同的语言。当与增强的上下文嵌入相结合时，我们的方法实现了低资源语言的无监督POS标记的新的最先进技术。
2022-10-31 cs.CL
Design and implementation of an open source Greek POS Tagger and Entity Recognizer using spaCy
DataScouting；International Hellenic University（国际希腊大学）
本文提出了一种机器学习的方法，词性标注和命名实体识别的希腊语，侧重于提取的形态特征和分类的令牌到一个小的集合的类命名实体。介绍了所使用的体系结构模型。spaCy平台的希腊语版本被添加到源代码中，这是一个在我们的贡献之前不存在的功能，并用于构建模型。此外，还训练了一个词性标注器，它可以检测标记的形态，并且在仅对词性进行分类时，其性能高于最先进的结果。对于使用spaCy的命名实体识别，构建了一个扩展标准ENAMEX类型（组织、位置、人员）的模型。进行的某些实验表明，在词汇表外的单词需要灵活性，并且存在解决这个问题的努力。最后对评价结果进行了讨论。
2019-12-05 cs.CL cs.IR cs.LG
A syntax-based part-of-speech analyser
构建自然语言分析器的知识库主要有两种方法：语言学方法和数据驱动方法。最近的国家的最先进的词性标注是基于数据驱动的方法。由于已知的语言规则为基础的方法在相关的描述水平的可行性，数据驱动的方法在词性分析的成功可能会出现令人惊讶的。在本文中，一个情况下作出的句法性质的词性标注。一个新的tagger的英语，只使用语言分布规则的概述和经验评估。在一个包含38，000个单词的基准语料库中进行测试，这个基于语法的系统达到了99%以上的准确率。与其最佳竞争对手95-97%的准确率相比，这一结果表明语言学方法在词性分析中也是可行的。
1995-02-14 cmp-lg cs.CL
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语言学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架，通过无监督神经机器翻译构建伪平行句子对，并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL
Hate Speech and Offensive Content Detection in Indo-Aryan Languages: A Battle of LSTM and Transformers
Z-AGI Labs（Z-AGI实验室）
本文面向 HASOC 2023，比较 BERT 变体、XLM-R 与 LSTM 在五种印度-雅利安语仇恨言论检测中的表现，发现最优模型因语言而异。
2023-12-09 cs.CL
Development of POS tagger for English-Bengali Code-Mixed data
IIIT, Hyderabad（海得拉巴国际信息技术学院）；Jadavpur University, Kolkata（贾达普大学）
由于社交媒体的出现，代码混合文本现在很普遍。由于这些文本将两种语言结合起来形成一个句子，因此产生了与自然语言处理相关的各种研究问题。本文试图挖掘这样一个问题，即语码混合文本的词性标注。我们已经建立了一个系统，可以POS标记英语孟加拉语代码混合的数据，其中孟加拉语的话写在罗马脚本。我们的方法最初涉及收集和清理英语-孟加拉语代码混合的推文。这些推文被用作构建我们系统的开发数据集。所提出的系统是一种模块化方法，首先用各自的语言标记各个标记，然后将它们传递给为不同语言（英语和孟加拉语，在我们的情况下）设计的不同POS标记器。这两个系统给出的标签随后被连接在一起，最终结果被映射到一个通用的POS标签集。我们的系统使用100个人工标记的POS代码混合句子进行测试，它返回的准确率为75.29%
2020-07-29 cs.CL
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试，涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下，语音转录中的句子边界检测的任务是重要的，因为话语分析涉及自然语言处理工具的应用，例如标记器和解析器，其依赖于句子作为处理单元。在本文中，我们的目的是验证嵌入感应方法最适合句子边界检测任务，特别是它是否是那些被提出来捕捉语义，句法或形态相似性。
2017-08-15 cs.CL
Primitive Part-of-Speech Tagging using Word Length and Sentential Structure
有人认为，当婴儿学习第一语言时，他们会使用一系列小线索来帮助识别和理解，其中一个线索就是单词长度。在本文中，我们提出了一个统计部分的语音标签，它只训练自己在一个句子中的每个单词的字母数。
1998-08-23 cmp-lg cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen（格罗宁根大学）
标准化是否有助于提高有噪、非规范数据的词性（POS）标记准确性？据我们所知，在现实世界的场景中，对标准化的实际影响知之甚少，其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明，规范化的帮助，但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型，与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
Machine Learning Approaches for Amharic Parts-of-speech Tagging
Mangalore University（芒格洛尔大学）
词性标注被认为是许多自然语言处理（NLP）应用（如词义消歧、信息检索、信息处理、句法分析、问答和机器翻译）所需的基本但必要的工具之一。当前的阿姆哈拉语POS标签器的性能不如英语和其他欧洲语言的当代POS标签器。这项工作的目的是提高阿姆哈拉语的POS标记性能，这是从来没有超过91%。形态学知识的使用，现有的注释数据的扩展，特征提取，参数调整应用网格搜索和标记算法已被检查，并获得显着的性能差异从以前的作品。我们使用了三个不同的数据集进行POS实验。
2020-01-10 cs.CL cs.IR cs.LG
